MpiStep クラス
MPI ジョブを実行する Azure ML パイプライン ステップを作成します。
MpiStep の使用例については、ノートブックの https://aka.ms/pl-style-transを参照してください。
MPI ジョブを実行する Azure ML パイプライン ステップを作成します。
廃止。 代わりに CommandStep を使用してください。 例については、「 CommandStep を使用してパイプラインで分散トレーニングを実行する方法」を参照してください。
コンストラクター
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)
パラメーター
名前 | 説明 |
---|---|
name
|
[必須]モジュールの名前。 規定値: None
|
source_directory
|
[必須]手順で使用する Python スクリプト、conda env、およびその他のリソースを含むフォルダー。 規定値: None
|
script_name
|
[必須] 規定値: None
|
arguments
|
[必須]コマンド ライン引数の一覧。 規定値: None
|
compute_target
|
[必須]使用するコンピューティング 先。 規定値: None
|
node_count
|
[必須]トレーニングに使用されるコンピューティング ターゲット内のノードの数。 1 より大きい場合は、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。 規定値: None
|
process_count_per_node
|
[必須]ノードあたりのプロセス数。 1 より大きい場合は、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。 規定値: None
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
入力ポート バインドの一覧。 規定値: None
|
outputs
|
出力ポート バインドの一覧。 規定値: None
|
params
必須
|
環境変数として "AML_PARAMETER_" で登録された名前と値のペアのディクショナリ。 |
allow_reuse
|
同じ設定で再実行するときに、前の結果をステップで再利用するかどうかを示します。 再利用は既定で有効になっています。 ステップの内容 (スクリプト/依存関係) と入力とパラメーターが変更されていない場合は、この手順の前の実行からの出力が再利用されます。 ステップを再利用すると、ジョブをコンピューティングに送信する代わりに、前の実行の結果が後続のステップですぐに使用できるようになります。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。 規定値: True
|
version
|
モジュールの機能の変更を示すオプションのバージョン タグ。 規定値: None
|
hash_paths
|
非推奨: 不要になりました。 ステップの内容の変更を確認するときにハッシュするパスの一覧。 変更が検出されない場合、パイプラインは前回の実行のステップの内容を再利用します。 既定では、.amlignore または .gitignore にリストされているファイルを除き、 規定値: None
|
use_gpu
必須
|
実験を実行する環境が GPU をサポートする必要があるかどうかを示します。
True の場合、GPU ベースの既定の Docker イメージが環境で使用されます。 False の場合、CPU ベースのイメージが使用されます。 既定の Docker イメージ (CPU または GPU) は、 |
use_docker
必須
|
実験を実行する環境を Docker ベースにする必要があるかどうかを示します。 |
custom_docker_image
必須
|
トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。 |
image_registry_details
必須
|
Docker イメージ レジストリの詳細。 |
user_managed
必須
|
Azure ML が既存の Python 環境を再利用するかどうかを示します。False は、Azure ML が conda 依存関係の仕様に基づいて Python 環境を作成することを意味します。 |
conda_packages
必須
|
Python 環境に追加する conda パッケージを表す文字列の一覧。 |
pip_packages
必須
|
Python 環境に追加する pip パッケージを表す文字列の一覧。 |
pip_requirements_file_path
必須
|
pip 要件テキスト ファイルへの相対パス。
このパラメーターは、 |
environment_definition
必須
|
実験の EnvironmentDefinition。 PythonSection と DockerSection と環境変数が含まれます。 他のパラメーターを介して MpiStep 構築に直接公開されない環境オプションは、environment_definition パラメーターを使用して設定できます。 このパラメーターを指定すると、use_gpu、custom_docker_image、conda_packages、pip_packagesなどの他の環境関連パラメーターよりも優先され、これらの無効な組み合わせに関するエラーが報告されます。 |
name
必須
|
[必須]モジュールの名前。 |
source_directory
必須
|
[必須]手順で使用する Python スクリプト、conda env、およびその他のリソースを含むフォルダー。 |
script_name
必須
|
[必須] |
arguments
必須
|
[必須]コマンド ライン引数の一覧。 |
compute_target
必須
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[必須]使用するコンピューティング 先。 |
node_count
必須
|
[必須]トレーニングに使用されるコンピューティング ターゲット内のノードの数。 1 より大きい場合、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。 |
process_count_per_node
必須
|
[必須]ノードあたりのプロセス数。 1 より大きい場合、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。 |
inputs
必須
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
入力ポート バインドの一覧。 |
outputs
必須
|
出力ポート バインドの一覧。 |
params
必須
|
環境変数として ">>AML_PARAMETER_<<" で登録された名前と値のペアのディクショナリ。 |
allow_reuse
必須
|
同じパラメーターを使用して再実行しても、ステップで前の結果を再利用する必要があるかどうかを示します。この手順の前の実行からの出力が再利用されます。 ステップを再利用すると、ジョブをコンピューティングに送信する代わりに、前の実行の結果が後続のステップですぐに使用できるようになります。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。 |
version
必須
|
モジュールの機能の変更を示すオプションのバージョン タグ |
hash_paths
必須
|
非推奨: 不要になりました。 ステップの内容の変更を確認するときにハッシュするパスの一覧。 変更が検出されない場合、パイプラインは前回の実行のステップの内容を再利用します。 既定では、.amlignore または .gitignore にリストされているファイルを除き、 |
use_gpu
必須
|
実験を実行する環境が GPU をサポートする必要があるかどうかを示します。
True の場合、GPU ベースの既定の Docker イメージが環境で使用されます。 False の場合、CPU ベースのイメージが使用されます。 既定の Docker イメージ (CPU または GPU) は、 |
use_docker
必須
|
実験を実行する環境を Docker ベースにする必要があるかどうかを示します。 custom_docker_image (str): mpi ジョブに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。 |
custom_docker_image
必須
|
トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。 |
image_registry_details
必須
|
Docker イメージ レジストリの詳細。 |
user_managed
必須
|
Azure ML が既存の Python 環境を再利用するかどうかを示します。False は、Azure ML が conda 依存関係の仕様に基づいて Python 環境を作成することを意味します。 |
conda_packages
必須
|
Python 環境に追加する conda パッケージを表す文字列の一覧。 |
pip_packages
必須
|
Python 環境に追加する pip パッケージを表す文字列の一覧。 |
pip_requirements_file_path
必須
|
pip 要件テキスト ファイルへの相対パス。
このパラメーターは、 |
environment_definition
必須
|
実験の EnvironmentDefinition。 PythonSection と DockerSection と環境変数が含まれます。 他のパラメーターを介して MpiStep 構築に直接公開されない環境オプションは、environment_definition パラメーターを使用して設定できます。 このパラメーターを指定すると、use_gpu、custom_docker_image、conda_packages、pip_packagesなどの他の環境関連パラメーターよりも優先され、これらの無効な組み合わせに関するエラーが報告されます。 |