次の方法で共有


MpiStep クラス

MPI ジョブを実行する Azure ML パイプライン ステップを作成します。

MpiStep の使用例については、ノートブックの https://aka.ms/pl-style-transを参照してください。

MPI ジョブを実行する Azure ML パイプライン ステップを作成します。

廃止。 代わりに CommandStep を使用してください。 例については、「 CommandStep を使用してパイプラインで分散トレーニングを実行する方法」を参照してください。

コンストラクター

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

パラメーター

名前 説明
name
str

[必須]モジュールの名前。

規定値: None
source_directory
str

[必須]手順で使用する Python スクリプト、conda env、およびその他のリソースを含むフォルダー。

規定値: None
script_name
str

[必須] source_directoryを基準とした Python スクリプトの名前。

規定値: None
arguments

[必須]コマンド ライン引数の一覧。

規定値: None
compute_target

[必須]使用するコンピューティング 先。

規定値: None
node_count
int

[必須]トレーニングに使用されるコンピューティング ターゲット内のノードの数。 1 より大きい場合は、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。

規定値: None
process_count_per_node
int

[必須]ノードあたりのプロセス数。 1 より大きい場合は、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。

規定値: None
inputs

入力ポート バインドの一覧。

規定値: None
outputs

出力ポート バインドの一覧。

規定値: None
params
必須

環境変数として "AML_PARAMETER_" で登録された名前と値のペアのディクショナリ。

allow_reuse

同じ設定で再実行するときに、前の結果をステップで再利用するかどうかを示します。 再利用は既定で有効になっています。 ステップの内容 (スクリプト/依存関係) と入力とパラメーターが変更されていない場合は、この手順の前の実行からの出力が再利用されます。 ステップを再利用すると、ジョブをコンピューティングに送信する代わりに、前の実行の結果が後続のステップですぐに使用できるようになります。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。

規定値: True
version
str

モジュールの機能の変更を示すオプションのバージョン タグ。

規定値: None
hash_paths

非推奨: 不要になりました。

ステップの内容の変更を確認するときにハッシュするパスの一覧。 変更が検出されない場合、パイプラインは前回の実行のステップの内容を再利用します。 既定では、.amlignore または .gitignore にリストされているファイルを除き、 source_directory の内容はハッシュされます。

規定値: None
use_gpu
必須

実験を実行する環境が GPU をサポートする必要があるかどうかを示します。 True の場合、GPU ベースの既定の Docker イメージが環境で使用されます。 False の場合、CPU ベースのイメージが使用されます。 既定の Docker イメージ (CPU または GPU) は、 custom_docker_image パラメーターが設定されていない場合にのみ使用されます。 この設定は、Docker 対応のコンピューティング ターゲットでのみ使用されます。

use_docker
必須

実験を実行する環境を Docker ベースにする必要があるかどうかを示します。

custom_docker_image
必須
str

トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。

image_registry_details
必須

Docker イメージ レジストリの詳細。

user_managed
必須

Azure ML が既存の Python 環境を再利用するかどうかを示します。False は、Azure ML が conda 依存関係の仕様に基づいて Python 環境を作成することを意味します。

conda_packages
必須

Python 環境に追加する conda パッケージを表す文字列の一覧。

pip_packages
必須

Python 環境に追加する pip パッケージを表す文字列の一覧。

pip_requirements_file_path
必須
str

pip 要件テキスト ファイルへの相対パス。 このパラメーターは、 pip_packages パラメーターと組み合わせて指定できます。

environment_definition
必須

実験の EnvironmentDefinition。 PythonSection と DockerSection と環境変数が含まれます。 他のパラメーターを介して MpiStep 構築に直接公開されない環境オプションは、environment_definition パラメーターを使用して設定できます。 このパラメーターを指定すると、use_gpu、custom_docker_image、conda_packages、pip_packagesなどの他の環境関連パラメーターよりも優先され、これらの無効な組み合わせに関するエラーが報告されます。

name
必須
str

[必須]モジュールの名前。

source_directory
必須
str

[必須]手順で使用する Python スクリプト、conda env、およびその他のリソースを含むフォルダー。

script_name
必須
str

[必須] source_directoryを基準とした Python スクリプトの名前。

arguments
必須

[必須]コマンド ライン引数の一覧。

compute_target
必須
<xref:azureml.core.compute.AmlComputeCompute>, str

[必須]使用するコンピューティング 先。

node_count
必須
int

[必須]トレーニングに使用されるコンピューティング ターゲット内のノードの数。 1 より大きい場合、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。

process_count_per_node
必須
int

[必須]ノードあたりのプロセス数。 1 より大きい場合、mpi 分散ジョブが実行されます。 分散ジョブでは、AmlCompute コンピューティング ターゲットのみがサポートされます。 PipelineParameter 値がサポートされています。

inputs
必須

入力ポート バインドの一覧。

outputs
必須

出力ポート バインドの一覧。

params
必須

環境変数として ">>AML_PARAMETER_<<" で登録された名前と値のペアのディクショナリ。

allow_reuse
必須

同じパラメーターを使用して再実行しても、ステップで前の結果を再利用する必要があるかどうかを示します。この手順の前の実行からの出力が再利用されます。 ステップを再利用すると、ジョブをコンピューティングに送信する代わりに、前の実行の結果が後続のステップですぐに使用できるようになります。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。

version
必須
str

モジュールの機能の変更を示すオプションのバージョン タグ

hash_paths
必須

非推奨: 不要になりました。

ステップの内容の変更を確認するときにハッシュするパスの一覧。 変更が検出されない場合、パイプラインは前回の実行のステップの内容を再利用します。 既定では、.amlignore または .gitignore にリストされているファイルを除き、 source_directory の内容はハッシュされます。

use_gpu
必須

実験を実行する環境が GPU をサポートする必要があるかどうかを示します。 True の場合、GPU ベースの既定の Docker イメージが環境で使用されます。 False の場合、CPU ベースのイメージが使用されます。 既定の Docker イメージ (CPU または GPU) は、 custom_docker_image パラメーターが設定されていない場合にのみ使用されます。 この設定は、Docker 対応のコンピューティング ターゲットでのみ使用されます。

use_docker
必須

実験を実行する環境を Docker ベースにする必要があるかどうかを示します。 custom_docker_image (str): mpi ジョブに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。

custom_docker_image
必須
str

トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。

image_registry_details
必須

Docker イメージ レジストリの詳細。

user_managed
必須

Azure ML が既存の Python 環境を再利用するかどうかを示します。False は、Azure ML が conda 依存関係の仕様に基づいて Python 環境を作成することを意味します。

conda_packages
必須

Python 環境に追加する conda パッケージを表す文字列の一覧。

pip_packages
必須

Python 環境に追加する pip パッケージを表す文字列の一覧。

pip_requirements_file_path
必須
str

pip 要件テキスト ファイルへの相対パス。 このパラメーターは、 pip_packages パラメーターと組み合わせて指定できます。

environment_definition
必須

実験の EnvironmentDefinition。 PythonSection と DockerSection と環境変数が含まれます。 他のパラメーターを介して MpiStep 構築に直接公開されない環境オプションは、environment_definition パラメーターを使用して設定できます。 このパラメーターを指定すると、use_gpu、custom_docker_image、conda_packages、pip_packagesなどの他の環境関連パラメーターよりも優先され、これらの無効な組み合わせに関するエラーが報告されます。