TensorFlow クラス
TensorFlow 実験でのトレーニングの推定器を表します。
廃止。 独自に定義された環境または Azure ML TensorFlow でキュレーションされた環境のいずれかで、 ScriptRunConfig オブジェクトを使用します。 ScriptRunConfig を使用した TensorFlow 実験実行の構成の概要については、「 Azure Machine Learning を使用して TensorFlow モデルを大規模にトレーニングする」を参照してください。
サポートされているバージョン: 1.10、1.12、1.13、2.0、2.1、2.2
TensorFlow 推定器を初期化します。
Docker 実行リファレンス。 :type shm_size: str :p aram resume_from: 実験を再開するチェックポイント またはモデル ファイルを含むデータ パス。 :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: 実行に許容される最大時間。 Azure ML は自動的に試みます
この値よりも時間がかかる場合は、実行を取り消します。
コンストラクター
TensorFlow(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, worker_count=1, parameter_server_count=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)
パラメーター
名前 | 説明 |
---|---|
source_directory
必須
|
実験構成ファイルを含むローカル ディレクトリ。 |
compute_target
必須
|
トレーニングが行われるコンピューティング 先。 オブジェクトまたは文字列 "local" を指定できます。 |
vm_size
必須
|
トレーニング用に作成されるコンピューティング 先の VM サイズ。 サポートされている値: 任意の Azure VM サイズ。 |
vm_priority
必須
|
トレーニング用に作成されるコンピューティング 先の VM の優先順位。 指定しない場合は、'dedicated' が使用されます。 サポートされている値:'dedicated' と 'lowpriority'。 これは、入力に |
entry_script
必須
|
トレーニング スクリプトを含むファイルへの相対パス。 |
script_params
必須
|
|
node_count
必須
|
トレーニングに使用されるコンピューティング ターゲット内のノードの数。 分散トレーニングでは、 AmlCompute ターゲットのみがサポートされます ( |
process_count_per_node
必須
|
MPI を使用する場合、ノードあたりのプロセス数。 |
worker_count
必須
|
分散トレーニングにパラメーター サーバーを使用する場合、ワーカー ノードの数。 廃止。
|
parameter_server_count
必須
|
分散トレーニングにパラメーター サーバーを使用する場合、パラメーター サーバー ノードの数。 |
distributed_backend
必須
|
分散トレーニング用の通信バックエンド。 廃止。
サポートされている値: 'mpi' と 'ps'。 'mpi' は MPI/Horovod を表し、'ps' はパラメーター サーバーを表します。 このパラメーターは、
|
distributed_training
必須
|
ParameterServer または
Mpi
分散トレーニング ジョブを実行するためのパラメーター。 Parameter Server バックエンドで分散ジョブを実行する場合は、 ParameterServer オブジェクトを使用して MPI バックエンドで分散ジョブを実行する場合は、 Mpi オブジェクトを使用して |
use_gpu
必須
|
実験を実行する環境で GPU をサポートするかどうかを指定します。
true の場合、GPU ベースの既定の Docker イメージが環境で使用されます。 false の場合は、CPU ベースのイメージが使用されます。 既定の Docker イメージ (CPU または GPU) は、 |
use_docker
必須
|
実験を実行する環境を Docker ベースにするかどうかを指定します。 |
custom_docker_base_image
必須
|
トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 廃止。
設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。 |
custom_docker_image
必須
|
トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。 |
image_registry_details
必須
|
Docker イメージ レジストリの詳細。 |
user_managed
必須
|
Azure ML が既存の Python 環境を再利用するかどうかを指定します。 false の場合、Azure ML は conda 依存関係の仕様に基づいて Python 環境を作成します。 |
conda_packages
必須
|
実験用に Python 環境に追加する conda パッケージを表す文字列の一覧。 |
pip_packages
必須
|
実験用に Python 環境に追加される pip パッケージを表す文字列の一覧。 |
conda_dependencies_file_path
必須
|
conda 依存関係 yaml ファイルへの相対パスを表す文字列。
指定した場合、Azure ML はフレームワーク関連のパッケージをインストールしません。
廃止。
|
pip_requirements_file_path
必須
|
pip 要件テキスト ファイルへの相対パスを表す文字列。
これは、 |
conda_dependencies_file
必須
|
conda 依存関係 yaml ファイルへの相対パスを表す文字列。 指定した場合、Azure ML はフレームワーク関連のパッケージをインストールしません。 |
pip_requirements_file
必須
|
pip 要件テキスト ファイルへの相対パスを表す文字列。
これは、 |
environment_variables
必須
|
環境変数の名前と値のディクショナリ。 これらの環境変数は、ユーザー スクリプトが実行されているプロセスで設定されます。 |
environment_definition
必須
|
実験の環境定義。 これには、PythonSection、DockerSection、環境変数が含まれます。 他のパラメーターを介して Estimator 構築に直接公開されない環境オプションは、このパラメーターを使用して設定できます。 このパラメーターを指定すると、 |
inputs
必須
|
入力として使用する DataReference または DatasetConsumptionConfig オブジェクトの一覧。 |
source_directory_data_store
必須
|
プロジェクト共有のバッキング データストア。 |
shm_size
必須
|
Docker コンテナーの共有メモリ ブロックのサイズ。 設定しない場合は、既定のazureml.core.environment._DEFAULT_SHM_SIZEが使用されます。 詳細については、Docker 実行リファレンスを参照してください。 |
resume_from
必須
|
実験を再開するチェックポイントまたはモデル ファイルを含むデータ パス。 |
max_run_duration_seconds
必須
|
実行の最大許容時間。 この値よりも時間がかかる場合、Azure ML は実行を自動的に取り消そうとします。 |
framework_version
必須
|
トレーニング コードの実行に使用される TensorFlow バージョン。
バージョンが指定されていない場合、エスティメーターは既定で Azure ML でサポートされている最新バージョンになります。
|
source_directory
必須
|
実験構成ファイルを含むローカル ディレクトリ。 |
compute_target
必須
|
トレーニングが行われるコンピューティング 先。 オブジェクトまたは文字列 "local" を指定できます。 |
vm_size
必須
|
トレーニング用に作成されるコンピューティング 先の VM サイズ。 サポートされている値: 任意の Azure VM サイズ。 |
vm_priority
必須
|
トレーニング用に作成されるコンピューティング 先の VM の優先順位。 指定しない場合は、'dedicated' が使用されます。 サポートされている値:'dedicated' と 'lowpriority'。 これは、入力に |
entry_script
必須
|
トレーニング スクリプトを含むファイルへの相対パス。 |
script_params
必須
|
|
node_count
必須
|
トレーニングに使用されるコンピューティング ターゲット内のノードの数。 分散トレーニングでは、 AmlCompute ターゲットのみがサポートされます ( |
process_count_per_node
必須
|
MPI を使用する場合、ノードあたりのプロセス数。 |
worker_count
必須
|
パラメーター サーバーを使用する場合は、ワーカー ノードの数。 廃止。
|
parameter_server_count
必須
|
パラメーター サーバーを使用する場合、パラメーター サーバー ノードの数。 |
distributed_backend
必須
|
分散トレーニング用の通信バックエンド。 廃止。
サポートされている値: 'mpi' と 'ps'。 'mpi' は MPI/Horovod を表し、'ps' はパラメーター サーバーを表します。 このパラメーターは、
|
distributed_training
必須
|
ParameterServer または
Mpi
分散トレーニング ジョブを実行するためのパラメーター。 パラメーター サーバー バックエンドで分散ジョブを実行するには、 ParameterServer オブジェクトを使用して MPI バックエンドで分散ジョブを実行するには、 Mpi オブジェクトを使用して |
use_gpu
必須
|
実験を実行する環境で GPU をサポートするかどうかを指定します。
true の場合、GPU ベースの既定の Docker イメージが環境で使用されます。 false の場合は、CPU ベースのイメージが使用されます。 既定の Docker イメージ (CPU または GPU) は、 |
use_docker
必須
|
実験を実行する環境を Docker ベースにするかどうかを指定します。 |
custom_docker_base_image
必須
|
トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 廃止。
設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。 |
custom_docker_image
必須
|
トレーニングに使用するイメージのビルド元となる Docker イメージの名前。 設定しない場合は、既定の CPU ベースのイメージが基本イメージとして使用されます。 |
image_registry_details
必須
|
Docker イメージ レジストリの詳細。 |
user_managed
必須
|
Azure ML が既存の Python 環境を再利用するかどうかを指定します。 false の場合、Azure ML は conda 依存関係の仕様に基づいて Python 環境を作成します。 |
conda_packages
必須
|
実験用に Python 環境に追加する conda パッケージを表す文字列の一覧。 |
pip_packages
必須
|
実験用に Python 環境に追加される pip パッケージを表す文字列の一覧。 |
conda_dependencies_file_path
必須
|
conda 依存関係 yaml ファイルへの相対パス。 指定した場合、Azure ML はフレームワーク関連のパッケージをインストールしません。
廃止。
|
pip_requirements_file_path
必須
|
pip 要件テキスト ファイルへの相対パス。
これは、 |
environment_variables
必須
|
環境変数の名前と値のディクショナリ。 これらの環境変数は、ユーザー スクリプトが実行されているプロセスで設定されます。 |
conda_dependencies_file
必須
|
conda 依存関係 yaml ファイルへの相対パスを表す文字列。 指定した場合、Azure ML はフレームワーク関連のパッケージをインストールしません。 |
pip_requirements_file
必須
|
pip 要件テキスト ファイルへの相対パス。
これは、 |
environment_variables
必須
|
環境変数の名前と値のディクショナリ。 これらの環境変数は、ユーザー スクリプトが実行されているプロセスで設定されます。 |
environment_definition
必須
|
実験の環境定義。 これには、PythonSection、DockerSection、環境変数が含まれます。 他のパラメーターを介して Estimator 構築に直接公開されない環境オプションは、このパラメーターを使用して設定できます。 このパラメーターを指定すると、 |
inputs
必須
|
azureml.data.data_referenceの一覧。入力として使用する DataReference オブジェクト。 |
source_directory_data_store
必須
|
プロジェクト共有のバッキング データストア。 |
shm_size
必須
|
Docker コンテナーの共有メモリ ブロックのサイズ。 設定しない場合、既定値は azureml.core.environment._DEFAULT_SHM_SIZE です。 詳細については、以下を参照してください。 |
framework_version
必須
|
トレーニング コードの実行に使用される TensorFlow バージョン。 バージョンが指定されていない場合、エスティメーターは既定で Azure ML でサポートされている最新バージョンになります。 TensorFlow.get_supported_versions() を使用して一覧を返し、現在の Azure ML SDK でサポートされているすべてのバージョンの一覧を取得します。 |
_enable_optimized_mode
必須
|
事前構築済みのフレームワーク イメージを使用して増分環境ビルドを有効にして、環境の準備を高速化します。 事前構築済みのフレームワーク イメージは、フレームワークの依存関係が事前にインストールされている Azure ML の既定の CPU/GPU ベース イメージの上に構築されます。 |
_disable_validation
必須
|
送信を実行する前にスクリプトの検証を無効にします。 既定値は True です。 |
_show_lint_warnings
必須
|
スクリプトリンティングの警告を表示します。 既定値は False です。 |
_show_package_warnings
必須
|
パッケージ検証の警告を表示します。 既定値は False です。 |
注釈
トレーニング ジョブを送信すると、Azure ML は Docker コンテナー内の conda 環境でスクリプトを実行します。 TensorFlow コンテナーには、次の依存関係がインストールされています。
依存関係 |TensorFlow 1.10/1.12 |TensorFlow 1.13 |TF 2.0/2.1/2.2 |———————————— |——————– |————— |—————— |Python |3.6.2 |3.6.2 |3.6.2 |CUDA (GPU イメージのみ) |9.0 |10.0 |10.0 |cuDNN (GPU イメージのみ) |7.6.3 |7.6.3 |7.6.3 |NCCL (GPU イメージのみ) |2.4.8 |2.4.8 |2.4.8 |azureml-defaults |最新 |最新 |最新 |azureml-dataset-runtime[fuse,pandas] |最新 |最新 |最新 |IntelMpi |2018.3.222 |2018.3.222 |—- |OpenMpi |—- |—- |3.1.2 |horovod |0.15.2 |0.16.1 |0.18.1/0.19.1/0.19.5 |miniconda |4.5.11 |4.5.11 |4.5.11 |tensorflow |1.10.0/1.12.0 |1.13.1 |2.0.0/2.1.0/2.2.0 |git |2.7.4 |2.7.4 |2.7.4 |
v1 Docker イメージは Ubuntu 16.04 を拡張します。 v2 Docker イメージは Ubuntu 18.04 を拡張します。
追加の依存関係をインストールするには、 pip_packages
または conda_packages
パラメーターを使用します。 または、 pip_requirements_file
または conda_dependencies_file
パラメーターを指定できます。
または、独自のイメージをビルドし、 custom_docker_image
パラメーターを推定コンストラクターに渡すこともできます。
TensorFlow トレーニングで使用される Docker コンテナーの詳細については、「 https://github.com/Azure/AzureML-Containers」を参照してください。
TensorFlow クラスは、分散トレーニングの 2 つの方法をサポートしています。
MPI ベースの 分散トレーニングでは、Horovod フレームワーク
ネイティブ 分散 TensorFlow
分散トレーニングでの TensorFlow の使用に関する例と詳細については、チュートリアル「 TensorFlow モデルを大規模にトレーニングして Azure Machine Learning に登録する」を参照してください。
属性
DEFAULT_VERSION
DEFAULT_VERSION = '1.13'
FRAMEWORK_NAME
FRAMEWORK_NAME = 'TensorFlow'