Compartir a través de


MpiStep Clase

Crea un paso de canalización de Azure ML para ejecutar un trabajo de MPI.

Para obtener un ejemplo de uso de MpiStep, consulte el cuaderno https://aka.ms/pl-style-trans.

Cree un paso de canalización de Azure ML para ejecutar un trabajo de MPI.

OBSOLESCENTE. Use en CommandStep su lugar. Para obtener un ejemplo, consulte Ejecución del entrenamiento distribuido en canalizaciones con CommandStep.

Constructor

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Parámetros

Nombre Description
name
str

[Obligatorio] Nombre del módulo.

Valor predeterminado: None
source_directory
str

[Obligatorio] Carpeta que contiene script de Python, conda env y otros recursos usados en el paso.

Valor predeterminado: None
script_name
str

[Obligatorio] Nombre de un script de Python relativo a source_directory.

Valor predeterminado: None
arguments

[Obligatorio] Lista de argumentos de la línea de comandos.

Valor predeterminado: None
compute_target

[Obligatorio] Destino de proceso que se va a usar.

Valor predeterminado: None
node_count
int

[Obligatorio] Número de nodos del destino de proceso que se usa para el entrenamiento. Si es mayor que 1, se ejecutará un trabajo distribuido de mpi. Solo se admite el destino de proceso AmlCompute para trabajos distribuidos. Se admiten los valores de PipelineParameter.

Valor predeterminado: None
process_count_per_node
int

[Obligatorio] Número de procesos por nodo. Si es mayor que 1, se ejecutará un trabajo distribuido de mpi. Solo se admite el destino de proceso AmlCompute para trabajos distribuidos. Se admiten los valores de PipelineParameter.

Valor predeterminado: None
inputs

Lista de enlaces de puerto de entrada.

Valor predeterminado: None
outputs

Lista de enlaces de puerto de salida.

Valor predeterminado: None
params
Requerido

Diccionario de pares nombre-valor registrados como variables de entorno con "AML_PARAMETER_".

allow_reuse

Indica si el paso debe reutilizar los resultados anteriores al volver a ejecutarse con la misma configuración. La reutilización está habilitada de forma predeterminada. Si el contenido del paso (scripts o dependencias), así como las entradas y los parámetros permanecen sin cambios, se reutiliza la salida de la ejecución anterior de este paso. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se pone inmediatamente a disposición de los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado.

Valor predeterminado: True
version
str

Etiqueta de versión opcional para indicar un cambio en la funcionalidad del módulo.

Valor predeterminado: None
hash_paths

EN DESUSO: ya no es necesario.

Lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detectan cambios, la canalización reutilizará el contenido del paso de una ejecución anterior. De forma predeterminada, el contenido de source_directory se aplica un hash excepto a los archivos enumerados en .amlignore o .gitignore.

Valor predeterminado: None
use_gpu
Requerido

Indica si el entorno para ejecutar el experimento debe admitir GPU. Si es True, se usará una imagen de Docker predeterminada basada en GPU en el entorno. Si es False, se usará una imagen basada en CPU. Las imágenes de Docker predeterminadas (CPU o GPU) solo se usarán si el custom_docker_image parámetro no está establecido. Esta configuración solo se usa en destinos de proceso habilitados para Docker.

use_docker
Requerido

Indica si el entorno para ejecutar el experimento debe estar basado en Docker.

custom_docker_image
Requerido
str

Nombre de la imagen de Docker a partir de la que se compilará la imagen que se va a usar para el entrenamiento. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.

image_registry_details
Requerido

Detalles del registro de imágenes de Docker.

user_managed
Requerido

Indica si Azure ML reutiliza un entorno de Python existente; False significa que Azure ML creará un entorno de Python en función de la especificación de dependencias de Conda.

conda_packages
Requerido

Lista de cadenas que representan paquetes de Conda que se van a agregar al entorno de Python.

pip_packages
Requerido

Lista de cadenas que representan paquetes pip que se van a agregar al entorno de Python.

pip_requirements_file_path
Requerido
str

Ruta de acceso relativa al archivo de texto de requisitos de pip. Este parámetro se puede especificar en combinación con el pip_packages parámetro .

environment_definition
Requerido

EnvironmentDefinition para el experimento. Incluye PythonSection y DockerSection y variables de entorno. Cualquier opción de entorno que no se exponga directamente a través de otros parámetros a la construcción MpiStep se puede establecer mediante environment_definition parámetro. Si se especifica este parámetro, tendrá prioridad sobre otros parámetros relacionados con el entorno, como use_gpu, custom_docker_image, conda_packages o pip_packages y errores se notificarán en estas combinaciones no válidas.

name
Requerido
str

[Obligatorio] Nombre del módulo.

source_directory
Requerido
str

[Obligatorio] Carpeta que contiene script de Python, conda env y otros recursos usados en el paso.

script_name
Requerido
str

[Obligatorio] Nombre de un script de Python relativo a source_directory.

arguments
Requerido

[Obligatorio] Lista de argumentos de la línea de comandos.

compute_target
Requerido
<xref:azureml.core.compute.AmlComputeCompute>, str

[Obligatorio] Destino de proceso que se va a usar.

node_count
Requerido
int

[Obligatorio] Número de nodos del destino de proceso que se usa para el entrenamiento. Si es mayor que 1, se ejecutará el trabajo distribuido de mpi. Solo se admite el destino de proceso AmlCompute para trabajos distribuidos. Se admiten los valores de PipelineParameter.

process_count_per_node
Requerido
int

[Obligatorio] Número de procesos por nodo. Si es mayor que 1, se ejecutará el trabajo distribuido de mpi. Solo se admite el destino de proceso AmlCompute para trabajos distribuidos. Se admiten los valores de PipelineParameter.

inputs
Requerido

Lista de enlaces de puerto de entrada.

outputs
Requerido

Lista de enlaces de puerto de salida.

params
Requerido

Diccionario de pares nombre-valor registrados como variables de entorno con ">>AML_PARAMETER_<<".

allow_reuse
Requerido

Indica si el paso debe reutilizar los resultados anteriores cuando se vuelven a ejecutar con los mismos parámetros sin cambios, se reutiliza la salida de la ejecución anterior de este paso. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se pone inmediatamente a disposición de los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado.

version
Requerido
str

Etiqueta de versión opcional para indicar un cambio en la funcionalidad del módulo

hash_paths
Requerido

EN DESUSO: ya no es necesario.

Lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detectan cambios, la canalización reutilizará el contenido del paso de una ejecución anterior. De forma predeterminada, el contenido de source_directory se aplica un hash excepto a los archivos enumerados en .amlignore o .gitignore.

use_gpu
Requerido

Indica si el entorno para ejecutar el experimento debe admitir GPU. Si es True, se usará una imagen de Docker predeterminada basada en GPU en el entorno. Si es False, se usará una imagen basada en CPU. Las imágenes de Docker predeterminadas (CPU o GPU) solo se usarán si el custom_docker_image parámetro no está establecido. Esta configuración solo se usa en destinos de proceso habilitados para Docker.

use_docker
Requerido

Indica si el entorno para ejecutar el experimento debe estar basado en Docker. custom_docker_image (str): nombre de la imagen de Docker desde la que se compilará la imagen que se va a usar para el trabajo de mpi. Si no se establece, se usará una imagen basada en CPU predeterminada como imagen base.

custom_docker_image
Requerido
str

Nombre de la imagen de Docker a partir de la que se compilará la imagen que se va a usar para el entrenamiento. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.

image_registry_details
Requerido

Detalles del registro de imágenes de Docker.

user_managed
Requerido

Indica si Azure ML reutiliza un entorno de Python existente; False significa que Azure ML creará un entorno de Python en función de la especificación de dependencias de Conda.

conda_packages
Requerido

Lista de cadenas que representan paquetes de Conda que se van a agregar al entorno de Python.

pip_packages
Requerido

Lista de cadenas que representan paquetes pip que se van a agregar al entorno de Python.

pip_requirements_file_path
Requerido
str

Ruta de acceso relativa al archivo de texto de requisitos de pip. Este parámetro se puede especificar en combinación con el pip_packages parámetro .

environment_definition
Requerido

EnvironmentDefinition para el experimento. Incluye PythonSection y DockerSection y variables de entorno. Cualquier opción de entorno que no se exponga directamente a través de otros parámetros a la construcción MpiStep se puede establecer mediante environment_definition parámetro. Si se especifica este parámetro, tendrá prioridad sobre otros parámetros relacionados con el entorno, como use_gpu, custom_docker_image, conda_packages o pip_packages y errores se notificarán en estas combinaciones no válidas.