Protección de un entorno de entrenamiento de Azure Machine Learning con redes virtuales (SDKv1)

SE APLICA A:SDK de Azure Machine Learning v1 para Python

En este artículo, aprenderá a proteger entornos de entrenamiento con una red virtual en Azure Machine Learning mediante el SDK de Python v1.

La instancia de proceso y el clúster de proceso de Azure Machine Learning pueden usarse para entrenar modelos en una red virtual con seguridad. Al planificar su entorno, puede configurar la instancia o el clúster de proceso con o sin una dirección IP pública. Las diferencias generales entre las dos son:

• Sin IP pública: reduce gastos al no tener los mismos requisitos de recursos de red. Mejora la seguridad al eliminar el requisito del tráfico de entrada procedente de Internet. Pero deben hacerse cambios adicionales en la configuración para habilitar el acceso de salida a los recursos necesarios (Microsoft Entra ID, Azure Resource Manager, etc.).
• IP pública: está establecida de manera predeterminada, pero cuesta más debido a los recursos de red de Azure adicionales. Requiere comunicación de entrada desde Azure Machine Learning Service a través de la red pública de Internet.

La siguiente tabla presenta las diferencias entre estas configuraciones:

También puede usar Azure Databricks o HDInsight para entrenar modelos en una red virtual.

En este artículo aprenderá a proteger los siguientes recursos de proceso de entrenamiento en una red virtual:

Requisitos previos

• Lea el artículo Introducción a la seguridad de red para comprender los escenarios comunes de redes virtuales y la arquitectura de red virtual general.

• Una red virtual y una subred existentes que se usarán con los recursos de proceso. Esta VNet debe ser parte de la misma suscripción que su área de trabajo de Azure Machine Learning.

  • Recomendamos poner las cuentas de almacenamiento que se usan en su área de trabajo y trabajos de entrenamiento en la misma región de Azure que piensa usar para las instancias o los clústeres de proceso. Puede conllevar costes de transferencia de datos y una latencia de red mayor si no están en la misma región de Azure.
  • Asegúrese de que la comunicación WebSocket permita *.instances.azureml.net y *.instances.azureml.ms en su VNet. Jupyter usa WebSockets en las instancias de proceso.

• Una subred existente en la red virtual. Esta subred se usa al crear instancias y clústeres de proceso.

  • Asegúrese de que la subred no se ha delegado a otros servicios de Azure.
  • Asegúrese de que la subred contiene suficientes direcciones IP libres. Cada instancia de proceso requiere una dirección IP. Cada nodo de un clúster de proceso requiere una dirección IP.

• Si tiene su propio servidor DNS, recomendamos usar el reenvío de DNS para resolver los nombres de dominio completos (FQDN) de las instancias y los clústeres de proceso. Para obtener más información, consulte Uso de un DNS personalizado con Azure Machine Learning.

• Para implementar recursos en una red virtual o subred, la cuenta de usuario debe tener permisos para realizar las siguientes acciones en el control de acceso basado en roles de Azure (RBAC de Azure):

  • "Microsoft.Network/*/read" en el recurso de red virtual. Este permiso no es necesario para las implementaciones de plantillas de Azure Resource Manager (ARM).
  • "Microsoft.Network/virtualNetworks/join/action" en el recurso de red virtual.
  • "Microsoft.Network/virtualNetworks/subnets/join/action" en el recurso de subred.

  Para obtener más información sobre RBAC de Azure con redes, consulte Roles integrados de redes.

Limitaciones

Clúster o instancia de proceso de Azure Machine Learning

• Los clústeres de proceso se pueden crear en una red virtual y región diferentes a la del área de trabajo. Sin embargo, esta funcionalidad solo está disponible mediante el SDK v2, la CLI v2 o Studio. Para obtener más información, consulte la versión v2 de entornos de entrenamiento seguros.

• Azure Lighthouse no admite la implementación de clústeres o instancias de proceso en una red virtual.

• El puerto 445 debe estar abierto para las comunicaciones de red privadas entre las instancias de proceso y la cuenta de almacenamiento predeterminada durante el entrenamiento. Por ejemplo, si los procesos están en una red virtual y la cuenta de almacenamiento está en otra, no bloquee el puerto 445 para la red virtual de la cuenta de almacenamiento.

Azure Databricks

• La red virtual debe estar en la misma suscripción y región que el área de trabajo de Azure Machine Learning.
• Si las cuentas de Azure Storage del área de trabajo también están protegidas en una red virtual, deben estar en la misma red virtual que el clúster de proceso de Azure Databricks.
• Además de las subredes databricks-private y databricks-public utilizadas por Azure Databricks, también se requiere la subred predeterminada creada para la red virtual.
• Azure Databricks no usa un punto de conexión privado para comunicarse con la red virtual.

Para obtener más información sobre el uso de Azure Databricks en una red virtual, vea Implementación de Azure Databricks en la red virtual de Azure.

Azure HDInsight o máquina virtual

• Azure Machine Learning solo admite máquinas virtuales que ejecuten Ubuntu.

Clúster o instancia de proceso sin IP pública

Las siguientes configuraciones son adicionales a las indicadas en la sección Requisitos Previos y son específicas para la creación de instancias o clústeres de proceso configurados para no tener IP pública:

• Debe usar un punto de conexión privado del área de trabajo para que el recurso de proceso se comunique con los servicios de Azure Machine Learning desde la red virtual. Para obtener más información, consulte Configuración de un punto de conexión privado para un área de trabajo de Azure Machine Learning.

• En su VNet, permita el tráfico de salida a estas etiquetas de servicio o nombres de dominio completo (FQDN):

  Etiqueta de servicio	Protocolo	Puerto	Notas
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Comunicación con Azure Machine Learning Service.
  BatchNodeManagement.<region>	CUALQUIER	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Comunicación con Azure Batch. La instancia de proceso y el clúster de proceso se implementan con el servicio Azure Batch.
  Storage.<region>	TCP	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Esta etiqueta de servicio se usa para comunicarse con la cuenta de Azure Storage que Azure Batch usa.

  Importante

  El acceso de salida a Storage.<region> podría usarse para filtrar datos de su área de trabajo. Puede mitigar esta vulnerabilidad mediante una directiva de punto de conexión de servicio. Para obtener más información, consulte el artículo Prevención de filtración de datos de Azure Machine Learning.

  FQDN	Protocolo	Puerto	Notas
  <region>.tundra.azureml.ms	UDP	5831	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning.
  graph.windows.net	TCP	443	Comunicación con Microsoft Graph API.
  *.instances.azureml.ms	TCP	443/8787/18881	Comunicación con Azure Machine Learning.
  *.<region>.batch.azure.com	CUALQUIER	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Comunicación con Azure Batch.
  *.<region>.service.batch.azure.com	CUALQUIER	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Comunicación con Azure Batch.
  *.blob.core.windows.net	TCP	443	Comunicación con Azure Blob Storage.
  *.queue.core.windows.net	TCP	443	Comunicación con Azure Queue Storage.
  *.table.core.windows.net	TCP	443	Comunicación con Azure Table Storage.

• Cree un firewall y reglas de salida, o bien una puerta de enlace NAT y grupos de servicios de red, para permitir el tráfico de salida. Como el proceso no tiene una dirección IP pública, no puede comunicarse con los recursos de la red pública de Internet sin esta configuración. Por ejemplo, no podría comunicarse con Microsoft Entra ID o Azure Resource Manager. La instalación de paquetes de Python desde fuentes públicas también necesitaría esta configuración.

  Para obtener más información sobre el tráfico de salida que Azure Machine Learning usa, consulte los artículos siguientes:

  • Configuración del tráfico de red entrante y saliente.
  • Métodos de conectividad de salida de Azure.

Use la información siguiente para crear una instancia o un clúster de proceso sin una dirección IP pública:

Para crear una instancia de proceso o un clúster de proceso sin una dirección IP pública, use la interfaz de usuario de Estudio de Azure Machine Learning para crear el recurso:

1. Inicie sesión en Estudio de Azure Machine Learning y seleccione su suscripción y área de trabajo.

2. Seleccione la página Cómputo en el panel izquierdo.

3. Seleccione + Nuevo en la barra de navegación de la instancia de proceso o del clúster de proceso.

4. Configure el tamaño y los valores de la máquina virtual que necesite y seleccione Siguiente.

5. En Opciones avanzadas, seleccione Enable virtual network (Habilitar red virtual), elija su red virtual y su subred, y seleccione la opción No Public IP (Sin IP pública) en la sección de red virtual/subred.

   

Instancia o clúster de proceso con IP pública

Las siguientes configuraciones son adicionales a las indicadas en la sección Requisitos Previos y son específicas para la creación de instancias o clústeres de proceso que tienen una IP pública:

• Si coloca varias instancias o clústeres de proceso en una red virtual, podría tener que solicitar un aumento de la cuota para uno o más de sus recursos. El clúster o la instancia de proceso de Machine Learning asigna automáticamente recursos de red al grupo de recursos que contiene la red virtual. Para cada clúster o instancia de proceso, el servicio asigna los recursos siguientes:

  • Se genera automáticamente un grupo de seguridad de red (NSG). Este NSG permite el tráfico TCP de entrada en el puerto 44224 procedente de la etiqueta de servicio AzureMachineLearning.

    Importante

    La instancia de proceso y el clúster de proceso crean automáticamente un grupo de seguridad de red con las reglas necesarias.

    Si tiene otro grupo de seguridad de red en el nivel de subred, las reglas del grupo de seguridad de red de nivel de subred no deben entrar en conflicto con las reglas del grupo de seguridad de red creado automáticamente.

    Para obtener información sobre cómo los grupos de seguridad de red filtran el tráfico de red, consulte Cómo filtran el tráfico de red los grupos de seguridad de red.

  • Un equilibrador de carga

  En el caso de los clústeres de proceso, estos recursos se eliminan cada vez que se reduce el clúster verticalmente hasta 0 nodos y se crean al escalar verticalmente.

  En el caso de una instancia de proceso, estos recursos se mantienen hasta que se elimina la instancia. Detener la instancia no hace que se quiten los recursos.

  Importante

  Estos recursos están limitados por las cuotas de recursos de la suscripción. Si el grupo de recursos de red virtual está bloqueado, se producirá un error en la eliminación de la instancia o el clúster de proceso. No se puede eliminar el equilibrador de carga hasta que se elimine la instancia o el clúster de proceso. Asegúrese también de que no haya ninguna asignación de Azure Policy que prohíba la creación de grupos de seguridad de red.

• En su VNet, permita el tráfico TCP de entrada en el puerto 44224 procedente de la etiqueta de servicio AzureMachineLearning.

  Importante

  En el momento en que se crea el clúster o la instancia de proceso, se le asigna dinámicamente una dirección IP. Como la dirección no se conoce antes de la creación y el acceso de entrada es una parte necesaria del proceso de creación, no puede asignarla estáticamente a su firewall. Si usa un firewall con la VNet, debe crear una ruta definida por el usuario para permitir este tráfico de entrada.

• En su VNet, permita el tráfico de salida para las siguientes etiquetas de servicio:

  Etiqueta de servicio	Protocolo	Puerto	Notas
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Comunicación con Azure Machine Learning Service.
  BatchNodeManagement.<region>	CUALQUIER	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Comunicación con Azure Batch. La instancia de proceso y el clúster de proceso se implementan con el servicio Azure Batch.
  Storage.<region>	TCP	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Esta etiqueta de servicio se usa para comunicarse con la cuenta de Azure Storage que Azure Batch usa.

  Importante

  El acceso de salida a Storage.<region> podría usarse para filtrar datos de su área de trabajo. Puede mitigar esta vulnerabilidad mediante una directiva de punto de conexión de servicio. Para obtener más información, consulte el artículo Prevención de filtración de datos de Azure Machine Learning.

  FQDN	Protocolo	Puerto	Notas
  <region>.tundra.azureml.ms	UDP	5831	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning.
  graph.windows.net	TCP	443	Comunicación con Microsoft Graph API.
  *.instances.azureml.ms	TCP	443/8787/18881	Comunicación con Azure Machine Learning.
  *.<region>.batch.azure.com	CUALQUIER	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Comunicación con Azure Batch.
  *.<region>.service.batch.azure.com	CUALQUIER	443	Reemplace <region> por la región de Azure que contiene su área de trabajo de Azure Machine Learning. Comunicación con Azure Batch.
  *.blob.core.windows.net	TCP	443	Comunicación con Azure Blob Storage.
  *.queue.core.windows.net	TCP	443	Comunicación con Azure Queue Storage.
  *.table.core.windows.net	TCP	443	Comunicación con Azure Table Storage.

import datetime
import time

from azureml.core.compute import ComputeTarget, ComputeInstance
from azureml.core.compute_target import ComputeTargetException

# Choose a name for your instance
# Compute instance name should be unique across the azure region
compute_name = "ci{}".format(ws._workspace_id)[:10]

# Verify that instance does not exist already
try:
    instance = ComputeInstance(workspace=ws, name=compute_name)
    print('Found existing instance, use it.')
except ComputeTargetException:
    compute_config = ComputeInstance.provisioning_configuration(
        vm_size='STANDARD_D3_V2',
        ssh_public_access=False,
        vnet_resourcegroup_name='vnet_resourcegroup_name',
        vnet_name='vnet_name',
        subnet_name='subnet_name',
        # admin_user_ssh_public_key='<my-sshkey>'
    )
    instance = ComputeInstance.create(ws, compute_name, compute_config)
    instance.wait_for_completion(show_output=True)

from azureml.core.compute import ComputeTarget, AmlCompute
from azureml.core.compute_target import ComputeTargetException

# The Azure virtual network name, subnet, and resource group
vnet_name = 'mynetwork'
subnet_name = 'default'
vnet_resourcegroup_name = 'mygroup'

# Choose a name for your CPU cluster
cpu_cluster_name = "cpucluster"

# Verify that cluster does not exist already
try:
    cpu_cluster = ComputeTarget(workspace=ws, name=cpu_cluster_name)
    print("Found existing cpucluster")
except ComputeTargetException:
    print("Creating new cpucluster")

    # Specify the configuration for the new cluster
    compute_config = AmlCompute.provisioning_configuration(vm_size="STANDARD_D2_V2",
                                                           min_nodes=0,
                                                           max_nodes=4,
                                                           ___location="westus2",
                                                           vnet_resourcegroup_name=vnet_resourcegroup_name,
                                                           vnet_name=vnet_name,
                                                           subnet_name=subnet_name)

    # Create the cluster with the specified name and configuration
    cpu_cluster = ComputeTarget.create(ws, cpu_cluster_name, compute_config)

    # Wait for the cluster to be completed, show the output log
    cpu_cluster.wait_for_completion(show_output=True)

Cuando finalice el proceso de creación, entrene el modelo. Para obtener más información, consulte Selección y uso de un destino de proceso para entrenamiento.

Azure Databricks

• La red virtual debe estar en la misma suscripción y región que el área de trabajo de Azure Machine Learning.
• Si las cuentas de Azure Storage del área de trabajo también están protegidas en una red virtual, deben estar en la misma red virtual que el clúster de proceso de Azure Databricks.
• Además de las subredes databricks-private y databricks-public utilizadas por Azure Databricks, también se requiere la subred predeterminada creada para la red virtual.
• Azure Databricks no usa un punto de conexión privado para comunicarse con la red virtual.

Para obtener información específica sobre el uso de Azure Databricks con una red virtual, consulte Implementar Azure Databricks en su red virtual de Azure.

Acceso a la red pública de Internet necesario para entrenar modelos

Azure Machine Learning requiere acceso entrante y saliente a la red pública de Internet. En las tablas siguientes, se proporciona información general sobre el acceso necesario y para qué sirve. En el caso de las etiquetas de servicio que terminan en .region, reemplace region por la región de Azure que contiene el área de trabajo. Por ejemplo, Storage.westus:

También es posible que tenga que permitir el tráfico saliente a Visual Studio Code y a sitios que no son de Microsoft para la instalación de los paquetes requeridos por el proyecto de aprendizaje automático. En la tabla siguiente se enumeran los repositorios usados habitualmente para el aprendizaje automático:

Al usar Azure Kubernetes Service (AKS) con Azure Machine Learning, habilite el tráfico siguiente a la red virtual de AKS:

• Requisitos generales de entrada y salida para AKS, tal como se describe en el artículo Restricción del tráfico de salida en Azure Kubernetes Service.
• Tráfico de salida a mcr.microsoft.com.
• Al implementar un modelo en un clúster de AKS, use las instrucciones del artículo Implementación de modelos de ML en Azure Kubernetes Service.

Para obtener información sobre el uso de una solución de firewall, vea Uso de un firewall con Azure Machine Learning.

Pasos siguientes

Este artículo forma parte de una serie sobre la protección de un flujo de trabajo de Azure Machine Learning. Consulte los demás artículos de esta serie:

• Introducción a las redes virtuales (v1)
• Protección de los recursos de un área de trabajo
• Protección del entorno de inferencia (v1)
• Habilitación de la función de Studio
• Uso de un DNS personalizado
• Uso de un firewall