실시간 유추를 위해 새로운 배포를 안전하게 롤아웃합니다.

• Azure CLI 및 ml Azure CLI에 대한 확장(설치 및 구성됨)입니다. 자세한 내용은 CLI 설치 및 설정(v2)을 참조하세요.

• Bash 셸 또는 호환되는 셸(예: Linux 시스템의 셸 또는 Linux용 Windows 하위 시스템). 이 문서의 Azure CLI 예제에서는 이 유형의 셸을 사용한다고 가정합니다.

• Azure Machine Learning 작업 영역 작업 영역을 만드는 지침은 설정(Set up)을 참조하세요.

• 다음 Azure RBAC(Azure 역할 기반 액세스 제어) 역할 중 하나 이상이 있는 사용자 계정:

  • Azure Machine Learning 작업 영역에 대한 소유자 역할
  • Azure Machine Learning 작업 영역에 대한 기여자 역할
  • 권한이 있는 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 사용자 지정 역할

  자세한 내용은 Azure Machine Learning 작업 영역에 대한 액세스 관리를 참조하세요.

• 필요에 따라 로컬로 설치 및 실행되는 Docker 엔진입니다. 이 필수 구성 요소는 매우 권장됩니다. 모델을 로컬로 배포하는 데 필요하며 디버깅에 유용합니다.

적용 대상: Python SDK azure-ai-ml v2(현재)

• Azure Machine Learning 작업 영역 작업 영역을 만드는 단계는 작업 영역 만들기를 참조하세요.

• Python v2용 Azure Machine Learning SDK. SDK를 설치하려면 다음 명령을 사용합니다.

  pip install azure-ai-ml azure-identity
  

  기존 SDK 설치를 최신 버전으로 업데이트하려면 다음 명령을 사용합니다.

  pip install --upgrade azure-ai-ml azure-identity
  

  자세한 내용은 Python용 Azure Machine Learning 패키지 클라이언트 라이브러리를 참조하세요.

• 다음 Azure RBAC(Azure 역할 기반 액세스 제어) 역할 중 하나 이상이 있는 사용자 계정:

  • Azure Machine Learning 작업 영역에 대한 소유자 역할
  • Azure Machine Learning 작업 영역에 대한 기여자 역할
  • 권한이 있는 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 사용자 지정 역할

  자세한 내용은 Azure Machine Learning 작업 영역에 대한 액세스 관리를 참조하세요.

• 필요에 따라 로컬로 설치 및 실행되는 Docker 엔진입니다. 이 필수 구성 요소는 매우 권장됩니다. 모델을 로컬로 배포하는 데 필요하며 디버깅에 유용합니다.

• Azure 구독 Azure 구독이 없는 경우, 시작하기 전에 무료 계정을 만드십시오.

• Azure Machine Learning 작업 영역 작업 영역을 만드는 방법에 대한 지침은 작업 영역 만들기를 참조하세요.

• 다음 Azure RBAC(Azure 역할 기반 액세스 제어) 역할 중 하나 이상이 있는 사용자 계정:

  • Azure Machine Learning 작업 영역에 대한 소유자 역할
  • Azure Machine Learning 작업 영역에 대한 기여자 역할
  • 권한이 있는 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* 사용자 지정 역할

  자세한 내용은 Azure Machine Learning 작업 영역에 대한 액세스 관리를 참조하세요.

환경 변수 설정

Azure CLI와 함께 사용하도록 기본값을 구성할 수 있습니다. 구독, 작업 영역 및 리소스 그룹에 대한 값을 여러 번 전달하지 않도록 하려면 다음 코드를 실행합니다.

az account set --subscription <subscription-ID>
az configure --defaults workspace=<Azure-Machine-Learning-workspace-name> group=<resource-group-name>

예제 리포지토리 복제

이 문서를 따르려면 먼저 예제 리포지토리(azureml-examples)를 복제합니다. 그런 다음, 리포지토리의 cli/ 디렉터리로 이동합니다.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

이 자습서의 명령은 cli 디렉터리의 deploy-safe-rollout-online-endpoints.sh 파일에 있으며 YAML 구성 파일은 엔드포인트/온라인/관리/샘플/하위 디렉터리에 있습니다.

예제 리포지토리 복제

학습 예제를 실행하려면 먼저 예제 리포지토리(azureml-examples)를 복제합니다. 그런 다음, azureml-examples/sdk/python/endpoints/online/managed directory로 이동합니다.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

이 문서의 정보는 online-endpoints-safe-rollout.ipynb Notebook을 기반으로 합니다. 이 문서에는 Notebook과 동일한 콘텐츠가 포함되어 있지만 코드 블록의 순서는 두 문서 간에 약간 다릅니다.

Azure Machine Learning 작업 영역에 연결

작업 영역은 Azure Machine Learning의 최상위 리소스입니다. 작업 영역은 Azure Machine Learning을 사용할 때 만드는 모든 아티팩트를 사용할 수 있는 중앙 집중식 위치를 제공합니다. 이 섹션에서는 배포 작업을 수행하는 작업 영역에 연결합니다. 따라가려면 online-endpoints-safe-rollout.ipynb Notebook을 엽니다.

1. 필요한 라이브러리 가져오기:

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   참고 항목

   Kubernetes 온라인 엔드포인트를 사용하는 경우 KubernetesOnlineEndpoint 및 KubernetesOnlineDeployment 클래스를 azure.ai.ml.entities 라이브러리에서 가져옵니다.

2. 작업 영역 설정을 구성하고 작업 영역에 대한 핸들을 가져옵니다.

   작업 영역에 연결하려면 식별자 매개 변수(구독, 리소스 그룹 및 작업 영역 이름)가 필요합니다. MLClient 클래스에서 모듈의 azure.ai.ml 정보를 사용하여 필요한 Azure Machine Learning 작업 영역에 대한 핸들을 얻습니다. 이 예제에서는 기본 Azure 인증을 사용합니다.

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

로컬 컴퓨터에 Git이 설치되어 있는 경우 지침에 따라 예제 리포지토리를 복제할 수 있습니다. 그렇지 않으면 지침에 따라 예제 리포지토리에서 파일을 다운로드합니다.

예제 리포지토리 복제

이 문서를 따라가려면 azureml-examples 리포지토리를 복제한 다음 azureml-examples/cli/endpoints/online/model-1 폴더로 이동합니다.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

예제 리포지토리에서 파일 다운로드

예제 리포지토리를 복제하는 대신 로컬 컴퓨터에 리포지토리를 다운로드할 수 있습니다.

1. https://github.com/Azure/azureml-examples/(으)로 이동합니다.
2. 코드를 선택한 <>다음 로컬 탭으로 이동하여 ZIP 다운로드를 선택합니다.

온라인 엔드포인트 만들기

먼저 엔드포인트 이름을 설정한 다음 구성합니다. 이 문서에서는 엔드포인트/온라인/관리/샘플/endpoint.yml 파일을 사용하여 엔드포인트를 구성합니다. 해당 파일에는 다음 줄이 포함됩니다.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

다음 표에서는 엔드포인트 YAML 형식에서 사용하는 키를 설명합니다. 이러한 특성을 지정하는 방법을 보려면 CLI(v2) 온라인 엔드포인트 YAML 스키마를 참조하세요. 관리되는 온라인 엔드포인트와 관련된 제한에 대한 자세한 내용은 Azure Machine Learning 온라인 엔드포인트 및 일괄 처리 엔드포인트를 참조하세요.

온라인 엔드포인트를 만들려면 다음을 수행합니다.

1. 다음 Unix 명령을 실행하여 엔드포인트 이름을 설정합니다. YOUR_ENDPOINT_NAME을 고유한 이름으로 바꿉니다.

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   중요합니다

   엔드포인트 이름은 Azure 지역 내에서 고유해야 합니다. 예를 들어 Azure westus2 지역에는 이름이 my-endpoint인 엔드포인트 하나만 있을 수 있습니다.

2. 다음 코드를 실행하여 클라우드에서 엔드포인트를 만듭니다. 이 코드는 endpoint.yml 파일을 사용하여 엔드포인트를 구성합니다.

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

파란색 배포 생성하기

엔드포인트/온라인/관리/샘플/blue-deployment.yml 파일을 사용하여 명명된 blue배포의 주요 측면을 구성할 수 있습니다. 해당 파일에는 다음 줄이 포함됩니다.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

blue-deployment.yml 파일을 사용하여 엔드포인트에 대한 blue 배포를 생성하려면 다음 명령어를 실행하세요.

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

blue-deployment.yaml 파일에서 줄은 path 파일을 업로드할 위치를 지정합니다. Azure Machine Learning CLI는 이 정보를 사용하여 파일을 업로드하고 모델 및 환경을 등록합니다. 프로덕션을 위한 모범 사례로, 모델 및 환경을 등록하고 YAML 코드에서 등록된 이름과 버전을 별도로 지정해야 합니다. 예를 들어 model: azureml:my-model:1모델에 대한 형식 model: azureml:<model-name>:<model-version> 을 사용합니다. 환경의 경우 형식 environment: azureml:<environment-name>:<environment-version>을 사용합니다. 예를 들어, environment: azureml:my-env:1가 있습니다.

등록을 수행하려면 model 및 environment의 YAML 정의를 별도의 YAML 파일에 추출하고 az ml model create 및 az ml environment create 명령을 사용할 수 있습니다. 이러한 명령에 대해 자세히 알아보려면 az ml model create -h 및 az ml environment create -h을 실행하십시오.

모델을 자산으로 등록하는 방법에 대한 자세한 내용은 Azure CLI 또는 Python SDK를 사용하여 모델 등록을 참조하세요. 환경을 만드는 방법에 대한 자세한 내용은 사용자 지정 환경 만들기를 참조하세요.

온라인 엔드포인트 만들기

관리형 온라인 엔드포인트를 만들려면 ManagedOnlineEndpoint 클래스를 사용합니다. 이 클래스는 엔드포인트의 주요 측면을 구성하는 방법을 제공합니다.

1. 엔드포인트 구성:

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   참고 항목

   Kubernetes 온라인 엔드포인트를 만들려면 KubernetesOnlineEndpoint 클래스를 사용합니다.

2. 엔드포인트 만들기:

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

파란색 배포 만들기

관리형 온라인 엔드포인트에 대한 배포를 만들려면 ManagedOnlineDeployment 클래스를 사용합니다. 이 클래스는 배포의 주요 측면을 구성하는 방법을 제공합니다.

1. blue 배포를 구성하십시오.

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   이 예제에서 매개 변수는 path 파일을 업로드할 위치를 지정합니다. Python SDK는 이 정보를 사용하여 파일을 업로드하고 모델 및 환경을 등록합니다. 프로덕션을 위한 모범 사례로 모델 및 환경을 등록하고 코드에 등록된 이름과 버전을 별도로 지정해야 합니다.

   모델을 자산으로 등록하는 방법에 대한 자세한 내용은 Azure CLI 또는 Python SDK를 사용하여 모델 등록을 참조하세요.

   환경을 만드는 방법에 대한 자세한 내용은 사용자 지정 환경 만들기를 참조하세요.

   참고 항목

   Kubernetes 온라인 엔드포인트에 대한 배포를 만들려면 KubernetesOnlineDeployment 클래스를 사용합니다.

2. 배포 만들기:

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Azure Machine Learning Studio에서 관리되는 온라인 엔드포인트를 만들 때 엔드포인트에 대한 초기 배포를 정의해야 합니다. 배포를 정의하려면 먼저 작업 영역에 등록된 모델이 있어야 합니다. 다음 섹션에서는 배포에 사용할 모델을 등록하는 방법을 보여줍니다.

장치 등록

모델 등록은 작업 영역의 논리적 엔터티입니다. 이 엔터티는 단일 모델 파일 또는 여러 파일의 디렉터리를 포함할 수 있습니다. 프로덕션을 위한 모범 사례로 모델 및 환경을 등록해야 합니다.

예제 모델을 등록하려면 다음 섹션의 단계를 수행합니다.

모델 파일 업로드

1. Azure Machine Learning 스튜디오로 이동합니다.

2. 모델을 선택합니다.

3. 등록을 선택한 다음 로컬 파일에서 선택합니다.

4. 모델 유형에서 지정되지 않은 형식을 선택합니다.

5. 찾아보기를 선택한 다음 폴더 찾아보기를 선택합니다.

   

6. 이전에 복제하거나 다운로드한 리포지토리의 로컬 복사본으로 이동한 다음 \azureml-examples\cli\endpoints\online\model-1\model을 선택합니다. 메시지가 표시되면 업로드를 선택하고 업로드 가 완료될 때까지 기다립니다.

7. 다음을 선택합니다.

모델 구성 및 등록

1. 모델 설정 페이지의 이름 아래에서 모델의 이름을 입력합니다. 이 문서의 단계에서는 모델 이름이 model-1이라고 가정합니다.

2. 다음을 선택한 다음 등록을 선택하여 등록을 완료합니다.

이 문서의 이후 예제에서는 리포지토리의 로컬 복사본에 \azureml-examples\cli\endpoints\online\model-2\model 폴더에서 모델을 등록해야 합니다. 해당 모델을 등록하려면 이전 두 섹션의 단계를 반복하지만 모델의 model-2이름을 지정합니다.

등록된 모델을 사용하는 방법에 대한 자세한 내용은 Azure Machine Learning에서 등록된 모델 작업(Work with Registered Model)을 참조하세요.

스튜디오에서 환경을 만드는 방법에 대한 자세한 내용은 환경 만들기를 참조하세요.

관리되는 온라인 엔드포인트 및 파란색 배포 만들기

Azure Machine Learning 스튜디오를 사용하여 브라우저에서 직접 관리되는 온라인 엔드포인트를 만들 수 있습니다. 스튜디오에서 관리형 온라인 엔드포인트를 만들 때 초기 배포를 정의해야 합니다. 비어 있는 관리형 온라인 엔드포인트를 만들 수 없습니다.

스튜디오에서 관리형 온라인 엔드포인트를 만드는 한 가지 방법은 모델 페이지에서 사용하는 것입니다. 이 방법은 또한 기존의 관리형 온라인 배포에 모델을 추가하는 쉬운 방법을 제공합니다. 모델 등록 섹션에서 이전에 등록한 이름을 지정 model-1 한 모델을 배포하려면 다음 섹션의 단계를 수행 합니다 .

모델 선택

1. Azure Machine Learning 스튜디오로 이동한 다음, 모델을 선택합니다.

2. 목록에서 모델을 선택합니다 model-1 .

3. 배포>실시간 엔드포인트를 선택합니다.

   

   엔드포인트에 대한 자세한 정보를 지정하는 데 사용할 수 있는 창이 열립니다.

   

초기 설정 구성

1. 엔드포인트 이름 아래에 엔드포인트의 이름을 입력합니다.

2. Compute 유형에서는 기본값 Managed를 유지합니다.

3. 인증 유형에서 키 기반 인증의 기본값을 유지합니다.

4. 다음을 선택한 다음 모델 페이지에서 다음을 선택합니다.

나머지 설정 구성 및 배포 만들기

1. 배포 페이지에서 다음 단계를 수행합니다.

   1. 배포 이름 아래에 파란색을 입력합니다.
   2. 나중에 스튜디오에서 엔드포인트 활동의 그래프를 보려면 다음을 수행합니다.
      1. 유추 데이터 컬렉션에서 토글을 켭니다.
      2. Application Insights 진단에서 전환 스위치를 켜십시오.
   3. 다음을 선택합니다.

2. 추론을 위한 코드 및 환경에서 다음 단계를 수행합니다.

   1. 추론을 위한 점수 매기기 스크립트 선택에서찾아보기를 선택한 다음, 이전에 복제하거나 다운로드한 리포지토리에서 \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py 파일을 선택합니다.
   2. 환경 목록 위의 검색 상자에서 sklearn을 입력한 다음 sklearn-1.5:19 큐레이팅된 환경을 선택합니다.
   3. 다음을 선택합니다.

3. 컴퓨팅 페이지에서 다음 단계를 수행합니다.

   1. 가상 머신에서 기본값을 유지합니다.
   2. 인스턴스 수에서 기본값을 1로 바꿉다.
   3. 다음을 선택합니다.

4. 라이브 트래픽 페이지에서 다음을 선택하여 blue 배포에 100%의 기본 트래픽 할당을 수락합니다.

5. 검토 페이지에서 배포 설정을 검토한 다음 만들기를 선택합니다.

   

엔드포인트 페이지에서 엔드포인트 만들기

또는 스튜디오의 엔드포인트 페이지에서 관리형 온라인 엔드포인트를 만들 수 있습니다.

1. Azure Machine Learning 스튜디오로 이동합니다.

2. 엔드포인트를 선택합니다.

3. 선택하고생성합니다.

   

   엔드포인트 및 배포에 대한 자세한 정보를 지정하는 데 사용할 수 있는 창이 열립니다.

4. 모델을 선택한 후 선택을 클릭합니다.

5. 이전 두 섹션에 설명된 대로 엔드포인트 및 배포에 대한 설정을 입력합니다. 각 단계에서 기본값을 사용하고 마지막 단계에서 만들기 를 선택하여 배포를 만듭니다.

기존 엔드포인트 및 배포의 상태를 보려면 다음 명령을 실행합니다.

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

출력에는 $ENDPOINT_NAME 엔드포인트와 blue 배포에 대한 정보가 나열됩니다.

샘플 데이터를 사용하여 엔드포인트 테스트

invoke 명령을 사용하여 엔드포인트를 호출할 수 있습니다. 다음 명령은 sample-request.json JSON 파일을 사용하여 샘플 요청을 보냅니다.

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

다음 코드를 사용하여 모델 배포의 상태를 확인합니다.

ml_client.online_endpoints.get(name=online_endpoint_name)

샘플 데이터를 사용하여 엔드포인트 테스트

앞에서 만든 인스턴스 MLClient 를 사용하여 엔드포인트에 대한 핸들을 가져올 수 있습니다. 엔드포인트를 호출하려면 다음 매개 변수와 invoke 함께 명령을 사용할 수 있습니다.

• endpoint_name: 엔드포인트의 이름입니다.
• request_file: 요청 데이터가 포함된 파일
• deployment_name: 엔드포인트에서 테스트할 배포의 이름

다음 코드는 sample-request.json JSON 파일을 사용하여 샘플 요청을 보냅니다.

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

관리형 온라인 엔드포인트 보기

스튜디오 엔드포인트 페이지에서 관리되는 모든 온라인 엔드포인트를 볼 수 있습니다. 각 엔드포인트 페이지의 세부 정보 탭에는 엔드포인트 URI, 상태, 테스트 도구, 활동 모니터, 배포 로그 및 샘플 사용 코드와 같은 중요한 정보가 표시됩니다. 이 정보를 보려면 다음 단계를 수행합니다.

1. 스튜디오에서 엔드포인트를 선택합니다. 작업 영역의 모든 엔드포인트 목록이 표시됩니다.

2. 필요에 따라 컴퓨팅 인스턴스 형식에 대한 필터를 만들어 관리되는 형식만 표시합니다.

3. 엔드포인트의 세부 정보 페이지를 보려면 엔드포인트 이름을 선택합니다.

샘플 데이터를 사용하여 엔드포인트 테스트

엔드포인트 페이지에서 테스트 탭을 사용하여 관리되는 온라인 배포를 테스트할 수 있습니다. 샘플 입력을 입력하고 결과를 보려면 다음 단계를 수행합니다.

1. 엔드포인트 페이지에서 테스트 탭으로 이동합니다. 배포 목록에서 배포가 blue 이미 선택되어 있습니다.

2. sample-request.json 파일로 이동하여 샘플 입력을 복사합니다.

3. 스튜디오에서 입력 상자에 샘플 입력을 붙여넣습니다.

4. 테스트를 선택합니다.

배포 YAML 파일에서 instance_count 값을 1로 설정합니다. 이 설정은 온라인 엔드포인트를 사용하여 기계 학습 모델 배포 및 점수 매기기에 설명된 배포에서 이루어집니다. 다음 명령을 사용하여 스케일 아웃할 수 있습니다.update

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

이전에 생성한 인스턴스 MLClient를 사용하여 배포에 대한 참조를 얻을 수 있습니다. 배포 크기를 조정하려면 값을 instance_count늘리거나 줄일 수 있습니다.

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

엔드포인트에 대한 자세한 정보 가져오기

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

인스턴스 수를 조정하여 배포를 확장 또는 축소하려면 다음 단계를 수행합니다.

1. 엔드포인트 페이지에서 세부 정보 탭으로 이동하여 배포용 카드를 찾습니다 blue .

2. 배포 카드의 헤더에서 blue 편집 아이콘을 선택합니다.

3. 인스턴스 수에서 2를 입력합니다.

4. 업데이트를 선택합니다.

green이라는 새 배포를 만듭니다.

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

트래픽을 green 배포에 명시적으로 할당하지 않았기 때문에, 할당된 트래픽은 0으로 설정됩니다. 다음 명령을 사용하여 해당 사실을 확인할 수 있습니다.

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

새 배포 테스트

비록 green 배포에 할당된 트래픽이 0%이지만, --deployment 옵션을 사용하여 직접 호출할 수 있습니다.

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

REST 클라이언트를 사용하여 트래픽 규칙을 거치지 않고 배포를 직접 호출하려면 다음 HTTP 헤더를 설정합니다. azureml-model-deployment: <deployment-name> 다음 코드에서는 CURL(Client for URL)을 사용하여 배포를 직접 호출합니다. Unix 또는 WSL(Linux용 Windows 하위 시스템) 환경에서 코드를 실행할 수 있습니다. 값을 검색하는 $ENDPOINT_KEY 방법에 대한 지침은 데이터 평면 작업에 대한 키 또는 토큰 가져오기를 참조하세요.

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

관리되는 온라인 엔드포인트에 대한 새 배포를 만들고 배포 green이름을 다음과 같이 지정합니다.

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

새 배포 테스트

배포에 green 할당된 트래픽의 0%가 있는 경우에도 엔드포인트 및 배포를 호출할 수 있습니다. 다음 코드는 sample-request.json JSON 파일을 사용하여 샘플 요청을 보냅니다.

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

관리되는 온라인 엔드포인트에 추가할 새 배포를 만들 수 있습니다. 이름이 지정된 green배포를 만들려면 다음 섹션의 단계를 수행합니다.

초기 설정 구성

1. 엔드포인트 페이지에서 세부 정보 탭으로 이동한 다음 배포 추가를 선택합니다.

2. 모델 선택 페이지에서 model-2를 선택한 다음 확인을 클릭합니다.

3. 엔드포인트 페이지와 모델 페이지에서 다음을 선택합니다.

4. 배포 페이지에서 다음 단계를 수행합니다.

   1. 배포 이름 아래에 녹색을 입력합니다.
   2. 유추 데이터 컬렉션에서 토글을 켭니다.
   3. Application Insights 진단에서 전환 스위치를 활성화합니다.
   4. 다음을 선택합니다.

5. 추론을 위한 코드 및 환경에서 다음 단계를 수행합니다.

   1. 추론에 대한 점수 매기기 스크립트 선택에서찾아보기를 선택한 다음 이전에 복제하거나 다운로드한 리포지토리에서 \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py 파일을 선택합니다.
   2. 환경 목록 위의 검색 상자에서 sklearn을 입력한 다음 sklearn-1.5:19 큐레이팅된 환경을 선택합니다.
   3. 다음을 선택합니다.

6. 컴퓨팅 페이지에서 다음 단계를 수행합니다.

   1. 가상 머신에서 기본값을 유지합니다.
   2. 인스턴스 수에서 기본값을 1로 바꿉다.
   3. 다음을 선택합니다.

나머지 설정 구성 및 배포 만들기

1. 라이브 트래픽 페이지에서 다음을 선택하여 blue 배포에 100%의 기본 트래픽 할당을, green에는 0% 할당을 허용합니다.

2. 검토 페이지에서 배포 설정을 검토한 다음 만들기를 선택합니다.

   

모델 페이지에서 배포 추가

또는 모델 페이지를 사용하여 배포를 추가할 수 있습니다.

1. 스튜디오에서 모델을 선택합니다.

2. 목록에서 모델을 선택합니다.

3. 배포>실시간 엔드포인트를 선택합니다.

4. 엔드포인트에서 기존을 선택합니다.

5. 엔드포인트 목록에서 모델을 배포할 관리되는 온라인 엔드포인트를 선택한 다음, 다음을 선택합니다.

   

6. 모델 페이지에서 다음을 선택합니다.

7. 배포 만들기를 green 완료하려면 초기 설정 구성 섹션의 4~6단계와 나머지 설정 구성 의 모든 단계를 수행하고 배포 섹션을 만듭니다.

새 배포 테스트

트래픽의 0%가 green 배포로 이동하지만, 여전히 해당 엔드포인트와 배포를 호출할 수 있습니다. 엔드포인트 페이지에서 테스트 탭을 사용하여 관리되는 온라인 배포를 테스트할 수 있습니다. 샘플 입력을 입력하고 결과를 보려면 다음 단계를 수행합니다.

1. 엔드포인트 페이지에서 테스트 탭으로 이동합니다.

2. 배포 목록에서 녹색을 선택합니다.

3. sample-request.json 파일로 이동하여 샘플 입력을 복사합니다.

4. 스튜디오에서 입력 상자에 샘플 입력을 붙여넣습니다.

5. 테스트를 선택합니다.

다음 명령을 사용하여 트래픽의 10%를 복제하여 green 배포로 보냅니다.

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

들어오는 트래픽을 수신하도록 배포를 지정하지 않고 엔드포인트를 여러 번 호출하여 미러된 트래픽을 테스트할 수 있습니다.

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

배포에서 로그를 확인하여 지정된 트래픽 백분율이 green 배포로 전송되는지 확인할 수 있습니다.

az ml online-deployment get-logs --name green --endpoint $ENDPOINT_NAME

테스트 후 미러 트래픽을 0으로 설정하여 미러링을 사용하지 않도록 설정할 수 있습니다.

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

다음 코드를 사용하여 트래픽의 10%를 미러링하고 green 배포에 보냅니다.

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

들어오는 트래픽을 수신하도록 배포를 지정하지 않고 엔드포인트를 여러 번 호출하여 미러된 트래픽을 테스트할 수 있습니다.

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

배포의 로그를 확인하여 지정된 백분율의 트래픽이 green 배포로 전송되는 것을 확인할 수 있습니다.

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

테스트 후 미러 트래픽을 0으로 설정하여 미러링을 사용하지 않도록 설정할 수 있습니다.

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

트래픽의 10%를 복제하여 green 배포로 보내려면 다음 단계를 수행합니다.

1. 엔드포인트 페이지에서 세부 정보 탭으로 이동한 다음 트래픽 업데이트를 선택합니다.

2. 미러된 트래픽 사용 설정을 켭니다.

3. 배포 이름 목록에서 녹색을 선택합니다.

4. 트래픽 할당 %기본값인 10%를 유지합니다.

5. 업데이트를 선택합니다.

이제 엔드포인트 세부 정보 페이지에는 green 배포로 10%의 미러된 트래픽 할당이 표시됩니다.

미러링된 트래픽을 테스트하려면 Azure CLI 또는 Python 탭을 참조하여 엔드포인트를 여러 번 호출합니다. 지정된 트래픽 백분율이 green 배포로 전송되는지 배포의 로그를 확인하여 확인합니다. 로그 탭으로 이동하여 엔드포인트 페이지의 배포 로그에 액세스할 수 있습니다 .

메트릭 및 로그를 사용하여 미러된 트래픽의 성능을 모니터링할 수도 있습니다. 자세한 내용은 온라인 엔드포인트 모니터링을 참조하세요.

테스트 후 다음 단계를 수행하여 미러링을 사용하지 않도록 설정할 수 있습니다.

1. 엔드포인트 페이지에서 세부 정보 탭으로 이동한 다음 트래픽 업데이트를 선택합니다.

2. 미러 트래픽 사용 토글을 꺼주세요.

3. 업데이트를 선택합니다.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

1. 엔드포인트 페이지에서 세부 정보 탭으로 이동한 다음 트래픽 업데이트를 선택합니다.

2. green 배포에 10%를 할당하고 blue 배포에 90%를 할당하여 배포 트래픽을 조정합니다.

3. 업데이트를 선택합니다.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

1. 엔드포인트 페이지에서 세부 정보 탭으로 이동한 다음 트래픽 업데이트를 선택합니다.

2. green 배포에 100%를 할당하고 blue 배포에 0%를 할당하여 배포 트래픽을 조정합니다.

3. 업데이트를 선택합니다.

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

1. 엔드포인트 페이지에서 세부 정보 탭으로 이동한 다음 배포 카드로 blue 이동합니다.

2. 배포 이름 옆에 있는 삭제 아이콘을 선택합니다.

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

1. Azure Machine Learning 스튜디오로 이동합니다.

2. 엔드포인트를 선택합니다.

3. 목록에서 엔드포인트를 선택합니다.

4. 삭제를 선택합니다.

또는 세부 정보 탭으로 이동하여 삭제 아이콘을 선택하여 엔드포인트 페이지에서 직접 관리되는 온라인 엔드포인트를 삭제할 수 있습니다.