사용자 지정 컨테이너를 사용하여 모델을 온라인 엔드포인트에 배포

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

예제 리포지토리에서 대부분의 Python 샘플은 sdk/python 폴더 아래에 있습니다. 이 문서의 경우 대신 cli 폴더로 이동합니다. cli 폴더 아래의 폴더 구조는 이 경우 sdk/python 구조와 약간 다릅니다. 이 문서의 대부분의 단계에는 cli 구조가 필요합니다.

예제 단계를 수행하려면 예제 리포지토리에서 Jupyter Notebook을 참조하세요. 그러나 해당 Notebook의 다음 섹션에서는 cli 폴더 대신 azureml-examples/sdk/python 폴더에서 단계가 실행됩니다.

• 3. 로컬에서 테스트
• 5. 샘플 데이터로 엔드포인트 테스트

엔드포인트 및 배포를 위한 YAML 파일 만들기

YAML을 사용하여 클라우드 배포를 구성할 수 있습니다. 예를 들어 엔드포인트를 구성하려면 다음 줄이 포함된 tfserving-endpoint.yml YAML 파일을 만들 수 있습니다.

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

배포를 구성하려면 다음 줄이 포함된 tfserving-deployment.yml YAML 파일을 만들 수 있습니다.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: <model-version>
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/<model-version>
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

Azure Machine Learning 작업 영역에 연결

Azure Machine Learning 작업 영역을 구성하려면 다음 단계를 수행합니다.

1. 필요한 라이브러리 가져오기:

   # Import the required libraries.
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
      ManagedOnlineEndpoint,
      ManagedOnlineDeployment,
      Model,
      Environment,
      CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential
   

2. 작업 영역 설정을 구성하고 작업 영역에 대한 핸들을 가져옵니다.

   # Enter information about your Azure Machine Learning workspace.
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace = "<Azure-Machine-Learning-workspace-name>"
   
   # Get a handle to the workspace.
   ml_client = MLClient(
     DefaultAzureCredential(), subscription_id, resource_group, workspace
   )
   

자세한 내용은 온라인 엔드포인트를 사용하여 기계 학습 모델 배포 및 점수 매기기를 참조하세요.

온라인 엔드포인트 구성

다음 코드를 사용하여 온라인 엔드포인트를 구성합니다. 다음 사항에 유의하세요.

• 엔드포인트의 이름은 Azure 지역에서 고유해야 합니다. 또한 엔드포인트 이름은 문자로 시작해야 하며 영숫자 문자와 하이픈으로만 구성되어야 합니다. 명명 규칙에 대한 자세한 내용은 Azure Machine Learning 온라인 엔드포인트 및 일괄 처리 엔드포인트를 참조하세요.
• auth_mode 값을 위해 key를 키 기반 인증에 사용하십시오. Azure Machine Learning 토큰 기반 인증에 대해 aml_token을 사용합니다. 키는 만료되지 않지만 토큰은 만료됩니다. 인증에 대한 자세한 내용은 온라인 엔드포인트에 대한 클라이언트 인증을 참조하세요.
• 설명 및 태그는 선택 사항입니다.

# To create a unique endpoint name, use a time stamp of the current date and time.
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# Configure an online endpoint.
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="A sample online endpoint",
    auth_mode="key",
    tags={"env": "dev"},
)

온라인 배포 구성

배포는 실제 추론을 수행하는 모델을 호스팅하는 데 필요한 리소스 집합입니다. 클래스를 ManagedOnlineDeployment 사용하여 엔드포인트에 대한 배포를 구성할 수 있습니다. 해당 클래스의 생성자는 다음 매개 변수를 사용합니다.

• name: 배포의 이름입니다.
• endpoint_name: 배포를 만들 엔드포인트의 이름입니다.
• model: 배포에 사용할 모델입니다. 이 값은 작업 영역에서 기존 버전의 모델에 대한 참조 또는 인라인 모델 사양일 수 있습니다.
• environment: 배포에 사용할 환경입니다. 이 값은 작업 영역에서 기존 버전의 환경에 대한 참조 또는 인라인 환경 사양일 수 있습니다.
• environment_variables: 배포 중에 설정된 환경 변수입니다.
  • MODEL_BASE_PATH: 모델에 대한 폴더가 포함된 부모 폴더의 경로입니다.
  • MODEL_NAME: 모델의 이름입니다.
• instance_type: 배포에 사용할 가상 머신 크기입니다. 지원되는 크기 목록은 관리형 온라인 엔드포인트 SKU 목록을 참조하세요.
• instance_count: 배포에 사용할 인스턴스 수입니다.

다음 코드를 사용하여 엔드포인트에 대한 배포를 구성합니다.

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

tfserving-deployment.yml 파일에 해당 섹션에 다음 줄이 포함되어 있다고 model 가정합니다. 이 섹션에서 값은 name Azure Machine Learning에서 모델을 등록하는 데 사용하는 이름을 참조합니다.

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

다음 코드를 사용하여 Model 클래스를 만든다고 가정해 보겠습니다. 이 코드에서 값은 name Azure Machine Learning에서 모델을 등록하는 데 사용하는 이름을 나타냅니다.

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

예를 들어 매개 변수를 model_mount_path tfserving-deployment.yml 파일에 추가할 수 있습니다. MODEL_BASE_PATH 값을 해당 파일에서 업데이트할 수도 있습니다.

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
environment_variables:
  MODEL_BASE_PATH: /var/tfserving-model-mount
...

예를 들어 클래스에 매개 변수를 model_mount_path 추가할 수 있습니다 ManagedOnlineDeployment . 해당 코드에서 MODEL_BASE_PATH 값을 업데이트할 수도 있습니다.

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    environment_variables={
        "MODEL_BASE_PATH": "/var/tfserving-model-mount",
    ...
)

YAML 파일을 생성한 후 다음 명령을 사용하여 엔드포인트를 만듭니다.

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-endpoint.yml

다음 명령을 사용하여 배포를 만듭니다. 이 단계는 몇 분 동안 실행될 수 있습니다.

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-deployment.yml --all-traffic

다음 코드를 사용하여 작업 영역에서 엔드포인트를 만듭니다. 이 코드는 이전에 만든 인스턴스를 MLClient 사용합니다. 메서드는 begin_create_or_update 엔드포인트 만들기를 시작합니다. 그런 다음, 엔드포인트 만들기가 계속되는 동안 확인 응답을 반환합니다.

ml_client.begin_create_or_update(endpoint)

다음 코드를 실행하여 배포를 만듭니다.

ml_client.begin_create_or_update(blue_deployment)

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

앞에서 만든 인스턴스를 MLClient 사용하여 엔드포인트에 대한 참조를 가져옵니다. 그런 다음, 메서드와 다음 매개 변수를 사용하여 invoke 엔드포인트를 호출합니다.

• endpoint_name: 엔드포인트의 이름입니다.
• request_file: 요청 데이터가 포함된 파일
• deployment_name: 엔드포인트에서 테스트할 배포의 이름입니다.

요청 데이터의 경우 예제 리포지토리의 샘플 JSON 파일을 사용할 수 있습니다.

# Test the blue deployment by using some sample data.
response = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample_request.json",
)

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)