運用環境にデプロイされたモデルのパフォーマンスを監視する

• Azure CLI と Azure CLI のml拡張機能(インストールおよび構成済み)。 詳細については、「 CLI のインストールと設定 (v2)」を参照してください。

• Bash シェルまたは互換性のあるシェル (Linux システム上のシェルや Linux 用 Windows サブシステムなど)。 この記事の Azure CLI の例では、この種類のシェルを使用することを前提としています。

• Azure Machine Learning ワークスペース。 ワークスペースを作成する手順については、「 設定」を参照してください。

• Azure Machine Learning ワークスペース。 ワークスペースを作成する手順については、「ワークスペースの 作成」を参照してください。

• Azure Machine Learning SDK for Python v2。 SDK をインストールするには、次のコマンドを使用します。

  pip install azure-ai-ml azure-identity
  

  SDK の既存のインストールを最新バージョンに更新するには、次のコマンドを使用します。

  pip install --upgrade azure-ai-ml azure-identity
  

  詳細については、「 Python 用 Azure Machine Learning パッケージ クライアント ライブラリ」を参照してください。

• Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に 無料アカウント を作成してください。

• Azure Machine Learning ワークスペース。 ワークスペースを作成する手順については、「ワークスペースの 作成」を参照してください。

• Azure Machine Learning コンピューティング インスタンス。 コンピューティング インスタンスを作成する手順については、「コンピューティング インスタンス の作成」を参照してください。

Azure CLI を使用してモニターを作成する場合は、YAML 構成ファイルを使用します。 create_monitor.compute.instance_type値を使用したい型に設定し、そのファイルに保存します。

Python SDK を使用してモニターを作成する場合は、 azure.ai.ml.entities.ServerlessSparkCompute を使用してコンピューティング インスタンスを作成します。 そのメソッドを呼び出すときに、 instance_type パラメーターを使用する型に設定します。

Azure Machine Learning Studio を使用してモニターを追加すると、[基本設定] ページが開きます。 [ 仮想マシンのサイズ] で、使用する種類を選択します。

Azure CLI では、 az ml schedule を使用して監視ジョブをスケジュールします。

1. YAML ファイルに監視定義を作成します。 即時利用可能の定義のサンプルについては、次の YAML コードを参照してください。これは azureml-examples リポジトリでも入手できます。

   この定義を使用する前に、環境に合わせて値を調整します。 endpoint_deployment_idの場合は、azureml:<endpoint-name>:<deployment-name>形式の値を使用します。

   # out-of-box-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: credit_default_model_monitoring
   display_name: Credit default model monitoring
   description: Credit default model monitoring setup with minimal configurations
   
   trigger:
     # perform model monitoring activity daily at 3:15am
     type: recurrence
     frequency: day #can be minute, hour, day, week, month
     interval: 1 # #every day
     schedule: 
       hours: 3 # at 3am
       minutes: 15 # at 15 mins after 3am
   
   create_monitor:
   
     compute: # specify a spark compute for monitoring job
       instance_type: standard_e4s_v3
       runtime_version: "3.4"
   
     monitoring_target: 
       ml_task: classification # model task type: [classification, regression, question_answering]
       endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id
   
     alert_notification: # emails to get alerts
       emails:
         - abc@example.com
         - def@example.com
   

2. 次のコマンドを実行してモデルを作成します。

   az ml schedule create -f ./out-of-box-monitoring.yaml
   

次の例のようなコードを使用します。 次のプレースホルダーを適切な値に置き換えます。

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create the compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify your online endpoint deployment.
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:<endpoint-name>:<deployment-name>"
)

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Create the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

1. Azure Machine Learning スタジオで、ワークスペースに移動します。

2. [ 管理] で [ 監視] を選択し、[追加] を選択 します。

   

3. [基本設定] ページで、次の情報を入力します。

   • (省略可能) [モデルの選択] で、監視するモデルを選択します。
   • (省略可能)データ収集を有効にした展開を選択 で、監視する展開を選択します。 モデルが Azure Machine Learning オンライン エンドポイントにデプロイされている場合は、この一覧が自動的に設定されます。
   • (省略可能) [トレーニング データの選択] で、比較参照として使用するトレーニング データを選択します。
   • [ モニター名] に監視の名前を入力するか、既定の名前をそのまま使用します。
   • [ 仮想マシンのサイズ] で、既定のサイズを使用します。
   • [ タイム ゾーン] で、タイム ゾーンを選択します。
   • スケジュール設定の場合は、[ 繰り返し ] または [Cron 式] を選択します。
   • 繰り返しスケジュールの場合は、繰り返し頻度、日、時刻を指定します。 cron 式のスケジュール設定の場合は、監視実行の cron 式を入力します。

   

4. [次へ] を選択します。

5. 次のページで、[ 次へ] を選択します。

   • データ資産を構成する
   • 監視シグナルを選択する

6. [通知] ページで、通知の受信に使用するメール アドレスを入力し、[ 次へ] を選択します。

7. [監視の詳細の確認] ページで、設定を確認し、[ 作成] を選択します。

1. YAML ファイルに監視定義を作成します。 高度な定義のサンプルについては、次の YAML コードを参照してください。これは 、azureml-examples リポジトリでも使用できます。

   この定義を使用する前に、環境のニーズに合わせて次の設定やその他の設定を調整します。

   • endpoint_deployment_idの場合は、azureml:<endpoint-name>:<deployment-name>形式の値を使用します。
   • 参照入力データ セクションの path には、 azureml:<reference-data-asset-name>:<version>形式の値を使用します。
   • target_columnの場合は、DEFAULT_NEXT_MONTHなど、モデルが予測する値を含む出力列の名前を使用します。
   • featuresでは、高度なデータ品質信号で使用するSEX、EDUCATION、AGEなどの機能を一覧表示します。
   • [ emails] で、通知に使用するメール アドレスを一覧表示します。

   # advanced-model-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: fraud_detection_model_monitoring
   display_name: Fraud detection model monitoring
   description: Fraud detection model monitoring with advanced configurations
   
   trigger:
     # perform model monitoring activity daily at 3:15am
     type: recurrence
     frequency: day #can be minute, hour, day, week, month
     interval: 1 # #every day
     schedule: 
       hours: 3 # at 3am
       minutes: 15 # at 15 mins after 3am
   
   create_monitor:
   
     compute: 
       instance_type: standard_e4s_v3
       runtime_version: "3.4"
   
     monitoring_target:
       ml_task: classification
       endpoint_deployment_id: azureml:credit-default:main
     
     monitoring_signals:
       advanced_data_drift: # monitoring signal name, any user defined name works
         type: data_drift
         # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
         reference_data:
           input_data:
             path: azureml:credit-reference:1 # use training data as comparison reference dataset
             type: mltable
           data_context: training
           data_column_names:
             target_column: DEFAULT_NEXT_MONTH
         features: 
           top_n_feature_importance: 10 # monitor drift for top 10 features
         alert_enabled: true
         metric_thresholds:
           numerical:
             jensen_shannon_distance: 0.01
           categorical:
             pearsons_chi_squared_test: 0.02
       advanced_data_quality:
         type: data_quality
         # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
         reference_data:
           input_data:
             path: azureml:credit-reference:1
             type: mltable
           data_context: training
         features: # monitor data quality for 3 individual features only
           - SEX
           - EDUCATION
         alert_enabled: true
         metric_thresholds:
           numerical:
             null_value_rate: 0.05
           categorical:
             out_of_bounds_rate: 0.03
   
       feature_attribution_drift_signal:
         type: feature_attribution_drift
         # production_data: is not required input here
         # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
         # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
         reference_data:
           input_data:
             path: azureml:credit-reference:1
             type: mltable
           data_context: training
           data_column_names:
             target_column: DEFAULT_NEXT_MONTH
         alert_enabled: true
         metric_thresholds:
           normalized_discounted_cumulative_gain: 0.9
     
     alert_notification:
       emails:
         - abc@example.com
         - def@example.com
   

2. 次のコマンドを実行してモデルを作成します。

   az ml schedule create -f ./advanced-model-monitoring.yaml
   

高度なモデル監視を設定するには、次のサンプルのようなコードを使用します。 次のプレースホルダーを適切な値に置き換えます。

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    DataDriftSignal,
    DataQualitySignal,
    PredictionDriftSignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    FeatureAttributionDriftMetricThreshold,
    FeatureAttributionDriftSignal,
    PredictionDriftMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create a compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify the online deployment if you have one.
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:<endpoint-name>:<deployment-name>"
)

# Specify a look-back window size and offset to use. Omit this line to use the default values, which are listed in the documentation.
data_window = BaselineDataRange(lookback_window_size="P1D", lookback_window_offset="P0D")

# Set up the production data.
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_window=data_window,
    data_context=MonitorDatasetContext.MODEL_INPUTS,
)

# Set up the training data to use as a reference data asset.
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<reference-data-asset-name>:1"
    ),
    data_column_names={
        "target_column":"<target-column>"
    },
    data_context=MonitorDatasetContext.TRAINING,
)

# Create an advanced data drift signal.
features = MonitorFeatureFilter(top_n_feature_importance=10)

metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced prediction drift signal.
metric_thresholds = PredictionDriftMetricThreshold(
    categorical=CategoricalDriftMetrics(
        jensen_shannon_distance=0.01
    )
)

advanced_prediction_drift = PredictionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced data quality signal.
features = ['<feature-1>', '<feature-2>', '<feature-3>']

metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create a feature attribution drift signal.
metric_thresholds = FeatureAttributionDriftMetricThreshold(normalized_discounted_cumulative_gain=0.9)

feature_attribution_drift = FeatureAttributionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'data_drift_advanced':advanced_data_drift,
    'data_quality_advanced':advanced_data_quality,
    'feature_attribution_drift':feature_attribution_drift,
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Create the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_monitor_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

高度な監視を設定するには、次のセクションの手順を実行します。

基本設定を構成する

1. Azure Machine Learning スタジオで、ワークスペースに移動します。

2. [ 管理] で [ 監視] を選択し、[追加] を選択 します。

3. [基本設定] ページで、「すぐに使用できるモデル監視を設定する」で前述した情報を入力します。

データ資産を追加する

1. [基本設定] ページで、設定を構成した後、[ 次へ] を選択します。 [ 詳細設定] セクションの [データ資産の構成] ページが開きます。

2. 参照データ資産として使用するデータ資産が表示されない場合は、[ 追加] を選択します。 次に、データ資産の設定を入力します。 データ ドリフトとデータ品質の比較参照データ資産として、モデル トレーニング データを使用することをお勧めします。 また、モデル検証データを、予測誤差の比較参照データ資産として使用します。

   

データ ドリフトの設定を編集する

1. [データ資産の構成] ページで、データ資産を追加した後、[ 次へ] を選択します。 [ 監視シグナルの選択] ページが 開きます。 Azure Machine Learning オンライン デプロイを使用している場合は、いくつかの監視シグナルが表示されます。 データ ドリフト、データ品質、予測誤差のシグナルは、最近の過去の運用データを比較参照データ資産として使用し、メトリックとしきい値にスマートな既定値を使用します。

   

2. データ ドリフト信号の横にある [編集] を選択します。

3. [ 信号の編集] ウィンドウで、次の手順を実行してデータ ドリフト信号を構成します。

   1. 手順 1:
      1. 運用データ資産の場合は、モデル入力データ資産を選択します。
      2. 使用するルックバック ウィンドウのサイズを選択します。
   2. 手順 2:
      1. 参照データ資産については、トレーニング データ資産を選択します。
      2. ターゲット (出力) 列を選択します。
   3. 手順 3 で、 上位 N 個の特徴を選択して、 N 個の最も重要な特徴の誤差を監視します。 または、特定のセットのドリフトを監視する場合は、特定の機能を選択します。
   4. 手順 4 で、数値特徴に使用するメトリックとしきい値を選択します。
   5. 手順 5 で、カテゴリの特徴に使用するメトリックとしきい値を選択します。
   6. 保存 を選択します。

   

特徴量属性ドリフト シグナルを追加する

1. [監視シグナルの選択] ページで、[ 追加] を選択します。

2. [シグナルの編集] ウィンドウで、[ 機能の属性の誤差 (プレビュー)] を選択し、次の手順を実行して機能属性の誤差信号を構成します。

   1. 手順 1:
      1. モデル入力データを含む運用データ資産を選択します。
      2. 使用するルックバック ウィンドウのサイズを選択します。
   2. 手順 2:
      1. モデル出力データを含む運用データ資産を選択します。
      2. 運用データと出力データの結合に使用する共通列を選択します。 データ コレクターを使用してデータを収集する場合は、correlationid を選択します。
   3. (省略可能)データ コレクターを使用して、入力データと出力データを結合する形式で収集する場合は、次の手順を実行します。
      1. 手順 1 で、運用データ資産に対して、結合されたデータ資産を選択します。
      2. 手順 2 で、[ 削除 ] を選択して、構成パネルから手順 2 を削除します。
   4. 手順 3:
      1. 参照データ資産については、トレーニング データ資産を選択します。
      2. トレーニング データ資産のターゲット (出力) 列を選択します。
   5. 手順 4 で、使用するメトリックとしきい値を選択します。
   6. 保存 を選択します。

   

構成を完了する

1. [監視信号の選択] ページで、監視信号の構成を完了し、[ 次へ] を選択します。

   

2. [通知] ページで、各シグナルの通知をオンにし、[ 次へ] を選択します。

3. [監視の詳細の確認] ページで、設定を確認します。

   

4. [作成] を選択して、高度なモデル モニターを作成します。

モデル パフォーマンス監視の前提条件を満たしたら、次の手順を実行してモデルの監視を設定します。

1. YAML ファイルに監視定義を作成します。 次のサンプル仕様では、運用環境の推論データを使用したモデル監視を定義します。 この定義を使用する前に、環境のニーズに合わせて次の設定やその他の設定を調整します。

   • endpoint_deployment_idの場合は、azureml:<endpoint-name>:<deployment-name>形式の値を使用します。
   • 入力データ セクションの path 値ごとに、 azureml:<data-asset-name>:<version>形式の値を使用します。
   • prediction値には、モデルが予測する値を含む出力列の名前を使用します。
   • actual値には、モデルが予測しようとする実際の値を含む地表真理値列の名前を使用します。
   • correlation_id 値には、出力データとグラウンド トゥルース データの結合に使用される列の名前を使用します。
   • [ emails] で、通知に使用するメール アドレスを一覧表示します。

   # model-performance-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: model_performance_monitoring
   display_name: Credit card fraud model performance
   description: Credit card fraud model performance
   
   trigger:
     type: recurrence
     frequency: day
     interval: 7 
     schedule: 
       hours: 10
       minutes: 15
   
   create_monitor:
     compute: 
       instance_type: standard_e8s_v3
       runtime_version: "3.3"
     monitoring_target:
       ml_task: classification
       endpoint_deployment_id: azureml:loan-approval-endpoint:loan-approval-deployment
   
     monitoring_signals:
       fraud_detection_model_performance: 
         type: model_performance 
         production_data:
           input_data:
             path: azureml:credit-default-main-model_outputs:1
             type: mltable
           data_column_names:
             prediction: is_fraud
             correlation_id: correlation_id
         reference_data:
           input_data:
             path: azureml:my_model_ground_truth_data:1
             type: mltable
           data_column_names:
             actual: is_fraud
             correlation_id: correlation_id
           data_context: ground_truth
         alert_enabled: true
         metric_thresholds: 
           tabular_classification:
             accuracy: 0.95
             precision: 0.8
     alert_notification: 
         emails: 
           - abc@example.com
   

2. 次のコマンドを実行してモデルを作成します。

   az ml schedule create -f ./model-performance-monitoring.yaml
   

モデル パフォーマンス監視の前提条件を満たしたら、次の Python コードを使用してモデルの監視を設定します。 まず、次のプレースホルダーを適切な値に置き換えます。

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    ModelPerformanceMetricThreshold,
    ModelPerformanceSignal,
    ModelPerformanceClassificationThresholds,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="<subscription-ID>",
    resource_group_name="<resource-group-name>",
    workspace_name="<workspace-name>",
)

# Create a compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify the type of the model task.
monitoring_target = MonitoringTarget(
    ml_task="classification",
)

# Specify production data that the model data collector generates. 
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_column_names={
        "target_column": "<production-target-column>",
        "join_column": "<production-join-column>"
    },
    data_window=BaselineDataRange(
        lookback_window_offset="P0D",
        lookback_window_size="P10D",
    )
)

# Specify the ground truth reference data.
reference_data_ground_truth = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<ground-truth-data-asset-name>:1"
    ),
    data_column_names={
        "target_column": "<ground-truth-target-column>",
        "join_column": "<ground-truth-join-column>"
    },
    data_context=MonitorDatasetContext.GROUND_TRUTH_DATA,
)

# Create the model performance signal.
metric_thresholds = ModelPerformanceMetricThreshold(
    classification=ModelPerformanceClassificationThresholds(
        accuracy=0.50,
        precision=0.50,
        recall=0.50
    ),
)

model_performance = ModelPerformanceSignal(
    production_data=production_data,
    reference_data=reference_data_ground_truth,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'model_performance':model_performance,
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Set up the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="credit_default_model_performance",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

モデルのパフォーマンス監視を設定するには、次のセクションの手順を実行します。

基本設定を構成する

1. Azure Machine Learning スタジオで、ワークスペースに移動します。

2. [ 管理] で [ 監視] を選択し、[追加] を選択 します。

3. [基本設定] ページで、「すぐに使用できるモデル監視を設定する」で前述した情報を入力します。

データ資産を追加する

1. [基本設定] ページで、[ 次へ ] を選択して、[ 詳細設定 ] セクションの [データ資産の構成] ページを開きます。

2. 追加 を選択し、基盤データ資産として使用するデータ資産を追加してください。 グラウンド トゥルース データ資産には、一意の ID 列が必要です。 また、グラウンド トゥルース データ資産とモデル出力データ資産の一意の ID 列の値が一致している必要があります。 これらのデータ資産は、メトリック計算が行われる前に結合できます。

   

3. 追加されたデータ資産の一覧にモデル出力データ資産が表示されない場合は、[ 追加] を選択して追加します。

   

パフォーマンス監視シグナルを追加する

1. [データ資産の構成] ページで、[ 次へ] を選択します。 [監視シグナルの選択] ページが開きます。 Azure Machine Learning オンライン デプロイを使用している場合は、監視シグナルの一覧が表示されます。

2. ページに表示される監視シグナルをすべて削除します。 このセクションでは、モデル パフォーマンス監視シグナルを作成することに重点を置きます。

3. [追加] を選択します。

4. [シグナルの編集] ウィンドウで[ モデル パフォーマンス (プレビュー)]を選択し、次の手順に従ってモデル パフォーマンス シグナルを構成します。

   1. 手順 1:
      1. 運用データ資産の場合は、モデル出力データ資産を選択します。
      2. 適切なターゲット列 (たとえば、 DEFAULT_NEXT_MONTH) を選択します。
      3. 使用するルックバック ウィンドウのサイズとオフセットを選択します。
   2. 手順 2:
      1. 参照データ資産の場合は、グラウンド トゥルース データ資産を選択します。
      2. ターゲット列 (たとえば、 ground_truth) を選択します。
      3. モデル出力データ資産との結合に使用する列 ( correlationidなど) を選択します。 どちらのデータ資産にもその列が含まれている必要があり、データ資産の各行に一意の ID が含まれている必要があります。
   3. 手順 3 で、使用するパフォーマンス メトリックを選択し、それぞれのしきい値を指定します。

   

5. 保存 を選択します。 [監視信号の選択] ページで、モデルパフォーマンス信号が表示されます。

   

構成を完了する

1. [監視シグナルの選択] ページで、[ 次へ] を選択します。

2. [通知] ページで、モデル パフォーマンス シグナルの通知を有効にして、[ 次へ] を選択します。

3. [監視設定の確認] ページで、設定を確認します。

   

4. [作成] を選択して、モデル パフォーマンス監視を作成します。

1. 次のような監視定義 YAML ファイルを作成します。 この定義を使用する前に、環境のニーズに合わせて次の設定やその他の設定を調整します。

   • endpoint_deployment_idの場合は、azureml:<endpoint-name>:<deployment-name>形式の値を使用します。
   • pre_processing_componentの場合は、azureml:<component-name>:<component-version>形式の値を使用します。 1ではなく、1.0.0などの正確なバージョンを指定します。
   • pathごとに、azureml:<data-asset-name>:<version>形式の値を使用します。
   • target_column値には、モデルが予測する値を含む出力列の名前を使用します。
   • [ emails] で、通知に使用するメール アドレスを一覧表示します。

   # model-monitoring-with-collected-data.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: fraud_detection_model_monitoring
   display_name: Fraud detection model monitoring
   description: Fraud detection model monitoring with your own production data
   
   trigger:
     # perform model monitoring activity daily at 3:15am
     type: recurrence
     frequency: day #can be minute, hour, day, week, month
     interval: 1 # #every day
     schedule: 
       hours: 3 # at 3am
       minutes: 15 # at 15 mins after 3am
   
   create_monitor:
     compute: 
       instance_type: standard_e4s_v3
       runtime_version: "3.4"
     monitoring_target:
       ml_task: classification
       endpoint_deployment_id: azureml:fraud-detection-endpoint:fraud-detection-deployment
     
     monitoring_signals:
   
       advanced_data_drift: # monitoring signal name, any user defined name works
         type: data_drift
         # define production dataset with your collected data
         production_data:
           input_data:
             path: azureml:my_production_inference_data_model_inputs:1  # your collected data is registered as Azure Machine Learning asset
             type: uri_folder
           data_context: model_inputs
           pre_processing_component: azureml:production_data_preprocessing:1.0.0
         reference_data:
           input_data:
             path: azureml:my_model_training_data:1 # use training data as comparison baseline
             type: mltable
           data_context: training
           data_column_names:
             target_column: is_fraud
         features: 
           top_n_feature_importance: 20 # monitor drift for top 20 features
         alert_enabled: true
         metric_thresholds:
           numerical:
             jensen_shannon_distance: 0.01
           categorical:
             pearsons_chi_squared_test: 0.02
   
       advanced_prediction_drift: # monitoring signal name, any user defined name works
         type: prediction_drift
         # define production dataset with your collected data
         production_data:
           input_data:
             path: azureml:my_production_inference_data_model_outputs:1  # your collected data is registered as Azure Machine Learning asset
             type: uri_folder
           data_context: model_outputs
           pre_processing_component: azureml:production_data_preprocessing:1.0.0
         reference_data:
           input_data:
             path: azureml:my_model_validation_data:1 # use training data as comparison reference dataset
             type: mltable
           data_context: validation
         alert_enabled: true
         metric_thresholds:
           categorical:
             pearsons_chi_squared_test: 0.02
     
     alert_notification:
       emails:
         - abc@example.com
         - def@example.com
   

2. 次のコマンドを実行してモデルを作成します。

   az ml schedule create -f ./model-monitoring-with-collected-data.yaml
   

次の Python コードに似たスクリプトを使用して、モデルの監視を設定します。 まず、次のプレースホルダーを適切な値に置き換えます。

from azure.identity import InteractiveBrowserCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorFeatureType,
    MonitorMetricName,
    MonitorDatasetContext
)
from azure.ai.ml.entities import (
    AlertNotification,
    DataDriftSignal,
    DataQualitySignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitorInputData,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# Get a handle to the workspace.
subscription_id = "<subscription-ID>"
resource_group = "<resource-group-name>"
workspace = "<workspace-name>"
ml_client = MLClient(
   InteractiveBrowserCredential(),
   subscription_id,
   resource_group,
   workspace
)

# Specify the compute instance.
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# Specify the target data asset (the production data asset).
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:<production-data-asset-name>:1"
    ),
    data_context=MonitorDatasetContext.MODEL_INPUTS,
    pre_processing_component="azureml:<preprocessing-component-name>:1.0.0"
)

# Specify the training data to use as a reference data asset.
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:<training-data-asset-name>:1"
    ),
    data_context=MonitorDatasetContext.TRAINING
)

# Create an advanced data drift signal.
features = MonitorFeatureFilter(top_n_feature_importance=20)
metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Create an advanced data quality signal.
features = ['feature_A', 'feature_B', 'feature_C']
metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=True
)

# Put all monitoring signals in a dictionary.
monitoring_signals = {
    'data_drift_advanced': advanced_data_drift,
    'data_quality_advanced': advanced_data_quality
}

# Create an alert notification object.
alert_notification = AlertNotification(
    emails=['<email-address-1>', '<email-address-2>']
)

# Set up the monitor definition.
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# Specify the schedule frequency.
recurrence_trigger = RecurrenceTrigger(
    frequency="<frequency-unit>",
    interval=<interval>,
    schedule=RecurrencePattern(hours=<start-hour>, minutes=<start-minutes>)
)

# Create the monitoring schedule.
model_monitor = MonitorSchedule(
    name="fraud_detection_model_monitoring_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

# Schedule the monitoring job.
poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

現在、スタジオでは、Azure Machine Learning の外部にデプロイされているモデルの監視の構成はサポートされていません。 代わりに、Azure CLI または Python SDK のタブをご覧ください。

Azure CLI または Python SDK を使用して監視を構成した後、スタジオで監視結果を表示できます。 監視結果の解釈の詳細については、「監視結果の 解釈」を参照してください。

Azure Machine Learning でカスタムシグナルコンポーネントを作成して登録したら、次の手順を実行してモデル監視を設定します。

1. 次のような監視定義を YAML ファイルに作成します。 この定義を使用する前に、環境のニーズに合わせて次の設定やその他の設定を調整します。

   • component_idの場合は、azureml:<custom-signal-name>:1.0.0形式の値を使用します。
   • 入力データ セクションの path には、 azureml:<production-data-asset-name>:<version>形式の値を使用します。
   • pre_processing_componentの場合:
     • データ コレクターを使用してデータを収集する場合は、pre_processing_component プロパティを省略できます。
     • データ コレクターを使用せず、コンポーネントを使用して運用データを前処理する場合は、 azureml:<custom-preprocessor-name>:<custom-preprocessor-version>形式の値を使用します。
   • [ emails] で、通知に使用するメール アドレスを一覧表示します。

   # custom-monitoring.yaml
   $schema:  http://azureml/sdk-2-0/Schedule.json
   name: my-custom-signal
   trigger:
     type: recurrence
     frequency: day # Possible frequency values include "minute," "hour," "day," "week," and "month."
     interval: 7 # Monitoring runs every day when you use the value 1.
   create_monitor:
     compute:
       instance_type: "standard_e4s_v3"
       runtime_version: "3.3"
     monitoring_signals:
       customSignal:
         type: custom
         component_id: azureml:my_custom_signal:1.0.0
         input_data:
           production_data:
             input_data:
               type: uri_folder
               path: azureml:my_production_data:1
             data_context: test
             data_window:
               lookback_window_size: P30D
               lookback_window_offset: P7D
             pre_processing_component: azureml:custom_preprocessor:1.0.0
         metric_thresholds:
           - metric_name: std_deviation
             threshold: 2
     alert_notification:
       emails:
         - abc@example.com
   

2. 次のコマンドを実行してモデルを作成します。

   az ml schedule create -f ./custom-monitoring.yaml
   

Python SDK では現在、カスタムシグナルの監視はサポートされていません。 代わりに Azure CLI タブを使用してください。

現在、スタジオではカスタム信号の監視はサポートされていません。 代わりに Azure CLI タブを使用してください。