Computer Vision モデルをトレーニングするために AutoML を設定する

適用対象:Azure CLI ML 拡張機能 v2 (現行)Python SDK azure-ai-ml v2 (現行)

この記事では、自動 ML を使用して画像データに対してコンピューター ビジョン モデルをトレーニングする方法について説明します。 モデルは、Azure Machine Learning CLI 拡張機能 v2 または Azure Machine Learning Python SDK v2 を使用してトレーニングできます。

自動 ML では、画像分類、物体検出、インスタンス セグメント化などの Computer Vision タスク用のモデル トレーニングがサポートされています。 現在、コンピューター ビジョン タスク用の AutoML モデルの作成は、Azure Machine Learning Python SDK を通じてサポートされています。 Azure Machine Learning Studio UI から、結果として得られる実験の試用版、モデル、出力にアクセスできます。 画像データに対する Computer Vision タスク用の自動 ML の詳細を確認します。

前提条件

タスクの種類の選択

画像の自動 ML では、次のタスクの種類がサポートされています。

task: image_object_detection

from azure.ai.ml import automl
image_object_detection_job = automl.image_object_detection()

データをトレーニングして検証する

コンピューター ビジョン モデルを生成するには、モデル トレーニングの入力としてラベル付けされた画像データを MLTableの形式で取り込みます。 MLTable は JSONL 形式のトレーニング データから作成できます。

トレーニング データがパスカル VOC や COCO などの別の形式の場合は、サンプル ノートブックに含まれているヘルパー スクリプトを使用して、データを JSONL に変換できます。 詳細については、「 自動 ML を使用したコンピューター ビジョン タスクのデータの準備」を参照してください。

JSONL スキーマのサンプル

TabularDataset の構造は、手元のタスクによって異なります。 Computer Vision タスクの種類の場合、次のフィールドで構成されます。

次のコードは、画像分類のサンプル JSONL ファイルです:

{
      "image_url": "azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/image_data/Image_01.png",
      "image_details":
      {
          "format": "png",
          "width": "2230px",
          "height": "4356px"
      },
      "label": "cat"
  }
  {
      "image_url": "azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/image_data/Image_02.jpeg",
      "image_details":
      {
          "format": "jpeg",
          "width": "3456px",
          "height": "3467px"
      },
      "label": "dog"
  }

次のコードは、物体検出のサンプル JSONL ファイルです。

{
    "image_url": "azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/image_data/Image_01.png",
    "image_details":
    {
        "format": "png",
        "width": "2230px",
        "height": "4356px"
    },
    "label":
    {
        "label": "cat",
        "topX": "1",
        "topY": "0",
        "bottomX": "0",
        "bottomY": "1",
        "isCrowd": "true",
    }
}
{
    "image_url": "azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/image_data/Image_02.png",
    "image_details":
    {
        "format": "jpeg",
        "width": "1230px",
        "height": "2356px"
    },
    "label":
    {
        "label": "dog",
        "topX": "0",
        "topY": "1",
        "bottomX": "0",
        "bottomY": "1",
        "isCrowd": "false",
    }
}

データの使用

データを JSONL 形式に変換した後、次の例に示すように、トレーニングファイルと検証 MLTable ファイルを作成します。

paths:
  - file: ./train_annotations.jsonl
transformations:
  - read_json_lines:
        encoding: utf8
        invalid_lines: error
        include_path_column: false
  - convert_column_types:
      - columns: image_url
        column_type: stream_info

自動 ML では、Computer Vision タスク用のトレーニングまたは検証データのサイズに制約はありません。 データセットの背後にあるストレージ レイヤー (BLOB ストアなど) は、データセットの最大サイズを設定します。 画像またはラベルの最小数はありません。 ただし、ラベルあたり少なくとも 10 ~ 15 個のサンプルから始めて、出力モデルが十分にトレーニングされていることを確認します。 ラベルまたはクラスの合計数が多いほど、ラベルごとに必要なサンプルが多くなります。

target_column_name: label
training_data:
  path: data/training-mltable-folder
  type: mltable
validation_data:
  path: data/validation-mltable-folder
  type: mltable

from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes

# Training MLTable defined locally, with local data to be uploaded
my_training_data_input = Input(type=AssetTypes.MLTABLE, path=training_mltable_path)

# Validation MLTable defined locally, with local data to be uploaded
my_validation_data_input = Input(type=AssetTypes.MLTABLE, path=validation_mltable_path)

# WITH REMOTE PATH: If available already in the cloud/workspace-blob-store
# my_training_data_input = Input(type=AssetTypes.MLTABLE, path="azureml://datastores/workspaceblobstore/paths/vision-classification/train")
# my_validation_data_input = Input(type=AssetTypes.MLTABLE, path="azureml://datastores/workspaceblobstore/paths/vision-classification/valid")

from azure.ai.ml import automl
image_object_detection_job = automl.image_object_detection(
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="label"
)

実験を実行するために計算する

モデル トレーニングを実施する自動 ML のコンピューティング ターゲットを指定します。 Computer Vision タスク用の自動 ML モデルでは、GPU SKU が必要であり、NC ファミリと ND ファミリがサポートされています。 トレーニングを高速化するには、NCsv3 シリーズ (v100 GPU を含む) を使用します。 マルチ GPU VM SKU を使用するコンピューティング ターゲットで、複数の GPU を利用することでもトレーニングが高速化されます。 さらに、複数のノードでコンピューティング ターゲットを設定する場合に、モデルのハイパーパラメーターを調整するときに、並列処理を使用してモデルのトレーニングを高速化できます。

compute パラメーターを使用して計算ターゲットを渡します。 次に例を示します。

compute: azureml:gpu-cluster

from azure.ai.ml import automl

compute_name = "gpu-cluster"
image_object_detection_job = automl.image_object_detection(
    compute=compute_name,
)

実験を構成する

コンピューター ビジョン タスクの場合は、個々の 試用版、 手動スイープ、または 自動スイープを起動できます。 自動スイープから始めて、最初のベースライン モデルを取得します。 次に、特定のモデルとハイパーパラメーター構成で個々の試用版を試します。 最後に、手動スイープを使用して、より有望なモデルとハイパーパラメーター構成の近くにある複数のハイパーパラメーター値を調べることができます。 この 3 つのステップ ワークフロー (自動スイープ、個々の試行、手動スイープ) により、ハイパーパラメーターの数が指数関数的に増加するハイパーパラメーター空間全体の検索を回避できます。

自動スイープを使用すると、多くのデータセットで競争力のある結果が得られます。 さらに、モデル アーキテクチャに関する高度な知識は必要ありません。 ハイパーパラメーターの相関関係を考慮に入れ、異なるハードウェア セットアップ間でシームレスに動作します。 これらすべての理由により、実験プロセスの初期段階で強力なオプションになります。

主要メトリック

AutoML トレーニング ジョブは、モデルの最適化とハイパーパラメーターのチューニングにプライマリ メトリックを使用します。 プライマリ メトリックは、次の一覧に示すように、タスクの種類によって異なります。 その他の主要メトリック値は現在サポートされていません。

• 画像分類の精度
• 画像分類マルチラベルの和集合の共通部分
• 画像物体検出の平均精度
• 画像インスタンス セグメント化の平均精度

ジョブの制限

次の例で説明するように、制限設定でジョブの timeout_minutes、 max_trials、および max_concurrent_trials を指定することで、AutoML Image トレーニング ジョブに費やされるリソースを制御できます。

limits:
  timeout_minutes: 60
  max_trials: 10
  max_concurrent_trials: 2

# Set limits
image_object_detection_job.set_limits(
    timeout_minutes=60,
    max_trials=10,
    max_concurrent_trials=2,
)

モデルのハイパーパラメーターの自動スイープ (AutoMode)

データセットに最適なモデル アーキテクチャとハイパーパラメーターを予測するのは困難です。 また、ハイパーパラメーターのチューニングに割り当てられる人間の時間が制限される場合もあります。 コンピュータ ビジョン タスクの場合、試行回数を指定すると、スイープするハイパーパラメーター空間の領域がシステムによって自動的に決定されます。 ハイパーパラメーター検索スペース、サンプリング メソッド、または早期終了ポリシーを定義する必要はありません。

AutoMode のトリガー

max_trialsを limits の 1 より大きい値に設定し、検索領域、サンプリング 方法、終了ポリシーを指定しないことで、自動スイープを実行します。 この機能は AutoMode です。 次の例を参照してください。

limits:
  max_trials: 10
  max_concurrent_trials: 2

image_object_detection_job.set_limits(max_trials=10, max_concurrent_trials=2)

10 ~ 20 回の試行を実行すると、多くのデータセットで適切に動作します。 AutoML ジョブの 時間予算 を設定することはできますが、各試用版に時間がかかる場合にのみ、この値を設定します。

個々の試行

個々の試行では、モデル アーキテクチャとハイパーパラメーターを直接制御します。 model_name パラメーターを使用してモデル アーキテクチャを渡します。

サポートされているモデル アーキテクチャ

次の表は、各 Computer Vision タスクでサポートされている従来版モデルをまとめたものです。 これらのレガシ モデルのみを使用すると、レガシ ランタイムを使用する実行がトリガーされます。ここで、個々の実行または試用版はコマンド ジョブとして送信されます。 HuggingFace と MMDetection のサポートについては、次のセクションを参照してください。

サポートされているモデル アーキテクチャ - HuggingFace と MMDetection

Azure Machine Learning パイプラインで実行される新しいバックエンドを使用すると、トランスフォーマー ライブラリの一部である HuggingFace Hub の画像分類モデル (microsoft/beit-base-patch16-224 など) を使用できます。 MMDetection バージョン 3.1.0 Model Zoo (atss_r50_fpn_1x_coco など) のオブジェクト検出またはインスタンスセグメント化モデルを使用することもできます。

HuggingFace Transformers および MMDetection 3.1.0 のモデルをサポートするだけでなく、Azure Machine Learning レジストリには、これらのライブラリからキュレーションされたモデルの一覧が用意されています。 これらのキュレーションされたモデルは徹底的にテストされ、広範なベンチマークから選択された既定のハイパーパラメーターを使用して、効果的なトレーニングを保証します。 次の表は、これらのキュレーションされたモデルをまとめたものです。

キュレーションされたモデルの一覧は常に更新されます。 Python SDK を使用すると、特定のタスクのための最新のキュレーションされたモデルの一覧を取得できます。

credential = DefaultAzureCredential()
ml_client = MLClient(credential, registry_name="azureml")

models = ml_client.models.list()
classification_models = []
for model in models:
    model = ml_client.models.get(model.name, label="latest")
    if model.tags['task'] == 'image-classification': # choose an image task
        classification_models.append(model.name)

classification_models

Output:

['google-vit-base-patch16-224',
 'microsoft-swinv2-base-patch4-window12-192-22k',
 'facebook-deit-base-patch16-224',
 'microsoft-beit-base-patch16-224-pt22k-ft22k']

HuggingFace または MMDetection モデルを使用すると、パイプライン コンポーネントを使用する実行がトリガーされます。 レガシ モデルと HuggingFace/MMdetection モデルの両方を使用する場合、すべての実行と試用版でコンポーネントが使用されます。

モデル アーキテクチャの制御に加えて、モデルのトレーニングに使用されるハイパーパラメーターも調整できます。 公開されているハイパーパラメーターの多くはモデルに依存しませんが、一部のハイパーパラメーターはタスク固有またはモデル固有です。 これらのインスタンスで使用できるハイパーパラメーターの詳細について確認してください。

training_parameters:
    model_name: yolov5

image_object_detection_job.set_training_parameters(model_name="yolov5")

モデル ハイパーパラメーターの手動スイープ

コンピューター ビジョン モデルをトレーニングする場合、モデルのパフォーマンスは、選択したハイパーパラメーター値に大きく依存します。 多くの場合、最適なパフォーマンスを得るにはハイパーパラメーターを調整する必要があります。 Computer Vision タスクの場合、ハイパーパラメーターをスイープして、モデルに最適な設定を見つけることができます。 この機能は、Azure Machine Learning のハイパーパラメーター調整機能に該当します。 ハイパーパラメーターを調整する方法を確認してください。

search_space:
  - model_name:
      type: choice
      values: [yolov5]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.01
    model_size:
      type: choice
      values: [small, medium]

  - model_name:
      type: choice
      values: [fasterrcnn_resnet50_fpn]
    learning_rate:
      type: uniform
      min_value: 0.0001
      max_value: 0.001
    optimizer:
      type: choice
      values: [sgd, adam, adamw]
    min_size:
      type: choice
      values: [600, 800]

# Define search space
image_object_detection_job.extend_search_space(
    [
        SearchSpace(
            model_name=Choice(["yolov5"]),
            learning_rate=Uniform(0.0001, 0.01),
            model_size=Choice(["small", "medium"]),  # model-specific
            # image_size=Choice([640, 704, 768]),  # model-specific; might need GPU with large memory
        ),
        SearchSpace(
            model_name=Choice(["fasterrcnn_resnet50_fpn"]),
            learning_rate=Uniform(0.0001, 0.001),
            optimizer=Choice(["sgd", "adam", "adamw"]),
            min_size=Choice([600, 800]),  # model-specific
            # warmup_cosine_lr_warmup_epochs=Choice([0, 3]),
        ),
    ]
)

パラメーター検索空間を定義する

パラメーター空間でスイープするモデル アーキテクチャとハイパーパラメーターを定義します。 1 つのモデル アーキテクチャまたは複数のアーキテクチャを指定できます。

• 各タスクの種類でサポートされているモデル アーキテクチャの一覧については、「 個々の試用版」を参照してください。
• コンピューター ビジョン タスクの種類ごとのハイパーパラメーターについては、コンピューター ビジョン タスク のハイパーパラメーターを参照してください。
• 不連続ハイパーパラメーターと連続ハイパーパラメーターでサポートされるディストリビューションの詳細については、 ハイパーパラメーターを調整する方法を参照してください。

スイープのサンプリング方法

ハイパーパラメーターをスイープする場合は、定義されたパラメーター空間をスイープするために使用するサンプリング方法を指定します。 現在、 sampling_algorithm パラメーターでは、次のサンプリング メソッドがサポートされています。

早期終了ポリシー

早期終了ポリシーを使用して、パフォーマンスの低い試用版を自動的に終了します。 早期終了では、計算リソースを節約することで計算効率が向上します。それ以外の場合は、期待の低い試みに費やされる可能性があります。 イメージの自動 ML では、 early_termination パラメーターを使用して、次の早期終了ポリシーがサポートされます。 終了ポリシーを指定しない場合、すべての試用版は完了まで実行されます。

詳細については、 ハイパーパラメーター スイープの早期終了ポリシーを構成する方法を参照してください。

下の例に示すように、スイープ関連のすべてのパラメーターを構成できます。

sweep:
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

# Configure sweep settings
image_object_detection_job.set_sweep(
    sampling_algorithm="random",
    early_termination=BanditPolicy(
        evaluation_interval=2, slack_factor=0.2, delay_evaluation=6
    ),
)

固定設定

次の例に示すように、パラメーター空間スイープ中に変更されない固定設定またはパラメーターを渡します。

training_parameters:
  early_stopping: True
  evaluation_frequency: 1

# Pass the fixed settings or parameters
image_object_detection_job.set_training_parameters(
    early_stopping=True, evaluation_frequency=1
)

データの拡張

一般に、ディープ ラーニング モデルのパフォーマンスは、多くの場合にデータが多いほど向上する可能性があります。 データ拡張は、データセットのデータ サイズと変動性を増幅するための実用的な手法です。 この手法は、オーバーフィットを防ぐのに役立ち、見えないデータに対するモデルの一般化機能を向上させます。 自動 ML では、入力画像をモデルにフィードする前に、Computer Vision タスクに基づいてさまざまなデータ拡張手法が適用されます。 現時点では、ハイパーパラメーターはデータ拡張を制御しません。

モデルは、イメージ ジョブ用の自動 ML に対して、前の表で定義された拡張を既定で適用します。 拡張を制御するために、イメージの自動 ML では、次の 2 つのフラグが公開され、特定の拡張が無効になります。 現時点では、これらのフラグはオブジェクト検出タスクとインスタンスセグメント化タスクのみをサポートしています。

1. apply_mosaic_for_yolo: このフラグは Yolo モデルに固有です。 モザイク データ拡張をオフにするには、False に設定します。 モデルでは、トレーニング時にこの拡張が適用されます。
2. apply_automl_train_augmentations: オブジェクト検出モデルとインスタンスセグメント化モデルのトレーニング時間中にモデルが適用される拡張をオフにするには、このフラグを false に設定します。 拡張については、上の表の詳細を参照してください。
   • 非 yolo 物体検出モデルとインスタンス セグメント化モデルの場合、このフラグにより最初の 3 つの拡張のみがオフになります。 例: 境界ボックスの周囲をランダムにトリミングし、拡大し、水平方向に反転します。 正規化とサイズ変更の拡張は、このフラグに関係なく適用されます。
   • Yolo モデルの場合、このフラグによりランダム アフィンと左右反転の拡張がオフになります。

これらの 2 つのフラグは、advanced_settingsのtraining_parametersで設定できます。

training_parameters:
  advanced_settings: >
    {"apply_mosaic_for_yolo": false}

training_parameters:
  advanced_settings: >
    {"apply_automl_train_augmentations": false}

training_parameters:
 advanced_settings: >
   {"apply_automl_train_augmentations": false, "apply_mosaic_for_yolo": false}

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"apply_mosaic_for_yolo": false}'
)

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"apply_automl_train_augmentations": false}'
)

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"apply_automl_train_augmentations": false, "apply_mosaic_for_yolo": false}'
)

実験では、これらの拡張がモデルの一般化を改善するのに役立ちます。 これらの拡張をオフにした場合は、それらを他のオフライン拡張と組み合わせて、より良い結果を得ることができます。

増分トレーニング (省略可能)

トレーニング ジョブが完了したら、トレーニング済みのモデル チェックポイントを読み込むことで、モデルをさらにトレーニングできます。 増分トレーニングには、同じデータセットまたは別のデータセットを使用します。 モデルに満足している場合は、トレーニングを停止し、現在のモデルを使用します。

ジョブ ID を使用してチェックポイントを渡す

チェックポイントを読み込むジョブ ID を渡します。

training_parameters:
  checkpoint_run_id : "target_checkpoint_run_id"

# find a job id to get a model checkpoint from
import mlflow

# Obtain the tracking URL from MLClient
MLFLOW_TRACKING_URI = ml_client.workspaces.get(
    name=ml_client.workspace_name
).mlflow_tracking_uri
mlflow.set_tracking_uri(MLFLOW_TRACKING_URI)

from mlflow.tracking.client import MlflowClient

mlflow_client = MlflowClient()
mlflow_parent_run = mlflow_client.get_run(automl_job.name)

# Fetch the id of the best automl child trial.
target_checkpoint_run_id = mlflow_parent_run.data.tags["automl_best_child_run_id"]

image_object_detection_job = automl.image_object_detection(
    compute=compute_name,
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="label",
    primary_metric=ObjectDetectionPrimaryMetrics.MEAN_AVERAGE_PRECISION,
    tags={"my_custom_tag": "My custom value"},
)

image_object_detection_job.set_training_parameters(checkpoint_run_id=target_checkpoint_run_id)

automl_image_job_incremental = ml_client.jobs.create_or_update(
    image_object_detection_job
) 

AutoML ジョブを送信する

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

# Submit the AutoML job
returned_job = ml_client.jobs.create_or_update(
    image_object_detection_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")

出力と評価のメトリック

自動 ML トレーニング ジョブでは、出力モデル ファイル、評価メトリック、ログ、およびスコアリング ファイルや環境ファイルなどのデプロイ成果物が生成されます。 これらのファイルとメトリックは、子ジョブの出力とログとメトリック タブから表示できます。

ジョブごとに提供されるパフォーマンス グラフおよびメトリックの定義と例については、「自動化機械学習実験の結果を評価する」を参照してください。

モデルを登録して展開する

ジョブが完了したら、最適な評価版から作成されたモデルを登録します (最適なプライマリ メトリックが生成される構成)。 モデルをダウンロードした後、または対応するジョブ ID で azureml パスを指定することで、モデルを登録できます。 推論設定を変更する場合は、モデルをダウンロードし、 settings.jsonを変更して、更新されたモデル フォルダーを登録します。

最適な試行を取得する

CLI example not available, please use Python SDK.

# Get the best model's child run

best_child_run_id = mlflow_parent_run.data.tags["automl_best_child_run_id"]
print(f"Found best child run id: {best_child_run_id}")

best_run = mlflow_client.get_run(best_child_run_id)

print("Best child run: ")
print(best_run)

# Create local folder
local_dir = "./artifact_downloads"
if not os.path.exists(local_dir):
    os.mkdir(local_dir)

# Download run's artifacts/outputs
local_path = mlflow_client.download_artifacts(
    best_run.info.run_id, "outputs", local_dir
)
print(f"Artifacts downloaded in: {local_path}")
print(f"Artifacts: {os.listdir(local_path)}")

モデルを登録する

azureml パスまたはローカルでダウンロードしたパスを使用して、モデルを登録します。

 az ml model create --name od-fridge-items-mlflow-model --version 1 --path azureml://jobs/$best_run/outputs/artifacts/outputs/mlflow-model/ --type mlflow_model --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

model_name = "od-fridge-items-mlflow-model"
model = Model(
    path=f"azureml://jobs/{best_run.info.run_id}/outputs/artifacts/outputs/mlflow-model/",
    name=model_name,
    description="my sample object detection model",
    type=AssetTypes.MLFLOW_MODEL,
)

# for downloaded file
# model = Model(
#     path=mlflow_model_dir,
#     name=model_name,
#     description="my sample object detection model",
#     type=AssetTypes.MLFLOW_MODEL,
# )

registered_model = ml_client.models.create_or_update(model)

モデルを登録したら、マネージド オンライン エンドポイント deploy-managed-online-endpoint を使用してモデルをデプロイできます。

オンライン エンドポイントを構成する

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: od-fridge-items-endpoint
auth_mode: key

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

online_endpoint_name = "od-fridge-items-" + datetime.datetime.now().strftime(
    "%m%d%H%M%f"
)

# create an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint for deploying model",
    auth_mode="key",
    tags={"foo": "bar"},
)
print(online_endpoint_name)

エンドポイントを作成する

以前に作成した MLClient を使用して、ワークスペースにエンドポイントを作成します。 このコマンドでは、エンドポイントの作成を開始し、エンドポイントの作成が続行されている間に確認応答を返します。

az ml online-endpoint create --file .\create_endpoint.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

ml_client.begin_create_or_update(endpoint).result()

オンライン デプロイを構成する

デプロイは、実際の推論を実行するモデルをホストするのに必要なリソースのセットです。 ManagedOnlineDeployment クラスを使用して、エンドポイントのデプロイを作成します。 デプロイ クラスターには、GPU または CPU VM のバージョンを使用できます。

name: od-fridge-items-mlflow-deploy
endpoint_name: od-fridge-items-endpoint
model: azureml:od-fridge-items-mlflow-model@latest
instance_type: Standard_DS3_v2
instance_count: 1
liveness_probe:
    failure_threshold: 30
    success_threshold: 1
    timeout: 2
    period: 10
    initial_delay: 2000
readiness_probe:
    failure_threshold: 10
    success_threshold: 1
    timeout: 10
    period: 10
    initial_delay: 2000 

deployment = ManagedOnlineDeployment(
    name="od-fridge-items-mlflow-deploy",
    endpoint_name=online_endpoint_name,
    model=registered_model.id,
    instance_type="Standard_DS4_V2",
    instance_count=1,
    request_settings=req_timeout,
    liveness_probe=ProbeSettings(
        failure_threshold=30,
        success_threshold=1,
        timeout=2,
        period=10,
        initial_delay=2000,
    ),
    readiness_probe=ProbeSettings(
        failure_threshold=10,
        success_threshold=1,
        timeout=10,
        period=10,
        initial_delay=2000,
    ),
)

配置を作成する

前に作成した MLClient を使用して、ワークスペースにデプロイを作成します。 このコマンドでは、デプロイの作成を開始し、デプロイの作成が続行されている間に確認応答を返します。

az ml online-deployment create --file .\create_deployment.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

ml_client.online_deployments.begin_create_or_update(deployment).result()

トラフィックを更新する

既定では、現在のデプロイは 0% トラフィックを受信するように設定されています。 現在のデプロイで受信するトラフィックの割合を設定します。 1 つのエンドポイントを持つすべてのデプロイのトラフィックの割合の合計は、100%を超えることはできません。

az ml online-endpoint update --name 'od-fridge-items-endpoint' --traffic 'od-fridge-items-mlflow-deploy=100' --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

# od fridge items deployment to take 100% traffic
endpoint.traffic = {"od-fridge-items-mlflow-deploy": 100}
ml_client.begin_create_or_update(endpoint).result()

または、Azure Machine Learning スタジオ UI からモデルをデプロイすることもできます。 自動 ML ジョブの [ モデル ] タブで、デプロイするモデルに移動します。 [ デプロイ ] を選択し、[ リアルタイム エンドポイントにデプロイ] を選択します。

。

レビュー ページの外観は次のようになります。 インスタンスの種類、インスタンス数を選択し、現在のデプロイのトラフィックの割合を設定できます。

。 。

推論設定を更新する

前の手順では、最適なモデルから mlflow-model/artifacts/settings.json ファイルをダウンロードしました。 このファイルを使用して、モデルを登録する前に推論設定を更新します。 最適なパフォーマンスを得る場合は、トレーニングと同じパラメーターを使用します。

各タスク (および一部のモデル) には、一連のパラメーターがあります。 既定では、トレーニングと検証中にパラメーターに同じ値が使用されます。 推論にモデルを使用するときに必要な動作に応じて、これらのパラメーターを変更できます。 次の一覧は、各タスクの種類とモデルのパラメーターを示しています。

タスク固有のハイパーパラメーターの詳細については、「自動機械学習におけるコンピューター ビジョン タスクのハイパーパラメーター」を参照してください。

タイリングを使用してタイリング動作を制御する場合は、 tile_grid_size、 tile_overlap_ratio、 tile_predictions_nms_threshの各パラメーターを使用できます。 これらのパラメーターの詳細については、「 AutoML を使用して小さな物体検出モデルをトレーニングする」を参照してください。

展開をテスト

デプロイをテストし、モデルからの検出を視覚化するには、「 デプロイのテスト」を参照してください。

予測の説明を生成する

イメージの AutoML で Explainable AI (XAI) を使用する利点には、次のようなものがあります。

• 複雑なビジョン モデルの予測における透明性の向上
• ユーザーが、モデル予測に寄与する入力画像の重要な特徴またはピクセルを理解するのに役立ちます
• モデルのトラブルシューティングに役立ちます
• バイアスの検出に役立ちます

説明

説明は、モデルの予測への貢献に基づいて入力画像の各ピクセルに与える 特徴の属性 または重みです。 各重み付けは、負 (予測と負の相関) または正 (予測と正の相関) の値になります。 これらの属性は、予測されたクラスに対して計算します。 多クラス分類の場合は、サンプルごとにサイズ [3, valid_crop_size, valid_crop_size] の属性マトリックスを 1 つだけ生成します。 複数ラベル分類の場合、各サンプルの予測ラベルまたはクラスごとに、サイズ [3, valid_crop_size, valid_crop_size] の属性マトリックスを生成します。

デプロイされたエンドポイントの AutoML for Images で Explainable AI を使用すると、各画像の説明 (入力画像に重ね合わされた属性) と属性 (サイズの多次元配列) を[3, valid_crop_size, valid_crop_size]できます。 視覚化とは別に、属性マトリックスを取得して、属性を使用したカスタム視覚化の生成や属性のセグメントの調査など、説明をより細かく制御することもできます。 すべての説明アルゴリズムは、属性を生成するためにサイズ valid_crop_size のトリミングされた正方形のイメージを使用します。

説明は、 オンライン エンドポイント または バッチ エンドポイントから生成できます。 エンドポイントをデプロイしたら、それを使用して予測の説明を生成できます。 オンラインデプロイでは、説明の生成中にrequest_settings = OnlineRequestSettings(request_timeout_ms=90000)を回避するために、ManagedOnlineDeploymentパラメーターをrequest_timeout_msに渡し、を最大値に設定してください (「register and deploy model」セクションを参照してください)。 xraiなどの一部の説明容易性 (XAI) メソッドでは、予測された各ラベルに対して属性と視覚化を生成する必要がある場合に、特にマルチラベル分類に時間がかかります。 任意の GPU インスタンスを使用して、より迅速な説明を行います。 説明を生成するための入力スキーマと出力スキーマの詳細については、スキーマのドキュメントを参照してください。

画像の AutoML では、次の最先端の説明アルゴリズムがサポートされています。

• XRAI (xrai)
• 統合グラデーション (integrated_gradients)
• ガイド付き GradCAM (guided_gradcam)
• ガイド付き BackPropagation (guided_backprop)

次の表では、XRAI と統合グラデーションの説明アルゴリズム固有のチューニング パラメーターについて説明します。 ガイド付き BackPropagation とガイド付き GradCAM にはチューニング パラメーターは必要ありません。

内部的には、XRAI アルゴリズムは統合されたグラデーションを使用します。 そのため、統合されたグラデーションと XRAI アルゴリズムの両方に、 n_steps パラメーターが必要です。 手順の数が多いほど、説明を近似するために時間が長くなり、オンライン エンドポイントでタイムアウトの問題が発生する可能性があります。

詳しい説明を得るために、XRAI > ガイド付き GradCAM > 統合勾配 > ガイド付きバックプロパゲーションのアルゴリズムを使用します。 説明を迅速にするために、ガイド付きバックプロパゲーション > ガイド付きGradCAM > 統合された勾配 > XRAI を指定された順序で使用します。

オンライン エンドポイントに対するサンプル要求は次のようになります。 model_explainability が True に設定されている場合、この要求によって説明が生成されます。 次の要求では、50 ステップの高速バージョンの XRAI アルゴリズムを使用して、視覚化と属性を生成します。

import base64
import json

def read_image(image_path):
    with open(image_path, "rb") as f:
        return f.read()

sample_image = "./test_image.jpg"

# Define explainability (XAI) parameters
model_explainability = True
xai_parameters = {"xai_algorithm": "xrai",
                  "n_steps": 50,
                  "xrai_fast": True,
                  "visualizations": True,
                  "attributions": True}

# Create request json
request_json = {"input_data": {"columns":  ["image"],
                               "data": [json.dumps({"image_base64": base64.encodebytes(read_image(sample_image)).decode("utf-8"),
                                                    "model_explainability": model_explainability,
                                                    "xai_parameters": xai_parameters})],
                               }
                }

request_file_name = "sample_request_data.json"

with open(request_file_name, "w") as request_file:
    json.dump(request_json, request_file)

resp = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name=deployment.name,
    request_file=request_file_name,
)
predictions = json.loads(resp)

説明の生成の詳細については、自動化された機械学習サンプルの GitHub ノートブック リポジトリに関するページを参照してください。

視覚化の解釈

model_explainabilityとvisualizationsの両方がTrueに設定されている場合、デプロイされたエンドポイントは base64 でエンコードされたイメージ文字列を返します。 ノートブックの説明に従って base64 文字列をデコードするか、次のコードを使用して予測の base64 画像文字列をデコードして視覚化します。

import base64
from io import BytesIO
from PIL import Image

def base64_to_img(base64_img_str):
    base64_img = base64_img_str.encode("utf-8")
    decoded_img = base64.b64decode(base64_img)
    return BytesIO(decoded_img).getvalue()

# For Multi-class classification:
# Decode and visualize base64 image string for explanations for first input image
# img_bytes = base64_to_img(predictions[0]["visualizations"])

# For  Multi-label classification:
# Decode and visualize base64 image string for explanations for first input image against one of the classes
img_bytes = base64_to_img(predictions[0]["visualizations"][0])
image = Image.open(BytesIO(img_bytes))

次の図は、サンプル入力画像の説明の視覚化を示しています。

デコードされた base64 図には、2 x 2 グリッド内に 4 つの画像セクションがあります。

• 左上隅の画像 (0, 0) は、トリミングされた入力画像です。
• 右上のイメージ (0, 1) は、予測クラスの白いピクセルの寄与が最も高く、青いピクセルの寄与が最も低いカラー スケール bgyw (青緑黄白) の属性のヒートマップです。
• 左下隅の画像 (1, 0) には、トリミングされた入力画像の属性のヒートマップがブレンドされています。
• 右下隅 (1、1) の画像は、属性スコアに基づいてピクセルの上位 30% を持つトリミングされた入力画像です。

属性の解釈

デプロイされたエンドポイントは、 model_explainability と attributions の両方が Trueに設定されている場合、属性を返します。 詳細については、 複数クラス分類と複数ラベル分類ノートブックを参照してください。

これらの属性を使用すると、ユーザーはカスタム視覚化を生成したり、ピクセル レベルの属性スコアを詳しく調べるために、より細かく制御できます。 次のコード スニペットでは、属性マトリックスを使用してカスタム視覚化を生成する方法について説明します。 複数クラス分類と複数ラベル分類の属性のスキーマの詳細については、スキーマのドキュメントを参照してください。

選択したモデルの valid_resize_size と valid_crop_size の正確な値を使用して説明を生成します (既定値はそれぞれ 256 と 224 です)。 次のコードでは 、Captum 視覚化機能を使用してカスタム視覚エフェクトを生成します。 ユーザーは他のライブラリを利用して視覚化を生成できます。 詳細については、Captum 視覚化ユーティリティを参照してください。

import colorcet as cc
import numpy as np
from captum.attr import visualization as viz
from PIL import Image
from torchvision import transforms

def get_common_valid_transforms(resize_to=256, crop_size=224):

    return transforms.Compose([
        transforms.Resize(resize_to),
        transforms.CenterCrop(crop_size)
    ])

# Load the image
valid_resize_size = 256
valid_crop_size = 224
sample_image = "./test_image.jpg"
image = Image.open(sample_image)
# Perform common validation transforms to get the image used to generate attributions
common_transforms = get_common_valid_transforms(resize_to=valid_resize_size,
                                                crop_size=valid_crop_size)
input_tensor = common_transforms(image)

# Convert output attributions to numpy array

# For Multi-class classification:
# Selecting attribution matrix for first input image
# attributions = np.array(predictions[0]["attributions"])

# For  Multi-label classification:
# Selecting first attribution matrix against one of the classes for first input image
attributions = np.array(predictions[0]["attributions"][0])

# visualize results
viz.visualize_image_attr_multiple(np.transpose(attributions, (1, 2, 0)),
                                  np.array(input_tensor),
                                  ["original_image", "blended_heat_map"],
                                  ["all", "absolute_value"],
                                  show_colorbar=True,
                                  cmap=cc.cm.bgyw,
                                  titles=["original_image", "heatmap"],
                                  fig_size=(12, 12))

大規模なデータセット

AutoML を使用して大規模なデータセットをトレーニングする場合は、いくつかの試験的な設定が役立つ場合があります。

マルチ GPU とマルチノードのトレーニング

既定では、各モデルは 1 つの VM でトレーニングされます。 モデルのトレーニングに時間がかかりすぎる場合は、複数の GPU を含む VM を使用すると役立つ可能性があります。 大規模なデータセットでモデルをトレーニングする時間は、使用される GPU の数に対してほぼ直線的な割合で減少します。 たとえば、モデルは、2 つの GPU を持つ VM で、1 つの GPU を持つ VM の約 2 倍の速度でトレーニングします。 複数の GPU を搭載した VM でモデルのトレーニング時間が長い場合は、各モデルのトレーニングに使用される VM の数を増やすことができます。 マルチ GPU トレーニングと同様に、大規模なデータセットでモデルをトレーニングする時間も、使用される VM の数に対してほぼ直線的な割合で減少します。 複数の VM 間でモデルをトレーニングする場合は、最適な結果を得るために InfiniBand をサポートするコンピューティング SKU を必ず使用してください。 AutoML ジョブの node_count_per_trial プロパティを設定することで、1 つのモデルのトレーニングに使われる VM の数を構成できます。

properties:
  node_count_per_trial: "2"

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(
    ...,
    properties={"node_count_per_trial": 2}
)

ストレージからの画像ファイルのストリーミング

既定では、トレーニング プロセスでは、開始前にすべてのイメージ ファイルがディスクにダウンロードされます。 イメージ ファイルのサイズが使用可能なディスク領域より大きい場合、ジョブは失敗します。 この問題を回避するには、トレーニング中に Azure Storage からイメージ ファイルをストリーミングするオプションを選択します。 トレーニング プロセスでは、ディスクをバイパスして、Azure Storage からシステム メモリにイメージ ファイルを直接ストリーミングします。 同時に、プロセスはディスク上のストレージからできるだけ多くのファイルをキャッシュして、ストレージへの要求の数を最小限に抑えます。

training_parameters:
  advanced_settings: >
    {"stream_image_files": true}

from azure.ai.ml import automl

image_object_detection_job = automl.image_object_detection(...)

image_object_detection_job.set_training_parameters(
    ...,
    advanced_settings='{"stream_image_files": true}'
)

サンプルの Notebook

コード例とユース ケースの詳細については、 自動化された機械学習サンプルの GitHub ノートブック リポジトリを参照してください。 コンピューター ビジョン モデルの構築に固有のサンプルについては、"automl-image-" プレフィックスが付いたフォルダーを確認します。

コード例

次のステップ

• チュートリアル: AutoML と Python を使用して物体検出モデルをトレーニングする。