カスタム コンテナーを使用してモデルをオンライン エンドポイントにデプロイする

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

サンプル リポジトリでは、sdk/python フォルダーの下にほとんどのPythonサンプルがあります。 この記事では、代わりに cli フォルダーに移動してください。 cli フォルダーの下のフォルダー構造は、sdk/python構造とは若干異なります。 この記事のほとんどの手順では、 cli 構造が必要です。

手順の例に沿って進むには、サンプル リポジトリの Jupyter ノートブックを参照してください。 ただし、そのノートブックの次のセクションは、sdk/python フォルダーではなく、cli フォルダーから実行されます。

• 3. ローカルでテストする
• 5. サンプル データを使用してエンドポイントをテストする

エンドポイントとデプロイ用の YAML ファイルを作成する

YAML を使用してクラウド デプロイを構成できます。 たとえば、エンドポイントを構成するには、次の行を含む tfserving-endpoint.yml という名前の YAML ファイルを作成します。

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

デプロイを構成するには、次の行を含む tfserving-deployment.yml という名前の YAML ファイルを作成します。

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: <model-version>
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/<model-version>
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

Azure Machine Learning ワークスペースに接続する

Azure Machine Learning ワークスペースを構成するには、次の手順を実行します。

1. 必要なライブラリをインポートします。

   # Import the required libraries.
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
      ManagedOnlineEndpoint,
      ManagedOnlineDeployment,
      Model,
      Environment,
   )
   from azure.identity import DefaultAzureCredential
   

2. ワークスペース設定を構成し、ワークスペースへのハンドルを取得します。

   # Enter information about your Azure Machine Learning workspace.
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace = "<Azure-Machine-Learning-workspace-name>"
   
   # Get a handle to the workspace.
   ml_client = MLClient(
     DefaultAzureCredential(), subscription_id, resource_group, workspace
   )
   

詳細については、「オンライン エンドポイントを使用して機械学習モデルをデプロイおよびスコア付けする」を参照してください。

オンライン エンドポイントを構成する

オンライン エンドポイントを構成するには、次のコードを使用します。 次の点に注意してください。

• エンドポイントの名前は、そのAzureリージョンで一意である必要があります。 また、エンドポイント名は文字で始まる必要があり、英数字とハイフンのみで構成されます。 名前付け規則の詳細については、「Azure Machine Learning オンライン エンドポイントとバッチ エンドポイントを参照してください。
• auth_mode値には、キーベースの認証にkeyを使用します。 Azure Machine Learning トークン ベースの認証には、aml_token を使用します。 Microsoft Entra トークン ベースの認証には、aad_token を使用します。 キーは期限切れではありませんが、 aml_token と aad_token は期限切れになります。 認証の詳細については、「 オンライン エンドポイントのクライアントを認証する」を参照してください。
• 説明とタグは省略可能です。

# To create a unique endpoint name, use a time stamp of the current date and time.
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# Configure an online endpoint.
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="A sample online endpoint",
    auth_mode="key",
    tags={"env": "dev"},
)

オンライン展開を構成する

デプロイは、実際の推論を行うモデルをホストするために必要なリソースのセットです。 ManagedOnlineDeployment クラスを使用して、エンドポイントのデプロイを構成します。 そのクラスのコンストラクターは、次のパラメーターを使用します。

• name: デプロイの名前。
• endpoint_name: デプロイを作成するエンドポイントの名前。
• model: デプロイに使用するモデル。 この値は、ワークスペース内の既存のバージョン管理されたモデルへの参照またはインライン モデルの仕様のいずれかです。
• environment: デプロイに使用する環境。 この値は、ワークスペース内の既存のバージョン管理された環境への参照、またはインライン環境仕様のいずれかになります。
• environment_variables: デプロイ時に設定される環境変数。
  • MODEL_BASE_PATH: モデルのフォルダーを含む親フォルダーへのパス。
  • MODEL_NAME: モデルの名前。
• instance_type: デプロイに使用する仮想マシンのサイズ。 サポートされているサイズの一覧については、 マネージド オンライン エンドポイント SKU の一覧を参照してください。
• instance_count: デプロイに使用するインスタンスの数。

エンドポイントのデプロイを構成するには、次のコードを使用します。

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

tfserving-deployment.yml ファイルの model セクションに次の行が含まれているとします。 このセクションでは、name 値は、モデルをAzure Machine Learningに登録するために使用する名前を参照します。

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

次のコードを使用して、 Model クラスを作成するとします。 このコードでは、name 値は、モデルをAzure Machine Learningに登録するために使用する名前を参照します。

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

たとえば、model_mount_path ファイルに tfserving-deployment.yml パラメーターを追加できます。 そのファイルの MODEL_BASE_PATH 値を更新することもできます。

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
environment_variables:
  MODEL_BASE_PATH: /var/tfserving-model-mount
...

たとえば、model_mount_path クラスに ManagedOnlineDeployment パラメーターを追加できます。 そのコードの MODEL_BASE_PATH 値を更新することもできます。

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    environment_variables={
        "MODEL_BASE_PATH": "/var/tfserving-model-mount",
    ...
)

YAML ファイルを作成したら、次のコマンドを使用してエンドポイントを作成します。

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-endpoint.yml

次のコマンドを使用してデプロイを作成します。 この手順は数分実行される場合があります。

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-deployment.yml --all-traffic

ワークスペースにエンドポイントを作成するには、次のコードを使用します。 このコードでは、前に作成した MLClient のインスタンスを使用します。 begin_create_or_update メソッドは、エンドポイントの作成を開始します。 その後、エンドポイントの作成が続行されている間に確認応答が返されます。

ml_client.begin_create_or_update(endpoint)

次のコードを実行してデプロイを作成します。

ml_client.begin_create_or_update(blue_deployment)

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

前に作成した MLClient のインスタンスを使用して、エンドポイントへのハンドルを取得します。 次に、 invoke メソッドと次のパラメーターを使用してエンドポイントを呼び出します。

• endpoint_name: エンドポイントの名前。
• request_file: 要求データを含むファイル。
• deployment_name: エンドポイントでテストするデプロイの名前。

要求データには、example リポジトリのサンプル JSON ファイルを使用できます。

# Test the blue deployment by using some sample data.
response = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample_request.json",
)

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)