Een aangepaste container gebruiken om een model te implementeren op een online-eindpunt

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

In de opslagplaats met voorbeelden vindt u de meeste Python voorbeelden onder de map sdk/python. Voor dit artikel gaat u in plaats daarvan naar de cli map. De mapstructuur onder de cli map is iets anders dan de sdk/python structuur. Voor de meeste stappen in dit artikel is de cli structuur vereist.

Als u de voorbeeldstappen wilt volgen, raadpleegt u een Jupyter-notebook in de opslagplaats met voorbeelden. De volgende secties van dat notebook worden echter uitgevoerd vanuit de sdk/python map in plaats van de cli map:

• 3. Lokaal testen
• 5. Het eindpunt testen met voorbeeldgegevens

YAML-bestanden maken voor uw eindpunt en implementatie

U kunt uw cloudimplementatie configureren met behulp van YAML. Als u bijvoorbeeld uw eindpunt wilt configureren, maakt u een YAML-bestand met de naam tfserving-endpoint.yml die de volgende regels bevat:

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

Als u uw implementatie wilt configureren, maakt u een YAML-bestand met de naam tfserving-deployment.yml die de volgende regels bevat:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: <model-version>
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/<model-version>
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

Verbinding maken met uw Azure Machine Learning-werkruimte

Voer de volgende stappen uit om uw Azure Machine Learning werkruimte te configureren:

1. Importeer de vereiste bibliotheken:

   # Import the required libraries.
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
      ManagedOnlineEndpoint,
      ManagedOnlineDeployment,
      Model,
      Environment,
   )
   from azure.identity import DefaultAzureCredential
   

2. Werkruimte-instellingen configureren en toegang tot de werkruimte verkrijgen.

   # Enter information about your Azure Machine Learning workspace.
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace = "<Azure-Machine-Learning-workspace-name>"
   
   # Get a handle to the workspace.
   ml_client = MLClient(
     DefaultAzureCredential(), subscription_id, resource_group, workspace
   )
   

Zie Een machine learning-model implementeren en beoordelen met behulp van een online-eindpunt voor meer informatie.

Een online-eindpunt configureren

Gebruik de volgende code om een online-eindpunt te configureren. Houd rekening met de volgende punten:

• De naam van het eindpunt moet uniek zijn in de Azure regio. Ook moet een eindpuntnaam beginnen met een letter en alleen bestaan uit alfanumerieke tekens en afbreekstreepjes. Zie Azure Machine Learning online-eindpunten en batcheindpunten voor meer informatie over naamgevingsregels.
• Gebruik voor de auth_mode waarde key voor verificatie op basis van sleutels. Gebruik aml_token voor verificatie op basis van Azure Machine Learning token. Gebruik aad_token voor verificatie op basis van Microsoft Entra token. Een sleutel verloopt niet, maar aml_tokenaad_token verloopt wel. Zie Clients verifiëren voor online-eindpunten voor meer informatie over authenticatie.
• De beschrijving en tags zijn optioneel.

# To create a unique endpoint name, use a time stamp of the current date and time.
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# Configure an online endpoint.
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="A sample online endpoint",
    auth_mode="key",
    tags={"env": "dev"},
)

Een online-implementatie configureren

Een implementatie is een set resources die vereist zijn voor het hosten van het model dat de werkelijke deductie uitvoert. Gebruik de ManagedOnlineDeployment klasse om een implementatie voor uw eindpunt te configureren. De constructor van die klasse gebruikt de volgende parameters:

• name: De naam van de implementatie.
• endpoint_name: De naam van het eindpunt waaronder de implementatie moet worden gemaakt.
• model: het model dat moet worden gebruikt voor de implementatie. Deze waarde kan een verwijzing zijn naar een bestaand versiemodel in de werkruimte of een inline modelspecificatie.
• environment: De omgeving die moet worden gebruikt voor de implementatie. Deze waarde kan een verwijzing zijn naar een bestaande versieomgeving in de werkruimte of een inline-omgevingsspecificatie.
• environment_variables: Omgevingsvariabelen die tijdens de implementatie worden ingesteld.
  • MODEL_BASE_PATH: het pad naar de bovenliggende map die een map voor uw model bevat.
  • MODEL_NAME: De naam van uw model.
• instance_type: De grootte van de virtuele machine die moet worden gebruikt voor de implementatie. Zie de SKU-lijst met beheerde online-eindpunten voor een lijst met ondersteunde grootten.
• instance_count: het aantal exemplaren dat moet worden gebruikt voor de implementatie.

Gebruik de volgende code om een implementatie voor uw eindpunt te configureren:

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Stel dat uw tfserving-deployment.yml bestand de volgende regels in de model sectie bevat. In deze sectie verwijst de waarde name naar de naam die u gebruikt om het model te registreren in Azure Machine Learning.

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

Stel dat u de volgende code gebruikt om een Model klasse te maken. In deze code verwijst de waarde name naar de naam die u gebruikt om het model te registreren in Azure Machine Learning.

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

U kunt bijvoorbeeld de model_mount_path parameter toevoegen aan uw tfserving-deployment.yml bestand. U kunt ook de MODEL_BASE_PATH waarde in dat bestand bijwerken:

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
environment_variables:
  MODEL_BASE_PATH: /var/tfserving-model-mount
...

U kunt bijvoorbeeld de model_mount_path parameter toevoegen aan uw ManagedOnlineDeployment klasse. U kunt ook de MODEL_BASE_PATH waarde in die code bijwerken:

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    environment_variables={
        "MODEL_BASE_PATH": "/var/tfserving-model-mount",
    ...
)

Nadat u uw YAML-bestand hebt gemaakt, gebruikt u de volgende opdracht om uw eindpunt te maken:

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-endpoint.yml

Gebruik de volgende opdracht om uw implementatie te maken. Deze stap kan enkele minuten worden uitgevoerd.

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-deployment.yml --all-traffic

Gebruik de volgende code om het eindpunt in de werkruimte te maken. Deze code maakt gebruik van het exemplaar van MLClient dat u eerder hebt gemaakt. De begin_create_or_update methode start het maken van het eindpunt. Vervolgens wordt er een bevestigingsantwoord geretourneerd terwijl het maken van het eindpunt wordt voortgezet.

ml_client.begin_create_or_update(endpoint)

Maak de implementatie door de volgende code uit te voeren:

ml_client.begin_create_or_update(blue_deployment)

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

Gebruik het exemplaar van MLClient dat u eerder hebt gemaakt om een referentie naar het eindpunt te verkrijgen. Gebruik vervolgens de invoke methode en de volgende parameters om het eindpunt aan te roepen:

• endpoint_name: De naam van het eindpunt.
• request_file: het bestand met de aanvraaggegevens.
• deployment_name: de naam van de implementatie die moet worden getest in het eindpunt.

Voor de aanvraaggegevens kunt u een JSON-voorbeeldbestand gebruiken vanuit de opslagplaats example.

# Test the blue deployment by using some sample data.
response = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample_request.json",
)

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)