Usare i pool di sessioni nelle app Azure Container

I pool di sessioni forniscono tempi di allocazione delle sessioni inferiori a un secondo e gestiscono il ciclo di vita di ogni sessione.

Concetti comuni per entrambi i pool

Il processo di creazione di un pool è leggermente diverso a seconda che si stia creando un pool di sessioni dell'interprete del codice o un pool di contenitori personalizzato. I concetti seguenti si applicano a entrambi.

Per creare pool di sessioni usando l'interfaccia della riga di comando di Azure, assicurarsi di avere le versioni più recenti dell'interfaccia della riga di comando di Azure e l'estensione App Azure Container:

# Upgrade the Azure CLI
az upgrade

# Install or upgrade the Azure Container Apps extension
az extension add --name containerapp --upgrade --allow-preview true -y

I comandi comuni del pool di sessioni includono:

• az containerapp sessionpool create
• az containerapp sessionpool show
• az containerapp sessionpool list
• az containerapp sessionpool update
• az containerapp sessionpool delete

Usare --help con qualsiasi comando per visualizzare gli argomenti disponibili e i valori supportati.

Per controllare lo stato di un pool di sessioni, usare il az containerapp sessionpool show comando :

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

Quando si crea o si aggiorna un pool, è possibile impostare un numero massimo di sessioni simultanee, un periodo di inattività, e se sia consentito il traffico di rete in uscita per le sessioni.

Configurare un pool

Usare az containerapp sessionpool create --help per visualizzare gli argomenti più recenti della CLI per la configurazione del pool di sessioni. Questa sezione è incentrata sulle opzioni di configurazione avanzate che si applicano tra le versioni dell'API.

Configurazione del ciclo di vita della sessione

Quando si crea o si aggiorna un pool di sessioni, è possibile configurare la modalità di terminazione delle sessioni impostando properties.dynamicPoolConfiguration.lifecycleConfiguration. A partire dalla versione 2025-01-01dell'API, scegliere uno dei due tipi di ciclo di vita.

Per la specifica dell'API completa, vedere la specifica dell'API SessionPools.

Temporizzato (impostazione predefinita)

Con il Timed ciclo di vita, una sessione viene eliminata dopo un periodo di inattività. Qualsiasi richiesta inviata a una sessione reimposta il timer di intervallo di attesa, estendendo il tempo di vita della sessione di cooldownPeriodInSeconds.

{
  "dynamicPoolConfiguration": {
    "lifecycleConfiguration": {
      "cooldownPeriodInSeconds": 600,
      "lifecycleType": "Timed"
    }
  }
}

Endpoint di gestione

Tutte le richieste all'endpoint di gestione del pool devono includere un'intestazione Authorization con un token di connessione. Per informazioni su come eseguire l'autenticazione con l'API di gestione del pool, vedere Autenticazione.

Ogni richiesta API deve includere anche il parametro identifier della stringa di query con l'ID sessione. Questo ID sessione univoco consente all'applicazione di interagire con sessioni specifiche. Per altre informazioni sugli identificatori di sessione, vedere Identificatori di sessione.

Memorizzazione nella cache delle immagini

Quando un pool di sessioni viene creato o aggiornato, App Azure Container memorizza nella cache l'immagine del contenitore nel pool. Questa memorizzazione nella cache consente di velocizzare il processo di creazione di nuove sessioni.

Le modifiche apportate all'immagine non vengono riflesse automaticamente nelle sessioni. Per aggiornare l'immagine, aggiornare il pool di sessioni con un nuovo tag immagine. Usare un tag univoco per ogni aggiornamento dell'immagine per assicurarsi che la nuova immagine venga estratta.

Pool di sessioni dell'interprete del codice

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --location westus2 \
    --container-type PythonLTS \
    --max-sessions 100 \
    --cooldown-period 300 \
    --network-status EgressDisabled

Endpoint di gestione dell'interprete del codice

Per utilizzare le sessioni dell'interprete di codice con le integrazioni del framework LLM o chiamando direttamente gli endpoint dell'API di gestione, è necessario l'endpoint dell'API di gestione del pool.

L'endpoint è nel formato https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>.

Per recuperare l'endpoint API di gestione per un pool di sessioni, vedere la sezione comune precedente per un comando di esempio.

Per la gestione delle sessioni in un pool sono disponibili gli endpoint seguenti:

Si compila l'URL completo per ogni endpoint concatenando l'endpoint API gestione del pool con il percorso dell'endpoint. La stringa di query deve includere un identifier parametro contenente l'identificatore di sessione e un api-version parametro con il valore 2024-02-02-preview. Le versioni api possono cambiare, quindi confermare sempre la versione più recente nella documentazione dell'API REST prima di usarla nell'ambiente di produzione.

Ad esempio: {sessionManagementEndpoint}/code/execute?api-version=2024-02-02-preview&identifier=<IDENTIFIER>

Per informazioni di riferimento sulle API REST, vedere API del piano dati di App contenitore e panoramica delle operazioni del piano dati delle app contenitore.

Pool di sessioni di contenitori personalizzati

Per creare un pool di sessioni di contenitori personalizzato, è necessario fornire un'immagine del contenitore e le impostazioni di configurazione del pool.

È possibile richiamare o comunicare con ogni sessione usando richieste HTTP. Il contenitore personalizzato deve esporre un server HTTP su una porta specificata per rispondere a queste richieste.

Le funzionalità seguenti si applicano solo ai pool di sessioni di contenitori personalizzati.

Endpoint di gestione contenitori personalizzato

Per i pool di sessioni di contenitori personalizzati, ottieni l'endpoint di gestione dal portale di Azure o dall'output della CLI di Azure. L'endpoint viene restituito come poolManagementEndpoint.

L'endpoint è nel formato https://<SESSION_POOL_NAME>.<ENVIRONMENT_ID>.<REGION>.azurecontainerapps.io.

OnContainerExit

Con il OnContainerExit ciclo di vita, una sessione rimane attiva fino a quando il contenitore non viene chiuso autonomamente o fino al raggiungimento del periodo massimo attivo.

{
  "dynamicPoolConfiguration": {
    "lifecycleConfiguration": {
      "maxAlivePeriodInSeconds": 6000,
      "lifecycleType": "OnContainerExit"
    }
  }
}

Probe di contenitori

Le sonde dei contenitori consentono di definire i controlli di integrità per i contenitori delle sessioni, in modo che il pool possa rilevare sessioni non sane e sostituirle per mantenere sana la destinazione readySessionInstances.

I pool di sessioni supportano i probe di liveness e startup. Per ulteriori informazioni sul comportamento delle sonde, vedere Sonde di integrità nelle Azure Container Apps.

Quando si crea o si aggiorna il pool di sessioni, specificare le sonde in properties.customContainerTemplate.containers. Per lo schema completo del corpo della richiesta, vedere la documentazione di riferimento API per la Creazione o Aggiornamento di SessionPools. L'esempio seguente mostra una configurazione parziale con definizioni di probe:

{
  "properties": {
    "customContainerTemplate": {
      "containers": [
        {
          "name": "my-session-container",
          "image": "myregistry.azurecr.io/my-session-image:latest",
          "probes": [
            {
              "type": "Liveness",
              "httpGet": {
                "path": "/health",
                "port": 8080
              },
              "periodSeconds": 10,
              "failureThreshold": 3
            },
            {
              "type": "Startup",
              "httpGet": {
                "path": "/ready",
                "port": 8080
              },
              "periodSeconds": 5,
              "failureThreshold": 30
            }
          ]
        }
      ]
    },
    "dynamicPoolConfiguration": {
      "readySessionInstances": 5
    }
  }
}

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --environment <ENVIRONMENT> \
    --registry-server myregistry.azurecr.io \
    --registry-username <USER_NAME> \
    --registry-password <PASSWORD> \
    --container-type CustomContainer \
    --image myregistry.azurecr.io/my-container-image:1.0 \
    --cpu 0.25 --memory 0.5Gi \
    --target-port 80 \
    --cooldown-period 300 \
    --network-status EgressDisabled \
    --max-sessions 10 \
    --ready-sessions 5 \
    --env-vars "key1=value1" "key2=value2" \
    --location <LOCATION>