Partilhar via

Importar uma API de modelo de idioma

APLICA-SE A: Todas as camadas de gerenciamento de API

Pode importar endpoints de modelos de linguagem compatíveis com OpenAI para a sua instância de Gestão de APIs, ou importar modelos não compatíveis como APIs passthrough. Por exemplo, gere LLMs autoalojados ou os que estão alojados em provedores de inferência que não sejam Foundry Tools. Utilize políticas de gateway de IA e outras capacidades de Gestão de APIs para simplificar a integração, melhorar a observabilidade e reforçar o controlo sobre os endpoints do modelo.

Saiba mais sobre como gerenciar APIs de IA no Gerenciamento de API:

Tipos de API de modelo de linguagem

A Gestão de APIs suporta dois tipos de API de modelos de linguagem. Escolha a opção que corresponde à implementação do seu modelo, que determina como os clientes chamam a API e como os pedidos são encaminhados para o serviço de IA.

  • Compatível com OpenAI - Endpoints de modelos de linguagem compatíveis com a API da OpenAI. Exemplos incluem o Hugging Face Text Generation Inference (TGI) e a Google Gemini API.

    A Gestão de API configura um endpoint de conclusão de chat.

  • Passthrough - Endpoints de modelos linguísticos que não são compatíveis com a API da OpenAI. Os exemplos incluem modelos implantados no Amazon Bedrock ou em outros provedores.

    O Gerenciamento de API configura operações curinga para verbos HTTP comuns. Os clientes podem adicionar caminhos às operações wildcard, e a API Management encaminha os pedidos para o backend.

Pré-requisitos

  • Uma instância de gerenciamento de API existente. Crie um, caso ainda não o tenha feito.
  • Uma implementação de modelo de linguagem auto-hospedada ou não fornecida pelo Azure com um endpoint API.

Importar a API do modelo de linguagem utilizando o portal

Importar a API do LLM configura automaticamente:

  • Um recurso backend e uma política de set-backend-service que encaminham os pedidos para o endpoint do LLM.
  • (opcionalmente) Acesso usando uma chave de acesso (protegida como um valor secreto nomeado).
  • (opcionalmente) Políticas para monitorizar e gerir a API.

Para importar uma API de modelo de linguagem:

  1. No portal Azure, vai à tua instância de Gestão de APIs.

  2. No menu à esquerda, em APIs, selecione APIs>+ Add API.

  3. Em Definir uma nova API, selecione Language Model API.

    Captura de tela da criação de uma API compatível com OpenAI no portal.

  4. Na aba Configurar API:

    1. Insira um nome de exibição e uma descrição (opcional).
    2. Insira a URL da API do LLM.
    3. Selecione um ou mais Produtos para associar à API (opcional).
    4. No Path, anexe o caminho para aceder à API do LLM.
    5. Selecione Criar API OpenAI ou Criar uma API de passthrough. Ver Tipos de API de modelos de linguagem.
    6. Introduza o nome do cabeçalho de autorização e a chave API (se necessário).
    7. Selecione Avançar.

    Captura de tela da configuração da API do modelo de idioma no portal.

  5. No separador Gerenciar consumo de tokens , introduza definições ou aceite predefinições para as seguintes políticas:

  6. No separador Aplicar cache semântica , introduza definições ou aceite os valores definidos da política para otimizar o desempenho e reduzir a latência:

  7. No separador AI Content Safety, introduza definições ou aceitar as definições para configurar Azure AI Content Safety bloquear conteúdos inseguros:

  8. Selecione Revisão.

  9. Após a validação, selecione Criar.

A Gestão de APIs cria a API e configura as operações para os endpoints do LLM. Por padrão, a API requer uma assinatura de Gerenciamento de API.

Testar a LLM API

Verifica a API do teu LLM na consola de testes.

  1. Selecione a API que criou.

  2. Selecione a guia Teste .

  3. Selecione uma operação compatível com a implementação do modelo. Aparecem campos para parâmetros e cabeçalhos.

  4. Introduza parâmetros e cabeçalhos. Dependendo da operação, configure ou atualize um corpo de Pedido conforme necessário.

    Observação

    A consola de testes adiciona automaticamente um cabeçalho Ocp-Apim-Subscription-Key (usando a subscrição de acesso total incorporada), que fornece acesso a todas as APIs. Para o mostrar, selecione o ícone "olho" ao lado de Pedido HTTP.

  5. Selecione Enviar.

    Quando o teste tem sucesso, o backend devolve dados, incluindo métricas de utilização de tokens, para monitorizar o consumo de modelos de linguagem.

Conteúdo relacionado

  • Capacidades de gateway de IA em Azure API Management
  • Last updated on