Compartilhar via

OpenAIMockResponsePlugin

Simula respostas do Azure OpenAI e OpenAI usando um modelo de idioma local.

Captura de tela de um prompt de comando com o Proxy de Desenvolvimento simulando a resposta de uma solicitação para a API do OpenAI do Azure.

Exemplo de configuração

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.2.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Propriedades de configuração

Nenhum

Opções de linha de comando

Nenhum

Comentários

O OpenAIMockResponsePlugin plug-in simula respostas do Azure OpenAI e do OpenAI usando um modelo de idioma local. O uso desse plug-in permite que você emule usando um modelo de linguagem em seu aplicativo sem se conectar ao serviço OpenAI ou Azure OpenAI e incorrer em custos.

O plug-in usa a configuração do modelo de linguagem Dev Proxy para se comunicar com um modelo de idioma local. Para usar esse plug-in, configure o Dev Proxy para usar um modelo de idioma local.

Importante

A precisão das respostas geradas pelo plug-in depende do modelo de idioma local que você usa. Antes de implantar seu aplicativo em produção, certifique-se de testá-lo com o modelo de linguagem que você planeja usar na produção.

O OpenAIMockResponsePlugin plug-in dá suporte aos seguintes pontos de extremidade da API OpenAI:

  • Conclusões de chat (/v1/chat/completions) – usa a messages matriz e retorna choices com prompt_tokens/completion_tokens campos de uso
  • API de respostas (/v1/responses) – usa a input matriz e retorna output com input_tokens/output_tokens campos de uso

O plug-in não oferece suporte a outros endpoints da API OpenAI.

Próxima etapa

Simular a API do OpenAI do Azure

  • Last updated on