Compartir a través de


Nota de transparencia para el servicio del agente de Azure

Importante

Las traducciones no en inglés solo se proporcionan para mayor comodidad. Consulte la versión EN-US de este documento para obtener la versión definitiva.

¿Qué es una nota de transparencia?

Los sistemas de inteligencia artificial incluyen no solo la tecnología, sino también las personas que la usarán y las que se verán afectadas por ella, así como los entornos en los que se implementan. La creación de un sistema adecuado a su finalidad requiere comprender cómo funciona la tecnología, cuáles son sus capacidades y limitaciones, y cómo conseguir el mejor rendimiento. Las notas sobre transparencia de Microsoft están pensadas para ayudarle a entender cómo funciona nuestra tecnología de inteligencia artificial, las elecciones que los propietarios del sistema pueden hacer que influyan en el rendimiento y el comportamiento del sistema y la importancia de pensar en todo el sistema, incluida la tecnología, las personas y el entorno. Puede usar notas de transparencia al desarrollar o implementar su propio sistema o compartirlos con las personas que usarán o se verán afectadas por el sistema.

Las notas sobre transparencia de Microsoft forman parte de un esfuerzo más amplio en Microsoft para poner en práctica nuestros principios de inteligencia artificial. Para obtener más información, consulte los principios de IA de Microsoft.

Conceptos básicos del servicio de agente de IA de Azure

Introducción

Azure ai Agent Service es un servicio totalmente administrado diseñado para permitir a los desarrolladores crear, implementar y escalar de forma segura agentes de inteligencia artificial extensible y de alta calidad sin necesidad de administrar los recursos de proceso y storage subyacentes. El servicio de agentes de Azure AI proporciona acceso integrado a modelos, herramientas y tecnología y le permite ampliar la funcionalidad de los agentes con conocimientos de orígenes conectados (como Bing Search, SharePoint, Fabric, Azure Blob storage y datos con licencia) y con acciones mediante herramientas como Azure Logic Apps, Azure Functions, herramientas especificadas de OpenAPI 3.0 e Intérprete de Código. Más información.

Declinación de responsabilidades generales sobre agentes

Los sistemas de IA agente están diseñados para usar funcionalidades agenteicas para lograr un objetivo de alto nivel especificado por un usuario. Los sistemas deben diseñarse para permitir que los usuarios incorporen la supervisión humana según corresponda para asegurarse de que el sistema realiza las acciones y las tareas según lo previsto. Si un agente presenta comportamientos no deseados o no deseados, los usuarios deben tener la capacidad de intervenir y tomar las medidas adecuadas para mitigar los posibles riesgos.

Declinación de responsabilidades sobre agentes en dominios confidenciales

Los usuarios deben tener precaución al diseñar e implementar sistemas de inteligencia artificial agente en dominios confidenciales en los que las acciones del agente son irreversibles o muy consecuentes. Estos dominios incluyen, entre otros, finance y seguros, atención sanitaria, legal y vivienda. También se deben tomar precauciones adicionales al crear inteligencia artificial agente autónoma, como se describe más adelante en nuestro Código de conducta. Usted es responsable de cumplir con todas las leyes aplicables y los estándares de seguridad pertinentes para los agentes que cree con las herramientas y soluciones de Foundry, incluidos el Catálogo de agentes, los ejemplos de código subyacentes y los recursos y la información similares (consulte las consideraciones siguientes al elegir un caso de uso).

Términos clave

A continuación se muestran los componentes clave del SDK del servicio del agente de IA de Azure (y la experiencia del portal Microsoft Foundry potenciado por él):

Término Definición
Desarrollador Un cliente del Servicio de Agentes de Azure AI que desarrolla un agente.
Usuario Una persona que usa o opera un agente creado por un desarrollador.
Agente Una aplicación o un sistema que utiliza modelos de IA generativa con herramientas para acceder e interactuar con fuentes de datos, API y sistemas reales con el fin de lograr objetivos especificados por el usuario, como responder preguntas, realizar acciones o automatizar completamente los flujos de trabajo, con o sin supervisión humana.
Herramienta Una funcionalidad integrada o definida personalizada que permite a un agente realizar tareas sencillas o complejas o interactuar con orígenes de información, aplicaciones o servicios a través del SDK del servicio de agente o Foundry portal.
Herramienta de conocimiento Una herramienta que permite a un agente acceder y procesar datos de orígenes internos y externos, incluida la información posterior a la fecha de corte del entrenamiento del modelo, para mejorar la precisión y relevancia de las respuestas a las consultas del usuario.
Herramienta de acción Herramienta que permite a un agente realizar tareas y realizar acciones en nombre de los usuarios mediante la integración con sistemas externos, API y servicios.
Thread Una sesión de conversación entre un agente y un usuario. Los hilos almacenan mensajes y gestionan automáticamente el truncamiento para ajustar el contenido al contexto de un modelo.
Mensaje Mensaje creado por un agente o un usuario. Los mensajes pueden incluir texto, imágenes y otros archivos. Los mensajes se almacenan como una lista en el hilo.
Run Activación de un agente para empezar a ejecutarse en función del contenido del subproceso. El Agente usa su configuración y los mensajes del subproceso para realizar tareas llamando a modelos y herramientas. Como parte de una ejecución, el agente anexa mensajes al subproceso.
Pasos de ejecución Una lista detallada de los pasos que tomó el Agente como parte de una ejecución. Un agente puede llamar a herramientas o crear mensajes durante su ejecución. Examinar los pasos de ejecución le permite comprender cómo el agente obtiene sus resultados finales.
Flujo de trabajo Secuencia declarativa de acciones que organiza los agentes para automatizar procesos complejos. Los flujos de trabajo de Foundry se pueden diseñar, ejecutar y publicar mediante una interfaz de usuario gráfica.
Ejemplo Plantilla, manifiesto, ejemplo de código, ejemplo de flujo de trabajo u otro ejemplo que muestra cómo puede compilar agentes, aplicaciones o soluciones y aprovechar las ventajas del servicio Microsoft Foundry Agent.

Conceptos de funcionalidad relevantes

Término Definición
Sistema de IA agente Un término paraguas que incluye las siguientes funcionalidades comunes que los desarrolladores pueden habilitar en sus agentes cuando usan el servicio de agente de IA de Azure.
Autonomy La capacidad de ejecutar acciones de forma independiente y ejercer el control sobre el comportamiento del sistema con distintos grados de supervisión humana.
Razonamiento La capacidad de procesar información al comprender el contexto y los resultados de varios cursos potenciales de acciones, tareas o interacciones con usuarios de terceros.
Planificación La capacidad de dividir objetivos y acciones complejos y especificados por el usuario en tareas y subtareas para su ejecución. Las tareas planeadas las crea uno o varios agentes.
Memoria La capacidad de almacenar o conservar información o contexto de observaciones anteriores, interacciones o comportamientos del sistema.
Adaptability La capacidad de cambiar o ajustar el comportamiento y mejorar el rendimiento en función de la información recopilada del entorno o de la experiencia anterior.
Extensibilidad La capacidad de llamar a recursos (por ejemplo, como orígenes de conocimiento externos) y ejecutar funciones (por ejemplo, enviar un correo electrónico) desde sistemas conectados, software o plataformas, incluido el uso de herramientas.

Capabilities

Comportamiento del sistema

Azure Servicio de Agentes de IA proporciona integración con datos gestionados de forma segura, herramientas listas para usar y llamadas automáticas a herramientas que permiten a los desarrolladores crear agentes que puedan razonar, planificar y ejecutar tareas a partir de un objetivo de alto nivel especificado por un usuario. Azure AI Agent Service permite el desarrollo rápido de agentes gracias a la administración de memoria integrada y una interfaz sofisticada para integrarse de manera fluida con plataformas de computación populares, vinculando las capacidades de LLM con acciones programáticas de propósito general.

Diagrama de los componentes y características del servicio de agentes de IA de Azure.

Entre las características clave del servicio del agente de IA de Azure se incluyen las siguientes:

  1. Desarrollo rápido y automatización de procesos: Los agentes deben integrarse sin problemas con las herramientas, sistemas y API adecuados para realizar acciones deterministas o no deterministas.
  2. Integración con conectores de memoria y conocimiento extensos: Los agentes deben administrar el estado de la conversación y conectarse con orígenes de conocimiento internos y externos para tener el contexto adecuado para completar un proceso.
  3. Opción de modelo flexible: Los agentes creados con el modelo adecuado para sus tareas pueden permitir una mejor integración de la información de varios tipos de datos, generar mejores resultados para escenarios específicos de tareas y mejorar las eficiencias de los costos en las implementaciones escaladas.
  4. Preparación empresarial integrada: Los agentes deben ser capaces de admitir las necesidades únicas de privacidad y cumplimiento de datos de una organización, escalar con las necesidades de una organización y completar tareas de forma confiable y con alta calidad.

Funcionalidades de extensibilidad

Las capacidades de extensibilidad del Azure AI Agent Service permiten a los Agentes interactuar con fuentes de conocimiento, sistemas y plataformas para basar y mejorar la funcionalidad del Agente. Specifically:

Protección de las salidas del agente con un amplio ecosistema de orígenes de conocimiento

Los desarrolladores pueden configurar un amplio ecosistema de orígenes de conocimiento para permitir que un agente access y procese datos de varios orígenes, lo que mejora la precisión de las respuestas y salidas. Los conectores a estos orígenes de datos funcionan dentro de los parámetros de red designados. Las herramientas de conocimiento integradas en Azure ai Agent Service incluyen:

  • File Search (una herramienta integrada de generación aumentada por recuperación (RAG) para procesar y buscar datos privados en Azure AI Search, Azure Blob Storage y archivos locales)
  • Uso de Bing Search (una herramienta de búsqueda web que usa Bing Search para extraer información de la web)
  • SharePoint (herramientas integradas que vinculan los documentos internos de una organización en SharePoint para obtener respuestas fundamentadas)
  • Fabric Data Agent (una herramienta integrada para chatear con datos estructurados en Microsoft Fabric mediante ia generativa)
  • Incorpora datos con licencia (una herramienta que permite el uso de datos propietarios a los que se accede mediante una clave de API con licencia obtenida por el desarrollador del proveedor de datos, por ejemplo, TripAdvisor)

Los agentes simplifican el acceso a datos seguros y a las habilidades de inteligencia artificial de SharePoint y Fabric mediante la autenticación en representación de (OBO), lo que permite al agente acceder solo a los archivos de SharePoint o Fabric para los cuales el usuario tiene permisos.

Habilitación de acciones autónomas con o sin entrada humana mediante herramientas de acción

Los desarrolladores pueden conectar un agente a sistemas externos, API y servicios mediante herramientas de acción, lo que permite al agente realizar tareas y realizar acciones en nombre de los usuarios. Las herramientas de acción integradas en Azure ai Agent Service incluyen:

  • Intérprete de código (una herramienta que puede escribir y ejecutar código de Python en un entorno seguro, controlar diversos formatos de datos y generar archivos con datos y objetos visuales)
  • Azure Logic Apps (una herramienta PaaS basada en la nube que permite flujos de trabajo automatizados con más de 1400 conectores integrados)
  • Azure Functions (una herramienta que permite que un agente ejecute código sin servidor para acciones sincrónicas, asincrónicas, de larga duración y controladas por eventos).
  • Herramientas especificadas de OpenAPI 3.0 (una función personalizada definida con la especificación OpenAPI 3.0 para conectar un agente a api externas basadas en OpenAPI de forma segura)
  • Herramientas de protocolo de contexto de modelo (un servicio personalizado conectado a través del protocolo de contexto de modelo a través de un servidor MCP remoto existente a un agente).
  • Deep Research tool: (una herramienta que permite la investigación en línea de múltiples pasos con el modelo de investigación en profundidad de o3 y vinculación con Bing Search).
  • Uso del equipo: (una herramienta para realizar tareas interactuando con sistemas informáticos y aplicaciones a través de sus interfaces de usuario)
  • Herramienta de automatización del explorador (una herramienta que puede realizar tareas del explorador del mundo real a través de avisos de lenguaje natural, lo que permite actividades de exploración automatizadas sin intervención humana en el medio)
  • Generación de imágenes (una herramienta para generar y editar imágenes)
  • Agent2Agent (un servicio personalizado conectado mediante el protocolo agente a agente a través de un punto de conexión de agente existente a un agente de Foundry).

Orquestación de sistemas multiagente

Los sistemas multiagente que usan Azure servicio de agente de IA se pueden diseñar para lograr flujos de trabajo autónomos eficaces para escenarios específicos. En sistemas multiagente, varios agentes autónomos con reconocimiento del contexto, ya sean humanos o sistemas de inteligencia artificial, interactúan o trabajan juntos para lograr objetivos individuales o colectivos especificados por el usuario. Azure AI Agent Service funciona de forma predeterminada con frameworks de orquestación de múltiples agentes compatibles1 con la Responses API, como Microsoft Agent Framework, un SDK de código abierto y un entorno de ejecución diseñados para permitir que los desarrolladores construyan, desplieguen y administren sistemas sofisticados de varios agentes con facilidad.

Al desarrollar una nueva solución multiagente, comience con la creación de agentes singleton con el Servicio de Agente de IA de Azure para conseguir agentes más confiables, escalables y seguros. Después, puede organizar estos agentes juntos mediante marcos de orquestación admitidos. Microsoft Agent Framework está evolucionando constantemente para encontrar los mejores patrones de colaboración para que los agentes (y los seres humanos) funcionen juntos. Las características que muestran el valor de producción con Microsoft Agent Framework se pueden mover al Foundry Agent Service de Microsoft si busca soporte técnico de producción y cambios no importantes.

Consulte las preguntas más frecuentes sobre transparencia de Agent Framework para obtener información sobre consideraciones y riesgos adicionales al crear orquestaciones multiagente mediante Microsoft Agent Framework.

Los flujos de trabajo de Foundry amplían la orquestación multiagente proporcionando un diseñador visual y una configuración basada en YAML para compilar, probar e implementar procesos agente. Cada flujo de trabajo puede coordinar varios agentes, lo que permite la automatización modular y latracibilidad. el diseñador de flujos de trabajo admite el control de versiones, los registros de cambios y la supervisión visual, lo que facilita la administración de la lógica compleja y garantiza la transparencia.

1Wireline compatible significa que una API puede comunicarse e intercambiar datos de una manera que sea totalmente compatible con un protocolo existente, los formatos de datos existentes y los estándares de comunicación, en este caso el protocolo Responses API. Esto significa que dos sistemas pueden trabajar juntos sin problemas sin necesidad de realizar cambios en su implementación principal.

Casos de uso

Usos previstos

El servicio de agente de Azure IA es flexible e independiente de casos de uso. Esto presenta varias posibilidades para automatizar tareas rutinarias y desbloquear nuevas capacidades para el trabajo de conocimiento, ya sea por agentes de productividad personal que envían correos electrónicos y programan reuniones, agentes de investigación que supervisan continuamente las tendencias del mercado y automatizan la creación de informes, agentes de ventas que pueden investigar clientes potenciales y calificarlos automáticamente, agentes de servicio al cliente que hacen seguimiento proactivo con mensajes personalizados, o agentes de desarrollo que pueden actualizar la base de código o evolucionar un repositorio de código de forma interactiva. Estos son ejemplos de usos previstos de agentes desarrollados mediante Azure servicio de agente de IA:

  • Atención sanitaria: Orientación simplificada del personal y soporte administrativo básico: El asistente administrativo de un hospital despliega a un agente para compilar procedimientos operativos estándar, directorios del personal y políticas de turnos en orientaciones concisas para las nuevas enfermeras; los materiales finales se revisan y aprueban por RR. HH., reduciendo el trabajo repetitivo sin comprometer la calidad del contenido.
  • Venta al por menor: Guía de compras personalizada: Un propietario boutique local puede implementar un agente que recomiende opciones de regalo basadas en las necesidades indicadas de un cliente y las compras anteriores, guiando a los compradores de forma responsable a través de catálogos de productos complejos sin insertar información sesgada o engañosa.
  • Gobierno: Evaluación de prioridades de solicitudes ciudadanas y coordinación de eventos comunitarios: Un empleado de la ciudad usa un agente para clasificar las solicitudes de servicio entrantes (por ejemplo, reparaciones de baches), asignarlas a los departamentos adecuados y compilar actualizaciones de estado simples; los funcionarios revisan y finalizan las comunicaciones para mantener la transparencia y la precisión.
  • Educación: Asistencia con la investigación y la recopilación de referencias: Un profesor se basa en un agente para recopilar artículos y recursos apropiados para la edad de fuentes de reputación para una lección de ciencia planetaria; el profesor comprueba los materiales de precisión fáctica y los ajusta para ajustarse al plan de estudios, lo que garantiza que los alumnos reciban contenido de confianza.
  • Fabricación: Supervisión del inventario y programación de tareas: Un supervisor de fábrica implementa un agente para supervisar los niveles de inventario, programar la reposición cuando los suministros se agotan y optimizar los horarios de turnos; la administración confirma las sugerencias del agente y conserva la autoridad final de toma de decisiones.
  • Deep Research Tool: Obtenga más información sobre los usos, funcionalidades, limitaciones, riesgos y consideraciones previstos al elegir un modelo de casos de uso con tecnología de investigación profunda en la nota de transparencia Azure Nota de transparencia de OpenAI.
  • Uso del ordenador: la herramienta Uso del ordenador incluye riesgos de seguridad y privacidad significativos adicionales, incluidos los ataques de inyección de instrucciones. Obtenga más información sobre los usos, funcionalidades, limitaciones, riesgos y consideraciones previstos al elegir un caso de uso en la nota de transparencia de OpenAI Azure.
  • Herramienta de generación de imágenes: la herramienta generación de imágenes está potenciada por el modelo gpt-image-1. Obtenga más información sobre los usos, funcionalidades, limitaciones, riesgos y consideraciones previstos al elegir un modelo de casos de uso en la nota de transparencia de OpenAI Azure.

Las muestras de agentes tienen usos específicos previstos que los desarrolladores pueden configurar para desarrollar, implementar y desplegar agentes con cuidado. Consulte la lista de muestras de Agentes.

Consideraciones al elegir un caso de uso

Animamos a los clientes a usar Azure servicio de agente de IA en sus innovadoras soluciones o aplicaciones. Sin embargo, estas son algunas cosas que se deben tener en cuenta al elegir un caso de uso:

  • Evite escenarios en los que el uso o el mal uso del sistema podrían dar lugar a lesiones físicas o psicológicas significativas para un individuo. Por ejemplo, los escenarios que diagnostican pacientes o recetan medicamentos tienen la posibilidad de causar daños significativos.
  • Evite escenarios en los que el uso o el uso indebido del sistema podrían tener un impacto consecuente en las oportunidades de vida o el estado legal. Entre los ejemplos se incluyen escenarios en los que el sistema o agente de inteligencia artificial podría afectar a la situación jurídica, los derechos legales o su acceso al crédito, la educación, el empleo, la atención médica, la vivienda, el seguro, los beneficios de bienestar social, los servicios, las oportunidades o los términos en los que se ofrecen.
  • Evite escenarios de alto riesgo que podrían provocar daños. El modelo usado en un agente puede reflejar ciertas opiniones sociales, sesgos y otro contenido no deseado presente en los datos de entrenamiento o los ejemplos proporcionados en la solicitud. Como resultado, se advierte sobre el uso de agentes en escenarios de alto riesgo en los que un comportamiento injusto, no confiable o ofensivo podría ser extremadamente costoso o provocar daños.
  • Considere detenidamente los casos de uso en dominios de gran participación o sector en los que las acciones del Agente son irreversibles o muy consecuentes. Entre estos sectores se incluyen, entre otros, la atención sanitaria, la medicina, los finance o los dominios legales. Por ejemplo: la capacidad de realizar transacciones financieras o dar asesoramiento financiero, la capacidad de interactuar directamente con servicios externos, la capacidad de administrar medicamentos o dar consejos relacionados con la salud, la capacidad de compartir información confidencial públicamente o la capacidad de conceder access a sistemas críticos.
  • Consideraciones legales y normativas. Microsoft toma en serio la seguridad y el cumplimiento de las obligaciones legales y normativas. Siempre nos esforzamos por cumplir las leyes, normativas y estándares aplicables en el desarrollo e implementación de tecnologías de inteligencia artificial, incluido el estándar de inteligencia artificial responsable de Microsoft. Es responsabilidad de su organización evaluar las implicaciones de seguridad y las posibles obligaciones legales y normativas específicas cuando se usan las herramientas y soluciones de Foundry, incluidos los agentes y los ejemplos de agentes subyacentes. Las respuestas a la inteligencia artificial pueden ser inexactas y las acciones de inteligencia artificial deben supervisarse adecuadamente con la supervisión humana. Algunos usos y ofertas pueden estar sujetos a requisitos legales y normativos, pueden requerir licencias o no ser adecuadas para todos los sectores, escenarios o casos de uso. Además, es posible que los agentes y las muestras del Agente subyacente no se usen de maneras prohibidas por las leyes, reglamentos, términos de servicio o códigos de conducta pertinentes.
  • Microsoft no ha creado, probado ni comprobado ningún sistema, API, servidores, agentes y servicios de terceros a los que decida conectarse. Cuando se conecta a un sistema de terceros (que no es de Microsoft), API, servidor, agente o servicio, algunos datos se compartirán con ese servicio y la aplicación o el agente pueden recibir datos a cambio. Se recomienda revisar qué datos se compartirán y serán conscientes de las prácticas de terceros para la retención y la ubicación de los datos. Tenga en cuenta y administre cuidadosamente si los datos fluirán fuera del cumplimiento y los límites geográficos de la organización y las implicaciones relacionadas. Microsoft no tiene responsabilidad alguna con respecto a su uso de sistemas remotos, API, servidores, herramientas, agentes o servicios. El uso de estos servicios se rige por su contrato con el proveedor. Usted es responsable de cualquier uso y costos asociados.
  • La herramienta de automatización del explorador conlleva importantes riesgos de seguridad y responsabilidad del usuario. La herramienta de automatización del explorador incluye riesgos de seguridad significativos. Tanto los errores de juicio de la inteligencia artificial como la presencia de instrucciones malintencionadas o confusas en las páginas web que esta encuentra pueden provocar que ejecute comandos que usted o terceros no pretendan, lo cual podría poner en peligro la seguridad de los navegadores, computadores y cuentas a las que el navegador o la inteligencia artificial tenga acceso, incluyendo sistemas personales, financieros o empresariales. Al usar la herramienta de automatización del explorador, reconoce que asume responsabilidad y responsabilidad por cualquier uso de él y de los agentes resultantes que cree con él, incluido con respecto a cualquier otro usuario al que haga que esté disponible la funcionalidad de la herramienta de automatización de exploradores, incluido a través de agentes resultantes. 

Limitaciones

Limitaciones técnicas, factores operativos e intervalos

  • Limitaciones del modelo de IA generativa: Debido a que el Servicio de Agente de Azure AI funciona con una variedad de modelos, el sistema en general hereda las limitaciones específicas de esos modelos. Antes de seleccionar un modelo para incorporarlo al agente, evalúe el modelo para comprender sus limitaciones. Considere revisar la Nota de transparencia de Azure OpenAI para obtener información adicional sobre las limitaciones de IA generativa que probablemente también sean relevantes para el sistema y revisar otras mejores prácticas para incorporar inteligencia artificial generativa en la aplicación del agente.
  • Complejidades de la orquestación de herramientas: Los agentes de IA dependen de múltiples herramientas integradas y conectores de datos (como Bing Search, SharePoint y Azure Logic Apps). Si alguna de estas herramientas está mal configurada, no disponible o devuelve resultados incoherentes, o se configura un gran número de herramientas en un solo agente, la guía del agente puede convertirse en fragmentada, obsoleta o engañosa.
  • Representación y soporte desiguales: Al atender a diversos grupos de usuarios, los agentes de inteligencia artificial pueden mostrar un rendimiento desigual si las variedades de idioma, los datos regionales o los dominios de conocimiento especializados están subrepresentadas. Un agente minorista, por ejemplo, podría ofrecer recomendaciones de productos menos confiables a los clientes que hablan idiomas menos representados.
  • Procesos de toma de decisiones opacos: A medida que los agentes combinan modelos de lenguaje grandes con sistemas externos, el seguimiento del "por qué" detrás de sus decisiones puede convertirse en un desafío. Un usuario que usa este tipo de agente puede resultar difícil entender por qué se eligieron ciertas herramientas o combinaciones de herramientas para responder a una consulta, complicar la confianza y la comprobación de las salidas o acciones del agente.
  • Evolución de los procedimientos recomendados y estándares: Los agentes son una tecnología emergente y las instrucciones sobre la integración segura, el uso de herramientas transparente y la implementación responsable siguen evolucionando. Mantenerse al día con los procedimientos recomendados y los procedimientos de auditoría más recientes es fundamental, ya que incluso los usos bien intencionadas pueden convertirse en riesgos sin revisión y refinamiento continuos.

Rendimiento del sistema

Prácticas recomendadas para mejorar el rendimiento del sistema

  • Evaluar el rendimiento del agente: evalúe los agentes para identificar las solicitudes de usuario de forma confiable, seleccione las herramientas y los procesos adecuados y se ajuste a las tareas asignadas. Utilice los siguientes evaluadores del SDK de evaluación de IA de Microsoft Azure:
    • Resolución de intenciones: mide la forma en que el agente identifica la solicitud del usuario, lo que incluye el alcance de la intención del usuario, formula preguntas aclarantes y recuerda a los usuarios finales su ámbito de funcionalidades.
    • Precisión de la llamada a la herramienta: evalúa la capacidad del agente para seleccionar las herramientas adecuadas y procesar los parámetros correctos de los pasos anteriores.
    • Cumplimiento de tareas: mide la forma en que la respuesta final del agente se adhiere a sus tareas asignadas, según su mensaje del sistema y los pasos anteriores.
  • Proporcione datos de confianza: Recuperar o cargar datos que no son de confianza en los sistemas podría poner en peligro la seguridad de los sistemas o aplicaciones. Para mitigar estos riesgos en las aplicaciones mediante el servicio de agente de IA de Azure, se recomienda registrar y supervisar las interacciones de LLM (entradas y salidas) para detectar y analizar posibles inyecciones de mensajes, delimitando claramente la entrada del usuario para minimizar el riesgo de inyección de mensajes, restringir el access de LLM a recursos confidenciales, limitar sus funcionalidades al mínimo necesario y aislarla de los sistemas y recursos críticos. Obtenga información sobre los enfoques de mitigación adicionales en la guía de seguridad para modelos de lenguaje grande.
  • Elija e integre las herramientas cuidadosamente: Seleccione herramientas estables, bien documentadas y adecuadas para los objetivos y usos previstos del agente. Por ejemplo, use un conector de base de datos confiable para búsquedas fácticas o una API bien probada para ejecutar acciones específicas. Limite el número de herramientas a las que realmente mejoran la funcionalidad y especifique cómo y cuándo debe usarlo el agente.
  • Proporcione controles proactivos de usuario para los límites del sistema: Considere la posibilidad de crear controles de usuario para proporcionar a los usuarios que operan el agente de IA la capacidad de establecer de forma proactiva límites en qué acciones o herramientas se permiten y en qué dominios puede operar el agente.
  • Establezca supervisión en tiempo real y procesos con humanos en el bucle: Considere proporcionar a los usuarios controles adecuados en tiempo real para autorizar, verificar, revisar y aprobar el comportamiento del sistema agentico, incluidas acciones, tareas planificadas, entornos operativos o límites de dominio, y acceso a conocimientos o herramientas de acción. Especialmente para las tareas críticas o de alto riesgo, considere la posibilidad de incorporar pasos obligatorios de revisión y aprobación humanas por parte del usuario. Asegúrese de que un usuario o operador humano pueda intervenir, corregir o invalidar fácilmente las decisiones del agente, especialmente cuando esas decisiones tienen implicaciones legales o de seguridad. Para obtener más información, consulte Uso excesivo de la inteligencia artificial.
  • Garantizar la inteligibilidad y la rastreabilidad de la toma de decisiones humanas: proporcione a los usuarios información antes, durante y después de realizar acciones para ayudarles a comprender las justificaciones de las decisiones, identificar dónde intervenir y solucionar problemas. Incorpore la instrumentación o el registro en el sistema, como seguimientos de OpenTelemetry del servicio de agente de Azure AI, para rastrear las salidas, incluidas las indicaciones, los pasos del modelo y las llamadas a herramientas. Esto permite la reconstrucción del proceso de razonamiento del agente, el aislamiento de problemas, la optimización de avisos, el refinamiento de la integración de herramientas y la comprobación del cumplimiento de las directrices. Para obtener más información, consulte Tracing con Application Insights.
  • Instrucciones y orientación del agente de capa: Divida las tareas complejas en pasos o subinstrucciones dentro de la indicación del sistema. Esto puede ayudar al agente a abordar el razonamiento en varios pasos de forma más eficaz, reduciendo los errores y mejorando la claridad de la salida final.
  • Reconocimiento de umbrales de complejidad para el escalado: Cuando el mensaje del sistema de un solo agente lucha constantemente para controlar la complejidad, amplitud o profundidad de una tarea, como producir resultados incompletos con frecuencia, alcanzar cuellos de botella de razonamiento o requerir un amplio conocimiento específico del dominio, el sistema puede beneficiarse de la transición a una arquitectura multiagente. Como procedimiento recomendado, supervise indicadores de rendimiento como la precisión de la respuesta, la latencia y la frecuencia de error. Si los refinamientos en el mensaje del agente único ya no producen resultados mejorados, considere la posibilidad de descomponer la carga de trabajo en subtareas especializadas, cada una de ellas regulada por su propio agente. Al segmentar tareas complejas (por ejemplo, dividir la investigación de directivas y la interpretación de directivas en agentes independientes), puede mantener la modularidad, usar conocimientos de dominio especializados de forma más eficaz y reducir la sobrecarga cognitiva en cualquier único agente.

Evaluación e integración del servicio de agente de IA de Azure para su uso

  • Asignar riesgos e impactos del agente. Antes de desarrollar o implementar la aplicación agéntica, considere cuidadosamente el impacto de las acciones previstas y las consecuencias de acciones o del uso de herramientas que no funcionen según lo previsto, como generar o tomar medidas sobre información inexacta o causar resultados sesgados o injustos, en diferentes fases.
  • Garantizar la supervisión y el control humanos adecuados. Considere la posibilidad de incluir controles para ayudar a los usuarios a comprobar, revisar o aprobar acciones de forma oportuna, lo que puede incluir la revisión de tareas planeadas o llamadas a orígenes de datos externos, por ejemplo, según corresponda para el sistema. Considere la posibilidad de incluir controles adecuados para la remediación de errores del sistema, especialmente en escenarios de alto riesgo y casos de uso. Por ejemplo, la herramienta MCP permite pasar encabezados personalizados, como claves de autenticación o esquema, según sea necesario para un servidor MCP remoto. En casos como este, se recomienda revisar todos los datos que se comparten con servidores remotos y, opcionalmente, registrarlos con fines de auditoría. Sea consciente de las prácticas de terceros para la retención y la ubicación de los datos.
  • Defina claramente las acciones y los requisitos asociados. Definir claramente qué acciones están permitidas (límites de acción), prohibidas o necesitan autorización explícita puede ayudar al sistema agente a operar según lo previsto y con el nivel adecuado de supervisión humana.
  • Defina claramente los entornos operativos previstos. Defina claramente los entornos operativos previstos (límites de dominio) donde el agente está diseñado para realizar de forma eficaz.
  • Asegúrese de la inteligibilidad adecuada en la toma de decisiones. Proporcionar información a los usuarios antes, durante y después de que se realicen acciones o se llame a herramientas, puede ayudarles a comprender la justificación de la acción o por qué se han realizado determinadas acciones o la aplicación se comporta de una manera determinada, dónde intervenir y cómo solucionar problemas.
  • Siga las mejores prácticas adicionales de inteligencia artificial generativa según corresponda para su sistema, incluidas las recomendaciones de la nota de transparencia de Azure OpenAI.

Obtener más información sobre la IA responsable

Más información sobre el servicio agente de IA de Azure