Supervisa los modelos servidos mediante tablas de inferencia habilitadas para AI Gateway

En este artículo se describen las tablas de inferencia habilitadas por la pasarela de IA para supervisar los modelos servidos. La tabla de inferencia captura automáticamente las solicitudes entrantes y las respuestas salientes para un punto de conexión y las registra como una tabla de Unity Catalog Delta. Puede usar los datos de esta tabla para supervisar, evaluar, comparar y ajustar modelos de aprendizaje automático.

¿Qué son las tablas de inferencia habilitadas por la puerta de enlace de IA?

Las tablas de inferencia habilitadas para AI Gateway simplifican la supervisión y el diagnóstico de los modelos registrando continuamente las entradas y respuestas de solicitud (predicciones) de los puntos de conexión de Servicio del modelo de IA de Mosaic y guardándolos en una tabla Delta en Unity Catalog. Después, puede usar todas las funcionalidades de la plataforma de Databricks, como consultas y cuadernos SQL de Databricks para supervisar, depurar y optimizar los modelos.

Puede habilitar las tablas de inferencia en un punto de conexión existente o recién creado y las solicitudes a ese punto de conexión se registran automáticamente en una tabla en el Unity Catalog.

Algunas aplicaciones comunes para las tablas de inferencia son las siguientes:

• Cree un corpus de entrenamiento. Al unir tablas de inferencia con etiquetas de verdad básica, puede crear un corpus de entrenamiento que puede usar para volver a entrenar o ajustar y mejorar el modelo. Con los trabajos de Lakeflow, puede configurar un bucle continuo de retroalimentación y automatizar el reentrenamiento.
• Supervisar la calidad de los datos y del modelo. Puede supervisar continuamente el rendimiento del modelo y el desfase de datos mediante la generación de perfiles de datos, que genera automáticamente paneles de calidad de datos y modelos que puede compartir con las partes interesadas. Además, puede habilitar las alertas para saber cuándo necesita volver a entrenar el modelo en función de los cambios en los datos entrantes o las reducciones en el rendimiento del modelo.
• Depuración de problemas de producción. Las tablas de inferencia registran datos como códigos de estado HTTP, código JSON de solicitud y respuesta, tiempos de ejecución del modelo y salida de seguimientos durante los tiempos de ejecución del modelo. Puede usar estos datos de rendimiento con fines de depuración. También puede usar las tablas de inferencia de datos históricos para comparar el rendimiento del modelo en las solicitudes históricas.
• Supervise los agentes de IA implementados. Las tablas de inferencia también pueden almacenar seguimientos de MLflow para agentes de IA que le ayudan a depurar problemas y supervisar el rendimiento.

Requisitos

• Las tablas de inferencia habilitadas para la puerta de enlace de AI se admiten para los puntos de conexión que atienden a cualquiera de las siguientes opciones:
  • Carga de trabajo de rendimiento aprovisionado
  • Modelo de pago por token
  • Modelos externos
  • Agente de IA implementado
  • Modelos personalizados
• Un área de trabajo de Databricks en una región en la que se admite el modelo de servicio. Consulte Disponibilidad de características de servicio de modelos.
• El proceso sin servidor debe habilitarse en el área de trabajo.
• En el caso de las áreas de trabajo que tienen conectividad privada configurada en la cuenta de almacenamiento del catálogo de Unity, siga los pasos descritos en Configuración de la conectividad privada a los recursos de Azure.
• Databricks recomienda habilitar la optimización predictiva para optimizar el rendimiento de las tablas de inferencia.

• Su área de trabajo debe estar habilitada para Unity Catalog.
• Tanto el creador del punto de conexión como el modificador deben tener el permiso Puede administrar en el punto de conexión. Consulte las Listas de control de acceso.
• Tanto el creador del punto de conexión como el modificador deben tener los permisos siguientes en Unity Catalog:
  • Permisos USE CATALOG en el catálogo especificado.
  • USE SCHEMA permisos en el esquema especificado.
  • Permisos CREATE TABLE en el esquema.
• El catálogo no puede ser un catálogo Delta Sharing en el metastore actual.

Habilitación y deshabilitación de tablas de inferencia

En esta sección se muestra cómo habilitar o deshabilitar tablas de inferencia mediante la interfaz de usuario de servicio. El propietario de las tablas de inferencia es el usuario que ha habilitado la tabla de inferencia. Todas las listas de control de acceso (ACL) de la tabla siguen los permisos estándar de Unity Catalog y el propietario de la tabla puede modificarlos.

Para habilitar tablas de inferencia durante la creación de puntos de conexión, siga estos pasos:

1. Haga clic en Servir en la interfaz de usuario de Databricks Mosaic AI.
2. Haga clic en Crear punto de conexión de servicio.
3. En la sección AI Gateway, seleccione Habilitar tablas de inferencia.

También puede habilitar tablas de inferencia en un punto de conexión existente. Para editar una configuración de punto de conexión existente, haga lo siguiente:

1. En la sección AI Gateway, haz clic en Editar AI Gateway.
2. Seleccione Habilitar tablas de inferencia.

Siga estas instrucciones para deshabilitar las tablas de inferencia:

1. Ve a la página del punto de conexión.
2. Haga clic en Editar AI Gateway.
3. Haga clic en Habilitar tabla de inferencia para quitar la marca de verificación.
4. Una vez que esté satisfecho con las especificaciones de AI Gateway, haga clic en Actualizar.

Habilitación de tablas de inferencia para agentes de IA

También puede habilitar tablas de inferencia para agentes de IA implementados, estas tablas de inferencia almacenan la carga y los detalles de la solicitud, así como los registros de seguimiento de MLflow.

Habilite las tablas de inferencia para los agentes de IA mediante los métodos siguientes:

• Los agentes implementados mediante la mlflow.deploy() API tienen las tablas de inferencia habilitadas automáticamente. Consulte Implementación de un agente para aplicaciones de IA generativas (Servicio de modelos).
• Para las implementaciones mediante programación, establezca la variable ENABLE_MLFLOW_TRACING de entorno True en la configuración del punto de conexión. Consulte Adición de variables de entorno de texto sin formato.

Para más información sobre el seguimiento del agente de MLflow, consulte Seguimiento de MLflow: observabilidad de GenAI.

Consulta y análisis de resultados en la tabla de inferencia

Una vez que los modelos servidos estén listos, todas las solicitudes realizadas a los modelos se registran automáticamente en la tabla de inferencia, junto con las respuestas. Puede ver la tabla en la interfaz de usuario, consultar la tabla desde Databricks SQL o un cuaderno, o consultar la tabla mediante la API REST.

Para ver la tabla en la interfaz de usuario: en la página del punto de conexión, haga clic en el nombre de la tabla de inferencia para abrir la tabla en el Explorador de catálogos.

Para consultar la tabla desde Databricks SQL o un cuaderno de Databricks: puede ejecutar código similar al siguiente para consultar la tabla de inferencia.

SELECT * FROM <catalog>.<schema>.<payload_table>

Para unir los datos de la tabla de inferencia con detalles sobre el modelo de base subyacente servido en el punto de conexión: Los detalles de Foundation model se capturan en la tabla del sistema system.serving.served_entities.

SELECT * FROM <catalog>.<schema>.<payload_table> payload
JOIN system.serving.served_entities se on payload.served_entity_id = se.served_entity_id

Esquema de tabla de inferencia habilitada para AI Gateway

Las tablas de inferencia habilitadas mediante AI Gateway tienen el esquema siguiente:

Esquemas de tabla de inferencia del agente de IA

En el caso de los agentes de IA, Databricks crea tres tablas de inferencia para cada implementación para registrar solicitudes y respuestas hacia y desde el punto de conexión de servicio del modelo:

Los usuarios pueden esperar los datos de las tablas de carga en un plazo de una hora después de interactuar con el punto de conexión de servicio. Los registros de solicitudes de carga y los registros de evaluación pueden tardar más tiempo en rellenarse y se derivan de la tabla de carga sin procesar. Puede extraer los registros de solicitud y evaluación de la tabla de carga usted mismo. Las eliminaciones y actualizaciones de la tabla de carga no se reflejan en los registros de solicitudes de carga o en los registros de evaluaciones de carga.

A continuación se muestra el esquema de la tabla de registros de solicitudes de carga:

A continuación se muestra el esquema de la tabla de registros de evaluación de carga:

Limitaciones

• Cargas de trabajo de rendimiento aprovisionada:
  • Si crea un modelo de puntos de conexión de servicio que utiliza rendimiento aprovisionado, solo se admiten tablas de inferencia habilitadas para AI Gateway.
  • Si tiene un punto de conexión de servicio de modelo existente que usa el rendimiento aprovisionado y no tiene tablas de inferencia configuradas, puede actualizarlo para usar tablas de inferencia habilitadas con AI Gateway.
  • Si tiene un punto de conexión de servicio de modelo existente que usa el rendimiento aprovisionado y tiene configuradas tablas de inferencia heredadas, debe deshabilitar la tabla de inferencia heredada para poder actualizar el punto de conexión para usar tablas de inferencia habilitadas para la puerta de enlace de AI.
  • Una vez habilitadas las tablas de inferencia habilitadas para la puerta de enlace de IA, no puede cambiar a tablas de inferencia heredadas.
  • Para los registros de respuesta del agente de IA en streaming, solo se agregan los campos y trazados compatibles con ChatCompletion.
• Cargas de trabajo del modelo personalizado:
  • Si crea un nuevo modelo de puntos de conexión de servicio que sirve un modelo personalizado, Databricks recomienda usar tablas de inferencia con la puerta de enlace de IA habilitada. Si se requiere la funcionalidad de la tabla de inferencia heredada, solamente puede configurar su nuevo punto de conexión para el AI Gateway mediante la API REST.
  • Si tiene un punto de conexión de servicio de modelo existente que sirve un modelo personalizado y no tiene tablas de inferencia configuradas, puede actualizarlo para usar tablas de inferencia habilitadas para la puerta de enlace de AI.
  • Si tiene un punto de conexión de servicio de modelo existente que sirve un modelo personalizado y tiene configuradas tablas de inferencia heredadas, debe deshabilitar la tabla de inferencia heredada para poder actualizar el punto de conexión para usar tablas de inferencia habilitadas para la puerta de enlace de IA.
  • Una vez habilitadas las tablas de inferencia habilitadas para la puerta de enlace de IA, no puede cambiar a tablas de inferencia heredadas.

• La entrega de registros de tablas de inferencia para los puntos de conexión de modelo de servicio que sirven a cargas de trabajo de API de Foundation Model, modelos externos o agentes es actualmente la mejor opción. Puede esperar que los registros estén disponibles en un plazo de 1 hora a partir de una solicitud. Póngase en contacto con el equipo de la cuenta de Databricks para obtener más información.
• El tamaño máximo de solicitud, respuesta y seguimiento registrado es 1 MiB (1048 576 bytes). Las cargas que superen esto se registran como null y logging_error_codes se rellenan con MAX_REQUEST_SIZE_EXCEEDED o MAX_RESPONSE_SIZE_EXCEEDED.
• Las tablas de inferencia para modelos optimizados para rutas que dan servicio a puntos de conexión se encuentran en Vista previa pública.
• No se garantiza que los registros de la tabla de inferencia se rellenen si el punto de servicio del modelo devuelve un error.
  • En el caso de los puntos de conexión de modelo personalizados, es posible que los registros no se registren para errores 4xx o 5xx.
  • Para otros puntos de conexión, es posible que los registros no se registren para errores 401, 403, 429 o 500.

Para conocer las limitaciones específicas de AI Gateway, consulte Limitaciones. Para conocer las limitaciones generales del modelo de puntos de conexión de servicio, consulta Límites y regiones del Modelo de servicio.