Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En Búsqueda de Azure AI, el clasificador semántico es una característica que mejora considerablemente la relevancia de la búsqueda mediante los modelos de reconocimiento del lenguaje de Microsoft para cambiar los resultados de la búsqueda. El rankeador semántico también está integrado en la recuperación agencial. Este artículo es una introducción de alto nivel para ayudarle a comprender los comportamientos y las ventajas del clasificador semántico.
El clasificador semántico es una característica premium que se factura por uso, pero puede usarla de forma gratuita sujeto a límites de servicio para el nivel gratis. Si necesita información general, le recomendamos este artículo, pero, si prefiere empezar a trabajar, siga estos pasos:
¿Qué es la clasificación semántica?
El clasificador semántico es una colección de funcionalidades del lado de consulta que mejoran la calidad de un resultado inicial de búsqueda clasificado por BM25 o con clasificación RRF para consultas basadas en texto, la parte de texto de las consultas vectoriales y las consultas híbridas. La clasificación semántica amplía la canalización de ejecución de consultas de tres maneras:
En primer lugar, siempre agrega una clasificación secundaria sobre un conjunto de resultados inicial con clasificación BM25 o Fusión de clasificación recíproca (RRF). Esta clasificación secundaria usa modelos de aprendizaje profundo multilingües adaptados de Microsoft Bing para promover los resultados más semánticamente relevantes.
En segundo lugar, devuelve subtítulos y, opcionalmente, extrae respuestas en la respuesta, que puede representar en una página de búsqueda para mejorar la experiencia de búsqueda del usuario.
En tercer lugar, si habilita la reescritura de consultas, expande una cadena de consulta inicial en varias cadenas de consulta semánticamente similares.
La clasificación secundaria y las "respuestas" se aplican a la respuesta de la consulta. La reescritura de consultas forma parte de la solicitud de consulta.
Estas son las funcionalidades del clasificador semántico.
| Capability | Description |
|---|---|
| Clasificación L2 | Usa el contexto o el significado semántico de una consulta para calcular una nueva puntuación de relevancia en los resultados clasificados previamente. |
| Títulos y resaltados semánticos | Extrae las oraciones y frases textuales de los campos que mejor resumen el contenido; se resaltan los pasajes clave para facilitar el análisis. Los títulos que resumen un resultado son útiles cuando los campos de contenido individuales son demasiado densos para la página de resultados de búsqueda. El texto resaltado eleva los términos y frases más relevantes para que los usuarios puedan determinar rápidamente por qué se consideró relevante una coincidencia. |
| Respuestas semánticas | Es una subestructura opcional y adicional que se devuelve desde una consulta semántica. Proporciona una respuesta directa a una consulta que se parece a una pregunta. Requiere que un documento tenga texto con las características de una respuesta. |
| Reescritura de consultas | Mediante el uso de consultas de texto o la parte de texto de una consulta vectorial, el clasificador semántico crea hasta 10 variantes de la consulta, tal vez corrigiendo errores tipográficos o ortográficos, o reformulando una consulta mediante sinónimos generados. La consulta reescrita se ejecuta en el motor de búsqueda. Los resultados se puntúan mediante la puntuación BM25 o RRF y, a continuación, se vuelven a puntuar por clasificador semántico. |
Cómo funciona el clasificador semántico
El clasificador semántico toma una consulta y los resultados y los envía a los modelos de Language Understanding hospedados por Microsoft. Busca mejores coincidencias.
En la ilustración siguiente se explica el concepto. Usemos como ejemplo el término "capital". Tiene significados diferentes en función de si el contexto es finanzas, ley, geografía o demás. A través de Language Understanding, el clasificador semántico detecta el contexto y promueve los resultados que se ajustan a la intención de consulta.
La clasificación semántica usa muchos recursos y tiempo. Para finalizar el procesamiento dentro de la latencia esperada de una operación de consulta, el sistema consolida y reduce las entradas al clasificador semántico. Este enfoque ayuda a completar el paso de reordenamiento lo antes posible.
La clasificación semántica tiene tres pasos:
- Recopilación y resumen de entradas
- Puntuación de los resultados mediante el clasificador semántico
- Devolución de resultados reclasificados, subtítulos y respuestas
Cómo el sistema recopila y resume las entradas
En la clasificación semántica, el subsistema de consultas pasa los resultados de búsqueda como entrada para modelos de resumen y clasificación. Dado que los modelos de clasificación tienen restricciones de tamaño de entrada y procesan de forma intensiva, los resultados de búsqueda deben tener un tamaño y una estructura (resumidos) para un control eficaz.
El clasificador semántico comienza con un resultado clasificado por BM25 de una consulta de texto o un resultado clasificado por RRF a partir de un vector o una consulta híbrida. El ejercicio de reranking utiliza solo texto. Incluso si los resultados incluyen más de 50 resultados, solo los 50 primeros resultados progresan a la clasificación semántica. Normalmente, la clasificación semántica usa campos informativos y descriptivos.
Para cada documento del resultado de la búsqueda, el modelo de resumen acepta hasta 2000 tokens, donde un token tiene aproximadamente 10 caracteres. El modelo ensambla entradas de los campos "title", "keyword" y "content" enumerados en la configuración semántica.
El sistema recorta cadenas excesivamente largas para asegurarse de que la longitud general cumple los requisitos de entrada del paso de resumen. Este ejercicio de recorte es el motivo por el que es importante agregar campos a la configuración semántica en orden de prioridad. Si tiene documentos muy grandes con campos pesados de texto, el sistema omite cualquier cosa después del límite máximo.
Campo semántico Límite de tokens "title" 128 tokens "keywords 128 tokens "content" tokens restantes La salida del resumen es una cadena de resumen para cada documento, compuesta de la información más relevante de cada campo. El sistema envía cadenas de resumen al clasificador para la puntuación y a los modelos de comprensión de lectura automática para subtítulos y respuestas.
A partir de noviembre de 2024, la longitud máxima de cada cadena de resumen generada que se pasa al clasificador semántico es de 2024 tokens. Anteriormente, era de 256 tokens.
Cómo se puntúan los resultados
El sistema puntúa los resultados en función del subtítulo y cualquier otro contenido de la cadena de resumen que rellene la longitud del token de 2048.
El sistema evalúa los títulos de relevancia conceptual y semántica, en relación con la consulta que proporcione.
El sistema asigna un @search.rerankerScore a cada documento en función de la relevancia semántica del documento para la consulta especificada. Las puntuaciones van de 4 a 0 (alta a baja), donde una puntuación más alta indica una mayor relevancia.
Score Meaning 4.0 El documento es muy relevante y responde a la pregunta por completo, aunque el pasaje podría contener texto adicional no relacionado con la pregunta. 3.0 El documento es relevante, pero carece de detalles que lo harían completo. 2.0 El documento es algo relevante; responde a la pregunta parcialmente o solo aborda algunos aspectos de la pregunta. 1.0 El documento está relacionado con la pregunta y responde a una pequeña parte de ella. 0.0 El documento es irrelevante. El sistema enumera las coincidencias en orden descendente por puntuación e incluyelas en la carga de respuesta de la consulta. La carga útil incluye respuestas, texto sin formato y subtítulos resaltados, así como cualquier campo que se haya marcado como recuperable o especificado en una cláusula SELECT.
Note
Para cualquier consulta determinada, las distribuciones de @search.rerankerScore pueden presentar pequeñas variaciones debido a las condiciones en el nivel de infraestructura. Las actualizaciones del modelo de clasificación también pueden afectar a la distribución. Por estos motivos, si está escribiendo código personalizado para umbrales mínimos o estableciendo la propiedad de umbral para consultas vectoriales e híbridas, no establezca los límites demasiado exactos.
Resultados del clasificador semántico
A partir de cada cadena de resumen, los modelos de comprensión de lectura automática encuentran pasajes que son los más representativos.
Las salidas son:
Un título semántico para el documento. Cada subtítulo está disponible en una versión de texto sin formato y en una versión de resaltado, y con frecuencia es menor que 200 palabras por documento.
Una respuesta semántica opcional, suponiendo que hayas especificado el parámetro
answers, la consulta se planteó como una pregunta y se encuentra un paso en la cadena larga que proporciona una respuesta probable a la pregunta.
Los títulos y respuestas siempre son texto textual del índice. No hay ningún modelo de IA generativo en este flujo de trabajo que cree o componga contenido nuevo.
Funcionalidades y limitaciones semánticas
Qué puede hacer el clasificador semántico:
Promover las coincidencias que están semánticamente más cerca de la intención de la consulta original.
Buscar cadenas para usarlas como títulos y respuestas. La respuesta devuelve subtítulos y respuestas, que puede representar en una página de resultados de búsqueda.
Lo que el clasificador semántico no puede hacer es volver a ejecutar la consulta en todo el corpus para buscar resultados semánticamente relevantes. La clasificación semántica vuelve a clasificar el conjunto de resultados existente, que consta de los 50 primeros resultados puntuados por el algoritmo de clasificación predeterminado. Además, el clasificador semántico no puede crear nuevas cadenas o información. Los modelos de lenguaje extraen subtítulos y respuestas textuales del contenido, por lo que si los resultados no incluyen texto similar a la respuesta, no producirán uno.
Aunque la clasificación semántica no es ventajosa en todos los escenarios, cierto contenido puede beneficiarse significativamente de sus funcionalidades. Los modelos de lenguaje del clasificador semántico funcionan mejor en contenido que permite búsquedas, que tiene gran cantidad de información y está estructurado como prosa. Una knowledge base, documentación en línea o los documentos con contenido descriptivo son los que más se benefician de las funcionalidades del clasificador semántico.
La tecnología subyacente es de Bing y Microsoft Research, y se integra con la infraestructura de Azure AI Search como una característica de complemento. Para más información sobre las inversiones en investigación e IA que respaldan el uso del clasificador semántico, consulte Formas en que la IA de Bing beneficia a Búsqueda de Azure AI (Microsoft Research Blog).
En el vídeo siguiente se proporciona información general de las funcionalidades.
Cómo usa el clasificador semántico mapas de sinónimos
Si habilita la compatibilidad con asignaciones de sinónimos asociadas a un campo en el índice de búsqueda e incluye ese campo en la configuración del clasificador semántico, el clasificador semántico aplica automáticamente los sinónimos configurados durante el proceso de reranking.
Disponibilidad y precios
El clasificador semántico está disponible en las regiones seleccionadas. Úselo como una característica independiente y como componente integrado de la recuperación de agentes.
Puede deshabilitar el clasificador semántico para el servicio de búsqueda, usarlo de forma limitada o usarlo de forma más amplia con facturación de pago por uso:
| Planificación | Description |
|---|---|
| Gratuito | Un servicio de búsqueda de nivel gratuito proporciona 1,000 solicitudes de clasificador semántico al mes y 50 millones de tokens de razonamiento agéntico gratuitos al mes. Los niveles superiores también pueden usar el plan gratuito. |
| Estándar | El plan estándar funciona con pago por uso una vez que se consume la cuota gratuita mensual. Después de las primeras 1.000 solicitudes de clasificador semántico, pagas por cada 1.000 solicitudes adicionales. Después de los primeros 50 millones de tokens de razonamiento de agente al mes, paga una tarifa nominal por cada millón de tokens de razonamiento de agente. La transición de Gratis a Estándar es perfecta. No se le notifica cuando se produce la transición. Para más información sobre los cargos por moneda, consulte la página de precios de Azure AI Search. |
En la página de precios de Azure AI Search se muestra la tasa de facturación para diferentes monedas e intervalos.
Los cargos por el clasificador semántico ocurren cuando las solicitudes de consulta incluyen queryType=semantic y la cadena de búsqueda no está vacía (por ejemplo, search=pet friendly hotels in New York). Si la cadena de búsqueda está vacía (search=*), no pagas nada, aunque queryType esté establecido en semantic.
Introducción al clasificador semántico
Configure el clasificador semántico para el servicio de búsqueda y elija un plan de precios. El plan gratuito es el valor predeterminado.
Configure el clasificador semántico en un índice de búsqueda.
Configure consultas para devolver subtítulos y resaltados semánticos.