Datos de flujo como entrada en Stream Analytics

Stream Analytics tiene una integración de primer nivel con los flujos de datos de Azure, como entrada desde cuatro tipos de recursos.

• Azure Event Hubs
• Azure IoT Hub
• Azure Blob Storage
• Azure Data Lake Storage Gen2
• Apache Kafka

Estos recursos de entrada pueden residir en la misma suscripción de Azure que el trabajo de Stream Analytics o una suscripción diferente.

Compresión

Stream Analytics admite la compresión para todos los orígenes de entrada. Los tipos de compresión admitidos son: Ninguna, Gzip y Deflate. La compatibilidad con la compresión no está disponible para los datos de referencia. Si los datos de entrada fueran datos de Avro comprimidos, Stream Analytics los manipulará de forma transparente. No es necesario especificar el tipo de compresión con la serialización de Avro.

Crear, editar, o probar datos de entrada

Puede usar el portal Azure, Visual Studio y Visual Studio Code para agregar y ver o editar entradas existentes en el trabajo de streaming. También puede probar las conexiones de entrada y las consultas de prueba desde datos de ejemplo desde el portal de Azure, Visual Studio y Visual Studio Code. Al escribir una consulta, se muestra una lista de las entradas en la cláusula FROM. Puede obtener la lista de las entradas disponibles en la página Consulta del portal. Si quisiera usar varias entradas, use o escriba varias consultas .

Transmitir datos desde Event Hubs

Azure Event Hubs es un ingeror de eventos de publicación y suscripción altamente escalable. Un centro de eventos puede recopilar millones de eventos por segundo, por lo que se pueden procesar y analizar las grandes cantidades de datos que generan las aplicaciones y los dispositivos conectados. Juntos, Event Hubs y Stream Analytics proporcionan una solución de un extremo a otro para realizar análisis en tiempo real. Event Hubs le permite alimentar eventos en Azure en tiempo real y los trabajos de Stream Analytics pueden procesar esos eventos en tiempo real. Por ejemplo, se pueden enviar clics en la web, lecturas de sensores o eventos de registro en línea a Event Hubs. Así, se pueden crear trabajos de Stream Analytics que usen Event Hubs para los datos de entrada para su filtrado, agregación y correlación en tiempo real.

es la marca de tiempo de la llegada de un evento a un centro de eventos y es la marca de tiempo predeterminada de los eventos procedentes de Event Hubs hacia Stream Analytics. Para procesar los datos como un flujo con una marca de tiempo en la carga del evento, se debe usar la palabra clave TIMESTAMP BY.

Grupo de consumidores de Event Hubs

Se debería configurar cada entrada del centro de eventos para que tenga su propio grupo de consumidores. Cuando un trabajo contiene una autocombinación o tiene varias entradas, es posible que algunas entradas sean leídas por más de un lector de un nivel inferior. Esta situación afecta al número de lectores de un solo grupo de consumidores. El procedimiento recomendado para evitar superar el límite de cinco lectores por grupo de consumidores por cada partición de Event Hubs consiste en designar un grupo de consumidores para cada trabajo de Stream Analytics. También hay un límite de 20 grupos de consumidores para los centros de eventos de nivel estándar. Para obtener más información, consulte Troubleshoot Azure Stream Analytics inputs.

Creación de una entrada desde Event Hubs

En la tabla siguiente se explica cada propiedad de la página New input del portal de Azure para transmitir la entrada de datos desde un centro de eventos:

Cuando los datos proceden de una entrada de flujo de Event Hubs, tiene acceso a los siguientes campos de metadatos en la consulta de Stream Analytics:

Por ejemplo, si usa estos campos, puede escribir una consulta similar al ejemplo siguiente:

SELECT
    EventProcessedUtcTime,
    EventEnqueuedUtcTime,
    PartitionId
FROM Input

Transmisión de datos de IoT Hub

Azure IoT Hub es un ingeror de eventos de publicación y suscripción altamente escalable optimizado para escenarios de IoT.

La marca de tiempo predeterminada de los eventos procedentes de un IoT Hub en Stream Analytics es la marca de tiempo que el evento llegó a la IoT Hub, que es EventEnqueuedUtcTime. Para procesar los datos como un flujo con una marca de tiempo en la carga del evento, se debe usar la palabra clave TIMESTAMP BY.

grupos de consumidores de IoT Hub

Debe configurar cada entrada de Stream Analytics IoT Hub para tener su propio grupo de consumidores. Cuando un trabajo contiene una autocombinación o tiene varias entradas, es posible que alguna entrada sea leída por más de un lector posteriormente. Esta situación afecta al número de lectores de un solo grupo de consumidores. Para evitar superar el límite de Azure IoT Hub de cinco lectores por grupo de consumidores por partición, se recomienda designar un grupo de consumidores para cada trabajo de Stream Analytics.

Configuración de un IoT Hub como entrada de flujo de datos

En la tabla siguiente se explica cada propiedad de la página New input del portal de Azure al configurar un IoT Hub como entrada de flujo.

Cuando se usan datos de flujo desde un IoT Hub, tiene acceso a los siguientes campos de metadatos en la consulta de Stream Analytics:

Transmisión de datos desde Blob Storage o Data Lake Storage Gen2

En escenarios con grandes cantidades de datos no estructurados para almacenarlos en la nube, Azure Blob Storage o Azure Data Lake Storage Gen2 ofrece una solución rentable y escalable. Los datos de Blob Storage o Azure Data Lake Storage Gen2 se consideran datos en reposo. Sin embargo, Stream Analytics puede procesar estos datos como flujo de datos.

Un escenario que se usa normalmente para utilizar tales entradas con Stream Analytics es el procesamiento de registros. En este escenario, se capturan archivos de datos de telemetría de un sistema y es preciso analizarlos y procesarlos para extraer datos significativos.

La marca de tiempo predeterminada de un evento de Blob Storage o Azure Data Lake Storage Gen2 en Stream Analytics es la marca de tiempo que se modificó por última vez, que es BlobLastModifiedUtcTime. Si un blob se carga en una cuenta de almacenamiento a las 13:00 y el trabajo de Azure Stream Analytics se inicia con la opción Now a las 13:01, no será procesado ya que su hora de modificación está fuera del período de ejecución del trabajo.

Si se carga un blob en un contenedor de cuenta de almacenamiento a las 13:00 y el trabajo Azure Stream Analytics se inicia con la opción Hora personalizada a las 13:00 o antes, el blob se recogerá, ya que su hora de modificación está dentro del período de ejecución del trabajo.

Si se inicia un trabajo de Azure Stream Analytics mediante Now a las 13:00 y se carga un blob en el contenedor de la cuenta de almacenamiento a las 13:01, Azure Stream Analytics selecciona el blob. La marca de tiempo asignada a cada blob se basa únicamente en . La carpeta en la que se encuentra el blob no guarda ninguna relación con la marca de tiempo asignada. Por ejemplo, si hubiera un blob con un de , la marca de tiempo asignada a este blob sería .

Para procesar los datos como un flujo con una marca de tiempo en la carga del evento, se debe usar la palabra clave TIMESTAMP BY. Un trabajo de Stream Analytics extrae datos de entrada de Azure Blob Storage o Azure Data Lake Storage Gen2 cada segundo si el archivo de blob está disponible. Si el archivo de blob no está disponible, hay un retroceso exponencial con un retraso de tiempo máximo de 90 segundos.

En aquellos escenarios en los que se agregan continuamente muchos blobs que Stream Analytics procesa a medida que se agregan, es posible que se omitan algunos blobs en raras ocasiones debido a la granularidad del objeto . Esto se puede mitigar cargando los blobs con al menos dos segundos de diferencia. Si esta opción no es factible, se puede usar Event Hubs para transmitir grandes volúmenes de eventos.

Configuración de Blob Storage como entrada de flujo

En la tabla siguiente se explica cada propiedad de la página New input del portal de Azure al configurar Blob Storage como entrada de flujo.

Cuando los datos proceden de un origen de Blob Storage, puede acceder a los siguientes campos de metadatos en la consulta de Stream Analytics:

Por ejemplo, si usa estos campos, puede escribir una consulta similar al ejemplo siguiente:

SELECT
    BlobName,
    EventProcessedUtcTime,
    BlobLastModifiedUtcTime
FROM Input

Transmisión de datos desde Apache Kafka

Azure Stream Analytics permite conectarse directamente a clústeres de Apache Kafka para ingerir datos. La solución es poco código y está totalmente administrada por el equipo de Azure Stream Analytics en Microsoft, lo que le permite cumplir los estándares de cumplimiento empresarial. La entrada de Kafka es compatible con versiones anteriores y admite todas las versiones con la versión de cliente más reciente a partir de la versión 0.10. Los usuarios pueden conectarse a clústeres de Kafka dentro de una red virtual y a clústeres de Kafka con un punto de conexión público, en función de la configuración. La configuración se basa en las convenciones de configuración de Kafka existentes. Los tipos de compresión admitidos son None, Gzip, Snappy, LZ4 y Zstd.

Para obtener más información, consulte Stream data from Kafka into Azure Stream Analytics (Preview).

Pasos siguientes