Documentación de ingeniería de datos de tejido

Acerca de la ingeniería de datos

Información general

• ¿En qué consiste la ingeniería de datos?
• ¿Qué es un lakehouse?

Concepto

• Tablas de Lakehouse y Delta
• Roles y permisos del espacio de trabajo
• Elección de un almacén de datos

Guía paso a paso

• Optimización delta y orden V
• Cargar en tablas

Introducción a Lakehouse

Comenzar

• Crear un lakehouse
• Navega por el explorador de Lakehouse

Guía paso a paso

• Obtener datos en Lakehouse usando cuadernos

Tutorial

• Paso 1: Creación de un área de trabajo
• Paso 2: Crear un lakehouse
• Paso 3: Ingesta de datos en lakehouse
• Paso 4: Transformación de datos en tablas delta
• Paso 5: Creación de un modelo semántico y compilación de un informe
• Paso 6: Limpieza de recursos

Comienza con los cuadernos

Comenzar

• Crear y usar cuadernos

Guía paso a paso

• Desarrollo y ejecución de cuadernos
• Exploración de datos de Lakehouse con un cuaderno
• Visualización de cuadernos
• Implementación y control de código fuente del cuaderno
• Creación y ejecución de cuadernos de T-SQL

Realizar una consulta con la API de GraphQL

Información general

• ¿Qué es la API de Fabric para GraphQL?

Comenzar

• Crear una API para GraphQL y añadir datos

Guía paso a paso

• Administrar relaciones
• Conexión a aplicaciones
• Consultar varios orígenes de datos
• Control de código fuente y canalizaciones de implementación de GraphQL
• Panel de supervisión y registro (versión preliminar)

Integración de VS Code

Concepto

• ¿Qué es la extensión VS Code de ingeniería de datos?

Guía paso a paso

• Uso de cuadernos de VS Code
• Utilizar imagen de contenedor con VS Code
• Uso de definiciones de trabajos de Spark desde VS Code
• Exploración de lakehouse desde VS Code
• Desarrollar cuadernos a partir de la experiencia web de VS Code

Apache Spark para ingeniería de datos

Concepto

• Definición de tarea de Apache Spark
• ¿Qué es el asesor de Apache Spark?

Comenzar

• Creación de una definición de trabajo de Spark
• Creación de una definición de trabajo de Spark con una API de Fabric
• Integración de Git para la definición de trabajos de Spark

Guía paso a paso

• Programar y ejecutar una definición de trabajo de Spark
• Administración de bibliotecas de Apache Spark
• Cómo usar Fabric MSSparkUtils

Comienza con los entornos

Comenzar

• Entornos de tejido

Guía paso a paso

• Administrar la computación de Spark en entornos
• Administrar bibliotecas en entornos
• Integración de Git en el entorno y canalización de implementación
• Administración del entorno a través de API públicas
• Administración de bibliotecas en el entorno protegido por la protección de acceso saliente

Fabric Livy API

Información general

• ¿Qué es la API de Livy?

Comenzar

• Creación y ejecución de trabajos de Spark mediante la API de Livy
• Envío de trabajos de sesión de la API de Livy
• Enviar trabajos por lotes a la API de Livy

Optimización con vistas materializadas al lago

Información general

• ¿Qué son las vistas al lago materializadas?

Comenzar

• Introducción a las vistas materializadas del lago
• Implementación de la arquitectura de medallion con vistas materializadas al lago
• Administración de vistas materializadas del lago