Documentação de Engenharia de Dados de Tecido

Sobre Engenharia de Dados

Descrição geral

• O que é Engenharia de Dados?
• O que é uma casa de lago?

Conceito

• Mesas Lakehouse e Delta
• Funções e permissões do espaço de trabalho
• Escolher um arquivo de dados

Manual de Instruções

• Otimização Delta e V-Order
• Carregar em tabelas

Inicie com o lakehouse

Começar agora

• Criar uma casa no lago
• Navegue pelo explorador do lakehouse

Manual de Instruções

• Obter dados em lakehouse usando o notebook

Tutorial

• Etapa 1 - Criar um espaço de trabalho
• Passo 2 - Criar uma casa no lago
• Etapa 3 - Ingerir dados em lakehouse
• Etapa 4 - Transformar dados em tabelas delta
• Passo 5 - Criar um modelo semântico e construir um relatório
• Etapa 6 - Limpar recursos

Introdução aos blocos de notas

Começar agora

• Criar e utilizar blocos de notas

Manual de Instruções

• Desenvolver e executar blocos de notas
• Explore os dados da lakehouse com um bloco de anotações
• Visualizar blocos de anotações
• Controle e implantação do código-fonte de notebooks
• Criar e executar blocos de anotações T-SQL

Interrogação usando API para GraphQL

Descrição geral

• O que é a API de malha para GraphQL?

Começar agora

• Criar uma API para o GraphQL e adicionar dados

Manual de Instruções

• Gerir Relações
• Ligar a aplicações
• Consultar várias fontes de dados
• Controlo de versão e pipelines de implementação de GraphQL
• Painel de monitorização e registo de logs (visualização)

Integração do VS Code

Conceito

• O que é a extensão Data Engineering VS Code?

Manual de Instruções

• Usar blocos de anotações do VS Code
• Usar imagem de contêiner do VS Code
• Usar definições de tarefas do Spark no VS Code
• Explore lakehouse a partir do VS Code
• Desenvolver notebook a partir da experiência web do VS Code

Apache Spark para Engenharia de Dados

Conceito

• Definição de trabalho do Apache Spark
• O que é o Apache Spark advisor?

Começar agora

• Criar uma definição de trabalho do Spark
• Criar uma definição de trabalho do Spark com uma API de malha
• Definição de trabalho do Spark Integração Git

Manual de Instruções

• Agendar e executar uma definição de trabalho do Spark
• Gerenciar bibliotecas do Apache Spark
• Como usar o Fabric MSSparkUtils

Introdução ao ambiente

Começar agora

• Ambientes de tecido

Manual de Instruções

• Gerencie a computação do Spark em ambientes
• Gerenciar bibliotecas em ambientes
• Pipeline de integração e implementação para o ambiente Git
• Gerencie o ambiente por meio de APIs públicas
• Gerenciando bibliotecas em ambiente protegido pela proteção de acesso de saída

Fabric Livy API

Descrição geral

• O que é a API Livy?

Começar agora

• Criar e executar trabalhos do Spark usando a API do Livy
• Submeter trabalhos de sessão da API Livy
• Enviar trabalhos em lote da API Livy

Otimize com vistas materializadas para o lago

Descrição geral

• O que são vistas materializadas do lago?

Começar agora

• Comece com vistas materializadas do lago
• Implementar uma arquitetura em medalhão com vistas lacustres materializadas
• Gerencie as vistas materializadas do lago