Preparar dados com tratamento de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

O tratamento de dados no Data Factory permite criar conjuntos de dados interativos do Power Query nativamente no Azure Data Factory e, em seguida, executá-los em escala dentro de um pipeline do Azure Data Factory.

Criar uma atividade do Power Query

Há duas maneiras de criar um Power Query no Azure Data Factory. Uma forma é clicar no ícone de adição e selecionar Power Query no painel de recursos de fábrica.

O outro método está no painel de atividades do quadro de pipeline. Abra o acordeão do Power Query e arraste a atividade do Power Query para a tela.

Criar uma atividade de disputa de dados do Power Query

Adicione um conjunto de dados fonte para o mash-up do Power Query. Você pode escolher um conjunto de dados existente ou criar um novo. Depois de salvar o mash-up, pode criar um pipeline, adicionar a atividade de transformação de dados do Power Query ao pipeline e selecionar um conjunto de dados de destino para informar ao ADF onde inserir os seus dados. Embora você possa escolher um ou mais conjuntos de dados de origem, apenas um coletor é permitido no momento. A escolha de um conjunto de dados de coletor é opcional, mas pelo menos um conjunto de dados de origem é necessário.

Clique em Criar para abrir o editor de mashup do Power Query Online.

Primeiro, você escolherá uma fonte de conjunto de dados para o editor de mashup.

Depois de concluir a criação do Power Query, pode guardá-lo e, em seguida, criar um pipeline. Você precisa adicionar o mashup como uma atividade na sua pipeline. É quando irá criar/selecionar o conjunto de dados de destino para armazenar os seus dados. Você também pode definir as propriedades do conjunto de dados de destino clicando no segundo botão no lado direito do conjunto de dados de destino. Lembre-se de alterar a "opção de partição" em "Otimizar" para "Partição única" se você quiser apenas obter um único arquivo de saída.

Crie a sua manipulação Power Query utilizando preparação de dados sem código. Para obter a lista de funções disponíveis, consulte funções de transformação. O ADF traduz o script M em um script de fluxo de dados para que você possa executar seu Power Query em escala usando o ambiente Spark de fluxo de dados do Azure Data Factory.

Executar e monitorizar uma atividade de disputa de dados do Power Query

Para executar uma execução de depuração de pipeline de uma atividade do Power Query, clique em Depurar na tela do pipeline. Depois de publicar seu pipeline, o Trigger agora executa uma execução sob demanda do último pipeline publicado. Os pipelines do Power Query podem ser agendados usando todos os triggers existentes no Azure Data Factory.

Aceda ao separador Monitor para visualizar a saída de uma execução de atividade do Power Query acionada.

Conteúdos relacionados

Saiba como criar um fluxo de dados de mapeamento.