Persistir saída de tarefa e de trabalho

Uma tarefa em execução no Lote do Azure pode produzir dados de saída quando é executada. Os dados de saída da tarefa geralmente precisam ser armazenados para recuperação por outras tarefas no trabalho, pelo aplicativo cliente que executou o trabalho ou ambos. As tarefas gravam dados de saída no sistema de arquivos de um nó de computação do Lote, mas todos os dados no nó serão perdidos quando ele for reimaginado ou quando o nó deixar o pool. As tarefas também podem ter um período de retenção de arquivo, após o qual os arquivos criados pela tarefa são excluídos. Por esses motivos, é importante manter a saída da tarefa que você vai precisar posteriormente para um repositório de dados, como o Armazenamento do Azure.

Para opções de conta de armazenamento do Lote, confira Contas do Lote e contas do Armazenamento do Azure.

Alguns exemplos comuns de saída da tarefa incluem:

• Arquivos criados quando a tarefa processa dados de entrada.
• Arquivos de log associados à execução da tarefa.

Este artigo descreve várias opções para persistir dados de saída. Você pode armazenar dados de saída de tarefas e trabalhos do Batch no Azure Storage ou em outros repositórios.

Opções para manter a saída

Há várias maneiras de persistir os dados de saída. Escolha o melhor método para seu cenário:

• Usar a API do serviço de lote.
• Usar a biblioteca de convenções de arquivo em lotes para .NET.
• Use a biblioteca 'Batch File Conventions' para aplicativos C# e .NET.
• Use o padrão de Convenções de Arquivo em Lote para idiomas diferentes do .NET.
• Use uma solução de movimentação de arquivo personalizada.

API de serviço de processamento em lote

Você pode usar a Batch service API para persistir dados de saída. Especifique arquivos de saída no Armazenamento do Azure para dados de tarefa ao adicionar uma tarefa a um trabalho ou adicionar uma coleção de tarefas a um trabalho.

Para obter mais informações, consulte Manter dados de tarefa no Armazenamento do Azure com a API de serviço em Lote.

Biblioteca de Convenções de Arquivo Batch

O Batch File Conventions standard é um conjunto opcional de convenções para nomeação de arquivos de saída de tarefas no Armazenamento do Azure. O padrão fornece convenções de nomenclatura para o contêiner de destino e o caminho de blob de um arquivo, com base nos nomes do trabalho e da tarefa.

É opcional usar o padrão Convenções de Arquivo para nomear seus arquivos de dados de saída. Em vez disso, você pode optar por nomear o contêiner de destino e o caminho do blob. Se você usar o padrão convenções de arquivo, poderá exibir seus arquivos de saída no portal do Azure.

Se você estiver criando uma solução Batch com C# e .NET, poderá usar a Batch File Conventions library for .NET. A biblioteca move os arquivos de saída para o Armazenamento do Azure e nomeia contêineres de destino e blobs de acordo com o padrão de Convenções de Arquivo do Lote.

Para obter mais informações, confira Manter os dados de trabalho e tarefa no Armazenamento do Azure com a biblioteca de Convenções de Arquivo em Lotes para o .NET.

Padrão de Convenções do Arquivo em Lotes

Se você estiver usando um idioma diferente do .NET, poderá implementar o padrão Convenções de Arquivo em Lote em seu próprio aplicativo. Use essa abordagem quando:

• Você deseja usar um esquema de nomenclatura comum.
• Você deseja exibir a saída da tarefa no portal do Azure.

Solução de movimentação de arquivo personalizada

Você também pode implementar sua própria solução completa de movimentação de arquivos. Use essa abordagem quando:

• Você deseja manter dados de tarefa em um armazenamento de dados diferente do Armazenamento do Azure. Por exemplo, você deseja carregar arquivos em um armazenamento de dados, como o SQL do Azure ou o Azure DataLake. Crie um script personalizado ou executável para carregar nesse local. Em seguida, chame o script personalizado ou executável na linha de comando depois de executar o executável primário. Por exemplo, em um nó Windows, chame doMyWork.exe && uploadMyFilesToSql.exe.
• Você quer fazer o ponto de verificação ou o carregamento antecipado dos resultados iniciais.
• Você deseja manter o controle granular sobre o tratamento de erros. Por exemplo, você deseja usar ações de dependência de tarefa para executar determinadas ações de upload com base em códigos de saída de tarefa específicos.

Considerações sobre o design

Ao projetar sua solução Batch, considere os seguintes fatores.

Os nós de computação geralmente são transitórios, especialmente em pools do Batch com o dimensionamento automático habilitado. Você pode ver apenas a saída de uma tarefa:

• Enquanto o nó em que a tarefa está em execução existe.
• Durante o período de retenção de arquivo que você definiu para a tarefa.

Ao exibir uma tarefa do Batch no portal do Azure e selecionar Arquivos no nó, você verá todos os arquivos dessa tarefa, não apenas os arquivos de saída. Para recuperar a saída da tarefa diretamente dos nós de computação no pool, você precisa do nome do arquivo e do local de saída dele no nó.

Se você quiser manter os dados de saída da tarefa por mais tempo, configure a tarefa para carregar seus arquivos de saída em um armazenamento de dados. É recomendável usar o armazenamento do Azure como o armazenamento de dados. A API do serviço Batch integra a gravação de dados de saída da tarefa ao Armazenamento do Azure. Você pode usar outras opções de armazenamento duráveis para manter seus dados. No entanto, você precisa escrever a lógica do aplicativo para outras opções de armazenamento por conta própria.

Para exibir seus dados de saída no Armazenamento do Azure, use o portal do Azure ou um aplicativo cliente do Armazenamento do Azure, como o Gerenciador de Armazenamento do Azure. Observe a localização do arquivo de saída e vá diretamente para esse local.

Próxima etapa