Ambientes de computação suportados pelo Azure Data Factory e pelos pipelines Synapse

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo explica diferentes ambientes de computação que você pode usar para processar ou transformar dados. Ele também fornece detalhes sobre diferentes configurações (sob demanda vs. traga sua própria) suportadas ao configurar serviços associados que vinculam esses ambientes de computação.

A tabela a seguir fornece uma lista de ambientes de computação suportados e as atividades que podem ser executadas neles.

Ambiente de computação do HDInsight

Consulte a tabela abaixo para detalhes sobre os tipos de serviços ligados ao storage suportados para configuração em ambientes On-demand e BYOC (Bring your own compute).

Azure HDInsight serviço associado sob demanda

Neste tipo de configuração, o ambiente computacional é totalmente gerenciado pelo serviço. Ele é criado automaticamente pelo serviço antes de um trabalho ser enviado para processar dados e removido quando o trabalho é concluído. Você pode criar um serviço vinculado para o ambiente de computação sob demanda, configurá-lo e controlar configurações granulares para execução de tarefas, gerenciamento de cluster e ações de inicialização.

O serviço pode criar automaticamente um cluster HDInsight sob demanda para processar dados. O cluster é criado na mesma região da conta de storage (propriedade linkedServiceName no JSON) associada ao cluster. A conta de armazenamento must deve ser uma conta padrão de Azure Storage de uso geral.

Observe os seguintes pontos importantes sobre o serviço vinculado HDInsight sob demanda:

• O cluster HDInsight sob demanda é criado sob a sua subscrição do Azure. Consegues ver o cluster no teu Azure portal quando o cluster está a funcionar.
• Os registos para trabalhos executados num cluster HDInsight on-demand são copiados para a conta de storage associada ao cluster HDInsight. O clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword definidos em sua definição de serviço vinculado são usados para efetuar login no cluster para solução de problemas detalhada durante o ciclo de vida do cluster.
• Você será cobrado apenas pelo tempo em que o cluster HDInsight estiver ativo e executando trabalhos.
• Pode utilizar um Script Action com o serviço Azure HDInsight on-demand associado.

Exemplo de utilização da chave da entidade de serviço

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo de utilização da Identidade Gerida Atribuída pelo Sistema

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo de utilização da Identidade Gerida Atribuída pelo Utilizador

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• exemplo JSON de nomes de serviços vinculados adicionais

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

Autenticação do principal de serviço

O serviço vinculado HDInsight sob demanda requer uma autenticação da entidade de serviço para criar clusters HDInsight em seu nome. Para utilizar a autenticação do principal de serviço, registe uma entidade de aplicação no Microsoft Entra ID e conceda-lhe o papel de Contribuidor da subscrição ou do grupo de recursos onde o cluster do HDInsight é criado. Para passos detalhados, consulte utilize o portal para criar uma aplicação e um principal de serviço do Microsoft Entra que possa aceder a recursos. Anote os seguintes valores, que você usa para definir o serviço vinculado:

• ID da aplicação
• Chave de aplicação
• ID do inquilino

Utilize a autenticação da entidade de serviço especificando as seguintes propriedades:

Autenticação de identidade gerenciada

Ao utilizar a autenticação de Identidade Gerida para os serviços ligados sob demanda do Azure HDInsight, certifique-se de que o objeto de Identidade Gerida tem acesso ao grupo de recursos com o papel de Contribuidor.

As contas de storage primário ADLS Gen2 suportam agora autenticação baseada em Identidade Gerida Atribuída pelo Utilizador (UAMI), além da autenticação já existente baseada em chaves. O UAMI deve ter permissões de Storage Blob Data Owner na conta principal de storage.

Limitações:

• A conta principal de storage ADLS Gen2 e o UAMI devem residir no mesmo grupo de recursos que o grupo de recursos usado para criar o cluster HDInsight sob demanda.
• O nome do objeto de credencial para o UAMI no Data Factory deve corresponder exatamente ao nome do UAMI.

Para mais informações, consulte Create Azure HDInsight - Azure Data Lake Storage Gen2 - portal e Identidades geridas no Azure HDInsight

Propriedades avançadas

Você também pode especificar as seguintes propriedades para a configuração granular do cluster HDInsight sob demanda.

• Exemplo - Configuração de cluster HDInsight sob demanda com propriedades avançadas

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Tamanhos dos nós

Você pode especificar os tamanhos dos nós head, data e zookeeper usando as seguintes propriedades:

• Especificação do tamanho dos nós Consulte o artigo Tamanhos de Máquinas Virtuais para os valores de texto que necessita especificar para as propriedades mencionadas na secção anterior. Os valores precisam estar em conformidade com os CMDLETs & APIS mencionados no artigo. Como você pode ver no artigo, o nó de dados de tamanho grande (padrão) tem 7 GB de memória, o que pode não ser bom o suficiente para o seu cenário.

Se você quiser criar nós principais e nós de trabalho de tamanho D4, especifique Standard_D4 como o valor para as propriedades headNodeSize e dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Se você especificar um valor errado para essas propriedades, poderá receber o seguinte erro: Falha ao criar cluster. Exceção: não foi possível concluir a operação de criação do cluster. A operação falhou com o código "400". Estado deixado pelo cluster: "Erro". Mensagem: 'PreClusterCreationValidationFailure'. Quando receber este erro, certifique-se de que está a usar o nome CMDLET & APIs da tabela no artigo Tamanhos de Máquinas Virtuais.

Traga seu próprio ambiente de computação

Neste tipo de configuração, os usuários podem registrar um ambiente de computação já existente como um serviço vinculado. O ambiente de computação é gerenciado pelo usuário e o serviço o utiliza para executar as atividades.

Este tipo de configuração é suportado para os seguintes ambientes de computação:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Azure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight serviço associado

Pode criar um serviço vinculado ao Azure HDInsight para registrar o seu próprio cluster HDInsight com um Azure Data Factory ou um Synapse Workspace.

Exemplo de uso da autenticação básica

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída ao sistema

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída ao usuário

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Authentication

O serviço ligado Azure Storage para ADLS Gen2 suporta agora identidades geridas atribuídas pelo sistema e pelo utilizador, além dos métodos de autenticação existentes. Este suporte está disponível por defeito ao usar Azure Integration Runtime (Azure IR) e é suportado em Self-hosted Integration Runtime (SHIR) a partir da versão 5.55.9306.2 ou posterior. Para Azure Blob Storage, o serviço ligado ao Azure Storage continua a suportar apenas autenticação por chave de conta. A autenticação de identidades gerida por cluster está agora disponível por defeito ao usar o Azure IR e é suportada no SHIR a partir da versão 5.58 ou posterior. Ao criar um cluster, apenas um método de autenticação pode ser usado por cluster. Para detalhes sobre a criação e gestão de clusters com identidade gerida, consulte Criar e gerir Azure cluster HDInsight com autenticação Entra ID

Azure Batch serviço associado

Pode criar um serviço vinculado do Azure Batch para registar um pool de máquinas virtuais (VMs) do Batch num espaço de trabalho de dados ou do Synapse. Podes executar atividade personalizada usando o Azure Batch.

Consulte os seguintes artigos se for novo no serviço Azure Batch:

• Noções básicas do Azure Batch para uma visão geral do serviço Azure Batch.
• New-AzBatchAccount cmdlet para criar uma conta Azure Batch (ou) Azure portal para criar a conta Azure Batch usando Azure portal. Consulte o artigo Using PowerShell to manage Azure Batch Account para instruções detalhadas sobre como usar o cmdlet.
• New-AzBatchPool cmdlet para criar um pool de Azure Batch.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Machine Learning Studio (clássico) serviço associado

Cria-se um serviço ligado ao Machine Learning Studio (clássico) para registar um endpoint de pontuação em lote do Machine Learning Studio (clássico) numa fábrica de dados ou num espaço de trabalho Synapse.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Azure Machine Learning serviço associado

Cria um serviço ligado ao Azure Machine Learning para ligar um espaço de trabalho Azure Machine Learning a uma fábrica de dados ou a um espaço de trabalho Synapse.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço ligado do Azure Data Lake Analytics

Cria-se um serviço ligado Azure Data Lake Analytics para ligar um serviço de computação Azure Data Lake Analytics a uma fábrica de dados ou a um espaço de trabalho Synapse. A atividade U-SQL da Data Lake Analytics no pipeline refere-se a este serviço ligado.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

serviço associado Azure Databricks

Podes criar o serviço ligado Azure Databricks para registar o espaço de trabalho Databricks que usas para executar as cargas de trabalho Databricks (notebook, jar, python).

Exemplo - Usando novo cluster de trabalho no Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Exemplo - Usando cluster interativo existente no Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Azure SQL Database serviço vinculado

Cria-se um serviço ligado Azure SQL e usa-o com a Stored Procedure Activity para invocar um procedimento armazenado a partir de um pipeline. Consulte o artigo Azure SQL Connector para detalhes sobre este serviço ligado.

Azure Synapse Analytics serviço vinculado

Cria-se um serviço ligado ao Azure Synapse Analytics e usa-o com a Stored Procedure Activity para invocar um procedimento armazenado a partir de um pipeline. Consulte o artigo Azure Synapse Analytics Connector para detalhes sobre este serviço relacionado.

Serviço ligado ao SQL Server

Cria-se um serviço SQL Server ligado e usa-o com a Stored Procedure Activity para invocar um procedimento armazenado a partir de um pipeline. Consulte o artigo SQL Server connector para detalhes sobre este serviço ligado.

Azure Synapse Analytics (Artifacts) serviço associado

Cria-se um serviço ligado ao Azure Synapse Analytics (Artifacts) e utiliza-se juntamente com a Atividade de Notebook Synapse e a Atividade de definição de trabalho Synapse Spark.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço de ligação Azure Function

Cria-se um serviço ligado de Azure Function e utiliza-o com a atividade Azure Function para executar Azure Functions numa pipeline. O tipo de retorno da função Azure tem de ser válido JObject. (Tenha em mente que JArraynão é um JObject.) Qualquer tipo de retorno diferente de JObject irá falhar e gerará o erro do utilizador Conteúdo de resposta não é um JObject válido.

Conteúdo relacionado

Para obter uma lista das atividades de transformação suportadas, consulte Transformar dados.