Ambienti di calcolo supportati da Azure Data Factory e Synapse pipelines

APPLIES TO: Azure Data Factory Azure Synapse Analytics

Questo articolo spiega i diversi ambienti di calcolo che è possibile utilizzare per elaborare o una trasformare dati. Fornisce inoltre informazioni dettagliate sulle diverse configurazioni (on-demand e bring your own) supportate durante la configurazione di servizi collegati che collegano questi ambienti.

La seguente tabella presenta un elenco degli ambienti di calcolo supportati e le attività eseguibili in tali ambienti.

Ambiente di calcolo di HDInsight

Consultare la tabella seguente per informazioni dettagliate sui tipi di servizio di archiviazione collegati supportati per la configurazione nell'ambiente on-demand e BYOC (Bring your own compute).

Azure servizio collegato HDInsight su richiesta

In questo tipo di configurazione, l'ambiente informatico è completamente gestito dal servizio. Viene automaticamente creato dal servizio prima che un processo venga inviato per l’elaborazione dati e rimosso quando il processo viene completato. Gli utenti possono configurare e controllare le impostazioni granulari dell'ambiente di elaborazione su richiesta per l'esecuzione del processo, la gestione del cluster e azioni di avvio automatico.

Il servizio può creare automaticamente un cluster HDInsight su richiesta per elaborare i dati. Il cluster viene creato nella stessa area dell'account storage (proprietà linkedServiceName nel codice JSON) associato al cluster. L'account storage must è un account standard di Azure Storage per utilizzo generico.

Si notino i punti importanti seguenti sul servizio collegato HDInsight su richiesta:

• Il cluster HDInsight su richiesta viene creato nella sottoscrizione Azure. È possibile visualizzare il cluster nel Azure portal quando il cluster è operativo.
• I log per i processi eseguiti in un cluster HDInsight su richiesta vengono copiati nell'account storage associato al cluster HDInsight. ClusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword definiti nella definizione del servizio collegato vengono usati per accedere al cluster per la risoluzione approfondita dei problemi durante il ciclo di vita del cluster.
• Viene addebitato solo il tempo in cui il cluster HDInsight è attivo e i processi in esecuzione.
• È possibile usare un'azione Script con il servizio collegato su richiesta di Azure HDInsight.

Esempio di utilizzo della chiave dell'entità servizio

Il codice JSON seguente definisce un servizio collegato HDInsight su richiesta basato su Linux. Il servizio crea automaticamente un cluster HDInsight basato su Linux per elaborare l'attività richiesta.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Esempio di uso dell'identità gestita assegnata dal sistema

Il codice JSON seguente definisce un servizio collegato HDInsight su richiesta basato su Linux. Il servizio crea automaticamente un cluster HDInsight basato su Linux per elaborare l'attività richiesta.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Esempio di uso dell'identità gestita assegnata dall'utente

Il codice JSON seguente definisce un servizio collegato HDInsight su richiesta basato su Linux. Il servizio crea automaticamente un cluster HDInsight basato su Linux per elaborare l'attività richiesta.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• Esempio di codice JSON additionalLinkedServiceNames

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

Autenticazione di un'entità servizio

Il servizio collegato di HDInsight su richiesta richiede un'autenticazione dell'entità servizio per creare i cluster HDInsight per conto dell'utente. Per usare l'autenticazione del principale del servizio, registrare un'entità applicazione in Microsoft Entra ID e assegnargli il ruolo di Contributor della sottoscrizione o del gruppo di risorse in cui è creato il cluster HDInsight. Per i passaggi dettagliati, vedere Usare il portale per creare un'applicazione Microsoft Entra e un'entità servizio in grado di accedere a risorse. Prendere nota dei valori seguenti che si usano per definire il servizio collegato:

• ID dell'applicazione
• Chiave applicazione
• ID del locatario

Usare l'autenticazione basata su entità servizio specificando le proprietà seguenti:

Autenticazione dell'identità gestita

Quando si utilizza l'autenticazione tramite identità gestita per i servizi collegati HDInsight di Azure su richiesta, assicurarsi che l'oggetto Identità gestita disponga del ruolo di Collaboratore per il gruppo di risorse.

Gli account di storage primari di ADLS Gen2 supportano ora l'autenticazione basata su Identità gestita assegnata dall'utente (UAMI) oltre all'autenticazione basata su chiavi esistente. L'UAMI deve avere autorizzazioni di proprietario dei dati BLOB Storage per l'account storage primario.

Limitazioni:

• L'account di storage primario DI ADLS Gen2 e l'UAMI devono trovarsi nello stesso gruppo di risorse del gruppo di risorse usato per creare il cluster HDInsight su richiesta.
• Il nome dell'oggetto credenziale per UAMI in Data Factory deve corrispondere esattamente al nome UAMI.

Per altre informazioni, vedere Creare Azure HDInsight - Azure Data Lake Storage Gen2 - portal e Managed identities in Azure HDInsight

Proprietà avanzate

È inoltre possibile specificare le seguenti proprietà per la configurazione granulare del cluster HDInsight su richiesta.

• Esempio: configurazione del cluster HDInsight on demand con le proprietà avanzate

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Dimensioni dei nodi

È possibile specificare le dimensioni dei nodi head, di dati e zookeeper usando le proprietà seguenti:

• Specificazione delle dimensioni dei nodi Vedere l'articolo Dimensioni delle macchine virtuali per il valore stringa che devi specificare per le proprietà indicate nella sezione precedente. I valori devono essere conformi a CMDLET e API a cui si fa riferimento nell'articolo. Come si vede nell'articolo, il nodo dei dati di grandi dimensioni (per impostazione predefinita) ha 7 GB di memoria, che potrebbe non essere adatto al proprio scenario.

Per creare nodi head e nodi di lavoro di dimensioni D4, specificare Standard_D4 come valore per le proprietà headNodeSize e dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Se si specifica un valore errato per queste proprietà, è possibile che venga visualizzato l'errore seguente: Impossibile creare il cluster. Eccezione: impossibile completare l'operazione di creazione del cluster. L'operazione non è riuscita con codice '400'. Nello stato del cluster è apparso il messaggio 'Errore'. Messaggio: 'PreClusterCreationValidationFailure'. Quando si verifica questo errore, assicurarsi di usare il nome di CMDLET & APIS dalla tabella nell'articolo Dimensioni delle macchine virtuali.

Ambiente di calcolo “bring your own”

In questo tipo di configurazione, gli utenti possono registrare un ambiente informatico già esistente come servizio collegato. L'ambiente di elaborazione viene gestito dall'utente e il servizio viene utilizzato per eseguire le attività.

Questo tipo di configurazione è supportato per gli ambienti di calcolo seguenti:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Azure SQL DB, Azure Synapse Analytics, SQL Server

Servizio collegato di Azure HDInsight

È possibile creare un servizio collegato Azure HDInsight per registrare il proprio cluster HDInsight con una data factory o un'area di lavoro di Synapse.

Esempio di utilizzo dell'autenticazione di base

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Esempio di uso dell'identità gestita assegnata dal sistema

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Esempio di uso dell'identità gestita assegnata dall'utente

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Authentication

Il servizio collegato Azure Storage per ADLS Gen2 supporta ora identità gestite assegnate dal sistema e assegnate dall'utente oltre ai metodi di autenticazione esistenti. Questo supporto è disponibile per impostazione predefinita quando si usa Azure Integration Runtime (Azure IR) ed è supportato in Integration Runtime self-hosted (SHIR) a partire dalla versione 5.55.9306.2 o successiva. Per Azure Blob Storage, il servizio collegato Azure Storage continua a supportare solo l'autenticazione della chiave dell'account. L'autenticazione dell'identità gestita del cluster è ora disponibile per impostazione predefinita quando si utilizza Azure IR ed è supportata su SHIR a partire dalla versione 5.58 o successive. Quando si crea un cluster, è possibile usare un solo metodo di autenticazione per ogni cluster. Per informazioni dettagliate sulla creazione e la gestione di cluster con identità gestita, vedere Creare e gestire Azure cluster HDInsight con l'autenticazione entra ID

Servizio collegato Azure Batch

È possibile creare un servizio collegato Azure Batch per registrare un pool Batch di macchine virtuali (VM) in un'area di lavoro dati o in un'area di lavoro Synapse. È possibile eseguire attività personalizzate usando Azure Batch.

Se sei nuovo al servizio Azure Batch, consulta i seguenti articoli:

• Azure Batch nozioni di base per una panoramica del servizio Azure Batch.
• New-AzBatchAccount cmdlet per creare un account Azure Batch (o) Azure portal per creare l'account Azure Batch usando Azure portal. Per istruzioni dettagliate sull'uso del cmdlet, vedere l'articolo Utilizzo di PowerShell per gestire un account Azure Batch.
• cmdlet New-AzBatchPool per creare un pool di Azure Batch.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

servizio collegato Machine Learning Studio (versione classica)

Si crea un servizio collegato Machine Learning Studio (versione classica) per registrare un endpoint di assegnazione dei punteggi batch di Machine Learning Studio (versione classica) in un'area di lavoro di Data Factory o Synapse.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

servizio collegato di Azure Machine Learning

Si crea un servizio collegato Azure Machine Learning per connettere un'area di lavoro Azure Machine Learning a una data factory o a un'area di lavoro di Synapse.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Azure Data Lake Analytics servizio associato

Si crea un servizio collegato Azure Data Lake Analytics per collegare un servizio di calcolo Azure Data Lake Analytics a un'area di lavoro di Data Factory o Synapse. L'attività di U-SQL Data Lake Analytics nella pipeline si riferisce a questo servizio collegato.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Servizio collegato Azure Databricks

È possibile creare servizio collegato Azure Databricks per registrare un'area di lavoro Databricks che usi per eseguire i carichi di lavoro Databricks (notebook, jar, python).

Esempio - Uso di un nuovo cluster dei processi in Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Esempio - Uso di un cluster interattivo esistente in Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Azure SQL Database servizio collegato

Creare un servizio collegato Azure SQL e usarlo con l'attività Stored Procedure per richiamare una stored procedure da una pipeline. Per informazioni dettagliate su questo servizio collegato, vedere Azure SQL Connector.

servizio collegato Azure Synapse Analytics

Crea un servizio collegato Azure Synapse Analytics e utilizzalo con l'attività Stored Procedure per richiamare una "stored procedure" da una pipeline. Vedere Azure Synapse Analytics Connector articolo per informazioni dettagliate su questo servizio collegato.

Servizio collegato di SQL Server

Crea un servizio collegato SQL Server e usalo con l'attività Stored Procedure per richiamare una stored procedure da una pipeline. Vedere SQL Server connector articolo per informazioni dettagliate su questo servizio collegato.

servizio collegato di Azure Synapse Analytics (Artifacts)

Crei un servizio collegato di Azure Synapse Analytics (Artifacts) e lo usi con l'attività Synapse Notebook e l'attività di definizione del job di Synapse Spark.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

servizio collegato a Funzione di Azure

Crei un servizio collegato Azure Function e lo usi con l'attività Azure Function per eseguire Azure Functions in una pipeline. Il tipo restituito della funzione Azure deve essere un JObject valido. (Tenere presente che JArraynon è un JObject.) Qualsiasi tipo restituito diverso da JObject ha esito negativo e genera l'errore utente il contenuto della risposta non è un JObject valido.

Contenuti correlati

Per un elenco delle attività di trasformazione supportate, vedere Trasformare i dati.