Von Azure Data Factory und Synapse pipelines unterstützte Computeumgebungen

GILT FÜR DIE FOLGENDEN BEREICHE: Azure Data Factory Azure Synapse Analytics

In diesem Artikel werden verschiedene Compute-Umgebungen beschrieben, mit denen Sie Daten verarbeiten oder transformieren können. Darüber hinaus werden Einzelheiten zu verschiedenen Konfigurationen beschrieben (bedarfsgesteuerte Compute-Umgebung im Vergleich zu einer eigenen Compute-Umgebung). Diese beiden Konfigurationen werden unterstützt, wenn Sie verknüpfte Dienste zum Verknüpfen dieser Compute-Umgebungen konfigurieren.

Die folgende Tabelle enthält eine Liste unterstützter Compute-Umgebungen und die Aktivitäten, die darin ausgeführt werden können.

HDInsight-Compute-Umgebung

Ausführliche Informationen zu den unterstützten Speicher verknüpften Diensttypen für die Konfiguration in On-Demand- und BYOC-Umgebungen (Bring your own compute) finden Sie in der folgenden Tabelle.

Azure HDInsight bedarfsabhängig verknüpfter Dienst

Bei dieser Konfiguration wird die Compute-Umgebung vollständig vom Dienst verwaltet. Der Dienst erstellt diese Umgebung automatisch, bevor ein Auftrag zur Verarbeitung von Daten übermittelt wird. Sobald der Auftrag abgeschlossen wurde, wird die Umgebung entfernt. Sie können einen verknüpften Dienst für die bedarfsgesteuerte Compute-Umgebung erstellen, diesen konfigurieren und differenzierte Einstellungen für Auftragsausführung, Clusterverwaltung und Bootstrappingaktionen festlegen.

Der Dienst kann zum Verarbeiten von Daten automatisch einen bedarfsgesteuerten HDInsight-Cluster erstellen. Der Cluster wird in derselben Region wie das Speicherkonto (linkedServiceName-Eigenschaft in der JSON) erstellt, das dem Cluster zugeordnet ist. Das Speicherkonto must soll ein allgemeiner Azure Storage-Standardkonto sein.

Beachten Sie die folgenden wichtigen Punkte zu on-demand HDInsight Linked Service:

• Der On-Demand-HDInsight-Cluster wird unter Ihrem Azure-Abonnement erstellt. Sie können den Cluster in Ihrem Azure-Portal sehen, wenn der Cluster läuft und betriebsbereit ist.
• Die Protokolle für Aufträge, die auf einem On-Demand-HDInsight-Cluster ausgeführt werden, werden in das dem HDInsight-Cluster zugeordnete Speicherkonto kopiert. Die in Ihrer Definition des verknüpften Diensts definierten Elemente clusterUserName, clusterPassword, clusterSshUserName und clusterSshPassword werden während des Lebenszyklus des Clusters zur Anmeldung bei dem Cluster für die eingehende Problembehandlung verwendet.
• Ihnen wird nur die Zeit in Rechnung gestellt, in der der HDInsight-Cluster verfügbar ist und Aufträge ausführt.
• Sie können eine Script Action mit dem Azure HDInsight-verknüpften On-Demand-Dienst verwenden.

Beispiel für die Verwendung des Dienstprinzipalschlüssels

Die folgende JSON definiert einen bedarfsgesteuerten Linux-basierten mit HDInsight verknüpften Dienst. Der Dienst erstellt automatisch einen Linux-basierten HDInsight-Cluster , um die erforderliche Aktivität zu verarbeiten.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Beispiel für die Verwendung der vom System zugewiesenen verwalteten Identität

Die folgende JSON definiert einen bedarfsgesteuerten Linux-basierten mit HDInsight verknüpften Dienst. Der Dienst erstellt automatisch einen Linux-basierten HDInsight-Cluster , um die erforderliche Aktivität zu verarbeiten.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Beispiel für die Verwendung der vom Benutzer zugewiesenen verwalteten Identität

Die folgende JSON definiert einen bedarfsgesteuerten Linux-basierten mit HDInsight verknüpften Dienst. Der Dienst erstellt automatisch einen Linux-basierten HDInsight-Cluster , um die erforderliche Aktivität zu verarbeiten.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• additionalLinkedServiceNames (JSON-Beispiel)

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentifizierung

Dienstprinzipalauthentifizierung

Der verknüpfte, bedarfsgesteuerte HDInsight-Dienst erfordert eine Dienstprinzipalauthentifizierung, um HDInsight-Cluster in Ihrem Namen zu erstellen. Um die Dienstprinzipalauthentifizierung zu verwenden, registrieren Sie eine Anwendungsentität in Microsoft Entra ID, und gewähren Sie ihr die Contributor Rolle des Abonnements oder der Ressourcengruppe, in der der HDInsight-Cluster erstellt wird. Ausführliche Schritte finden Sie unter Verwenden des Portals zum Erstellen einer Microsoft Entra-Anwendung und eines Dienstprinzipals, der auf Ressourcen zugreifen kann. Notieren Sie sich die folgenden Werte, die Sie zum Definieren des verknüpften Diensts verwenden:

• Anwendungs-ID
• Anwendungsschlüssel
• Mieter-ID

Verwenden Sie die Dienstprinzipalauthentifizierung, indem Sie die folgenden Eigenschaften angeben:

Verwaltete Identitätsauthentifizierung

Stellen Sie bei der Verwendung der Authentifizierung mit verwalteter Identität für die auf Abruf bereitgestellten verknüpften Dienste von Azure HDInsight sicher, dass das Managed Identity-Objekt über die "Mitwirkender"-Rolle zum Zugriff auf die Ressourcengruppe verfügt.

Primäre ADLS Gen2-storage-Konten unterstützen jetzt die vom Benutzer zugewiesene verwaltete Identität (UAMI)-basierte Authentifizierung zusätzlich zur vorhandenen schlüsselbasierten Authentifizierung. Das UAMI muss über Berechtigungen als Daten-Eigentümer von Speicherblobs auf dem primären Speicherkonto verfügen.

Limitations:

• Das primäre ADLS Gen2-Speicherkonto und das UAMI müssen sich in derselben Ressourcengruppe befinden, die zur Erstellung des HDInsight-Clusters bei Bedarf verwendet wird.
• Der Name des Anmeldeinformationsobjekts für das UAMI in Data Factory muss exakt mit dem UAMI-Namen übereinstimmen.

Weitere Informationen finden Sie unter Erstellen von Azure HDInsight - Azure Data Lake Storage Gen2 - Portal und Verwaltete Identitäten in Azure HDInsight.

Erweiterte Eigenschaften

Für eine präzisere Konfiguration des bedarfsgesteuerten HDInsight-Clusters können Sie die folgenden Eigenschaften festlegen.

• Beispiel: Konfiguration eines bedarfsgesteuerten HDInsight-Clusters mit erweiterten Eigenschaften

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Knotengrößen

Sie können die Größe der Head-, Daten- und Zookeeper-Knoten mit den folgenden Eigenschaften angeben:

• Angeben von Knotengrößen Siehe Sizes of Virtual Machines Artikel für Zeichenfolgenwerte, die Sie für die im vorherigen Abschnitt erwähnten Eigenschaften angeben müssen. Die Werte müssen den CMDLETs und APIs entsprechen, auf die im Artikel verwiesen wird. Wie Sie in diesem Artikel sehen können, hat der Datenknoten „Large“ (Standard) 7 GB Arbeitsspeicher, was für Ihr Szenario möglicherweise nicht ausreichend ist.

Wenn Sie D4-Größen-Kopfknoten und Arbeitsknoten erstellen möchten, geben Sie Standard_D4 als Wert für die Eigenschaften "headNodeSize" und "dataNodeSize" an.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Wenn Sie einen falschen Wert für diese Eigenschaften angeben, wird möglicherweise die folgende Fehlermeldung angezeigt: Fehler beim Erstellen des Clusters. Ausnahme: Vorgang der Clustererstellung kann nicht abgeschlossen werden. Vorgang mit Code ‚400‘ fehlgeschlagen. Cluster hinterließ folgenden Status: "Fehler". Nachricht: 'PreClusterCreationValidationFailure'. Wenn Sie diesen Fehler erhalten, stellen Sie sicher, dass Sie den Namen des CMDLETs & APIs aus der Tabelle im Artikel zu Größen von virtuellen Maschinen verwenden.

Eigene Compute-Umgebung

Bei dieser Konfiguration können Benutzer eine bereits vorhandene Compute-Umgebung als verknüpften Dienst registrieren. Die Compute-Umgebung wird vom Benutzer verwaltet und vom Dienst zum Ausführen von Aktivitäten verwendet.

Diese Art von Konfiguration wird für die folgenden Compute-Umgebungen unterstützt:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Azure SQL DB, Azure Synapse Analytics, SQL Server

Azure HDInsight-verknüpfter Dienst

Sie können einen verknüpften Azure HDInsight-Dienst erstellen, um Ihren eigenen HDInsight-Cluster mit einer Data Factory oder einem Synapse-Arbeitsbereich zu registrieren.

Beispiel für die Verwendung der Standardauthentifizierung

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Beispiel für die Verwendung der vom System zugewiesenen verwalteten Identität

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Beispiel für die Verwendung der vom Benutzer zugewiesenen verwalteten Identität

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Authentifizierung

Der Azure Storage verknüpfte Dienst für ADLS Gen2 unterstützt nun zusätzlich zu den vorhandenen Authentifizierungsmethoden vom System zugewiesene und vom Benutzer zugewiesene verwaltete Identitäten. Diese Unterstützung ist standardmäßig verfügbar, wenn Azure Integration Runtime (Azure IR) verwendet wird, und ab Version 5.55.9306.2 oder höher in Self-hosted Integration Runtime (SHIR) unterstützt. Für Azure Blob Storage unterstützt der Azure Storage verknüpfte Dienst weiterhin nur die Kontoschlüsselauthentifizierung. Die Clusteridentitätsauthentifizierung ist jetzt standardmäßig verfügbar, wenn Sie Azure IR verwenden, und wird ab Version 5.58 oder höher auf SHIR unterstützt. Beim Erstellen eines Clusters kann pro Cluster nur eine Authentifizierungsmethode verwendet werden. Ausführliche Informationen zum Erstellen und Verwalten von Clustern mit verwalteter Identität finden Sie unter Create and manage Azure HDInsight cluster with Entra ID authentication

Azure Batch verknüpften Dienst

Sie können einen Azure Batch verknüpften Dienst erstellen, um einen Batchpool von virtual machines (VMs) für einen Daten- oder Synapse-Arbeitsbereich zu registrieren. Sie können benutzerdefinierte Aktivitäten mit Azure Batch ausführen.

Lesen Sie die folgenden Artikel, wenn Sie neu beim Azure Batch-Dienst sind.

• Ein Überblick über den Azure Batch-Dienst: Azure Batch Basics.
• New-AzBatchAccount Cmdlet zum Erstellen eines Azure Batch Kontos (oder) Azure portal zum Erstellen des Azure Batch Kontos mithilfe von Azure portal. Ausführliche Anweisungen zur Verwendung des Cmdlets finden Sie unter Using PowerShell zum Verwalten von Azure Batch Account Artikel.
• New-AzBatchPool Cmdlet zum Erstellen eines Azure Batch Pools.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Machine Learning Studio (klassischer) verknüpfter Dienst

Sie erstellen einen verknüpften Dienst für Machine Learning Studio (Classic), um einen Batchbewertungsendpunkt von Machine Learning Studio (Classic) für eine Daten-Factory oder einen Synapse-Arbeitsbereich zu registrieren.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Azure Machine Learning verknüpfter Dienst

Sie erstellen einen Azure Machine Learning verknüpften Dienst, um einen Azure Machine Learning Arbeitsbereich mit einem Data Factory- oder Synapse-Arbeitsbereich zu verbinden.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Azure Data Lake Analytics verknüpfter Dienst

Sie erstellen einen Azure Data Lake Analytics verknüpften Dienst, um einen Azure Data Lake Analytics Computedienst mit einem Data Factory- oder Synapse-Arbeitsbereich zu verknüpfen. Die Data Lake Analytics U-SQL-Aktivität in der Pipeline bezieht sich auf diesen verknüpften Dienst.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Azure-Databricks-Verknüpfter-Dienst

Sie können Azure mit Databricks verknüpften Dienst erstellen, um den Databricks-Arbeitsbereich zu registrieren, den Sie zum Ausführen der Databricks-Workloads(Notizbuch, Jar, Python) verwenden.

Beispiel: Verwenden eines neuen Auftragsclusters in Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Beispiel: Verwenden eines vorhandenen interaktiven Auftragsclusters in Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Azure SQL Database verbundener Dienst

Sie erstellen einen Azure SQL verknüpften Dienst und verwenden ihn mit der Stored Procedure Activity, um eine gespeicherte Prozedur aus einer Pipeline aufzurufen. Details zu diesem verknüpften Dienst finden Sie im Artikel Azure SQL Connector.

verknüpfter Azure Synapse Analytics-Dienst

Sie erstellen einen verknüpften Azure Synapse Analytics-Dienst und verwenden ihn mit der Stored Procedure Activity, um eine gespeicherte Prozedur aus einer Pipeline aufzurufen. Details zu diesem verknüpften Dienst finden Sie im Artikel Azure Synapse Analytics Connector.

SQL Server verknüpfter Dienst

Sie erstellen einen SQL Server verknüpften Dienst und verwenden ihn mit der Stored Procedure Activity, um eine gespeicherte Prozedur aus einer Pipeline aufzurufen. Details zu diesem verknüpften Dienst finden Sie im Artikel SQL Server Connector.

Azure Synapse Analytics (Artifacts) verknüpfter Dienst

Sie erstellen einen mit Azure Synapse Analytics (Artifacts) verknüpften Dienst und verwenden ihn mit der Synapse-Notizbuchaktivität und Synapse Spark-Auftragsdefinitionsaktivität.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Azure Functions-verknüpfter Dienst

Sie erstellen einen Azure Function-verbundenen Dienst und verwenden ihn mit der Azure Function-Aktivität, um Azure Functions in einer Pipeline auszuführen. Der Rückgabetyp der Azure-Funktion muss eine gültige JObject sein. (Beachten Sie, dass JArraykeinJObject ist.) Jeder andere Rückgabetyp als JObject führt zu dem Benutzerfehler Antwortinhalt ist kein gültiges JObject.

Verwandte Inhalte

Eine Liste der unterstützten Transformationsaktivitäten finden Sie unter Transformieren von Daten.