Azure Data Factory と Synapse pipelinesでサポートされるコンピューティング環境

適用対象: Azure Data Factory Azure Synapse Analytics

この記事では、データの処理または変換に利用できるさまざまなコンピューティング環境について説明します。 これらのコンピューティング環境をリンクするリンク サービスの構成時にサポートされる、さまざまな構成 (オンデマンドと Bring Your Own の比較) に関する詳細も説明します。

次の表は、サポートされているコンピューティング環境と、その環境で実行できるアクティビティの一覧です。

HDInsight コンピューティング環境

オンデマンド環境とBYOC (Bring your own compute) 環境での構成でサポートされているストレージにリンクされたサービスの種類の詳細については、以下の表を参照してください。

AZURE HDInsight オンデマンドのリンクされたサービス

この種類の構成では、コンピューティング環境はサービスによって完全に管理されます。 データを処理するためのジョブが送信される前にサービスにより自動的に作成され、ジョブの完了時に削除されます。 オンデマンドのコンピューティング環境のために「リンクされたサービス」を作成し、構成し、ジョブ実行、クラスター管理、ブートストラップ アクションの詳細設定を制御できます。

サービスにより、データを処理するためのオンデマンド HDInsight クラスターが自動的に作成されます。 クラスターは、クラスターに関連付けられている storage アカウント (JSON の linkedServiceName プロパティ) と同じリージョンに作成されます。 storage アカウント mustは、汎用の標準Azure Storage アカウントです。

オンデマンド HDInsight のリンクされたサービスに関する次の 重要な 点に注意してください。

• オンデマンド HDInsight クラスターは、Azure サブスクリプションの下に作成されます。 クラスターが稼働しているときに、Azure portal内のクラスターを確認できます。
• オンデマンド HDInsight クラスターで実行されるジョブのログは、HDInsight クラスターに関連付けられているstorage アカウントにコピーされます。 リンクされたサービス定義で定義されている ClusterUserName、clusterPassword、clusterSshUserName、clusterSshPassword は、クラスターのライフサイクル中に詳細なトラブルシューティングのためにクラスターにログインするときに使用されます。
• HDInsight クラスターが稼動し、ジョブを実行している時間に対してのみ課金されます。
• Azure HDInsight オンデマンドのリンクされたサービスでは、Script アクションを使用できます。

サービス プリンシパル キーの使用例

次の JSON は、Linux ベースのオンデマンド HDInsight のリンクされたサービスを定義します。 サービスは、必要なアクティビティを処理する Linux ベース の HDInsight クラスターを自動的に作成します。

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

システム割り当てマネージド ID の使用例

次の JSON は、Linux ベースのオンデマンド HDInsight のリンクされたサービスを定義します。 サービスは、必要なアクティビティを処理する Linux ベース の HDInsight クラスターを自動的に作成します。

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

ユーザー割り当てマネージド ID の使用例

次の JSON は、Linux ベースのオンデマンド HDInsight のリンクされたサービスを定義します。 サービスは、必要なアクティビティを処理する Linux ベース の HDInsight クラスターを自動的に作成します。

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

プロパティ

• additionalLinkedServiceNames JSON の例

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

サービス プリンシパルの認証

オンデマンドの HDInsight リンク サービスでは、ユーザーに代わって HDInsight クラスターを作成するためにサービス プリンシパル認証が必要になります。 サービス プリンシパル認証を使用するには、Microsoft Entra IDにアプリケーション エンティティを登録し、サブスクリプションまたは HDInsight クラスターが作成されるリソース グループの Contributor ロールを付与します。 詳細な手順については、「リソースをaccessできる Microsoft Entra アプリケーションとサービス プリンシパルを作成するポータルを使用するを参照してください。 次の値を記録しておきます。リンクされたサービスを定義するときに使います。

• アプリケーション識別子
• アプリケーション キー
• テナント ID

次のプロパティを指定して、サービス プリンシパル認証を使います。

マネージド ID 認証

AZURE HDInsight オンデマンドのリンクされたサービスにマネージド ID 認証を使用する場合は、マネージド ID オブジェクトにリソース グループへの共同作成者ロールaccessがあることを確認します。

ADLS Gen2 プライマリ storage アカウントでは、既存のキーベースの認証に加えて、ユーザー割り当てマネージド ID (UAMI) ベースの認証がサポートされるようになりました。 UAMI には、プライマリ ストレージ アカウントのストレージ BLOB データ所有者の権限が必要です。

制限事項:

• ADLS Gen2 プライマリ storage アカウントと UAMI は、オンデマンド HDInsight クラスターの作成に使用されるリソース グループと同じリソース グループに存在する必要があります。
• Data Factory の UAMI の資格情報オブジェクト名は、UAMI 名と完全に一致している必要があります。

詳細については、「Azure HDInsight の作成 - Azure Data Lake Storage Gen2 - ポータル」および「Azure HDInsight の管理対象 ID」を参照してください

詳細プロパティ

次のプロパティを指定し、オンデマンド HDInsight クラスターを詳細に設定することもできます。

• 例 - 詳細なプロパティを使用したオンデマンド HDInsight クラスターの構成

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

ノードのサイズ

次のプロパティを使用して、ヘッド ノード、データ ノード、Zookeeper ノードのサイズを指定できます。

• ノード サイズの指定 前のセクションで説明したプロパティに指定する必要がある文字列値についてはsizes of Virtual Machinesの記事を参照してください。 値は、この記事に記載されているコマンドレットと API に準拠する必要があります。 この記事に示すように、Large (既定値) サイズのデータ ノードのメモリ容量は 7 GB ですが、シナリオによってはこれでは不十分な場合があります。

D4 サイズのヘッド ノードとワーカー ノードを作成する場合は、headNodeSize プロパティと dataNodeSize プロパティの値として Standard_D4 を指定します。

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

これらのプロパティに間違った値を指定すると、次のエラーが表示される可能性があります : クラスターの作成に失敗しました。 例外: クラスター作成操作を完了できません。 コード '400' で操作が失敗しました。 取り残されたクラスターの状態: 'Error'。 メッセージ: 'PreClusterCreationValidationFailure'。 このエラーが発生した場合は、Sizes of Virtual Machines に関する記事の表から、必ずCMDLETとAPIsの名前を使用していることを確認してください。

Bring Your Own のコンピューティング環境

この種類の構成では、既存のコンピューティング環境をリンク サービスとして登録できます。 このコンピューティング環境はユーザーにより管理され、サービスではこれを使用してアクティビティを実行します。

この種類の構成は次のコンピューティング環境でサポートされています。

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Azure SQL DB、Azure Synapse Analytics、SQL Server

Azure HDInsight のリンクサービス

Azure HDInsight のリンクされたサービスを作成して、独自の HDInsight クラスターをデータ ファクトリまたは Synapse ワークスペースに登録できます。

基本認証の使用例

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

システム割り当てマネージド ID の使用例

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

ユーザー割り当てマネージド ID の使用例

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

プロパティ

Authentication

ADLS Gen2 のAzure Storageリンクされたサービスでは、既存の認証方法に加えて、システム割り当てマネージド ID とユーザー割り当てマネージド ID がサポートされるようになりました。 このサポートは、Azure Integration Runtime (Azure IR) を使用する場合に既定で使用でき、バージョン 5.55.9306.2 以降のセルフホステッド Integration Runtime (SHIR) でサポートされます。 Azure Blob Storageの場合、Azure Storageリンクされたサービスは引き続きアカウント キー認証のみをサポートします。 クラスター マネージド ID 認証は、Azure IR を使用するときに既定で使用できるようになりました。バージョン 5.58 以降の SHIR でサポートされています。 クラスターを作成する場合、クラスターごとに使用できる認証方法は 1 つだけです。 マネージド ID を使用したクラスターの作成と管理の詳細については、「 Entra ID 認証を使用して HDInsight クラスター Azure作成および管理する

Azure Batch リンクされたサービス

Azure Batch のリンクされたサービスを作成して、仮想マシン (VM) の Batch プールをデータまたは Synapse ワークスペースに登録できます。 Azure Batchを使用してカスタム アクティビティを実行できます。

Azure Batch サービスを初めて使用する場合は、次の記事を参照してください。

• Azure Batch サービスの概要については、Azure Batchの基本を参照してください。
• New-AzBatchAccount コマンドレットを使用してAzure Batch アカウント (または) Azure portalを作成し、Azure portalを使用してAzure Batch アカウントを作成します。 コマンドレットの使用方法の詳細については、「Azure Batch アカウントを管理するための PowerShell の使用に関する記事を参照してください。
• New-AzBatchPool コマンドレットを使用してAzure Batch プールを作成します。

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

プロパティ

Machine Learning Studio (クラシック) のリンクされたサービス

Machine Learning Studio (クラシック) のリンクされたサービスを作成して、Machine Learning Studio (クラシック) バッチ スコアリング エンドポイントをデータ ファクトリまたは Synapse ワークスペースに登録します。

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

プロパティ

リンクされたサービスAzure Machine Learning

Azure Machine Learningリンクされたサービスを作成して、Azure Machine Learning ワークスペースをデータ ファクトリまたは Synapse ワークスペースに接続します。

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

プロパティ

リンクされたサービスAzure Data Lake Analytics

Azure Data Lake Analyticsリンクされたサービスを作成して、Azure Data Lake Analyticsコンピューティング サービスをデータ ファクトリまたは Synapse ワークスペースにリンクします。 パイプラインの Data Lake Analytics U-SQL アクティビティは、このリンクされたサービスを参照します。

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

プロパティ

Azure Databricks リンクされたサービス

Azure Databricks のリンクされたサービスを作成して、Databricks ワークロード (ノートブック、jar、python) の実行に使用する Databricks ワークスペースを登録できます。

例 - Databricks で新しいジョブ クラスターの使用

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

例 - Databricks で対話型の既存クラスターの使用

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

プロパティ

リンクされたサービスAzure SQL Database

Azure SQLリンクされたサービスを作成し、 ストアド プロシージャ アクティビティ と共に使用して、パイプラインからストアド プロシージャを呼び出します。 このリンクされたサービスの詳細については、Azure SQL コネクタに関する記事を参照してください。

Azure Synapse Analytics のリンクされたサービス

Azure Synapse Analytics のリンクされたサービスを作成し、 ストアド プロシージャ アクティビティと共に使用して、パイプラインからストアド プロシージャを呼び出します。 このリンクされたサービスの詳細については、Azure Synapse Analytics Connector に関する記事を参照してください。

SQL Server のリンク サービス

SQL Serverリンクされたサービスを作成し、 ストアド プロシージャ アクティビティと共に使用して、パイプラインからストアド プロシージャを呼び出します。 このリンクされたサービスの詳細については、SQL Server コネクタに関する記事を参照してください。

Azure Synapse Analytics (Artifacts) のリンクされたサービス

Azure Synapse Analytics (Artifacts) のリンクされたサービスを作成し、Synapse Notebook Activity および Synapse Spark ジョブ定義アクティビティで使用します。

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

プロパティ

Azure関数のリンクされたサービス

Azure関数のリンクされたサービスを作成し、Azure Function アクティビティと共に使用して、パイプラインでAzure Functionsを実行します。 Azure関数の戻り値の型は、有効なJObjectである必要があります。 JArray はないであることに注意してください。ただし、以外の戻り値の型はエラーになり、ユーザーエラーとして「レスポンスコンテンツが有効な JObject ではありません」が発生します。

関連コンテンツ

サポートされている変換アクティビティの一覧については、「データの 変換」を参照してください。