Azure Databricks

Resumo

Pré-requisitos de rede

Para redes privadas, você precisará implementar as seguintes configurações de rede:

• *.blob.core.windows.net* e *.store.core.windows.net precisam ser abertos em seu ambiente de rede.
• Essa lista de downloads e revogações de certificados também precisa ser adicionada à sua lista de permissões.
• Se o suporte ao firewall estiver habilitado em sua conta de armazenamento do workspace do Databricks, você deverá configurar um gateway de dados de rede virtual ou um gateway de dados local para permitir o acesso privado à conta de armazenamento. Isso garante que o serviço Power BI do Fabric possa continuar a acessar a conta de armazenamento do workspace e que o CloudFetch continue funcionando corretamente. Como alternativa, você pode desabilitar o CloudFetch com a configuração EnableQueryResultDownload=0.

Capacidades suportadas

• Importação
• DirectQuery (modelos semânticos Power BI)

Conectar-se ao Databricks (AWS, Azure ou GCP) do Power Query Desktop

Para se conectar ao Databricks do Power Query Desktop, execute as seguintes etapas:

1. Na interface de Obter Dados, pesquise por Databricks para selecionar o conector do Databricks, Azure Databricks. Use o conector Azure Databricks para todos os dados do Databricks SQL Warehouse, a menos que você tenha sido instruído de outra forma pelo representante do Databricks.

   

2. Forneça o nome do host do servidor e o caminho HTTP para o Databricks SQL Warehouse. Consulte Configurar os drivers ODBC e JDBC do Databricks para obter instruções para pesquisar seu "Nome do host do servidor" e o "Caminho HTTP". Insira essas informações adequadamente. Opcionalmente, você pode fornecer um catálogo e/ou banco de dados padrão em Opções Avançadas. Selecione OK para continuar.

   

3. Forneça suas credenciais para autenticar com o Databricks SQL Warehouse. Há três opções para credenciais:

   • Credenciais do cliente do Databricks. Consulte o Databricks OAuth M2M para obter instruções sobre como gerar credenciais de cliente OAuth M2M do Databricks.

   • Token de Acesso Pessoal (utilizável para AWS, Azure ou GCP). Consulte Tokens de Acesso Pessoal para obter instruções sobre como gerar um Token de Acesso Pessoal (PAT).

   • Azure Active Directory (utilizável somente para Azure). Entre em sua conta organizacional usando o pop-up do navegador.

     

   Observação

   Depois de inserir suas credenciais para um SQL Warehouse do Databricks específico, Power BI Desktop armazena em cache e reutiliza essas mesmas credenciais em tentativas de conexão subsequentes. Você pode modificar essas credenciais indo até Arquivo > Opções e configurações > Configurações de fonte de dados. Mais informações: Alterar o método de autenticação

4. Depois de se conectar com êxito, o Navegador mostrará os dados que estarão disponíveis a você no cluster. Você pode escolher Transform Data para transformar os dados usando Power Query ou Load para carregar os dados na Área de Trabalho Power Query.

   

Conectar-se aos dados do Databricks do Power Query Online

Para se conectar ao Databricks do Power Query Online, execute as seguintes etapas:

1. Selecione a opção Azure Databricks na experiência de obtenção de dados. Aplicativos diferentes têm diferentes maneiras de acessar a experiência de obtenção de dados do Power Query Online. Para obter mais informações sobre como acessar a experiência de obtenção de dados do Power Query Online a partir do seu aplicativo, acesse Onde obter dados.

   Liste os conectores do Databricks disponíveis usando a caixa de pesquisa. Use o conector Azure Databricks para todos os dados do Databricks SQL Warehouse, a menos que você tenha sido instruído de outra forma pelo representante do Databricks.

   

2. Insira o Nome do host do servidor e o Caminho HTTP para o Databricks SQL Warehouse. Consulte Configurar os drivers ODBC e JDBC do Databricks para obter instruções para pesquisar seu "Nome do host do servidor" e o "Caminho HTTP". Opcionalmente, você pode fornecer um catálogo e/ou banco de dados padrão em Opções Avançadas.

   

3. Forneça suas credenciais para autenticar com o Databricks SQL Warehouse. Há três opções para credenciais:

   • Nome de usuário/senha (utilizável para AWS ou GCP). Essa opção não estará disponível se sua organização/conta usar 2FA/MFA.
   • Chave de Conta (utilizável para AWS, Azure ou GCP). Consulte Tokens de Acesso Pessoal para obter instruções sobre como gerar um Token de Acesso Pessoal (PAT).
   • Azure Active Directory (utilizável somente para Azure). Entre em sua conta organizacional usando o pop-up do navegador.

4. Depois que você se conectar com êxito, o Navegador aparece e exibe os dados disponíveis no servidor. Selecione seus dados no navegador. Em seguida, selecione Next para transformar os dados em Power Query.

   

Implementação do conector do driver de conectividade de banco de dados Arrow (versão prévia)

Você pode usar o driver Arrow Database Connectivity (ADBC) para o conector Azure Databricks no Power BI. À medida que continuamos a aprimorar e adicionar novos recursos a esse conector, recomendamos que você atualize para a versão mais recente para experimentá-la e enviar comentários sobre o produto.

Para mudar para o driver ADBC:

1. Abra o painel desejado no Power BI.
2. Selecione Transformar Dados.
3. Selecione Advanced Editor na seção de opção Query.
4. Especifique Implementation="2.0" para o ADBC.

   let
       Source = Databricks.Catalogs("adb-<workspace-id>.<random-number>.azuredatabricks.net", "/sql/1.0/warehouses/<sql-warehouse-id>",
           [Catalog=null, Database=null, EnableAutomaticProxyDiscovery=null, Implementation="2.0"]),
       powerbi_Database = Source{[Name="powerbi",Kind="Database"]}[Data],
       default_Schema = powerbi_Database{[Name="default",Kind="Schema"]}[Data],
       dashboard_data_Table = default_Schema{[Name="dashboard_data",Kind="Table"]}[Data]
   in
       dashboard_data_Table
   

Limitações e considerações

• O conector Azure Databricks dá suporte ao proxy web. No entanto, não há suporte para configurações automáticas de proxy definidas em arquivos .pac.
• No conector Azure Databricks, a fonte de dados Databricks.Query não é suportada em combinação com o modo DirectQuery do modelo semântico do Power BI.