Características de la extensión Asset Bundles de Databricks

La extensión de Databricks para Visual Studio Code proporciona características adicionales en Visual Studio Code que le permiten definir, implementar y ejecutar fácilmente agrupaciones de recursos de Databricks para aplicar procedimientos recomendados de CI/CD a los trabajos de Lakeflow, las canalizaciones declarativas de Spark de Lakeflow y las pilas de MLOps. Consulte ¿Qué son las agrupaciones de recursos de Databricks?

A fin de instalar la extensión Databricks para Visual Studio Code, vea Instalación de la extensión Databricks para Visual Studio Code.

Compatibilidad con los Paquetes de Activos de Databricks en los proyectos

La extensión Databricks para Visual Studio Code agrega las siguientes características para los proyectos de Agrupaciones de recursos de Databricks:

• Autenticación y configuración sencillas de las agrupaciones de recursos de Databricks mediante la interfaz de usuario de Visual Studio Code, incluida la selección del perfil AuthType. Consulte Configuración de la autorización para la extensión de Databricks para Visual Studio Code.
• Un selector de Target en el panel de extensiones de Databricks para cambiar rápidamente entre los entornos objetivo del bundle. Vea Cambiar el área de trabajo de implementación de destino.
• La opción Modificar el clúster de trabajos en el paquete en el panel de extensiones para habilitar fácilmente la modificación del clúster.
• Una vista del Explorador de Recursos de Bundles, que le permite examinar los recursos de su bundle mediante la interfaz de usuario de Visual Studio Code, implementar los recursos del Asset Bundle de Databricks local en el área de trabajo remota de Azure Databricks con un solo clic y acceder directamente a sus recursos implementados en el área de trabajo desde Visual Studio Code. Vea Explorador de recursos de paquetes.
• Una Vista de variables de paquetes, que le permite examinar y editar las variables del paquete mediante la interfaz de Visual Studio Code. Vea Vista de variables del paquete.

Explorador de Recursos del Paquete

La vista del Explorador de Recursos de Paquete en la extensión de Databricks para Visual Studio Code utiliza las definiciones de recursos en la configuración de paquetes del proyecto para mostrar recursos, incluidos los conjuntos de datos de canalización y sus esquemas. También le permite implementar y ejecutar recursos, validar y realizar actualizaciones parciales de canalización, ver eventos y diagnósticos de ejecución de canalización, y navegar a los recursos en su área de trabajo remota de Azure Databricks. Para obtener información sobre los recursos de configuración de agrupación, vea recursos.

Por ejemplo, dada una definición de trabajo simple:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

En la vista Explorador de Recursos de Paquetes de la extensión se muestra el recurso de trabajo del notebook:

Implementación y ejecución de trabajos

Para implementar la agrupación, haga clic en el icono de nube (Implementar agrupación).

Para ejecutar el trabajo, en la vista Explorador de recursos de agrupación, seleccione el nombre del trabajo, que es Mi trabajo de Notebook en este ejemplo. Después, haga clic en el icono de reproducción (Implementar la agrupación y ejecutar el recurso).

Para ver el trabajo en ejecución, en la vista Explorador de recursos de agrupación, expanda el nombre del trabajo, haga clic en Estado de ejecución y, después, haga clic en el icono de vínculo (Abrir vínculo externamente).

Validación y diagnóstico de problemas de canalización

Para una canalización, puede desencadenar la validación y una actualización parcial seleccionando la canalización y, después, el icono de comprobación (Implementar el paquete y validar la canalización). Se muestran los eventos de la ejecución, y cualquier error se puede diagnosticar en el panel Problemas de Visual Studio Code PROBLEMS.

Vista de Variables del Paquete

En la vista Ver variables de agrupación de la extensión Databricks para Visual Studio Code se muestran las variables personalizadas y las opciones asociadas que se definen en la configuración de la agrupación. También puede definir variables directamente mediante la Vista de Variables de Bundles. Estos valores invalidan los establecidos en los archivos de configuración de agrupación. Para más información sobre las variables personalizadas, vea Variables personalizadas.

Por ejemplo, en la Vista Variables de agrupación en la extensión se mostraría lo siguiente:

En el caso de la variable my_custom_var definida en esta configuración de agrupación:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}