Treinar modelos de IA e ML

O Azure Databricks oferece soluções de computação flexíveis adaptadas a diferentes necessidades de aprendizagem automática, que vão desde runtimes de clusters geridos até ambientes de GPU totalmente serverless.

Computação GPU sem servidor (Beta)

A computação com GPU serverless é uma oferta especializada dentro do ecossistema serverless Databricks. Está otimizado para cargas de trabalho personalizadas de deep learning de nó único e de múltiplos nós, como o ajuste fino de LLMs ou o treino de modelos de visão computacional.

As principais funcionalidades incluem:

• Disponibilidade instantânea: Elimina a necessidade de gerir a infraestrutura subjacente do cluster, permitindo ligar um portátil diretamente aos recursos da GPU serverless.
• Hardware de alto desempenho: Proporciona acesso a GPUs A10 para tarefas económicas.
• Ambientes geridos: Oferece um ambiente base predefinido para personalização total ou um ambiente de IA pré-carregado com pacotes comuns de ML como Transformers e Ray.
• Escalabilidade flexível: Suporta treino distribuído entre múltiplas GPUs e nós.

Databricks Runtime para Aprendizado de Máquina

O Databricks Runtime for Machine Learning é um runtime especializado que automatiza a criação de recursos computacionais com infraestrutura pré-construída. Foi concebido para utilizadores que pretendem um ambiente abrangente e pronto a usar, tanto para aprendizagem automática clássica como para aprendizagem profunda.

As principais funcionalidades incluem:

• Bibliotecas pré-instaladas: Inclui bibliotecas populares como PyTorch, TensorFlow e XGBoost, que recebem atualizações frequentes e suporte otimizado.
• Versatilidade de computação: Suporta tipos de instâncias baseadas em CPU e GPU, incluindo AWS Graviton para melhorar o custo-benefício.
• Otimização: Oferece integração com o Photon para acelerar tarefas de Spark SQL, DataFrames e engenharia de funcionalidades.
• Controlo de acesso: Requer modo de acesso dedicado para acesso seguro a dados através do Unity Catalog.