Modelo Limites de serviço e regiões

Este artigo resume as limitações e a disponibilidade regional para Azure Databricks Model Serving e tipos de endpoints suportados.

Limites de recursos e carga útil

O Model Serving impõe limites padrão para garantir um desempenho fiável. Se você tiver comentários sobre esses limites, entre em contato com sua equipe de conta Databricks.

Os limites desta secção aplicam-se apenas a endpoints de modelos personalizados e agentes de IA . Para as APIs do modelo de base e os limites de recursos e cargas úteis externos do modelo, consulte limites de taxa e quotas das APIs do modelo de base.

Modelos personalizados e agentes de IA

:::

Limitações de rede e segurança

• Os pontos de extremidade do Model Serving são protegidos pelo controle de acesso e respeitam as regras de entrada relacionadas à rede configuradas no espaço de trabalho, como listas de permissões de IP e Link Privado.
• A conectividade privada (como o Azure Private Link) só é suportada para pontos de extremidade de serviço de modelos que usam largura de banda provisionada ou pontos de extremidade que servem modelos personalizados.
• Por padrão, o Serviço de Modelo não oferece suporte a ligação privada para pontos de extremidade externos (como o Azure OpenAI). O suporte para esta funcionalidade é avaliado e implementado por região. Entre em contato com sua equipe de conta do Azure Databricks para obter mais informações.
• O Model Serving não fornece patches de segurança para imagens de modelo existentes devido ao risco de desestabilização das implantações de produção. Uma nova imagem de modelo criada a partir de uma nova versão do modelo conterá os patches mais recentes. Entre em contato com sua equipe de conta Databricks para obter mais informações.

Padrões de perfil de segurança de conformidade: cargas de trabalho da CPU

A tabela a seguir lista os padrões de conformidade de perfil de segurança suportados para a funcionalidade principal de Serviço de Modelo em cargas de trabalho de CPU.

Limites das APIs do Modelo de Fundação

Para informações detalhadas sobre APIs do Modelo Fundação, incluindo limites de recursos e carga útil para modelos de fundação e externos, consulte limites de taxa e quotas das APIs do Modelo Fundação.

Disponibilidade da região

Se o espaço de trabalho for implantado em uma região que ofereça suporte ao serviço de modelo, mas seja servido por um plano de controle em uma região sem suporte, o espaço de trabalho não suportará o serviço de modelo. Se o utilizador tentar utilizar a disponibilização de modelos num tal espaço de trabalho, verá uma mensagem de erro indicando que esse espaço de trabalho não é suportado. Entre em contato com sua equipe de conta do Azure Databricks para obter mais informações.

Para obter mais informações sobre a disponibilidade regional de cada recurso de serviço de modelo, consulte Disponibilidade de recursos de serviço de modelo.

Para saber a disponibilidade da região do modelo de base hospedado pelo Databricks, consulte Modelos de base hospedados no Databricks.