Dela via

Begränsningar och regioner för distribution av modeller

Den här artikeln sammanfattar begränsningarna och regiontillgängligheten för Azure Databricks-modellhantering och slutpunktstyper som stöds.

Resurs- och nyttolastgränser

Modellservern tillämpar standardgränser för att säkerställa tillförlitliga prestanda. Om du har feedback om dessa gränser kontaktar du ditt Databricks-kontoteam.

Gränserna i det här avsnittet gäller endast för anpassade modell- och AI-agentslutpunkter . Information om API:er för Foundation Model och externa modellresurser och nyttolastgränser finns i Prisgränser och kvoter för Foundation Model API:er.

Anpassade modeller och AI-agenter

Egenskap Detaljeringsgrad Gräns
Endpoints Per arbetsyta 1000. Kontakta ditt Databricks-kontosupportteam för att utöka kapaciteten.
Frågor per sekund (QPS) Per slutpunkt 300 000 med optimering av rutter. Om 1024 samtidighet inte räcker kan du kontakta ditt Databricks-kontoteam för att få den ökad.
Frågor per sekund (QPS) Per arbetsyta 300 000 med optimering av rutter. 200 för icke-routningsoptimerad, rekommenderas endast för små utvecklingsanvändningsfall.
Förberedd konkurrens Per modell 1024 med anpassat alternativ och routningsoptimering. Kontakta ditt Databricks-kontoteam för att öka dina gränser.
Förberedd konkurrens Per arbetsyta 4096. Kontakta ditt Databricks-kontoteam för att öka gränsen.
Skapa/uppdatera åtgärder Per arbetsyta 50 på 5 minuter.
Nyttolaststorlek På begäran 16 MB. För AI-agentslutpunkter är gränsen 4 MB.
Storlek på begäran/svar På begäran Begäran/svar över 1 MB loggas inte.
Modellkörningens varaktighet På begäran 297 sekunder
Minnesanvändning för cpu-slutpunktsmodell Per slutpunkt 4 GB
Minnesanvändning för GPU-slutpunktsmodell Per slutpunkt Beror på GPU-typ
Miljövariabler Per betjänad modell 30. Kontakta ditt Databricks-kontoteam för att öka kapaciteten.
Överliggande latens På begäran Mindre än 20 millisekunder med routningsoptimering.

:::

Nätverks- och säkerhetsbegränsningar

  • Modellserverslutpunkter skyddas av åtkomstkontroll och respekterar nätverksrelaterade ingressregler som konfigurerats på arbetsytan, till exempel IP-tillåtna listor och Private Link.
  • Privat anslutning (till exempel Azure Private Link) stöds endast för modeller som betjänar slutpunkter som använder etablerat dataflöde eller slutpunkter som hanterar anpassade modeller.
  • Modellservern stöder som standard inte Private Link till externa slutpunkter (till exempel Azure OpenAI). Stöd för den här funktionen utvärderas och implementeras per region. Kontakta ditt Azure Databricks-kontoteam för mer information.
  • Modellservern tillhandahåller inte säkerhetskorrigeringar för befintliga modellbilder på grund av risken för destabilisering av produktionsdistributioner. En ny modellbild som skapats från en ny modellversion innehåller de senaste korrigeringarna. Kontakta ditt Databricks-kontoteam för mer information.

Standarder för efterlevnadssäkerhetsprofiler: CPU-arbetsbelastningar

I följande tabell visas de säkerhetsprofiler för efterlevnadsstandarder som stöds för kärnfunktionaliteten för modellservering på CPU-belastningar.

Anteckning

Dessa efterlevnadsstandarder kräver att levererade containrar byggs under de senaste 30 dagarna. Databricks återskapar automatiskt inaktuella containrar åt dig. Men om det här automatiserade jobbet misslyckas visas ett händelseloggmeddelande som följande och ger vägledning om hur du ser till att dina slutpunkter håller sig inom efterlevnadskraven:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Region Plats HIPAA HITRUST PCI-DSS IRAP CCCS Medium (Skyddat B) UK Cyber Essentials Plus
australiacentral AustralienCentral            
australiacentral2 AustralienCentral2            
australiaeast Australien Öst ✓ ✓ ✓      
australiasoutheast AustralienSydost            
brazilsouth Södra Brasilien ✓ ✓ ✓      
canadacentral CanadaCentral ✓ ✓ ✓      
canadaeast CanadaEast            
centralindia CentralIndia ✓ ✓ ✓      
centralus centrala USA ✓ ✓ ✓      
chinaeast2 ChinaEast2            
chinaeast3 ChinaEast3            
chinanorth2 ChinaNorth2            
chinanorth3 ChinaNorth3            
eastasia EastAsia ✓ ✓ ✓      
eastus EastUS ✓ ✓ ✓      
eastus2 EastUS2 ✓ ✓ ✓      
francecentral FranceCentral ✓ ✓ ✓      
germanywestcentral TysklandWestCentral ✓ ✓ ✓      
japaneast JapanEast ✓ ✓ ✓      
japanwest JapanWest            
koreacentral KoreaCentral ✓ ✓ ✓      
mexicocentral MexicoCentral            
northcentralus NorthCentralUS ✓ ✓ ✓      
northeurope NorthEurope ✓ ✓ ✓      
norwayeast NorgeÖst            
qatarcentral QatarCentral            
southafricanorth Sydafrika Nord            
southcentralus SouthCentralUS ✓ ✓ ✓      
southeastasia Sydostasien ✓ ✓ ✓      
southindia Södra Indien            
swedencentral SwedenCentral ✓ ✓ ✓      
switzerlandnorth Norra Schweiz ✓ ✓ ✓      
switzerlandwest SchweizWest            
uaenorth UAENorth ✓ ✓ ✓      
uksouth UKSouth ✓ ✓ ✓     ✓
ukwest UKWest            
westcentralus WestCentralUS            
westeurope Västeuropa ✓ ✓ ✓      
westindia WestIndia            
westus Västra USA ✓ ✓ ✓      
westus2 VästraUS2 ✓ ✓ ✓      
westus3 WestUS3 ✓ ✓ ✓      

Gränser för API:er för grundmodell

Detaljerad information om FOUNDATION Model-API:er, inklusive resurs- och nyttolastgränser för grundläggande och externa modeller, finns i Prisbegränsningar och kvoter för Foundation Model API:er.

Regiontillgänglighet

Anteckning

Om du behöver en slutpunkt i en region som inte stöds kontaktar du ditt Azure Databricks-kontoteam.

Om din arbetsyta distribueras i en region som stöder modellservering men hanteras av ett kontrollplan i en region som inte stöds stöder arbetsytan inte modellhantering. Om du försöker använda en modell som betjänar en sådan arbetsyta visas ett felmeddelande om att arbetsytan inte stöds. Kontakta ditt Azure Databricks-kontoteam för mer information.

Mer information om regional tillgänglighet för varje modellserveringsfunktion finns i Tillgänglighet för modellserveringsfunktioner.

Information om tillgänglighet för regioner som hostar grundläggande modeller på Databricks finns i Grundläggande modeller som hostas på Databricks.

  • Last updated on