Erkunden von Microsoft Foundry-Modellen in Azure Machine Learning

Microsoft Foundry Models ist Ihr zentrales Ziel zum Ermitteln, Auswerten und Bereitstellen leistungsstarker KI-Modelle – ganz gleich, ob Sie einen benutzerdefinierten Copilot erstellen, einen Agent erstellen, eine vorhandene Anwendung verbessern oder neue KI-Funktionen erkunden.

Mit Foundry Models haben Sie folgende Möglichkeiten:

• Erkunden Sie einen umfassenden Katalog modernster Modelle von Microsoft, OpenAI, DeepSeek, Hugging Face, Meta und mehr.
• Vergleichen und bewerten Sie Modelle nebeneinander mithilfe von realen Aufgaben und Ihren eigenen Daten.
• Stellen Sie dank integrierter Tools für Optimierung, Einblick und verantwortungsvolle KI sicher bereit.
• Wählen Sie Ihren Pfad aus– bringen Sie Ihr eigenes Modell mit, verwenden Sie ein gehostetes Modell, oder integrieren Sie nahtlos Azure Dienste.
• Unabhängig davon, ob Sie Entwickler, data scientist oder Unternehmensarchitekt sind, bietet Foundry Models Ihnen die Flexibilität und Kontrolle, KI-Lösungen zu erstellen, die skaliert werden – sicher, verantwortungsbewusst und schnell.

Foundry bietet einen umfassenden Katalog von KI-Modellen. Es gibt über 1900 Modelle, die von Foundation-Modellen, Reasoning-Modellen, kleinen Sprachmodellen, multimodalen Modellen, domänenspezifischen Modellen, Industriemodellen und mehr reichen.

Unser Katalog ist in zwei Hauptkategorien unterteilt:

• Direkt von Azure verkaufte Modelle
• Modelle von Partnern und Gemeinschaft

Wenn Sie die Unterscheidung zwischen diesen Kategorien verstehen, können Sie die richtigen Modelle basierend auf Ihren spezifischen Anforderungen und strategischen Zielen auswählen.

Modelle, die direkt von Azure verkauft werden

Dies sind Modelle, die von Microsoft unter den Microsoft-Produktbedingungen gehostet und verkauft werden. Diese Modelle haben eine strenge Bewertung durchlaufen und sind tief in das KI-Ökosystem Azure integriert. Die Modelle stammen aus einer Vielzahl von Top-Anbietern und bieten eine verbesserte Integration, optimierte Leistung und direkte Microsoft support, einschließlich Service Level Agreements (SLAs) auf Unternehmensniveau.

Merkmale dieser direkten Modelle:

• Offizieller First-Party-Support von Microsoft
• Hohe Integration in Azure Services und Infrastruktur
• Umfangreiches Leistungs-Benchmarking und Validierung
• Einhaltung der verantwortungsvollen KI-Standards von Microsoft
• Skalierbarkeit, Zuverlässigkeit und Sicherheit auf Unternehmensniveau

Diese Modelle bieten auch den Vorteil eines austauschbaren bereitgestellten Durchsatzes, was bedeutet, dass Sie Ihr Limit und Ihre Reservierungen flexibel in jedem dieser Angebote nutzen können.

Modelle von Partnern und der Gemeinschaft

Diese Modelle bilden die überwiegende Mehrheit der Foundry Models. Diese Modelle werden von vertrauenswürdigen Drittanbieterorganisationen, Partnern, Forschungslabors und Community-Mitwirkenden bereitgestellt. Diese Modelle bieten spezielle und vielfältige KI-Funktionen, die eine vielzahl von Szenarien, Branchen und Innovationen abdecken.

Merkmale von Modellen von Partnern und Gemeinschaft:

• Entwickelt und unterstützt von externen Partnern und Community-Mitwirkenden
• Vielfältiges Angebot an spezialisierten Modellen für Nischen oder breite Anwendungsfälle
• In der Regel werden die Validierungen von den Anbietern selbst durchgeführt, wobei die Integrationsrichtlinien von Azure bereitgestellt werden.
• Gemeinschaftliche Innovation und schnelle Verfügbarkeit modernster Modelle
• Standard-Azure KI-Integration mit Unterstützung und Wartung, die von den jeweiligen Anbietern verwaltet wird

Modelle können als Managed Compute- oder Standardbereitstellungsoptionen (pay-go) bereitgestellt werden. Der Modellanbieter wählt aus, wie die Modelle bereitgestellt werden können.

Auswahl zwischen direkten Modellen und Partner- und Communitymodellen

Berücksichtigen Sie bei der Auswahl von Modellen aus Foundry Models Folgendes:

• Anwendungsfall und Anforderungen: Modelle, die direkt von Azure verkauft werden, eignen sich ideal für Szenarien, die eine tiefe Azure Integration, garantierte Unterstützung und Unternehmens-SLAs erfordern. Azure Ökosystemmodelle zeichnen sich in spezialisierten Anwendungsfällen und innovationsgeführten Szenarien aus.
• Supporterwartungen: Modelle, die direkt von Azure verkauft werden, verfügen über robusten von Microsoft bereitgestellten Support und Wartung. Diese Modelle werden von ihren Anbietern mit unterschiedlichen SLA- und Supportstrukturen unterstützt.
• Innovation und Spezialisierung: Modelle von Partnern und Community bieten schnelle access zu spezialisierten Innovationen und Nischenfunktionen, die häufig von führenden Forschungslaboren und aufstrebenden KI-Anbietern entwickelt wurden.

Modellsammlungen

Der Modellkatalog organisiert Modelle in unterschiedliche Sammlungen:

• Azure OpenAI-Modelle sind ausschließlich auf Azure verfügbar: Flagship Azure OpenAI-Modelle, die über eine Integration mit Azure OpenAI in Foundry Models verfügbar sind. Microsoft unterstützt diese Modelle und deren Verwendung gemäß den Produktbedingungen und SLA für Azure OpenAI in Foundry Models.

• Offene Modelle aus dem Hugging Face-Hub: Hunderte von Modellen aus dem Hugging Face-Hub für Echtzeit-Inferenz mit verwalteten Rechendiensten. Hugging Face erstellt und unterhält die in dieser Sammlung aufgelisteten Modelle. Um Hilfe zu erhalten, verwenden Sie das Hugging Face-Forum oder den Hugging Face-Support. Weitere Informationen finden Sie unter Bereitstellen offener Modelle mit Foundry.

Mithilfe dieses Formulars können Sie eine Anforderung senden, um dem Modellkatalog ein Modell hinzuzufügen.

Übersicht über die Modellkatalogfunktionen

Der Modellkatalog im Foundry-Portal ist der Hub, um eine vielzahl von Modellen zum Erstellen von generativen KI-Anwendungen zu entdecken und zu verwenden. Der Modellkatalog verfügt über Hunderte von Modellen in allen Modellanbietern wie Azure OpenAI, Mistral, Meta, Cohere, NVIDIA und Hugging Face, einschließlich Modellen, die Microsoft trainiert hat. Modelle von Anbietern anderer Microsoft sind Nicht-Microsoft-Produkte gemäß den Microsoft-Produktbedingungen und unterliegen den Bedingungen, die mit den Modellen bereitgestellt werden.

Sie können Modelle suchen und ermitteln, die Ihren Anforderungen durch Stichwortsuche und -filter entsprechen. Der Modellkatalog bietet außerdem ein Leistungs-Ranking und Benchmark-Metriken für ausgewählte Modelle. Sie können auf sie zugreifen, indem Sie Browse leaderboard und Compare Models auswählen. Auf Benchmarkdaten kann auch über die Registerkarte "Benchmark" der Modellkarte zugegriffen werden.

Im Modellkatalogfilter finden Sie:

• Sammlung: Sie können Modelle basierend auf der Modellanbieterauflistung filtern.
• Industrie: Sie können nach den Modellen filtern, die auf branchenspezifischem Dataset trainiert werden.
• Funktionen: Sie können nach eindeutigen Modelleigenschaften wie Schlussfolgerungsprozessen und Toolaufrufen filtern.
• Bereitstellungsoptionen: Sie können nach den Modellen filtern, die eine bestimmte Bereitstellungsoptionen unterstützen.
  • Standard: Mit dieser Option können Sie pro API-Aufruf bezahlen.
  • Bereitgestellt: am besten geeignet für die Echtzeitbewertung für große konsistente Mengen.
  • Batch: am besten geeignet für kostenoptimierte Batchaufträge und nicht für Latenz. Für die Batchbereitstellung wird keine Unterstützung für den Playground bereitgestellt.
  • Verwaltete Berechnung: Mit dieser Option können Sie ein Modell auf einem Azure virtuellen Computer bereitstellen. Sie werden für Hosting und Inferencing in Rechnung gestellt.
• Ableitungsaufgaben: Sie können Modelle basierend auf dem Ableitungsaufgabentyp filtern.
• Feintuning-Aufgaben: Sie können Modelle basierend auf dem Feintuning-Aufgabentyp filtern.
• Lizenzen: Sie können Modelle basierend auf dem Lizenztyp filtern.

Auf der Modellkarte finden Sie:

• Schnelle Fakten: Sie werden wichtige Informationen zum Modell auf einen schnellen Blick sehen.
• Details: Diese Seite enthält die detaillierten Informationen zum Modell, einschließlich Beschreibung, Versionsinformationen, unterstützter Datentyp usw.
• Benchmarks: Sie finden Leistungs-Benchmarkmetriken für ausgewählte Modelle.
• Vorhandene Bereitstellungen: Wenn Sie das Modell bereits bereitgestellt haben, finden Sie es auf der Registerkarte "Vorhandene Bereitstellungen".
• Lizenz: Sie finden rechtliche Informationen zur Modelllizenzierung.
• Artifacts: Diese Registerkarte wird nur für geöffnete Modelle angezeigt. Sie können die Modellressourcen anzeigen und über die Benutzeroberfläche herunterladen.

Modellbereitstellung: Verwaltete Rechenleistung und Standardbereitstellungen

Zusätzlich zu Azure OpenAI-Modellen bietet der Modellkatalog zwei verschiedene Möglichkeiten zum Bereitstellen von Modellen für Ihre Verwendung: verwaltete Compute- und Standardbereitstellungen.

Die für jedes Modell verfügbaren Bereitstellungsoptionen und Features variieren, wie in den folgenden Tabellen beschrieben. Erfahren Sie mehr über die Datenverarbeitung mit den Bereitstellungsoptionen.

Funktionen der Modellimplementierungsoptionen

Verfügbare Modelle für unterstützte Bereitstellungsoptionen

Der Modellkatalog bietet zwei unterschiedliche Möglichkeiten zum Bereitstellen von Modellen aus dem Katalog für Ihre Nutzung: verwaltete Rechneressourcen und Standardbereitstellungen. Die für jedes Modell verfügbaren Bereitstellungsoptionen variieren. Erfahren Sie in den folgenden Tabellen mehr über die Features der Bereitstellungsoptionen und die Optionen, die für bestimmte Modelle verfügbar sind. Erfahren Sie mehr über die Datenverarbeitung mit den Bereitstellungsoptionen.

Verwaltete Rechenkapazität

Die Funktionalität, Modelle mit Managed Compute bereitzustellen, baut auf den Funktionalitäten von Azure Machine Learning auf, um eine nahtlose Integration der umfangreichen Collection von Modellen im Modellkatalog über den gesamten Lebenszyklus von GenAIOps (manchmal auch LLMOps genannt) zu ermöglichen.

Verfügbarkeit von Modellen für die Bereitstellung als verwaltete Rechenressourcen

Die Modelle werden über Azure Machine Learning Registries zur Verfügung gestellt, die einen ML-first-Ansatz zum Hosting und zur Verteilung von Machine-Learning-Assets wie Modellgewichtungen, Containerlaufzeiten zur Ausführung der Modelle, Pipelines zur Bewertung und Feinabstimmung der Modelle sowie Datensätze für Benchmarks und Beispiele ermöglichen. Diese ML-Registrierungen bauen auf einer hoch skalierbaren und unternehmensfähigen Infrastruktur auf, die Folgendes bietet:

• Liefert Modellartefakte für den Zugriff mit geringer Wartezeit für alle Azure-Regionen mit integrierter Georeplikation.

• Unterstützt Sicherheitsanforderungen auf Unternehmensebene, wie das Einschränken des Zugriffs auf Modelle mit Azure-Richtlinien und die sichere Bereitstellung mit verwalteten virtuellen Netzwerken.

Bereitstellung von Modellen für Vorhersagen mit verwalteten Rechenressourcen

Modelle, die für die Bereitstellung mit verwalteter Rechenkapazität verfügbar sind, können für Azure Machine Learning Online-Endpunkte zur Echtzeit-Inferenz bereitgestellt oder zur Stapel-Inferenz mit Azure Machine Learning verwendet werden, um Ihre Daten im Batchverfahren zu verarbeiten. Die Bereitstellung auf verwaltete Computeressourcen erfordert, dass Sie in Ihrem Azure-Abonnement über eine Quote für virtuelle Maschinen für die spezifischen SKUs verfügen, die für die optimale Ausführung des Modells erforderlich sind. Einige Modelle ermöglichen Ihnen die Bereitstellung im vorübergehend freigegebenen Kontingent zum Testen des Modells. Weitere Informationen zum Bereitstellen von Modellen:

• Bereitstellen von Meta-Llama-Modellen
• Bereitstellen von offenen Modellen erstellt von Azure AI
• Bereitstellen von Hugging Face-Modellen

Erstellen von generativen KI-Apps mit verwaltetem Rechenbetrieb

Prompt Flow bietet Funktionen zum Erstellen, Experimentieren, Durchlaufen und Bereitstellen Ihrer KI-Anwendungen. Modelle, die mit verwalteten Computeressourcen bereitgestellt werden, können Sie mit dem Open Model LLM-Tool in Prompt Flow verwenden. Sie können auch die REST-API verwenden, die von den verwalteten Computes in beliebten LLM-Tools wie LangChain mit der Erweiterung Azure Machine Learning verfügbar gemacht wird.

Inhaltssicherheit für Modelle, die als verwaltete Rechenressourcen bereitgestellt werden

Azure AI Content Safety (AACS) Dienst ist verfügbar für die Nutzung mit Modellen, die auf verwaltetem Rechnen bereitgestellt werden, um auf verschiedene Kategorien schädlicher Inhalte wie sexuelle Inhalte, Gewalt, Hass und Selbstverletzung zu überprüfen sowie auf fortgeschrittene Bedrohungen wie Jailbreak-Risikoerkennung und Erkennung geschützter Materialtexte. Sie können auf dieses Notizbuch für die Referenzintegration mit AACS für Llama 2 verweisen oder das Tool Content Safety (Text) im Aufforderungsfluss verwenden, um Antworten vom Modell an AACS zur Überprüfung zu übergeben. Sie werden gemäß AACS-Preis für diese Verwendung separat in Rechnung gestellt.

Standardbereitstellungen mit Standardabrechnung

Bestimmte Modelle im Modellkatalog können als Standardbereitstellungen mit Standardabrechnung bereitgestellt werden; diese Bereitstellungsmethode wird als Standardbereitstellungen bezeichnet. Modelle, die über MaaS verfügbar sind, werden in von Microsoft verwalteter Infrastruktur gehostet, wodurch der API-basierte Zugriff auf das Modell des Modellanbieters ermöglicht wird. API-basierter Zugriff kann die Kosten für den Zugriff auf ein Modell erheblich reduzieren und die Bereitstellung signifikant vereinfachen. Die meisten MaaS-Modelle verfügen über tokenbasierte Preise.

Wie werden Drittanbietermodelle in MaaS verfügbar gemacht?

Modelle, die für die Bereitstellung als Standardbereitstellungen mit Standardabrechnung verfügbar sind, werden vom Modellanbieter angeboten, aber in von Microsoft verwalteten Azure Infrastruktur gehostet und über API aufgerufen. Modellanbieter definieren die Lizenzbedingungen und legen den Preis für die Verwendung ihrer Modelle fest, während der Azure Machine Learning-Dienst die Hostinginfrastruktur verwaltet, die Inference-APIs bereitstellt und als Datenverarbeiter für die über MaaS eingereichten Eingabeaufforderungen und von Modellen ausgegebenen Inhalte fungiert. Weitere Informationen zur Datenverarbeitung für MaaS finden Sie im Artikel Datenschutz.

Abrechnung

Die Ermittlungs-, Abonnement- und Verbrauchserfahrung für Modelle, die über MaaS bereitgestellt werden, befindet sich im Foundry-Portal und Azure Machine Learning studio. Benutzer akzeptieren Lizenzbedingungen für die Verwendung der Modelle. Preisinformationen für den Verbrauch werden während der Bereitstellung bereitgestellt.

Modelle von Nicht-Microsoft-Anbietern werden gemäß den nutzungsbedingungen für Microsoft Commercial Marketplace über Azure Marketplace in Rechnung gestellt.

Modelle von Microsoft werden über Azure Meter als First Party Consumption Services in Rechnung gestellt. Wie in den Produktbedingungen beschrieben, erwerben Sie Dienste für den Erstanbieterverbrauch mithilfe von Azure Metern, unterliegen jedoch nicht Azure Servicebedingungen. Die Verwendung dieser Modelle unterliegt den bereitgestellten Lizenzbedingungen.

Optimierung von Modellen

Für Modelle, die über MaaS verfügbar sind und Feinabstimmungen unterstützen, können Benutzer die gehostete Feinabstimmung mit der Standardabrechnung nutzen, um die Modelle mithilfe von Daten anzupassen, die sie bereitstellen. Weitere Informationen finden Sie unter Feinabstimmen eines Llama 2 Modells im Foundry Portal.

RAG mit Modellen, die als Standardbereitstellungen bereitgestellt werden

Foundry ermöglicht es Benutzern, Vektorindizes und Abruf-unterstützte Generierung zu nutzen. Modelle, die als übliche Bereitstellungen verfügbar gemacht werden können, können genutzt werden, um Einbettungen und Schlussfolgerungen basierend auf maßgeschneiderten Daten zu generieren, um fallbezogene Antworten zu erzeugen. Weitere Informationen finden Sie unter Retrieval Augmented Generation und Indizes.

Regionale Verfügbarkeit von Angeboten und Modellen

Die Standardabrechnung ist nur für Benutzer verfügbar, deren Azure Abonnement zu einem Abrechnungskonto in einem Land/einer Region gehört, in dem der Modellanbieter das Angebot zur Verfügung gestellt hat. Wenn das Angebot in der relevanten Region verfügbar ist, muss der Benutzer in der Azure-Region ein Hub/Projekt haben, in dem das Modell für die Bereitstellung oder Feinabstimmung verfügbar gemacht werden kann. Detaillierte Informationen finden Sie unter Regionenverfügbarkeit für Modelle in Standardbereitstellungen.

Inhaltssicherheit für Modelle, die über Standardbereitstellungen bereitgestellt werden

Für Sprachmodelle, die über die serverlose API bereitgestellt werden, implementiert Azure AI eine Standardkonfiguration von Azure AI Content Safety Textmoderationsfiltern, die schädliche Inhalte wie Hass, Selbstschäden, sexuelle und gewalttätige Inhalte erkennen. Um mehr über die Filterung von Inhalten zu erfahren, siehe Guardrails & steuert Modelle, die direkt von Azure verkauft werden.

Die Inhaltsfilterung erfolgt synchron, während der Dienst Eingaben verarbeitet, um Inhalte zu generieren. Möglicherweise werden Sie gemäß Azure AI Content Safety Preis für diese Verwendung separat in Rechnung gestellt. Sie können die Inhaltsfilterung für einzelne serverlose Endpunkte entweder deaktivieren:

• Zum Zeitpunkt der ersten Bereitstellung eines Sprachmodells
• Später durch Auswählen der Umschaltfläche für die Inhaltsfilterung auf der Seite mit den Bereitstellungsdetails

Angenommen, Sie entscheiden sich, eine andere API als die Model Inference-API zu verwenden, um mit einem Modell zu arbeiten, das über eine serverlose API bereitgestellt wird. In einer solchen Situation ist die Inhaltsfilterung nicht aktiviert, es sei denn, Sie implementieren sie separat mithilfe von Azure AI Content Safety.

Informationen, um mit den ersten Schritten bei Azure AI Content Safety zu beginnen, finden Sie unter Quickstart: Analyse von Textinhalten. Wenn Sie beim Arbeiten mit Modellen, die über die serverlose API bereitgestellt werden, keine Inhaltsfilterung verwenden, besteht ein höheres Risiko, dass Benutzer schädliche Inhalte ausgesetzt werden.

Netzwerkisolation für Modelle, die über standardisierte Bereitstellungen bereitgestellt werden

Endpunkte für Modelle, die als Standardbereitstellungen bereitgestellt werden, folgen der PNA-Kennzeichnungseinstellung (Public Network access) des Arbeitsbereichs, in dem die Bereitstellung vorhanden ist. Um Ihren MaaS-Endpunkt zu sichern, deaktivieren Sie das PNA-Flag in Ihrem Arbeitsbereich. Sie können eingehende Kommunikation von einem Client zu Ihrem Endpunkt sichern, indem Sie einen privaten Endpunkt für den Arbeitsbereich verwenden.

So legen Sie das PNA-Flag für den Arbeitsbereich fest:

• Wechseln Sie zum Azure portal.
• Suchen Sie nach Azure Machine Learning, und wählen Sie Ihren Arbeitsbereich aus der Liste der Arbeitsbereiche aus.
• Verwenden Sie auf der Seite "Übersicht" den linken Bereich, um zu "Netzwerkeinstellungen"> zuwechseln.
• Unter der Registerkarte Öffentlicher Zugriff können Sie Einstellungen für das Zugriffskennzeichen des öffentlichen Netzwerks konfigurieren.
• Speichern Sie Ihre Änderungen. Es kann bis zu fünf Minuten dauern, bis Ihre Änderungen verteilt sind.

Einschränkungen

• Wenn Sie einen Arbeitsbereich mit einem privaten Endpunkt haben, der vor dem 11. Juli 2024 erstellt wurde, folgen neue MaaS-Endpunkte, die diesem Arbeitsbereich hinzugefügt wurden, nicht der Netzwerkkonfiguration. Stattdessen müssen Sie einen neuen privaten Endpunkt für den Arbeitsbereich erstellen und neue Standardbereitstellungen im Arbeitsbereich erstellen, damit die neuen Bereitstellungen der Netzwerkkonfiguration des Arbeitsbereichs folgen können.
• Wenn Sie einen Arbeitsbereich mit MaaS-Bereitstellungen haben, die vor dem 11. Juli 2024 erstellt wurden, und Sie einen privaten Endpunkt in diesem Arbeitsbereich aktivieren, folgen die vorhandenen MaaS-Bereitstellungen nicht der Netzwerkkonfiguration des Arbeitsbereichs. Damit Standardbereitstellungen im Arbeitsbereich der Konfiguration des Arbeitsbereichs entsprechen, müssen Sie die Bereitstellungen erneut erstellen.
• Derzeit ist Unterstützung für Ihre Daten für MaaS-Bereitstellungen in privaten Arbeitsbereichen nicht verfügbar, da private Arbeitsbereiche das PNA-Flag deaktiviert haben.
• Jede Netzwerkkonfigurationsänderung (z. B. das Aktivieren oder Deaktivieren des PNA-Flags) kann bis zu fünf Minuten dauern, bis sie verteilt sind.

Verwandte Inhalte

• Einstellung und Außerbetriebnahme von Modellen im Foundry-Modellkatalog
• So verwenden Sie Open-Source-Grundlagemodelle, die von Azure Machine Learning bereitgestellt werden