Mit Microsoft Foundry Models können Sie auf die leistungsstärksten Modelle von führenden Modellanbietern über einen einzelnen Endpunkt und ein Satz von Anmeldedaten zugreifen. Mithilfe dieser Funktion können Sie zwischen Modellen wechseln und sie in Ihrer Anwendung verwenden, ohne Code ändern zu müssen.
In diesem Artikel wird erläutert, wie die Foundry-Dienste Modelle organisieren und wie Sie den Inferenz-Endpunkt verwenden, um auf sie zuzugreifen.
Eine Foundry-Ressource kann viele Modellimplementierungen aufweisen. Sie zahlen nur für Rückschlüsse, die für Modellimplementierungen ausgeführt wurden. Bereitstellungen sind Azure Ressourcen, sodass sie Azure Richtlinien unterliegen.
Installieren Sie das Paket openai mit Ihrem package manager, z. B. pip:
pip install openai --upgrade
Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:
import os
from openai import AzureOpenAI
client = AzureOpenAI(
azure_endpoint = "https://<resource>.services.ai.azure.com"
api_key=os.getenv("AZURE_INFERENCE_CREDENTIAL"),
api_version="2024-10-21",
)
Installieren Sie das Paket openai mithilfe von npm:
npm install openai
Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:
import { AzureKeyCredential } from "@azure/openai";
const endpoint = "https://<resource>.services.ai.azure.com";
const apiKey = new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL);
const apiVersion = "2024-10-21"
const client = new AzureOpenAI({
endpoint,
apiKey,
apiVersion,
"deepseek-v3-0324"
});
deepseek-v3-0324 ist der Name einer Modellbereitstellung in der Microsoft Foundry-Ressource.
Installieren Sie die OpenAI-Bibliothek mit dem folgenden Befehl:
dotnet add package Azure.AI.OpenAI --prerelease
Sie können das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:
AzureOpenAIClient client = new(
new Uri("https://<resource>.services.ai.azure.com"),
new ApiKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);
Fügen Sie das Paket zu Ihrem project hinzu:
<dependency>
<groupId>com.azure</groupId>
<artifactId>azure-ai-openai</artifactId>
<version>1.0.0-beta.16</version>
</dependency>
Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:
OpenAIClient client = new OpenAIClientBuilder()
.credential(new AzureKeyCredential("{key}"))
.endpoint("https://<resource>.services.ai.azure.com")
.buildClient();
Im Referenzabschnitt finden Sie Informationen zum API-Entwurf und zu den verfügbaren Parametern. Der Referenzabschnitt für Chatvervollständigungen enthält beispielsweise Details zur Verwendung der /chat/completions-Route zum Generieren von Vorhersagen basierend auf Anweisungen im Chatformat:
Anforderung
POST https://<resource>.services.ai.azure.com/openai/deployments/deepseek-v3-0324/chat/completions?api-version=2024-10-21
api-key: <api-key>
Content-Type: application/json
In diesem Fall ist deepseek-v3-0324 der Name einer Modellimplementierung in der Foundry-Ressource.
response = client.chat.completions.create(
model="deepseek-v3-0324", # Replace with your model deployment name.
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Explain Riemann's conjecture in 1 paragraph"}
]
)
print(response.model_dump_json(indent=2)
var messages = [
{ role: "system", content: "You are a helpful assistant" },
{ role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];
const response = await client.chat.completions.create({ messages, model: "deepseek-v3-0324" });
console.log(response.choices[0].message.content)
ChatCompletion response = chatClient.CompleteChat(
[
new SystemChatMessage("You are a helpful assistant."),
new UserChatMessage("Explain Riemann's conjecture in 1 paragraph"),
]);
Console.WriteLine($"{response.Role}: {response.Content[0].Text}");
List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));
ChatCompletions chatCompletions = client.getChatCompletions("deepseek-v3-0324",
new ChatCompletionsOptions(chatMessages));
System.out.printf("Model ID=%s is created at %s.%n", chatCompletions.getId(), chatCompletions.getCreatedAt());
for (ChatChoice choice : chatCompletions.getChoices()) {
ChatResponseMessage message = choice.getMessage();
System.out.printf("Index: %d, Chat Role: %s.%n", choice.getIndex(), message.getRole());
System.out.println("Message:");
System.out.println(message.getContent());
}
deepseek-v3-0324 ist der Name einer Modellbereitstellung in der Microsoft Foundry-Ressource.
Anforderung
POST https://<resource>.services.ai.azure.com/openai/deployments/deepseek-v3-0324/chat/completions?api-version=2024-10-21
api-key: <api-key>
Content-Type: application/json
{
"messages": [
{
"role": "system",
"content": "You are a helpful assistant"
},
{
"role": "user",
"content": "Explain Riemann's conjecture in 1 paragraph"
}
]
}
In diesem Fall ist deepseek-v3-0324 der Name einer Modellimplementierung in der Foundry-Ressource.
Modelle, die in Foundry Models in Foundry Tools bereitgestellt werden, unterstützen die schlüssellose Autorisierung mithilfe von Microsoft Entra ID. Die schlüssellose Autorisierung verbessert die Sicherheit, vereinfacht die Benutzererfahrung, reduziert die betriebliche Komplexität und bietet eine robuste Complianceunterstützung für moderne Entwicklung. Sie macht die schlüssellose Autorisierung zu einer klugen Wahl für Organisationen, die sichere und skalierbare Identitätsverwaltungslösungen einführen möchten.
Installieren Sie das OpenAI SDK mit einem package manager wie Pip:
pip install openai
Installieren Sie für Microsoft Entra ID Authentifizierung auch Folgendes:
pip install azure-identity
Verwenden Sie das Paket, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatabschlusse mit Microsoft Entra ID zu nutzen und einen Testanruf an den Endpunkt für Chatabschlusse mit Ihrer Modellbereitstellung zu tätigen.
Ersetzen Sie <resource> durch den Namen Ihrer Foundry-Ressource. Suchen Sie sie im Azure portal oder indem Sie az cognitiveservices account list ausführen. Ersetzen Sie DeepSeek-V3.1 durch Ihren tatsächlichen Bereitstellungsnamen.
from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider
token_provider = get_bearer_token_provider(
DefaultAzureCredential(),
"https://cognitiveservices.azure.com/.default"
)
client = OpenAI(
base_url="https://<resource>.openai.azure.com/openai/v1/",
api_key=token_provider,
)
completion = client.chat.completions.create(
model="DeepSeek-V3.1", # Required: your deployment name
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "What is Azure AI?"}
]
)
print(completion.choices[0].message.content)
Erwartete Ausgabe
Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.
Referenz: OpenAI Python SDK und DefaultAzureCredential Klasse.
Installieren Sie das OpenAI SDK:
dotnet add package OpenAI
Installieren Sie für Microsoft Entra ID Authentifizierung auch das paket Azure.Identity:
dotnet add package Azure.Identity
Importieren Sie die folgenden Namespaces:
using Azure.Identity;
using OpenAI;
using OpenAI.Chat;
using System.ClientModel.Primitives;
Verwenden Sie dann das Paket, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatabschlusse mit Microsoft Entra ID zu nutzen, und führen Sie dann einen Testanruf an den Endpunkt für Chatabschlusse mit Ihrer Modellbereitstellung durch.
Ersetzen Sie <resource> durch ihren Findry-Ressourcennamen (suchen Sie ihn im Azure portal). Ersetzen Sie gpt-4o-mini durch Ihren tatsächlichen Bereitstellungsnamen.
#pragma warning disable OPENAI001
BearerTokenPolicy tokenPolicy = new(
new DefaultAzureCredential(),
"https://cognitiveservices.azure.com/.default"
);
ChatClient client = new(
model: "gpt-4o-mini", // Your deployment name
authenticationPolicy: tokenPolicy,
options: new OpenAIClientOptions() {
Endpoint = new Uri("https://<resource>.openai.azure.com/openai/v1/")
}
);
ChatCompletion completion = client.CompleteChat(
new SystemChatMessage("You are a helpful assistant."),
new UserChatMessage("What is Azure AI?")
);
Console.WriteLine(completion.Content[0].Text);
Erwartete Ausgabe:
Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.
Referenz: OpenAI .NET SDK und DefaultAzureCredential-Klasse.
Installieren Sie das OpenAI SDK mit npm:
npm install openai
Installieren Sie für Microsoft Entra ID Authentifizierung auch Folgendes:
npm install @azure/identity
Verwenden Sie dann das Paket, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chat-Vervollständigungen mit Microsoft Entra ID zu nutzen und anschließend einen Testaufruf an den Endpunkt für Chat-Vervollständigungen mit Ihrer Modellbereitstellung durchführen können.
Ersetzen Sie <resource> durch ihren Findry-Ressourcennamen (suchen Sie sie im Azure portal oder indem Sie az cognitiveservices account list ausführen). Ersetzen Sie DeepSeek-V3.1 durch Ihren tatsächlichen Bereitstellungsnamen.
import { DefaultAzureCredential, getBearerTokenProvider } from "@azure/identity";
import { OpenAI } from "openai";
const tokenProvider = getBearerTokenProvider(
new DefaultAzureCredential(),
'https://cognitiveservices.azure.com/.default'
);
const client = new OpenAI({
baseURL: "https://<resource>.openai.azure.com/openai/v1/",
apiKey: tokenProvider
});
const completion = await client.chat.completions.create({
model: "DeepSeek-V3.1", // Required: your deployment name
messages: [
{ role: "system", content: "You are a helpful assistant." },
{ role: "user", content: "What is Azure AI?" }
]
});
console.log(completion.choices[0].message.content);
Erwartete Ausgabe:
Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.
Referenz: OpenAI Node.js SDK und DefaultAzureCredential-Klasse.
Fügen Sie das OpenAI SDK zu Ihrem project hinzu. Überprüfen Sie das OpenAI Java GitHub Repository auf die neuesten Versions- und Installationsanweisungen.
Fügen Sie für Microsoft Entra ID Authentifizierung auch Folgendes hinzu:
<dependency>
<groupId>com.azure</groupId>
<artifactId>azure-identity</artifactId>
<version>1.18.0</version>
</dependency>
Verwenden Sie dann das Paket, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatabschlüsse mit Microsoft Entra ID zu verarbeiten, und wie Sie dann einen Testaufruf am Endpunkt für Chatabschlüsse mit Ihrer Modellbereitstellung durchführen.
Ersetzen Sie <resource> durch ihren Findry-Ressourcennamen (suchen Sie ihn im Azure portal). Ersetzen Sie DeepSeek-V3.1 durch Ihren tatsächlichen Bereitstellungsnamen.
import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.azure.identity.DefaultAzureCredential;
import com.azure.identity.DefaultAzureCredentialBuilder;
import com.openai.models.chat.completions.*;
DefaultAzureCredential tokenCredential = new DefaultAzureCredentialBuilder().build();
OpenAIClient client = OpenAIOkHttpClient.builder()
.baseUrl("https://<resource>.openai.azure.com/openai/v1/")
.credential(BearerTokenCredential.create(
AuthenticationUtil.getBearerTokenSupplier(
tokenCredential,
"https://cognitiveservices.azure.com/.default"
)
))
.build();
ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
.addSystemMessage("You are a helpful assistant.")
.addUserMessage("What is Azure AI?")
.model("DeepSeek-V3.1") // Required: your deployment name
.build();
ChatCompletion completion = client.chat().completions().create(params);
System.out.println(completion.choices().get(0).message().content());
Erwartete Ausgabe:
Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.
Referenz: OpenAI Java SDK und DefaultAzureCredential-Klasse.
Erkunden Sie den API-Entwurf im Referenzabschnitt, um zu sehen, welche Parameter verfügbar sind. Geben Sie das Authentifizierungstoken im Header Authorizationan. Im Abschnitt " Chatabschluss " wird beispielsweise erläutert, wie Sie mithilfe der /chat/completions Route Vorhersagen basierend auf chatformatierten Anweisungen generieren können. Der Pfad /models ist im Stamm der URL enthalten:
Anforderung
Ersetzen Sie <resource> durch ihren Findry-Ressourcennamen (suchen Sie sie im Azure portal oder indem Sie az cognitiveservices account list ausführen). Ersetzen Sie MAI-DS-R1 durch Ihren tatsächlichen Bereitstellungsnamen.
Die base_url akzeptiert sowohl https://<resource>.openai.azure.com/openai/v1/ als auch https://<resource>.services.ai.azure.com/openai/v1/ Formate.
curl -X POST https://<resource>.openai.azure.com/openai/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $AZURE_OPENAI_AUTH_TOKEN" \
-d '{
"model": "MAI-DS-R1",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "Explain what the bitter lesson is?"
}
]
}'
Antwort
Wenn die Authentifizierung erfolgreich ist, erhalten Sie eine 200 OK Antwort mit Chatabschlussergebnissen im Antworttext:
{
"id": "chatcmpl-...",
"object": "chat.completion",
"created": 1738368234,
"model": "MAI-DS-R1",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "The bitter lesson refers to a key insight in AI research that emphasizes the importance of general-purpose learning methods that leverage computation, rather than human-designed domain-specific approaches. It suggests that methods which scale with increased computation tend to be more effective in the long run."
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 28,
"completion_tokens": 52,
"total_tokens": 80
}
}
Token müssen mit Bereich https://cognitiveservices.azure.com/.default ausgegeben werden.
Zu Testzwecken besteht die einfachste Möglichkeit, ein gültiges Token für Ihr Benutzerkonto zu erhalten, darin, die Azure CLI zu verwenden. Führen Sie in einer Konsole den folgenden Azure CLI Befehl aus:
az account get-access-token --resource https://cognitiveservices.azure.com --query "accessToken" --output tsv
Mit diesem Befehl wird ein access-Token ausgegeben, das Sie in der Umgebungsvariable $AZURE_OPENAI_AUTH_TOKEN speichern können.
Referenz: API für Chatabschlusse
