Informations de référence sur le SDK Foundry Local

Informations de référence sur le Kit de développement logiciel (SDK) JavaScript

Configuration du projet

L’architecture de haut niveau du SDK Local Foundry est la suivante :

Le kit de développement logiciel (SDK) est un wrapper (ou enveloppe) léger autour de la Core Local C API de Foundry (.dll/.so/.dylib) qui offre une interface plus accessible pour les développeurs JavaScript. Le Kit de développement logiciel (SDK) gère le chargement de la bibliothèque native, la gestion de la mémoire et la conversion des types de données entre JavaScript et C. L’API Local Core C de Foundry a deux versions, mais la même surface d’API :

• WindowsML (WinML) : spécifique à Windows qui utilise WindowsML pour acquérir les pilotes et fournisseurs d’exécution nécessaires pour le matériel disponible. Il s’agit de l’option recommandée pour les utilisateurs Windows, car elle offre de meilleures performances et une meilleure compatibilité avec un large éventail de matériels.
• Multiplateforme : peut être utilisé sur Windows, macOS et Linux. Il convient de noter que sur les appareils macOS avec Apple Silicon, le SDK multiplateforme utilisera l’infrastructure Metal d’Apple pour l’accélération matérielle via le fournisseur d’exécution webGPU du runtime ONNX.

Lorsque vous installez le package du SDK Local Foundry dans votre projet, vous pouvez choisir d’installer la version WinML ou multiplateforme.

Utilisez Foundry Local dans votre projet JavaScript en suivant ces instructions spécifiques à Windows ou multiplateformes (macOS/Linux/Windows) :

Démarrage rapide

Utilisez cet extrait de code pour vérifier que le Kit de développement logiciel (SDK) peut initialiser et accéder au catalogue de modèles local.

import { FoundryLocalManager } from 'foundry-local-sdk';

console.log('Initializing Foundry Local SDK...');

const manager = FoundryLocalManager.create({
    appName: 'foundry_local_samples',
    logLevel: 'info'
});
console.log('✓ SDK initialized successfully');

// Explore available models
console.log('\nFetching available models...');
const catalog = manager.catalog;
const models = await catalog.getModels();

console.log(`Found ${models.length} models:`);
for (const model of models) {
    console.log(`  - ${model.alias}`);
}

Cet exemple génère la liste des modèles disponibles pour votre matériel.

Échantillons

• Pour obtenir des exemples d’applications qui montrent comment utiliser le Kit de développement logiciel (SDK) JavaScript local Foundry, consultez le référentiel GitHub d’exemples de SDK JavaScript local Foundry.

Référence d’API

• Pour plus d’informations sur le SDK JavaScript local Foundry, consultez la référence de l’API du SDK JavaScript local Foundry.

References

• Intégrer avec des kits SDK d’inférence
• Utiliser l’API Local de Foundry pour les achèvements de chat natifs

Informations de référence sur le SDK C#

Guide de configuration du projet

Il existe deux packages NuGet pour le SDK Local Foundry ( WinML et un package multiplateforme) qui ont la même surface d’API, mais qui sont optimisés pour différentes plateformes :

• Windows : utilise le package Microsoft.AI.Foundry.Local.WinML spécifique aux applications Windows, qui utilise l'infrastructure Windows Machine Learning (WinML).
• Multiplateforme : utilise le Microsoft.AI.Foundry.Local package qui peut être utilisé pour les applications multiplateformes (Windows, Linux, macOS).

Selon votre plateforme cible, suivez ces instructions pour créer une application C# et ajouter les dépendances nécessaires :

Utilisez Foundry Local dans votre projet C# en suivant ces instructions spécifiques à Windows ou multiplateformes (macOS/Linux/Windows) :

Démarrage rapide

Utilisez cet extrait de code pour vérifier que le Kit de développement logiciel (SDK) peut initialiser et accéder au catalogue de modèles local.

using Microsoft.AI.Foundry.Local;
using Microsoft.Extensions.Logging;
using System.Linq;

var config = new Configuration
{
  AppName = "app-name",
  LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information,
};

using var loggerFactory = LoggerFactory.Create(builder =>
{
  builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information);
});
var logger = loggerFactory.CreateLogger<Program>();

await FoundryLocalManager.CreateAsync(config, logger);
var manager = FoundryLocalManager.Instance;

var catalog = await manager.GetCatalogAsync();
var models = await catalog.ListModelsAsync();

Console.WriteLine($"Models available: {models.Count()}");

Cet exemple montre comment imprimer le nombre de modèles disponibles pour votre matériel.

Échantillons

• Pour obtenir des exemples d'applications qui montrent comment utiliser le Kit de développement logiciel (SDK) C# Local Foundry, consultez le dépôt GitHub Foundry Local C# SDK Samples.

Référence d’API

• Pour plus d’informations sur le SDK C# local Foundry, consultez la référence de l’API du SDK C# Local Foundry.