Referência do SDK local do Foundry

Referência do SDK JavaScript

Configuração do projeto

A arquitetura de alto nível do Foundry Local SDK é a seguinte:

O SDK é um wrapper leve em torno de uma API Foundry Local Core C (.dll/.so/.dylib) que oferece uma interface mais amigável para os programadores JavaScript. O SDK trata do carregamento da biblioteca nativa, da gestão da memória e da conversão dos tipos de dados entre JavaScript e C. A API Foundry Local Core C tem duas variantes, mas a mesma superfície API:

• WindowsML (WinML) - Específico para Windows que utiliza o WindowsML para adquirir os drivers e fornecedores de execução necessários para o hardware disponível. Esta é a opção recomendada para utilizadores Windows, pois proporciona melhor desempenho e compatibilidade com uma vasta gama de hardware.
• Multiplataforma - pode ser usado no Windows, macOS e Linux. Convém notar que, em dispositivos macOS com Apple Silicon, o SDK multiplataforma utilizará a framework Metal da Apple para aceleração de hardware através do provedor de execução WebGPU ONNX.

Quando instala o pacote Foundry Local SDK no seu projeto, pode optar por instalar a versão WinML ou multiplataforma.

Use o Foundry Local no seu projeto JavaScript seguindo estas instruções específicas para Windows ou Multiplataforma (macOS/Linux/Windows):

Início Rápido

Use este excerto para verificar se o SDK pode inicializar-se e aceder ao catálogo local de modelos.

import { FoundryLocalManager } from 'foundry-local-sdk';

console.log('Initializing Foundry Local SDK...');

const manager = FoundryLocalManager.create({
    appName: 'foundry_local_samples',
    logLevel: 'info'
});
console.log('✓ SDK initialized successfully');

// Explore available models
console.log('\nFetching available models...');
const catalog = manager.catalog;
const models = await catalog.getModels();

console.log(`Found ${models.length} models:`);
for (const model of models) {
    console.log(`  - ${model.alias}`);
}

Este exemplo apresenta a lista de modelos disponíveis para o seu hardware.

Samples

• Para exemplos de aplicações que demonstram como usar o Foundry Local JavaScript SDK, consulte o repositório Foundry Local JavaScript SDK Samples no GitHub.

Referência da API

• Para mais detalhes sobre o Foundry Local JavaScript SDK, leia Foundry Local JavaScript SDK API Reference.

Referências

• Integrar com SDKs de inferência
• Use a API nativa de completação de chat local Foundry

Referência do SDK do C#

Guia de configuração do projeto

Existem dois pacotes NuGet para o Foundry Local SDK – um WinML e um pacote multiplataforma – que têm a mesma superfície de API, mas são otimizados para plataformas diferentes:

• Windows: Utiliza o pacote Microsoft.AI.Foundry.Local.WinML específico para aplicações Windows, que utiliza o framework Windows Machine Learning (WinML).
• Multiplataforma: Utiliza o Microsoft.AI.Foundry.Local pacote que pode ser usado para aplicações multiplataforma (Windows, Linux, macOS).

Dependendo da sua plataforma de destino, siga estas instruções para criar uma nova aplicação C# e adicionar as dependências necessárias:

Use o Foundry Local no seu projeto C# seguindo estas instruções específicas para Windows ou Multiplataforma (macOS/Linux/Windows):

Início Rápido

Use este excerto para verificar se o SDK pode inicializar-se e aceder ao catálogo local de modelos.

using Microsoft.AI.Foundry.Local;
using Microsoft.Extensions.Logging;
using System.Linq;

var config = new Configuration
{
  AppName = "app-name",
  LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information,
};

using var loggerFactory = LoggerFactory.Create(builder =>
{
  builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information);
});
var logger = loggerFactory.CreateLogger<Program>();

await FoundryLocalManager.CreateAsync(config, logger);
var manager = FoundryLocalManager.Instance;

var catalog = await manager.GetCatalogAsync();
var models = await catalog.ListModelsAsync();

Console.WriteLine($"Models available: {models.Count()}");

Este exemplo imprime o número de modelos disponíveis para o seu hardware.

Samples

• Para aplicações de exemplo que demonstram como usar o Foundry Local C# SDK, consulte o repositório Foundry Local C# Samples GitHub.

Referência da API

• Para mais detalhes sobre o Foundry Local C# SDK, leia a Foundry Local C# SDK API Reference.