Referência do SDK Local do Foundry

Referência do SDK do JavaScript

Configuração do projeto

A arquitetura de alto nível do SDK Local do Foundry é a seguinte:

O SDK é um wrapper leve em torno de uma API C do Foundry Local Core (.dll/.so/.dylib) que fornece uma interface mais amigável para desenvolvedores JavaScript. O SDK manipula o carregamento da biblioteca nativa, o gerenciamento de memória e a conversão de tipos de dados entre JavaScript e C. A API C do Foundry Local Core tem dois sabores, mas a mesma superfície de API:

• WindowsML (WinML) – solução específica do Windows que utiliza o WindowsML para adquirir os drivers e provedores de execução necessários para o hardware disponível. Essa é a opção recomendada para usuários do Windows, pois fornece melhor desempenho e compatibilidade com uma ampla gama de hardware.
• Multiplataforma – pode ser usado no Windows, macOS e Linux. É importante observar que, em dispositivos macOS com o Apple Silicon, o SDK multiplataforma usará o framework Metal da Apple para aceleração de hardware, por meio do provedor de execução WebGPU do ONNX Runtime.

Ao instalar o pacote do SDK Local do Foundry em seu projeto, você pode optar por instalar o WinML ou a versão multiplataforma.

Use o Foundry Local em seu projeto JavaScript seguindo estas instruções específicas do Windows ou multiplataforma (macOS/Linux/Windows):

Início Rápido

Use este trecho de código para verificar se o SDK pode inicializar e acessar o catálogo de modelos local.

import { FoundryLocalManager } from 'foundry-local-sdk';

console.log('Initializing Foundry Local SDK...');

const manager = FoundryLocalManager.create({
    appName: 'foundry_local_samples',
    logLevel: 'info'
});
console.log('✓ SDK initialized successfully');

// Explore available models
console.log('\nFetching available models...');
const catalog = manager.catalog;
const models = await catalog.getModels();

console.log(`Found ${models.length} models:`);
for (const model of models) {
    console.log(`  - ${model.alias}`);
}

Este exemplo gera a lista de modelos disponíveis para seu hardware.

Samples

• Para obter aplicativos de exemplo que demonstram como usar o SDK JavaScript Local do Foundry, consulte o repositório GitHub de Exemplos de SDK javaScript local do Foundry.

Referência de API

• Para obter mais detalhes sobre o SDK javascript local do Foundry, leia a Referência da API do SDK do JavaScript Local do Foundry.

References

• Integrar com SDKs de inferência
• Usar a API de complementos de chat nativo do Foundry Local

Referência do SDK do C#

Guia de configuração do projeto

Há dois pacotes NuGet para o SDK Local do Foundry - um WinML e um pacote multiplataforma - que têm a mesma superfície de API, mas são otimizados para plataformas diferentes:

• Windows: usa o pacote Microsoft.AI.Foundry.Local.WinML específico para aplicativos Windows, que usa a estrutura do Windows Machine Learning (WinML).
• Multiplataforma: usa o Microsoft.AI.Foundry.Local pacote que pode ser usado para aplicativos multiplataforma (Windows, Linux, macOS).

Dependendo da plataforma de destino, siga estas instruções para criar um novo aplicativo C# e adicionar as dependências necessárias:

Use o Foundry Local em seu projeto em C# seguindo estas instruções específicas do Windows ou multiplataforma (macOS/Linux/Windows):

Início Rápido

Use este trecho de código para verificar se o SDK pode inicializar e acessar o catálogo de modelos local.

using Microsoft.AI.Foundry.Local;
using Microsoft.Extensions.Logging;
using System.Linq;

var config = new Configuration
{
  AppName = "app-name",
  LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information,
};

using var loggerFactory = LoggerFactory.Create(builder =>
{
  builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information);
});
var logger = loggerFactory.CreateLogger<Program>();

await FoundryLocalManager.CreateAsync(config, logger);
var manager = FoundryLocalManager.Instance;

var catalog = await manager.GetCatalogAsync();
var models = await catalog.ListModelsAsync();

Console.WriteLine($"Models available: {models.Count()}");

Este exemplo imprime o número de modelos disponíveis para seu hardware.

Samples

• Para obter aplicativos de exemplo que demonstram como usar o SDK do C# Local do Foundry, consulte o repositório GitHub de Exemplos de SDK do C# Local do Foundry.

Referência de API

• Para obter mais detalhes sobre o SDK do C# Local do Foundry, leia a Referência da API do SDK do C# Local do Foundry.