Referencia del SDK local de Foundry

Referencia del SDK de JavaScript

Configuración del proyecto

La arquitectura de alto nivel del SDK local de Foundry es la siguiente:

El SDK es un contenedor ligero en torno a una API de C de Foundry Local Core (.dll/.so/.dylib) que proporciona una interfaz más fácil de usar para los desarrolladores de JavaScript. El SDK controla la carga de la biblioteca nativa, la administración de memoria y la conversión de tipos de datos entre JavaScript y C. La API de C de Foundry Local Core tiene dos tipos, pero la misma superficie de API:

• WindowsML (WinML) - específico de Windows que emplea WindowsML para adquirir los controladores y proveedores de ejecución necesarios para el hardware disponible. Esta es la opción recomendada para los usuarios de Windows, ya que proporciona un mejor rendimiento y compatibilidad con una amplia gama de hardware.
• Multiplataforma : se puede usar en Windows, macOS y Linux. Debe tenerse en cuenta que, en dispositivos macOS con Apple Silicon, el SDK multiplataforma usará el framework Metal de Apple para la aceleración de hardware a través del proveedor de ejecución WebGPU del tiempo de ejecución de ONNX.

Al instalar el paquete del SDK local de Foundry en el proyecto, puede optar por instalar WinML o versión multiplataforma.

Use Foundry Local en el proyecto de JavaScript siguiendo estas instrucciones específicas de Windows o multiplataforma (macOS/Linux/Windows):

Inicio rápido

Use este fragmento de código para comprobar que el SDK puede inicializar y acceder al catálogo de modelos local.

import { FoundryLocalManager } from 'foundry-local-sdk';

console.log('Initializing Foundry Local SDK...');

const manager = FoundryLocalManager.create({
    appName: 'foundry_local_samples',
    logLevel: 'info'
});
console.log('✓ SDK initialized successfully');

// Explore available models
console.log('\nFetching available models...');
const catalog = manager.catalog;
const models = await catalog.getModels();

console.log(`Found ${models.length} models:`);
for (const model of models) {
    console.log(`  - ${model.alias}`);
}

En este ejemplo se genera la lista de modelos disponibles para el hardware.

Muestras

• Para ver aplicaciones de ejemplo que muestran cómo usar el SDK de JavaScript local de Foundry, consulte el repositorio de GitHub de ejemplos del SDK de JavaScript local de Foundry.

Referencia de las API

• Para obtener más información sobre el SDK de JavaScript local de Foundry, consulte Referencia de la API del SDK de JavaScript local de Foundry.

References

• Integración con SDK de inferencia
• Uso de la API de finalizaciones de chat nativo local de Foundry

Referencia del SDK de C#

Guía de configuración del proyecto

Hay dos paquetes NuGet para el SDK local de Foundry( WinML y un paquete multiplataforma) que tienen la misma superficie de API, pero están optimizadas para distintas plataformas:

• Windows: usa el Microsoft.AI.Foundry.Local.WinML paquete específico de las aplicaciones de Windows, que usa el marco de Windows Machine Learning (WinML).
• Multiplataforma: usa el Microsoft.AI.Foundry.Local paquete que se puede usar para aplicaciones multiplataforma (Windows, Linux, macOS).

En función de la plataforma de destino, siga estas instrucciones para crear una nueva aplicación de C# y agregar las dependencias necesarias:

Usa Foundry Local en tu proyecto de C# siguiendo estas instrucciones específicas de Windows o multiplataforma (macOS/Linux/Windows):

Inicio rápido

Use este fragmento de código para comprobar que el SDK puede inicializar y acceder al catálogo de modelos local.

using Microsoft.AI.Foundry.Local;
using Microsoft.Extensions.Logging;
using System.Linq;

var config = new Configuration
{
  AppName = "app-name",
  LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information,
};

using var loggerFactory = LoggerFactory.Create(builder =>
{
  builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information);
});
var logger = loggerFactory.CreateLogger<Program>();

await FoundryLocalManager.CreateAsync(config, logger);
var manager = FoundryLocalManager.Instance;

var catalog = await manager.GetCatalogAsync();
var models = await catalog.ListModelsAsync();

Console.WriteLine($"Models available: {models.Count()}");

En este ejemplo se imprime el número de modelos disponibles para tu hardware.

Muestras

• Para ver aplicaciones de ejemplo que muestran cómo usar el SDK de C# local de Foundry, consulte el repositorio de GitHub de ejemplos del SDK de C# local de Foundry.

Referencia de las API

• Para obtener más información sobre el SDK de C# local de Foundry, consulte Referencia de la API del SDK de C# local de Foundry.