Esplorare i modelli di Microsoft Foundry in Azure Machine Learning

I modelli di Microsoft Foundry sono la destinazione unica per l'individuazione, la valutazione e la distribuzione di modelli avanzati di intelligenza artificiale, sia che si stia creando un copilota personalizzato, creando un agente, migliorando un'applicazione esistente o esplorando nuove funzionalità di intelligenza artificiale.

Con i modelli Foundry è possibile:

• Esplora un ricco catalogo di modelli all'avanguardia di Microsoft, OpenAI, DeepSeek, Hugging Face, Meta e altro ancora.
• Confrontare e valutare i modelli a fianco a fianco usando attività reali e dati propri.
• Distribuire con fiducia, grazie agli strumenti integrati per ottimizzare, osservare e garantire un'intelligenza artificiale responsabile.
• Scegliere il percorso: usare un modello personalizzato, usarne uno ospitato o integrarsi perfettamente con i servizi di Azure.
• Sia che si sia uno sviluppatore, un data scientist o un architetto aziendale, Foundry Models offre flessibilità e controllo per creare soluzioni di intelligenza artificiale scalabili, in modo sicuro, responsabile e veloce.

Foundry offre un catalogo completo di modelli di intelligenza artificiale. Sono disponibili oltre 1900 modelli che vanno da modelli di base, modelli di ragionamento, modelli linguistici piccoli, modelli multilingue, modelli specifici di dominio, modelli di settore e altro ancora.

Il nostro catalogo è organizzato in due categorie principali:

• Modelli venduti direttamente da Azure
• Modelli di partner e community

Comprendere la distinzione tra queste categorie consente di scegliere i modelli giusti in base ai requisiti specifici e agli obiettivi strategici.

Modelli venduti direttamente da Azure

Si tratta di modelli ospitati e venduti da Microsoft in Condizioni per i prodotti Microsoft. Questi modelli hanno subito una valutazione rigorosa e sono profondamente integrati nell'ecosistema di intelligenza artificiale di Azure. I modelli provengono da un'ampia gamma di provider principali e offrono un'integrazione avanzata, prestazioni ottimizzate e Microsoft support dirette, inclusi i contratti di servizio di livello aziendale.

Caratteristiche di questi modelli diretti:

• Supporto ufficiale di prima parte di Microsoft
• Alto livello di integrazione con i servizi e l'infrastruttura di Azure
• Esteso benchmarking e convalida delle prestazioni
• Conformità agli standard di intelligenza artificiale responsabile di Microsoft
• Scalabilità, affidabilità e sicurezza di livello aziendale

Questi modelli offrono anche il vantaggio di un rendimento previsto flessibile, il che significa che è possibile usare in modo flessibile la propria quota e le prenotazioni su tutti questi modelli.

Modelli di Partner e Comunità

Questi modelli costituiscono la vasta maggioranza dei modelli Foundry. Questi modelli vengono forniti da organizzazioni di terze parti attendibili, partner, lab di ricerca e collaboratori della community. Questi modelli offrono funzionalità di IA specializzate e diversificate, che coprono un'ampia gamma di scenari, settori e innovazioni.

Caratteristiche dei modelli dei partner e della community:

• Sviluppato e supportato da partner esterni e collaboratori della community
• Gamma diversificata di modelli specializzati che rispondono a casi d'uso sia di nicchia che ampi.
• In genere convalidati dai provider stessi, con linee guida di integrazione fornite da Azure
• Innovazione guidata dalla community e rapida disponibilità di modelli all'avanguardia
• Integrazione standard Azure di intelligenza artificiale, con supporto e manutenzione gestiti dai rispettivi provider

I modelli sono distribuibili come opzioni di distribuzione di calcolo gestito o Standard (con pagamento in base al consumo). Il provider di modelli seleziona la modalità di distribuzione dei modelli.

Scelta tra modelli diretti e modelli di partner e community

Quando si selezionano modelli da Foundry Models, tenere presente quanto segue:

• Casi d'uso e requisiti: i modelli venduti direttamente da Azure sono ideali per scenari che richiedono un'integrazione approfondita Azure, un supporto garantito e contratti di servizio aziendali. I modelli di ecosistema di Azure eccellono in casi d'uso specializzati e scenari basati sull'innovazione.
• Aspettative di supporto: i modelli venduti direttamente da Azure sono dotati di robusto supporto e manutenzione forniti da Microsoft. Questi modelli sono supportati dai provider, con diversi livelli di contratto di servizio e strutture di supporto.
• Innovazione e specializzazione: i modelli di partner e community offrono access rapidi alle innovazioni specializzate e alle capacità di nicchia spesso sviluppate da laboratori di ricerca leader e fornitori emergenti di intelligenza artificiale.

Raccolte di modelli

Il catalogo dei modelli organizza i modelli in raccolte diverse:

• Modelli di punta di Azure OpenAI disponibili esclusivamente su Azure: Modelli di punta di Azure OpenAI disponibili attraverso un'integrazione con Azure OpenAI nei modelli Foundry. Microsoft supporta questi modelli e il relativo utilizzo in base alle condizioni del prodotto e SLA per Azure OpenAI in Foundry Models.

• Modelli aperti dell'hub Hugging Face: centinaia di modelli dell'hub Hugging Face per l'inferenza in tempo reale con l'ambiente di calcolo gestito. Hugging Face crea e gestisce i modelli elencati in questa raccolta. Per assistenza, usare il forum Hugging Face o il supporto di Hugging Face. Per altre informazioni, vedere Distribuire modelli aperti con Foundry.

È possibile inviare una richiesta per aggiungere un modello al catalogo modelli usando questo modulo.

Panoramica delle funzionalità del catalogo dei modelli

Il catalogo dei modelli nel portale foundry è l'hub per individuare e usare un'ampia gamma di modelli per la creazione di applicazioni di intelligenza artificiale generative. Il catalogo dei modelli include centinaia di modelli tra provider di modelli, ad esempio Azure OpenAI, Mistral, Meta, Cohere, NVIDIA e Hugging Face, inclusi i modelli sottoposti a training da Microsoft. I modelli di provider di altro tipo Microsoft sono prodotti non Microsoft definiti nelle Condizioni per i prodotti Microsoft e sono soggetti alle condizioni fornite con i modelli.

È possibile cercare e individuare modelli che soddisfano le proprie esigenze tramite la ricerca e i filtri delle parole chiave. Il catalogo dei modelli offre anche la classifica delle prestazioni del modello e le metriche di benchmark per i modelli selezionati. È possibile accedere selezionando Esplora classifica e Confronta modelli. I dati di benchmark sono accessibili anche dalla scheda Benchmark della scheda modello.

Nei filtri del catalogo dei modelli sono disponibili:

• Raccolta: è possibile filtrare i modelli in base alla raccolta di provider di modelli.
• Settore: è possibile filtrare i modelli sottoposti a training su set di dati specifici del settore.
• Funzionalità: è possibile filtrare le caratteristiche univoche del modello, ad esempio il ragionamento e la chiamata agli strumenti.
• Opzioni di distribuzione: è possibile filtrare i modelli che supportano opzioni di distribuzione specifiche.
  • Standard: questa opzione consente di pagare per ogni chiamata API.
  • Provisioning: ideale per l'assegnazione dei punteggi in tempo reale per volumi coerenti di grandi dimensioni.
  • Batch: ideale per i processi batch ottimizzati per i costi e non per latenza. Non viene fornito nessun supporto per il playground per la distribuzione batch.
  • Calcolo gestito: questa opzione consente di distribuire un modello in una macchina virtuale Azure. L'hosting e l'inferenza verranno fatturati.
• Attività di inferenza: è possibile filtrare i modelli in base al tipo di attività di inferenza.
• Ottimizzare le attività: è possibile filtrare i modelli in base al tipo di attività di ottimizzazione.
• Licenze: è possibile filtrare i modelli in base al tipo di licenza.

Nella scheda del modello sono disponibili:

• Fatti rapidi: verranno visualizzate informazioni chiave sul modello a colpo d'occhio.
• Dettagli: questa pagina contiene le informazioni dettagliate sul modello, tra cui descrizione, informazioni sulla versione, tipo di dati supportato e così via.
• Benchmark: sono disponibili metriche di benchmark delle prestazioni per i modelli selezionati.
• Distribuzioni esistenti: se il modello è già stato distribuito, è possibile trovarlo nella scheda Distribuzioni esistenti.
• Licenza: sono disponibili informazioni legali relative alle licenze dei modelli.
• Artifacts: questa scheda verrà visualizzata solo per i modelli aperti. È possibile visualizzare gli asset del modello e scaricarli tramite l'interfaccia utente.

Distribuzione del modello: calcolo gestito e distribuzioni standard

Oltre a Azure modelli OpenAI, il catalogo dei modelli offre due modi distinti per distribuire i modelli per l'uso: calcolo gestito e distribuzioni standard.

Le opzioni di distribuzione e le funzionalità disponibili per ciascun modello variano, come descritto nelle tabelle seguenti. Altre informazioni sull'elaborazione dati con le opzioni di distribuzione.

Funzionalità delle opzioni di distribuzione del modello

Modelli disponibili per le opzioni di distribuzione supportate

Il Catalogo modelli offre due modi distinti per distribuire modelli dal catalogo per l'uso: risorse di calcolo gestite e distribuzioni standard. Le opzioni di distribuzione disponibili per ogni modello variano. Altre informazioni sulle caratteristiche delle opzioni di distribuzione e sulle opzioni disponibili per modelli specifici sono riportate nelle tabelle seguenti. Altre informazioni sull'elaborazione dati con le opzioni di distribuzione.

Calcolo gestito

La possibilità di distribuire modelli con calcolo gestito si basa sulle funzionalità della piattaforma di Azure Machine Learning per abilitare l'integrazione senza problemi, nell'intero ciclo di vita di GenAIOps (talvolta denominato LLMOps), dell'ampia raccolta di modelli nel catalogo dei modelli.

Disponibilità di modelli per la distribuzione come calcolo gestito

I modelli vengono resi disponibili tramite registri Azure Machine Learning che abilitano un approccio ML-first all'hosting e distribuzione di asset Machine Learning come i pesi dei modelli, i runtime dei contenitori per l'esecuzione dei modelli, pipeline per la valutazione e l'affinamento dei modelli e dei set di dati per benchmark e campioni. Questi registri di Machine Learning si basano su un'infrastruttura di livello aziendale altamente scalabile che:

• Offre un modello di accesso a bassa latenza agli artefatti in tutte le regioni Azure con replicazione geografica integrata.

• Supporta i requisiti di sicurezza aziendali come limitare l'accesso ai modelli con Azure Policy e distribuzione sicura con reti virtuali gestite.

Distribuzione di modelli per l'inferenza con un ambiente di calcolo gestito

I modelli disponibili per la distribuzione con calcolo gestito possono essere distribuiti agli endpoint online di Azure Machine Learning per l'inferenza in tempo reale o possono essere utilizzati per l'inferenza batch di Azure Machine Learning per l'elaborazione in batch dei dati. La distribuzione nel calcolo gestito richiede la quota di macchine virtuali nella sottoscrizione Azure per gli SKU specifici necessari per eseguire in modo ottimale il modello. Alcuni modelli consentono la distribuzione in una quota condivisa temporaneamente per il test del modello. Altre informazioni sulla distribuzione di modelli:

• Distribuire modelli Meta Llama
• Distribuire modelli Open creati con Azure AI
• Distribuire modelli Hugging Face

Creare app di IA generativa con l'ambiente di calcolo gestito

Il prompt flow offre funzionalità per la creazione di prototipi, l'esecuzione di esperimenti, l'iterazione e la distribuzione di applicazioni di intelligenza artificiale. È possibile usare i modelli distribuiti con gli ambienti di calcolo gestiti in prompt flow con lo strumento Open Model LLM. È anche possibile usare l'API REST esposta dai calcoli gestiti negli strumenti LLM più diffusi come LangChain con l'estensione Azure Machine Learning.

Sicurezza dei contenuti per i modelli distribuiti come ambiente di calcolo gestito

Azure AI Content Safety (AACS) è un servizio disponibile per l'uso con modelli distribuiti su infrastrutture di calcolo gestite per individuare varie categorie di contenuti dannosi, come contenuti sessuali, violenza, odio e minacce avanzate, ad esempio rilevamento del rischio di jailbreak e rilevamento di testo di materiale protetto. È possibile fare riferimento a questo notebook per l'integrazione di riferimento con AACS per Llama 2 oppure usare lo strumento Content Safety (Text) in Prompt Flow per passare risposte dal modello ad AACS per lo screening. Riceverai una fattura separata in base alle tariffe AACS per questo tipo di utilizzo.

Distribuzioni standard con fatturazione Standard

Alcuni modelli nel catalogo dei modelli possono essere distribuiti come distribuzioni standard con fatturazione Standard; questo metodo di distribuzione è denominato distribuzioni standard. I modelli disponibili tramite MaaS sono ospitati nell'infrastruttura gestita da Microsoft, che consente l'accesso basato su API al modello del fornitore di modelli. Le access basate su API possono ridurre notevolmente i costi di accesso a un modello e semplificare notevolmente l'esperienza di provisioning. La maggior parte dei modelli MaaS prevede prezzi basati su token.

In che modo i modelli di terze parti vengono resi disponibili in MaaS?

I modelli disponibili per la distribuzione come distribuzioni standard con fatturazione Standard vengono offerti dal provider di modelli, ma ospitati nell'infrastruttura gestita da Microsoft Azure e accessibili tramite API. I provider di modelli definiscono le condizioni di licenza e impostano il prezzo per l'uso dei modelli, mentre Azure Machine Learning servizio gestisce l'infrastruttura di hosting, rende disponibili le API di inferenza e funge da responsabile del trattamento dei dati per le richieste inviate e l'output del contenuto dai modelli distribuiti tramite MaaS. Per altre informazioni sull'elaborazione dati per MaaS, vedere l'articolo sulla privacy dei dati.

Fatturazione

L'esperienza di individuazione, sottoscrizione e consumo per i modelli distribuiti tramite MaaS si trova nel portale di Foundry e Azure Machine Learning studio. Gli utenti accettano le condizioni di licenza per l'utilizzo dei modelli. Le informazioni sui prezzi per l'utilizzo vengono fornite durante la distribuzione.

I modelli dei provider non Microsoft vengono fatturati tramite Azure Marketplace, in conformità con i Termini di utilizzo di Microsoft Commercial Marketplace.

I modelli di Microsoft vengono fatturati tramite contatori di Azure come servizi di consumo di prima parte. Come descritto nei Termini del prodotto, si acquistano i servizi a consumo di prima parte usando i contatori di Azure, ma non sono soggetti ai termini di servizio di Azure. L'utilizzo di questi modelli è soggetto alle condizioni di licenza fornite.

Ottimizzazione dei modelli

Per i modelli disponibili tramite MaaS e supportano l'ottimizzazione, gli utenti possono sfruttare l'ottimizzazione ospitata con fatturazione Standard per personalizzare i modelli usando i dati forniti. Per ulteriori informazioni, consultare affinare un modello Llama 2 nel portale Foundry.

RAG con modelli distribuiti come distribuzioni standard

Foundry consente agli utenti di usare indici vettoriali e generazione aumentata di recupero. I modelli che possono essere distribuiti come distribuzioni standard possono essere usati per generare incorporamenti e inferenze in base ai dati personalizzati per generare risposte specifiche del caso d'uso. Per altre informazioni, vedere Retrieval Augmented Generation e indici.

Disponibilità di offerte e modelli a livello di area

La fatturazione standard è disponibile solo per gli utenti la cui sottoscrizione Azure appartiene a un account di fatturazione in un paese/area geografica in cui il provider di modelli ha reso disponibile l'offerta. Se l'offerta è disponibile nell'area pertinente, l'utente deve disporre di un hub/Project nell'area Azure in cui il modello è disponibile per la distribuzione o l'ottimizzazione, se applicabile. Per informazioni dettagliate, vedere Disponibilità dell'area per i modelli nelle distribuzioni standard.

Sicurezza dei contenuti per i modelli distribuiti tramite distribuzioni standard

Per i modelli linguistici distribuiti tramite l'API serverless, Azure intelligenza artificiale implementa una configurazione predefinita di Azure AI Content Safety filtri di moderazione del testo che rilevano contenuti dannosi come odio, autolesionismo, contenuto sessuale e violento. Per altre informazioni sul filtro del contenuto, consultare Guardrails e controlli per i modelli venduti direttamente da Azure.

Il filtro del contenuto si verifica in modo sincrono quando i processi del servizio richiedono di generare contenuto. Potresti essere fatturato separatamente secondo i prezzi Azure AI Content Safety per tale utilizzo. È possibile disabilitare il filtro del contenuto per singoli endpoint serverless:

• Al momento della prima distribuzione di un modello linguistico
• In seguito, selezionando l'interruttore filtro contenuto nella pagina dei dettagli della distribuzione

Si supponga di decidere di usare un'API diversa dall'API inferenza Model per usare un modello distribuito tramite un'API serverless. In una situazione di questo tipo, il filtro del contenuto non è abilitato a meno che non venga implementato separatamente usando Azure AI Content Safety.

Per iniziare con Azure AI Content Safety, consulta Quickstart: Analizzare il contenuto del testo. Se non si usa il filtro del contenuto quando si usano modelli distribuiti tramite l'API serverless, si rischia di esporre gli utenti a contenuti dannosi.

Isolamento di rete per i modelli distribuiti tramite distribuzioni standard

Gli endpoint per i modelli distribuiti come distribuzioni standard seguono l'impostazione del flag PNA (Public Network Access) dell'area di lavoro in cui è presente la distribuzione. Per proteggere l'endpoint MaaS, disabilitare il flag PNA nell'area di lavoro. È possibile proteggere la comunicazione in ingresso da un client all'endpoint usando un endpoint privato per l'area di lavoro.

Per impostare il flag PNA per l'area di lavoro:

• Passare al Azure portal.
• Cercare Azure Machine Learning e selezionare l'area di lavoro dall'elenco delle aree di lavoro.
• Nella pagina Panoramica usare il riquadro sinistro per passare a Impostazioni>rete.
• Nella scheda Public access è possibile configurare le impostazioni per il flag access di rete pubblica.
• Salvare le modifiche. La propagazione delle modifiche può richiedere fino a cinque minuti.

Limitazioni

• Se si dispone di un'area di lavoro con un endpoint privato creata prima del 11 luglio 2024, i nuovi endpoint MaaS aggiunti a tale area di lavoro non seguiranno la configurazione di networking. È invece necessario creare un nuovo endpoint privato per l'area di lavoro e creare nuove distribuzioni standard nell'area di lavoro in modo che le nuove distribuzioni possano seguire la configurazione di rete dell'area di lavoro.
• Se si usa un'area di lavoro con distribuzioni MaaS creata prima del 11 luglio 2024 e si abilita un endpoint privato in tale area di lavoro, le distribuzioni MaaS esistenti non seguiranno la configurazione di networking dell'area di lavoro. Per le distribuzioni standard nell'area di lavoro per seguire la configurazione dell'area di lavoro, è necessario creare di nuovo le distribuzioni.
• Attualmente il supporto per i dati non è disponibile per le distribuzioni MaaS nelle aree di lavoro private, poiché il flag PNA è disabilitato per le aree di lavoro private.
• La propagazione di qualsiasi modifica della configurazione di rete (ad esempio, l'abilitazione o la disabilitazione del flag PNA) può richiedere fino a cinque minuti.

Contenuti correlati

• Deprecazione e ritiro del modello nel catalogo dei modelli Foundry
• Come usare modelli di base Open Source curati da Azure Machine Learning