Spark Muse 1.1 di Meta è ora disponibile su Databricks, completamente governato da Unity AI Gateway

Ogni nuova versione di un modello promette un ragionamento migliore, costi inferiori o nuove funzionalità, e gli sviluppatori vogliono accedervi fin dal primo giorno. Ma ogni provider introduce anche un altro set di chiavi API, un'altra integrazione e un'altra superficie di governance che i team della piattaforma devono gestire. Senza un modo centralizzato per governare tutti i provider di modelli, l'accesso diventa frammentato, le chiavi API proliferano e la visibilità sull'utilizzo e sulla spesa scompare.

Oggi annunciamo il supporto per il nuovo Muse Spark 1.1 di Meta su Databricks tramite i nuovi Model Provider Services (MPS) in Unity AI Gateway. MPS ti consente di connettere e governare i provider di modelli, tra cui OpenAI, Anthropic, Amazon Bedrock e modelli appena rilasciati come Muse Spark 1.1, tramite Unity Catalog. Ora puoi registrare i modelli una sola volta, controllare l'accesso utilizzando le familiari autorizzazioni di Unity Catalog e consentire a ogni team di effettuare query tramite Unity AI Gateway con una governance e un'osservabilità complete.

In questo post useremo Muse Spark 1.1 per mostrare come le organizzazioni possono adottare un modello appena rilasciato fin dal primo giorno senza compromettere la governance o la sicurezza.

Il divario di governance dell'IA al lancio di nuovi modelli

Ipotizziamo che il tuo team voglia Muse Spark 1.1 il giorno stesso del rilascio. Un team crea un account provider e inizia a sviluppare con esso. Un altro team richiede la propria chiave API. Ben presto, più copie della stessa chiave si diffondono tra notebook, applicazioni e pipeline di CI/CD, ciascuna gestita in modo indipendente. Anche il controllo degli accessi è frammentato, perché non esiste un modo coerente per stabilire che "questi tre team possono usare il modello premium, tutti gli altri usano quello standard".

Dal lato amministratore della piattaforma, non c'è una vista unificata della spesa, nessuna attribuzione a livello di token, nessun record di quali prompt abbiano lasciato l'azienda e nessun posto in cui applicare una regola prima che una richiesta raggiunga un provider di modelli. Quando l'ufficio finanziario chiede perché la fattura di Meta è triplicata, puoi vedere il totale nella console di Meta, ma non quale team o workspace l'ha generata in un unico report centralizzato.

Questo pattern non si applica solo a Muse Spark, poiché è la stessa sfida che le organizzazioni affrontano ogni volta che adottano un nuovo modello.

La soluzione: Model Provider Services in Unity AI Gateway

Un Model Provider Service è un elemento a sicurezza controllata (securable) di Unity Catalog che rappresenta un provider esterno. Risiede in un catalogo e in uno schema e contiene la configurazione di connessione del provider e la chiave API. I chiamanti fanno riferimento al servizio per nome e si autenticano con le proprie credenziali Databricks; il gateway allega la chiave API del provider al momento della richiesta. La chiave API viene memorizzata tramite una connessione Unity Catalog, crittografata con una chiave gestita dalla piattaforma o dal cliente, e non viene mai esposta direttamente ai consumatori client.

Una volta registrato un model provider service in Unity Catalog, la tua organizzazione ottiene tre vantaggi: scelta, controllo e chiarezza.

• Scelta — adotta qualsiasi modello, poi passa liberamente da uno all'altro: definisci un provider e la sua chiave API una sola volta e rendili disponibili a ogni team in ogni workspace. Accedi ai modelli appena lanciati fin dal primo giorno e passa da un modello all'altro all'interno di un provider. Passa rapidamente da un modello compatibile con OpenAI all'altro tra i vari provider per casi d'uso di valutazione e produzione.
• Controllo — governa l'accesso in un unico posto: il servizio è un oggetto di prima classe, quindi puoi governare le autorizzazioni con i comandi standard GRANT e REVOKE: EXECUTE per eseguire query, READ_METADATA per visualizzare e MANAGE per aggiornare il servizio. Associa limiti di frequenza (rate limit) e criteri di servizio al model provider service, in modo che il throttling e i guardrail si applichino a ogni richiesta di modello.
• Chiarezza — visualizza e rendiconta ogni richiesta: il tracciamento dell'utilizzo e della spesa è attivo per impostazione predefinita, quindi ogni richiesta viene misurata con conteggio dei token, latenza e codici di stato per un'attribuzione accurata dei costi per utente, team o app. Associa tabelle di inferenza per registrare i payload completi di richiesta e risposta in una tabella Delta controllata per la risoluzione dei problemi o l'audit.

Figura 1. Registra un provider una sola volta in Unity Catalog; ogni team e provider viene governato attraverso un unico gateway.

Come funziona

Registriamo il modello Muse Spark 1.1 ospitato esternamente come Model Provider Service, limitiamo chi può utilizzarlo, attiviamo il monitoraggio ed eseguiamo query end-to-end.

Registra il provider

Per utilizzare Muse Spark 1.1 su Databricks, devi prima registrarlo in Unity Catalog. Ottieni la tua chiave API di Muse Spark dalle Model API di Meta, attualmente in Public Preview. Poiché Muse Spark è compatibile con le API OpenAI Responses, puoi registrarlo utilizzando il tipo di provider OpenAI per connetterti direttamente alle API di Meta.

Registralo nell'interfaccia utente (UI) di Unity Catalog: Catalog Explorer → Create → Create a service → Model provider service, scegli OpenAI, incolla la chiave di Meta come API key, https://api.meta.ai/v1 come Base URL, aggiungi muse-spark-1.1 como modello e imposta il tipo di API del modello su /openai/v1/responses.

Una volta registrato il provider, vengono applicati due controlli di sicurezza chiave. In primo luogo, la chiave API viene memorizzata crittografata all'interno di Unity Catalog. In secondo luogo, l'elenco dei modelli definisce rigorosamente quali modelli e superfici API sono esposti, in modo che qualsiasi richiesta per un modello non in elenco venga intercettata e rifiutata dal gateway prima di raggiungere Meta.

Concedi l'accesso

Il servizio è un elemento a sicurezza controllata (securable) di Unity Catalog, quindi lo governi utilizzando gli stessi principi che applichi a qualsiasi altro oggetto. Per eseguire query su di esso, un chiamante ha bisogno del privilegio EXECUTE sul servizio, oltre a USE CATALOG e USE SCHEMA sul relativo elemento padre. Il creatore del servizio o gli amministratori con autorizzazione MANAGE sul servizio possono concedere tali privilegi.

Per concedere l'accesso:

1. In Catalog Explorer, apri il model provider service.
2. Nella scheda Permissions, fai clic su Grant.
3. Seleziona gli utenti o i gruppi a cui concedere l'accesso, seleziona il privilegio EXECUTE e fai clic su Grant.

Esegui query sul modello

Figura 2. Una singola richiesta: il gateway controlla l'accesso, applica limiti di frequenza e criteri, instrada a Muse Spark e registra l'utilizzo.

Poiché Muse Spark supporta le API OpenAI Responses, indirizza qualsiasi client compatibile con OpenAI verso il gateway e imposta un header per l'esecuzione delle query:

L'header aggiuntivo consente a Unity AI Gateway di identificare il model provider service e convalidare i privilegi del chiamante. Una volta convalidati i privilegi, il gateway risolverà la configurazione e instraderà la richiesta al modello esterno.

Log, monitoraggio e guardrail

Unity AI Gateway misura ogni richiesta instradata attraverso il servizio. Ogni utilizzo viene segnalato in system.ai_gateway.usage con il conteggio dei token di input/output, la latenza e i codici di stato. Le informazioni sulla spesa vengono registrate in system.ai_gateway.external_model_spend. Aggiungi un header Databricks-Ai-Gateway-Request-Tags per suddividere la spesa per progetto e associa le tabelle di inferenza per registrare i payload completi di richiesta e risposta in una tabella Delta controllata per l'audit.

Associa una policy al servizio per applicare guardrail a ogni richiesta, inclusi i guardrail predefiniti per rischi comuni come PII, prompt injection e contenuti non sicuri, oltre alla possibilità di aggiungere policy personalizzate per le tue regole. I guardrail vengono eseguiti centralmente sul gateway, in modo che qualsiasi prompt non sicuro venga intercettato prima di raggiungere Muse Spark, indipendentemente da chi lo ha inviato. I limiti di frequenza per servizio pongono un limite a capacità e costi.

Guida introduttiva

I Model Provider Services sono disponibili su AWS, Azure e GCP. Gli amministratori dell'account possono abilitare l'anteprima nella pagina Anteprime della console dell'account.

Per approfondire, consulta la documentazione su Model Provider Services, sulla gestione dell'accesso e sulla creazione di query tramite il gateway.

Unity AI Gateway offre scelta, controllo e chiarezza, consentendo al tuo team di utilizzare qualsiasi modello desideri. Abilita l'anteprima e prova subito i Model Provider Services!

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale