di Louis Rottmeier, Maximilian Fest, Michael Boesl, Michael Weber, Martin Gindler e Kelly Albano
Con l'aumentare dell'adozione dell'IA, i team di AUMOVIO hanno sviluppato diversi modi per accedere ai modelli linguistici di grandi dimensioni. Oggi, Databricks Unity Gateway offre un punto d'accesso condiviso per i nostri carichi di lavoro di IA. Questo post sul blog spiega come abbiamo integrato questi approcci.
I team di AUMOVIO hanno sviluppato vari modi per accedere agli LLM, tra cui integrazioni con i provider e gateway realizzati per casi d'uso specifici. Questi approcci hanno risposto a esigenze reali, ma con la crescita dell'adozione dell'IA la loro varietà ha aumentato la complessità delle operazioni, dell'attribuzione dei costi e di una governance coerente.
Le principali opportunità di miglioramento erano:
Nel complesso, questi approcci hanno evidenziato il valore di un modello operativo condiviso per la gestione dei carichi di lavoro di IA con un'unica soluzione di AI gateway
La task force interfunzionale per l'IA di AUMOVIO ha riunito stakeholder provenienti da sicurezza, protezione dei dati, aree di business e IT. La task force ha scelto un AI Gateway centrale come percorso condiviso per l'accesso e la governance degli LLM, stabilendo una direzione comune per l'accesso ai modelli in tutta l'azienda.
A quel punto, il nostro compito è stato rendere il percorso centrale utile per i team e le loro applicazioni.

Creare un AI gateway è semplice, ma gestirlo come servizio aziendale è un impegno a lungo termine: le API dei provider cambiano, le dipendenze richiedono patch, i requisiti di sicurezza evolvono e gli utenti necessitano di supporto. Quando le applicazioni iniziano a dipenderne, un gateway richiede una roadmap, una turnazione di reperibilità e un processo di supporto. Confrontando questo aspetto con l'acquisto di un ulteriore AI gateway, cinque fattori hanno determinato perché Databricks Unity Gateway fosse la soluzione giusta per noi.
1. Databricks era già la nostra piattaforma di dati. 1ADP, la One AUMOVIO Data Platform, è eseguita su Databricks. Posizionare l'accesso ai modelli accanto ai nostri dati aziendali governati ha significato nessun nuovo fornitore, nessun nuovo percorso di rete da esaminare e nessuno stack isolato da gestire.
2. Integrazione dell'identità aziendale. Databricks è integrato con il nostro tenant aziendale Microsoft Entra ID e altre applicazioni AUMOVIO eseguono l'autenticazione sullo stesso tenant. Un'applicazione presenta il suo token Entra ID e accede a Unity Gateway tramite lo scambio di token, senza account separati, chiavi API da distribuire o integrazioni su misura. L'inserimento di una nuova applicazione abilitata all'IA richiede la concessione di un permesso e l'accesso a ciascun modello termina automaticamente con la disattivazione dell'identità aziendale.
3. Governance e monitoraggio dell'utilizzo. Approvazioni dei modelli, criteri di accesso, tracciamento dell'utilizzo e logging si trovano in un unico posto invece di essere reimplementati per ogni applicazione. Il logging dei payload tramite tabelle di inferenza è disabilitato per impostazione predefinita e viene attivato solo con una giustificazione esplicita e approvata, come richiesto dai nostri accordi di protezione dei dati.
4. Abbiamo mantenuto la libertà di scegliere i provider. Questo è stato l'aspetto più importante. Pubblichiamo un catalogo curato di alias di modelli 1adp-* e Unity Gateway instrada ciascun alias al provider che lo gestisce: foundation model ospitati da Databricks, Google Vertex AI, Azure OpenAI, AWS Bedrock o altri. Gli utenti scrivono codice facendo riferimento a un nome stabile e indipendente dal vendor, e possiamo reindirizzare quel nome a un provider diverso o a un modello più recente senza che un singolo consumer debba modificare una riga di codice. Gli alias offrono ai team un percorso coerente verso i modelli approvati.
5. La configurazione è basata su infrastructure as code. Terraform esprime tutto ciò che Unity Gateway fa per noi: gli endpoint dietro ogni alias 1adp-*, il provider a cui ogni modello viene instradato, l'ordine di fallback quando un provider subisce una degradazione, i limiti di frequenza e i guardrail applicati per endpoint. Aggiungere un modello, reindirizzare un alias o rafforzare un controllo di sicurezza è una pull request, che viene rivista, versionata e riprodotta tra gli ambienti. Quando la produzione si comporta in modo anomalo, il nostro controllo di versione spiega la configurazione che lo ha causato. Poiché eseguiamo il provisioning del resto di 1ADP allo stesso modo, il Gateway rappresenta un modulo in più per gli ingegneri che già gestiscono la piattaforma.
Centralizzare l'accesso ai modelli è stato il primo passo. Abbiamo quindi sviluppato tre funzionalità basate su Unity Gateway per supportare il modo in cui i nostri team gestiscono, accedono e utilizzano l'IA:
Attribuzione dei costi e chargeback. Unity Gateway fornisce report sul numero di token consumati e ogni utente assegna il proprio consumo a un centro di costo personale o a uno dei progetti a cui lavora. Le pipeline uniscono tale assegnazione con le tabelle di sistema di Databricks e addebitano l'utilizzo al centro di costo corretto. Pubblichiamo il risultato sotto forma di dashboard: quali modelli vengono utilizzati, da chi, come evolve il consumo e quanto costa. I responsabili dei budget possono visualizzare la propria spesa e identificare variazioni nei consumi.
Un catalogo di modelli curato. Un accesso standardizzato non rende i modelli intercambiabili. Il catalogo è l'unica fonte di verità per stabilire quali modelli sono approvati, a cosa mappano e in quale livello di consumo vengono eseguiti. I team continuano a testare la loro applicazione rispetto al modello scelto, ma non devono più costruire infrastrutture per accedervi.
Un'interfaccia per i dipendenti. L'applicazione 1ADP AI è eseguita in produzione sullo stesso gateway e offre ai dipendenti un modo governato per utilizzare l'IA senza scrivere codice. Gli sviluppatori ottengono un endpoint compatibile con OpenAI e possono puntare strumenti di codifica agentica compatibili verso i modelli centrali. Stessa infrastruttura, due pubblici: standardizziamo l'accesso ai modelli e lasciamo aperta la scelta dell'interfaccia di sviluppo.
Unity Gateway fornisce un percorso condiviso per l'accesso agli LLM. Gli alias 1adp-* collegano le applicazioni ai modelli, i guardrail vengono applicati in modo centralizzato e l'utilizzo viene attribuito ai centri di costo quasi in tempo reale.
La fase successiva sale di livello nello stack della piattaforma di IA: la condivisione di agenti all'interno dei progetti 1ADP e il collegamento di fonti di conoscenza, ricerca sul web e altri strumenti tramite connessioni MCP (Model Context Protocol) gestite e bring-your-own. L'accesso ai modelli rimane centralizzato; ciò che cambia è la gamma di strumenti che un agente può raggiungere. Questo solleva interrogativi su ciò che un agente può recuperare, quali strumenti può chiamare e sotto quali permessi agisce. Disporre di un unico framework per rispondere a queste domande è il motivo per cui ci siamo consolidati fin dall'inizio.
Se state unendo diversi approcci di accesso ai modelli, coinvolgete sicurezza, protezione dei dati, aree di business e IT nel modello operativo. Rendete quindi il servizio condiviso utile per i team tenuti a utilizzarlo.
Quando confrontate l'opzione di sviluppo interno con l'acquisto, calcolate il costo decennale anziché quello del prototipo. Chiedete chi si occupa delle patch per l'integrazione con il provider, chi risponde al ticket di supporto, chi gestisce l'incidente e chi ripeterà tutto questo l'anno prossimo.
Decidete quindi cosa spetta realmente a voi costruire. Il gateway non lo era. L'attribuzione dei costi, il catalogo dei modelli e l'applicazione AI per i dipendenti lo erano, poiché codificano il modo in cui AUMOVIO opera e nessun fornitore ce li avrebbe mai forniti chiavi in mano.
Continuiamo a essere responsabili della nostra architettura, delle nostre decisioni di sicurezza e della qualità delle nostre applicazioni. Unity Gateway offre il servizio di accesso condiviso ai modelli, mentre i team possono continuare a scegliere le applicazioni da sviluppare.
AUMOVIO ha scelto Databricks Unity Gateway per centralizzare l'accesso ai modelli di IA senza la manutenzione continua, gli aggiornamenti di sicurezza e l'impegno operativo necessari per costruire un proprio gateway. Poiché Databricks alimentava già la sua piattaforma dati aziendale, AUMOVIO ha potuto riutilizzare l'infrastruttura esistente, l'integrazione con Microsoft Entra ID e i controlli di governance. In questo modo i team hanno potuto concentrarsi sulla creazione di funzionalità specifiche per l'azienda, come l'attribuzione dei costi, un catalogo di modelli curati e un'applicazione di IA dedicata ai dipendenti.
Databricks Unity Gateway offre un punto di ingresso unico e governato per accedere ai modelli di IA di vari provider, come Azure OpenAI, Google Vertex AI, AWS Bedrock e i modelli ospitati su Databricks. AUMOVIO utilizza approvazioni centralizzate dei modelli, criteri di accesso, registrazione e guardrail per applicare una governance coerente a tutte le applicazioni. Inoltre, gli alias di modelli curati consentono agli amministratori di modificare il modello o il provider sottostante senza dover apportare modifiche al codice dell'applicazione.
Unity Gateway fornisce dati sull'utilizzo dei token che le aziende possono sfruttare per monitorare il consumo di IA tra modelli e utenti. AUMOVIO unisce questi dati dalle tabelle di sistema di Databricks con le assegnazioni di progetto e di centro di costo per attribuire la spesa per l'IA ai rispettivi proprietari aziendali. Le dashboard offrono una visibilità quasi in tempo reale sull'utilizzo dei modelli, sui trend di consumo e sui costi, supportando il chargeback interno e il controllo del budget.
Databricks Unity Gateway offre un accesso centralizzato ai modelli tramite un endpoint compatibile con OpenAI, riducendo la necessità per gli sviluppatori di gestire integrazioni separate con i provider. In AUMOVIO, le applicazioni si autenticano tramite lo scambio di token di Microsoft Entra ID, eliminando la necessità di distribuire singole chiavi API. Gli sviluppatori possono utilizzare i modelli approvati tramite agenti di codifica e applicazioni compatibili, mentre l'IT gestisce centralmente le autorizzazioni e le connessioni ai provider.
Un gateway di IA centralizzato semplifica l'accesso a più modelli, integrando al contempo governance, visibilità dei costi e gestione operativa in un unico servizio condiviso. AUMOVIO utilizza Unity Gateway per supportare sia le applicazioni di IA dedicate ai dipendenti che gli strumenti di sviluppo tramite la stessa infrastruttura. La fase successiva estenderà questo approccio agli agenti di IA condivisi e alle connessioni MCP, con particolare attenzione alla governance dell'accesso agli strumenti e delle autorizzazioni.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.