I vantaggi aziendali dei modelli open-weight su Databricks

In qualità di field engineer presso Databricks, trascorriamo le nostre giornate all'interno di distribuzioni di IA aziendali, dove abbiamo osservato un chiaro cambiamento di strategia. Dopo due anni di standardizzazione su fornitori di modelli di frontiera singoli, le aziende stanno rivalutando il loro approccio a causa di sette pressioni chiave:

Sette osservazioni che plasmano la strategia dell'IA

1. La spesa non sta generando rendimenti sufficienti. I budget per l'IA hanno superato i ricavi e i risparmi sui costi, spingendo verso la necessità di una migliore economia delle unità [1].

2. Le classifiche dei modelli sono cambiate ripetutamente dal 2023. Il modello migliore per la scrittura di codice, il ragionamento e l'estrazione cambia di mese in mese e la classifica dell'intelligenza di vertice è cambiata di mano più di 20 volte da maggio 2023 [2]. Le architetture vincolate a un singolo fornitore rendono più difficile adottare un modello migliore man mano che le classifiche cambiano.

3. I guardrail di frontiera possono bloccare il lavoro legittimo. I guardrail dei modelli imposti dai laboratori di IA possono rifiutare attività legittime, come l'analisi di malware dal vivo o la riproduzione di un exploit per applicare una patch, una limitazione scoperta nel recente incidente di Hugging Face [6][7]. Quando i responder di Hugging Face hanno fornito log di attacco reali e payload di exploit a modelli di frontiera ospitati per l'analisi, i guardrail si sono rifiutati e il team ha eseguito invece l'analisi su un modello a pesi aperti (GLM 5.2).

4. Le politiche di conservazione dei dati si sono evolute e potrebbero continuare a farlo. Alcuni fornitori di frontiera si sono discostati dalle politiche di zero-data-retention (ZDR), come la conservazione minima di 30 giorni introdotta con il livello di frontiera di Anthropic [8]. Per le aziende la cui politica di conformità è stata scritta attorno al principio secondo cui "nessun prompt o completamento viene mai memorizzato", un cambiamento di politica a monte potrebbe introdurre problemi e potenzialmente richiedere una modifica del sistema.

5. Le aziende desiderano visibilità e controllo sulla governance dei modelli. Sta crescendo la domanda di visibilità e governance end-to-end tra i modelli di IA. I clienti desiderano record ricercabili di input, output, errori e azioni degli agenti del modello per consentire ai team di valutare l'accuratezza e migliorare le prestazioni, nonché controlli centralizzati per proteggere i dati sensibili e la proprietà intellettuale.

6. L'impalcatura (harness) è importante quanto il modello. La ricerca di Databricks mostra che l'impalcatura attorno a un modello, il suo insieme di prompt, strumenti e flusso di controllo, modifica le prestazioni misurate. Nel benchmark di Databricks, lo stesso modello ha ottenuto il 61,7% in un harness, il 48,1% in un altro e il 38,4% senza harness [9]. Poiché la scelta dell'harness modifica i risultati del benchmark, le valutazioni dovrebbero testare insieme il modello e l'harness.

7. I modelli a pesi aperti hanno raggiunto i modelli di frontiera. I principali modelli a pesi aperti ora offrono prestazioni di benchmark comparabili a quelle dei principali modelli di frontiera a un costo inferiore [3][4][5]. Questo non era vero diciotto mesi fa. I modelli a pesi aperti che raggiungono prestazioni di benchmark a livello di frontiera modificano i compromessi in termini di costi, controllo e distribuzione descritti negli altri sei punti.

Attraverso queste osservazioni, le aziende stanno cercando di: 1) ottimizzare i costi senza sacrificare i guadagni di produttività, 2) preservare la libertà operativa e 3) garantire che le implementazioni dell'IA possano incorporare rapidamente le innovazioni. Per fare ciò, hanno bisogno di un'architettura in cui modelli e harness possano cambiare senza indebolire la governance.

Il fascino dei modelli a pesi aperti

I modelli a pesi aperti migliorano l'efficienza dei costi, il controllo e la flessibilità rispetto ai modelli di frontiera:

• Intelligenza a bassissimo costo (Commoditized Intelligence): Poiché l'intelligenza dei modelli diventa una commodity, le opzioni a pesi aperti ora offrono una parità di intelligenza con i principali modelli di frontiera a una frazione del costo, consentendo un migliore ROI sulle distribuzioni di IA.
• Sovranità dei dati: L'hosting dei modelli su un'infrastruttura controllabile offre ai team autorità su conformità, sicurezza e politiche di conservazione dei dati e riduce il rischio di modifiche non conformi in futuro.
• Autonomia operativa completa: I modelli a pesi aperti consentono ai team di eseguire carichi di lavoro che i guardrail di frontiera potrebbero inibire (ad esempio, la risposta alla sicurezza informatica)

Fonte: [5] Classifica DeepSWE per costo. Alcuni dei migliori modelli a pesi aperti confrontati con i loro equivalenti proprietari, filtrati a discrezione degli autori.

I vantaggi dell'utilizzo di modelli a pesi aperti su Unity Gateway

Sfrutta i modelli a pesi aperti insieme ai modelli di frontiera

Unity Gateway serve modelli a pesi aperti e di frontiera tramite un'API unificata con controlli di governance centralizzati, consentendo ai team di passare da un modello all'altro tramite configurazione o smart routing [10][11] anziché tramite modifiche al codice o altre astrazioni [12][13].

La funzionalità multi-modello di Unity Gateway sta diventando parte integrante delle strategie di IA dei clienti. Da gennaio, il numero medio di modelli unici utilizzati per cliente è aumentato da 4,2 a 7,1, un indicatore delle opzioni disponibili su Unity Catalog e della ricerca di modelli a ROI più elevato. Di questi modelli, circa il ~40% erano a pesi aperti.

Fonte: Dati interni di Databricks dalla settimana terminata il 5 gennaio 2026 alla settimana terminata il 27 luglio 2026. Creato utilizzando Genie One.

Utilizza grandi modelli a pesi aperti a velocità leader del settore

La gestione di grandi modelli a pesi aperti con tempi di risposta competitivi richiede un'ottimizzazione per mantenere l'efficienza dei costi su scala. Databricks affronta i vincoli di latenza sfruttando motori di inferenza personalizzati e kernel ottimizzati distribuiti su GPU di frontiera. Valutazioni indipendenti di Artificial Analysis evidenziano queste caratteristiche prestazionali: ad esempio, GLM 5.3 (max) raggiunge un tempo di risposta end-to-end (inclusi elaborazione degli input, ragionamento e generazione) di 9,1 secondi su Databricks [15], ottenendo risultati favorevoli rispetto agli endpoint gestiti di primo livello [16].

Fonte: [15] Fornitori del modello GLM 5.3: Artificial Analysis

Governa i costi e l'utilizzo di tutti i modelli da un'unica posizione

Ecco alcune funzionalità chiave per aiutarti a governare questi modelli e controllare i costi su Unity Gateway:

• Lo smart routing invia le sessioni al modello economicamente vantaggioso per l'attività, in modo che le attività di routine vengano spostate dai modelli di frontiera [10][11].
• Le catene di fallback (fallback chains) reindirizzano automaticamente in risposta ai limiti di frequenza dei modelli o alle interruzioni dei fornitori [14].
• I budget con limiti di spesa per utente, team o caso d'uso impediscono spese incontrollate [19][30]. Questi limiti possono essere configurati con diversi livelli di gravità, da avvisi leggeri a criteri rigorosi che reindirizzano le sessioni a modelli più economici.
• Governance centralizzata per strumenti e competenze. Oltre ai server MCP integrati, Unity Catalog supporta la registrazione di server MCP esterni che vengono eseguiti tramite proxy gestiti e controllati centralmente. Di conseguenza, gli agent ottengono i propri strumenti con la stessa governance dei loro modelli [20]. Anche le competenze [21] possono essere registrate e gestite, migliorando il determinismo e l'efficienza dei token per flussi di lavoro ripetibili.
• Governance unificata su modelli open-weight, esterni e di frontiera. Connetti provider di modelli esterni (ad esempio, Amazon Bedrock, Azure AI Foundry) tramite i servizi di model provider [17] e instrada le richieste attraverso lo stesso livello di governance centrale utilizzato per i modelli open-weight e di frontiera ospitati su Databricks [18]. Gestisci l'accesso, il controllo della spesa e i log di controllo dell'intero portfolio di modelli da un'unica piattaforma.

Le aziende stanno spostando i carichi di lavoro verso i modelli open-weight

GLM 5.2 è coinciso con un forte aumento dell'utilizzo dei modelli open-weight su Unity Gateway. Dopo che GLM 5.2 è diventato disponibile a metà luglio, il suo utilizzo è cresciuto. Allo stesso tempo, la crescita tra i clienti di Unity Gateway è rimasta relativamente costante, suggerendo che i clienti esistenti abbiano spostato una quantità maggiore di traffico AI verso i modelli open-weight. A un solo mese dal lancio, GLM 5.2 rappresenta già circa il 40% dei token open-weight utilizzati su Unity Gateway, con la maggior parte di tale crescita incrementale. Le prestazioni di benchmark sia di GLM 5.3 che di Kimi K3 offrono ai clienti un'altra opzione open-weight da valutare insieme a GLM 5.2 [5].

Fonte: dati interni di Databricks dalla settimana terminata il 5 gennaio 2026 fino alla settimana terminata il 27 luglio 2026. Creato utilizzando Genie One

Per supportare questa domanda, Databricks ha annunciato un round di finanziamento di 3 miliardi di dollari a luglio, e il CEO Ali Ghodsi ha dichiarato a CNBC che la raccolta serve in parte ad assicurarsi la capacità di GPU necessaria per ospitare modelli aperti. "Le GPU stanno finendo ovunque... Giappone, Corea, Stati Uniti e India, quindi avevamo bisogno di ottenerne molte e questo richiede ingenti finanziamenti. È questo che ha dato il via a questa raccolta fondi per noi" [22].

Accedi ai modelli open-weight negli ambienti di sviluppo con Unity Gateway

L'ambiente che i tuoi sviluppatori utilizzano già può comunque eseguire modelli open-weight ospitati su Databricks. A partire da fine luglio, i modelli serviti su Unity Gateway, incluso GLM 5.3, possono essere eseguiti all'interno di ambienti di codifica come Codex e OpenCode [12][26], con il supporto per ulteriori ambienti in arrivo. Il gateway espone endpoint compatibili con OpenAI per ciascun ambiente, quindi la configurazione richiede solo una modifica della configurazione. Punta l'ambiente verso l'URL del gateway del tuo workspace, oppure utilizza l'helper ucode con una sola riga:

ucode codex --model system.ai.glm-5-3

Considerazioni finali

Le aziende dovrebbero pianificare un portfolio di modelli poiché nessun singolo modello o provider sarà il migliore in termini di qualità, costi e conformità alle policy per ogni carico di lavoro. Tra quelli disponibili, i modelli open-weight offrono ora intelligenza competitiva a costi inferiori e un maggiore controllo sulla gestione dei dati e sulle policy di governance. Al contrario, i modelli di frontiera rimangono utili laddove offrono risultati migliori. Unity Gateway gestisce queste opzioni attraverso controlli di accesso comuni, policy di routing, budget e controlli. Omnigent estende questa flessibilità all'ambiente di sviluppo, consentendo ai team di cambiare modelli o ambienti di agent senza dover ricreare i flussi di lavoro.

I dati di utilizzo in questo articolo dimostrano che i clienti si stanno già muovendo in questa direzione. Stanno distribuendo più modelli, indirizzando più traffico verso i pesi aperti e utilizzando ambienti portatili per ampliare le proprie opzioni. Il vero vantaggio duraturo è la capacità di apportare tali modifiche rapidamente man mano che le opzioni dei modelli, la qualità, i prezzi e i requisiti delle policy evolvono.

Fonti

[1] Nanda, M., Challapally, A., Pease, C., Raskar, R., & Chari, P. (2025, luglio). The GenAI divide: State of AI in business 2025 (Preliminary Findings from AI Implementation Research). Project NANDA, Massachusetts Institute of Technology. 
[2] LLM Leaderboard History: AI Rankings 2023-2026 Tracked, BenchLM 
[3] Kimi K3 - Intelligence, Performance & Price Analysis, Artificial Analysis 
[4] GLM-5.3 (max) - Intelligence, Performance & Price Analysis | Artificial Analysis 
[5] DeepSWE Leaderboard by Cost 
[6] Security incident disclosure, July 2026, Hugging Face Blog 
[7] OpenAI's Hugging Face Breach Shows Frontier AI Guardrails Are Failing, Forbes, 23 luglio 2026 
[8] Statement on the US government directive to suspend access to Fable 5 and Mythos 5 
[9] What is an AI Agent Harness?, Databricks Blog 
[10] Smart routing for coding agents 
[11] Smart Routing in Unity AI Gateway: Match frontier quality with 30%+ lower cost per task 
[12] Databricks-hosted foundation models, Databricks docs 
[13] Agent Bricks: Data + AI Summit 2026, Databricks Blog 
[14] Configure routing and fallbacks for model services 
[15] GLM-5.3 (max) API Provider Benchmarking & Analysis 
[16] https://artificialanalysis.ai/models#end-to-end-response-time 
[17] Govern external model providers (model provider services) 
[18] Databricks Unity AI Gateway Documentation 
[19] Manage budgets for Unity Gateway 
[20] Unity AI Gateway: How to connect agents to external MCPs securely, Databricks Blog 
[21] Skills support in Unity Gateway 
[22] Databricks CEO: We're hosting open source models like Kimi and running out of GPUs, CNBC, 17 luglio 2026 
[23] Models & Credentials, Omnigent docs 
[24] Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase 
[25] Governing MCPs at Scale with Unity AI Gateway 
[26] Use Open Source models with coding agents 
[27] Unity AI Gateway: Multi-AI governance and cost control, Databricks 
[28] Introducing Omnigent: A Meta-Harness to Combine, Control and Share Your Agents, Databricks Blog 
[29] GLM-5.2 Providers: Output Speed Comparison, Artificial Analysis 
[30] Introducing AI spend controls with Unity Gateway 
[31] Introducing Omnigent: A Meta-Harness to Combine, Control and Share Your Agents

Esplora Unity AI Gateway

Scopri come gestire, instradare e monitorare modelli open-weight, frontier ed esterni attraverso un'unica piattaforma unificata.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale