Dai modelli aperti agli harness per agenti aperti: Databricks porta codice aperto, framework della community e un'architettura concreta nella sicurezza dell'AI
di Katie Cummiskey, Maria Pere-Perez, Arun Pamulapati e Nishith Sinha
Questa settimana Databricks è sponsor di Black Hat USA 2026. Vieni a trovarci agli stand #5106 / #2167 e scopri come la nostra acquisizione di Panther accelera l'era del Security Lakehouse.
Man mano che i sistemi di AI diventano più capaci e autonomi, due sfide stanno convergendo: proteggere i sistemi di AI stessi da nuove classi di attacchi e utilizzare l'AI per rafforzare la difesa informatica. Entrambe richiedono apertura, poiché le informazioni critiche sulla sicurezza racchiuse in un numero limitato di sistemi chiusi lasciano esposto l'intero ecosistema. Databricks supporta entrambi gli aspetti di questa missione: framework aperti per la protezione dei sistemi di AI e dati aperti tramite Lakewatch, l'Open Security Lakehouse che alimenta il rilevamento e la risposta alle minacce basati su agenti su larga scala.
Ecco perché Databricks è orgogliosa di essere un membro fondatore della Open Secure AI Alliance, insieme a NVIDIA e ad altri leader del settore. L'alleanza si basa su una premessa semplice ma potente: la ricerca sulla sicurezza e sulla protezione dell'AI dovrebbe essere condivisa prive di barriere, e gli strumenti che produce dovrebbero essere basati su sistemi aperti. Questo lavoro spazia dalla sicurezza dell'AI alla difesa informatica abilitata dall'AI, rafforzando aziende, software e sistemi critici in tutto il mondo. I membri contribuiscono apertamente offrendo modelli aperti, pesi dei modelli, harness aperti, strumenti aperti e le conoscenze acquisite, per accelerare lo sviluppo di nuovi strumenti e tecniche di sicurezza informatica.
Un agente di AI non è solo un modello. È un sistema complesso costituito da modelli, harness e guardrail che regolano ciò che l'agente è autorizzato a fare. Sebbene l'attenzione si sia concentrata principalmente sulla protezione dei modelli a pesi aperti entro i confini aziendali, i pesi dei modelli rappresentano solo un livello. La sicurezza nell'era degli agenti richiede uno stack di esecuzione aperto: dal runtime e dai guardrail sottostanti, all'harness che orchestra gli agenti e i loro strumenti, ai framework che definiscono rischi e controlli, fino al livello di governance che garantisce sicurezza aziendale, verificabilità e responsabilità.
I sistemi aperti consentono alla più ampia comunità di difensori di studiare, testare e rafforzare ogni componente di questo stack. Il risultato è una fiducia basata su garanzie, visibilità, prove, partecipazione e possibilità di scelta.
L'alleanza comprende oltre 75 organizzazioni nei settori dei chip, dei modelli, della sicurezza e delle infrastrutture. NVIDIA contribuisce con il calcolo accelerato e un'infrastruttura di AI aperta. Databricks apporta dati governati, funzionalità di modelli e agenti, nonché strumenti e framework aperti per la sicurezza, la governance, il red teaming e la difesa informatica.
Insieme ai contributi di tutta l'alleanza, questo lavoro aiuta a rafforzare l'intero stack degli agenti.
La Open Secure AI Alliance sostiene l'uso di modelli, harness e guardrail aperti, in modo che i difensori possano ispezionare, verificare e governare il comportamento degli agenti nell'intero stack di AI. Omnigent (Apache 2.0) è la risposta di Databricks a questa chiamata, un meta-harness open source. Omnigent offre agli sviluppatori la possibilità di scegliere l'harness e il modello, consentendo la composizione e la condivisione sicura, applicando al contempo policy, limiti di spesa e isolamento in sandbox su oltre 13 harness, sia aperti che chiusi.
Le policy contestuali di Omnigent consentono la governance del comportamento degli agenti tracciando lo stato della sessione, bloccando gli attacchi slow-burn e applicando l'autorizzazione basata sull'intento. Questi sono esattamente i tipi di controlli aperti e ispezionabili previsti dall'alleanza.
Omnigent è progettato per supportare NVIDIA OpenShell come backend di governance, associando i controlli delle policy all'isolamento a livello di kernel per una protezione a livelli e verificabile, dall'autorizzazione dell'agente fino all'esecuzione sull'host.
Il DASF 3.0 cataloga 97 rischi tecnici di sicurezza in 13 componenti e li mappa su 73 controlli di mitigazione, tutti con riferimenti incrociati a MITRE ATLAS, OWASP, NIST, AIUC-1, HITRUST, ISO e CSA. Rilasciata sotto licenza CC BY-SA 4.0, la versione 3.0 introduce una copertura dedicata per le minacce dell'AI agentica (tra cui l'avvelenamento della memoria, la manipolazione degli obiettivi e le connessioni MCP non sicure), fornendo ai difensori un modello aperto e indipendente dai fornitori per passare dall'identificazione del rischio alla mitigazione.
Poiché il DASF collega la tassonomia dei rischi a controlli applicabili e indipendenti dai fornitori, offre ai difensori un percorso concreto che va dal "rischio identificato" alla "mitigazione implementata". Offre una tassonomia comune per le minacce e le mitigazioni degli agenti, disponibile per qualsiasi organizzazione della community.
Il DAGF definisce chi è responsabile e come l'azienda lo gestisce. Questo framework delinea... cinque pilastri per la creazione di un programma di AI responsabile e resiliente, offrendo spunti pratici per il processo decisionale e l'esecuzione. Affronta aree fondamentali come la governance dell'AI, la conformità etica, la gestione del rischio e la supervisione operativa. Ciò aiuta a gestire i programmi di AI in modo trasparente, sicuro ed efficace, promuovendo al contempo la collaborazione tra persone, processi e tecnologia. Nel contesto dell'alleanza, il DAGF aiuta le aziende a governare il modo in cui l'infrastruttura di calcolo accelerato e di AI di NVIDIA viene selezionata, distribuita e gestita, e garantisce che la tecnologia aperta venga adottata in modo responsabile su larga scala. Rilasciato sotto licenza Creative Commons Attribution-ShareAlike 4.0 International, il DAGF è indipendente dai fornitori e già allineato agli standard utilizzati dalla community.
BlackIce è il toolkit di red teaming containerizzato e open source di Databricks. Raggruppa 14 strumenti di sicurezza dell'AI ampiamente utilizzati in un unico ambiente riproducibile, mappato su MITRE ATLAS e DASF, in modo che un team di sicurezza possa testare un sistema contro prompt injection, fughe di dati e attacchi alla supply chain senza dover configurare manualmente ogni singolo strumento.
Questo abbassa la barriera d'ingresso per il red teaming dell'AI. Configurare singolarmente 14 strumenti richiede tempo e competenze approfondite, il che rende i test avversari seri fuori dalla portata della maggior parte dei team. Con oltre 6.000 download ad oggi, è già nelle mani di team che non avrebbero potuto assemblare questi strumenti da soli.
Per quanto riguarda la difesa informatica abilitata dall'AI, un altro aspetto della missione dell'alleanza, il nostro impegno per l'apertura va oltre i framework. Databricks ha aperto la strada al Security Lakehouse, un'architettura aperta e governata che unifica i dati aziendali, IT e di sicurezza, consentendo ai difensori di eseguire rilevamenti, indagini e risposte su scala di petabyte.
Con Lakewatch, l'Open Security Lakehouse di Databricks, i team di sicurezza possono distribuire agenti di AI che gestiscono attivamente il triage degli avvisi, conducono attività di threat hunting e perfezionano la logica di rilevamento, il tutto su formati di dati aperti che evitano il vendor lock-in. Questa è la stessa filosofia che guida la Open Secure AI Alliance: i difensori dovrebbero essere proprietari dei propri dati, dei propri strumenti e delle proprie informazioni.
La base di governance per questa architettura è Unity Catalog, che Databricks ha reso open source con licenza Apache 2.0 e donato alla Linux Foundation. Il catalogo è il livello che decide quale agente può accedere a quali dati, modelli o strumenti, e ne applica le regole. Lasciare questo livello proprietario mentre tutto ciò che si trova sopra è aperto metterebbe il punto di controllo più critico per la sicurezza al di fuori di ogni ispezione. Con un catalogo aperto, ovvero con API aperte, formati di tabella aperti e un'implementazione aperta, i difensori possono verificare ed estendere il punto di applicazione stesso, e i dati di sicurezza rimangono portabili tra i vari motori anziché essere vincolati al control plane di un singolo fornitore.
Il nostro impegno per la sicurezza aperta si basa su una profonda eredità open source che risale alla nostra fondazione. Apache Spark, Delta Lake e MLflow sono stati tutti creati sul principio che la tecnologia fondamentale debba essere aperta, ispezionabile e guidata dalla community, e abbiamo esteso questo principio al livello di governance quando abbiamo reso open source Unity Catalog. Solo Apache Spark ha ormai superato i due miliardi di download. La Open Secure AI Alliance estende questa stessa filosofia alla sicurezza e alla protezione dell'AI.
La Open Secure AI Alliance è un movimento per sviluppare e condividere in modo trasparente ricerche rilevanti sulla sicurezza e sulla protezione dell'AI. Nel corso del tempo, l'alleanza produrrà un insieme crescente di funzionalità pratiche e aperte che le organizzazioni potranno ispezionare, adottare e su cui potranno sviluppare.
Siamo entusiasti di essere al fianco di NVIDIA e dell'intera alleanza in questa missione e di continuare a mettere a disposizione della community codice aperto, framework aperti e ricerca aperta, mentre mettiamo in sicurezza insieme l'era degli agenti.
Scopri di più su Lakewatch, l'Open Security Lakehouse e su come Databricks sta ridefinendo le operazioni di sicurezza per l'era degli agenti.
Inizia a usare Omnigent per eseguire il meta-harness aperto per agenti, le sue policy contestuali e l'isolamento in sandbox nel tuo ambiente.
Esplora il Databricks AI Security Framework (DASF) 3.0 per comprendere i rischi e i controlli per la sicurezza dei tuoi sistemi di AI.
Scarica il Databricks AI Governance Framework (DAGF) per saperne di più su responsabilità e supervisione nel tuo programma di AI.
Dai un'occhiata al nostro repository GitHub BlackIce per saperne di più sugli strumenti integrati, trovare esempi per eseguirli con i modelli ospitati su Databricks e accedere a tutti gli artefatti di build Docker.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.