Il lakehouse interno di Databricks contiene oltre 100.000 tabelle che spaziano tra engineering, go-to-market, risorse umane, finanza e telemetria dei prodotti. Prima di Unity Catalog, la governance non era coerente: i modelli di accesso variavano a seconda del team, le classificazioni erano incomplete e nessuno poteva dire con certezza quali dataset fossero sicuri per l'addestramento dell'AI. Il team della Data Platform ha ricostruito la governance partendo dai principi fondamentali. Ora rendono la governance in Databricks automatica, misurabile e pronta per l'era dell'AI agentica. Ecco come hanno fatto.
Quando nessuno sa rispondere alla domanda: "questi dati sono sottoposti a governance?"
Databricks stava crescendo rapidamente e i suoi dati ancora di più. Oltre 100.000 tabelle erano distribuite su decine di team, workspace e cataloghi. Ogni team gestiva l'accesso in modo diverso. Le classificazioni erano incoerenti o del tutto assenti.
L'attrito non era teorico. I team di sicurezza, legali e di engineering passavano ore a rincorrere fogli di calcolo per rispondere a domande di base durante le verifiche di conformità. I nuovi progetti di AI si bloccavano perché nessuno poteva confermare se un dataset soddisfacesse i requisiti di privacy. Quando un team voleva addestrare un modello, non c'era un modo sistematico per verificare se i dati di addestramento fossero classificati, sottoposti a governance o persino aggiornati.
“Tutti avevano accesso in lettura e scrittura a ogni singola tabella, a ogni singolo job”, afferma Bruce Wong, Senior Director of Engineering e Head of Data Platform di Databricks. “Non solo non c'era un'unica fonte di verità. C'erano molte fonti e nessuna verità”. Wong descrive ciò che il team ha ereditato come una “palude di dati”, isolata, priva di governance e impossibile da scalare.
La sfida non era la mancanza di buone intenzioni. I team avevano a cuore la qualità dei dati. Ma il modello di governance che funzionava con 10 persone e un gigabyte non funziona con 10.000 persone e un exabyte. Senza un sistema unificato, la governance era un mosaico di processi manuali che non riuscivano a tenere il passo.
Nel frattempo, il team della data platform ha rinnovato l'intero patrimonio di dati, dall'ingestione dei dati SaaS tramite Lakeflow Connect, alla portabilità multi-cloud, fino all'analisi federata tra i vari domini aziendali. Per stare al passo con la crescita dell'azienda, ogni linea di business aveva bisogno di dati affidabili e sottoposti a governance per operare. Il team della piattaforma aveva bisogno di una soluzione che funzionasse non solo per gli ingegneri che creavano le pipeline, ma per ogni analista, marketer, responsabile finanziario e operatore delle vendite in tutta l'azienda. Li Yang, Senior Engineering Manager di Databricks, conosceva bene questa sfida, avendo trascorso un decennio in altre aziende tecnologiche affrontando problemi di scalabilità simili. “Nel mondo B2B, la fiducia non è una funzionalità. La fiducia è il prodotto”, afferma Yang. “Dovevamo allontanarci da un modello che sembrava come cercare di riparare un aereo mentre è in volo”.
Classificazione, controlli di accesso e un punteggio per ogni dataset
Il team ha iniziato come cliente alpha di Unity Catalog con un principio guida: ogni dataset deve essere affidabile, sottoposto a governance e pronto per l'AI per impostazione predefinita, attraverso guardrail e non barriere. Unity Catalog ha permesso loro di prendere decisioni in materia di policy e governance a livello di catalogo anziché gestire singoli utenti e tabelle, un cambio di paradigma che ha modificato radicalmente il loro approccio al lakehouse.
In primo luogo, hanno creato un modello di classificazione universale all'interno di Unity Catalog. Ogni tabella è contrassegnata in base alla sensibilità dei dati (Pubblico, Interno, Riservato, Limitato, Altamente limitato) e al dominio (Engineering, GTM, Risorse umane, Finanza, ecc.). Questi tag si associano a zone di governance che determinano l'applicazione degli accessi. In secondo luogo, hanno automatizzato i controlli di accesso. Una piattaforma interna chiamata Fortress, basata sulle API di sicurezza di Unity Catalog, impone un accesso limitato nel tempo e vincolato allo scopo. Niente più autorizzazioni permanenti. Ogni richiesta indica un motivo, scade come previsto ed è completamente verificabile.
Per misurare l'affidabilità su scala, il team ha creato il Data Governance Score, che fornisce una metrica continua da 0 a 100 per ogni dataset. Il punteggio valuta tre pilastri: documentazione (le colonne sono descritte e le tabelle annotate?), affidabilità (i controlli di qualità dei dati vengono superati?) e governance (i dati sono classificati e con accesso controllato?). Il Data Governance Score si propaga a valle attraverso la lineage: se una tabella a monte perde affidabilità, ogni tabella che dipende da essa riflette automaticamente tale cambiamento. Amit Pahwa, Staff Software Engineer del team Data Platform di Databricks, ha contribuito a progettare il Data Governance Score per allontanare l'azienda dalla dipendenza dalla conoscenza tribale. Sottolinea che senza dati strutturati, “la fiducia è la differenza tra basarsi sui fatti o sull'istinto”.
Oltre al livello di governance principale, altri flussi di lavoro della data platform estendono la portata della piattaforma. Lakeflow Connect gestisce l'ingestione sicura di SaaS su scala, sostituendo i connettori fragili con pipeline sottoposte a governance che depositano i dati direttamente nell'architettura medallion. Una piattaforma multicloud garantisce che i carichi di lavoro siano portabili e sicuri su AWS, Azure e GCP. Un livello di analisi federata offre a ciascun dominio aziendale, dalla finanza al marketing fino alle operazioni di vendita, un accesso self-service ai dati sottoposti a governance tramite strumenti come AI/BI Genie e Databricks Apps. Un metric store dedicato basato su Unity Catalog Metric Views garantisce che i team di tutta l'azienda condividano un'unica definizione per ogni metrica chiave. L'implementazione di Fortress ha rappresentato una svolta culturale per l'azienda. "Prima di Fortress, la richiesta di accesso ai dati sembrava una scatola nera per gli utenti", afferma Yang. "Ora si tratta di un processo trasparente e self-service in cui le policy vengono applicate automaticamente, liberando gli ingegneri che possono così concentrarsi sull'innovazione anziché sull'approvazione manuale dei ticket".
L'AI agentica richiede la governance che hanno già creato
Il Data Governance Score ha dato al team della Data Platform qualcosa che non aveva mai avuto: visibilità in tempo reale su quali domini fossero conformi e quali avessero bisogno di attenzione. Ognuna delle oltre 100.000 tabelle viene ora scansionata continuamente e le viene assegnata una valutazione di affidabilità da 0 a 100. Invece di verifiche di conformità che scatenano situazioni di emergenza, il team individua le aree deboli in tempo reale e le affronta in modo proattivo. I team di sicurezza e legali dedicano il loro tempo a prevenire i rischi piuttosto che a rincorrere fogli di calcolo.
L'impatto più ampio va oltre la conformità. I dati affidabili accelerano ogni flusso di lavoro a valle. Quando un team desidera addestrare un modello, controlla il punteggio di governance e sa immediatamente se i dati soddisfano i requisiti, senza verifiche manuali o attese di approvazione. Il metric store garantisce che quando la leadership pone una domanda su pipeline, ricavi o utilizzo, la risposta sia la stessa, indipendentemente da chi esegue la query o da quale strumento utilizzi.
Ma la trasformazione più importante è quella che il team non aveva pianificato. Wong lo dice chiaramente: “La governance dei dati è il requisito minimo per l'AI agentica”. Un essere umano non sfoglierà mai 100.000 tabelle. Un agente AI troverà i dati obsoleti, la tabella con troppi permessi o il dataset non classificato in cui un essere umano non si imbatterebbe mai. “A questo punto, è più probabile che l'AI trovi dati errati e fornisca una risposta basata su di essi, piuttosto che avere delle vere e proprie allucinazioni”, avverte Wong. L'infrastruttura di governance che il team ha impiegato anni a costruire, dal modello di classificazione al Data Governance Score e alla propagazione dell'affidabilità basata sulla lineage, funge ora da livello di guardrail per gli agenti in tutta l'azienda.
Oggi, ogni funzione di Databricks (engineering, finanza, marketing, vendite e persino la gestione delle strutture) utilizza agenti basati su questa base sottoposta a governance. La quantità di dati generati dall'AI agentica sta crescendo a un ritmo che Wong prevede eclisserà quello dei dati generati dagli esseri umani. Poiché le strutture di governance sono state progettate per gli esseri umani su scala, si traducono direttamente per gli agenti su scala. Il team che ha ricostruito la governance dai principi fondamentali è ora il team che abilita il futuro dell'AI dell'azienda.
