Le policy di filtraggio delle righe ABAC e mascheramento delle colonne, i tag governati e la classificazione dei dati sono ora disponibili in generale in Unity Catalog

Proteggi i dati su larga scala con la governance automatizzata in Unity Catalog

Man mano che gli ecosistemi di dati crescono, ogni organizzazione che gestisce dati sensibili su larga scala si pone la stessa domanda: come garantire che i dati sensibili siano protetti in modo coerente in ogni tabella, sia che contenga dati personali identificabili (PII), registri finanziari, dati sanitari o qualsiasi altro elemento soggetto a requisiti di conformità?

L'IA aggrava ulteriormente questo problema. Gli utenti possono accedere ai dati in più modi rispetto al passato, tramite Genie, agenti, API e altro ancora. La protezione deve tenere il passo con la domanda di dati, altrimenti i controlli di accesso finiscono per limitare l'empowerment creato dalla tecnologia.

La risposta non può essere la configurazione manuale per tabella. Deve essere un sistema in cui i team di governance definiscono le regole una volta e la protezione segue automaticamente i dati in tutto l'ecosistema di dati man mano che viene creato e classificato. In questo modo, agli utenti e agli agenti può essere concesso un ampio accesso alla piattaforma senza concedere un ampio accesso ai dati sensibili.

Oggi siamo entusiasti di annunciare la disponibilità generale di tre funzionalità complementari in Unity Catalog che rendono ciò possibile: criteri di controllo degli accessi basati sugli attributi (ABAC) per il filtraggio delle righe e la mascheratura delle colonne, tag governati e classificazione automatica dei dati.

Perché la governance manuale dei dati e i controlli di accesso non sono scalabili

Tre problemi ostacolano la protezione dei dati sensibili su larga scala.

1. Le regole di accesso configurate per oggetto sono ripetitive e soggette a incoerenze. Quando ogni tabella richiede il proprio filtro di riga o mascheratura di colonna, si insinuano sottili differenze: logica di mascheratura diversa per lo stesso tipo di colonna, regole obsolete su tabelle più vecchie, definizioni contrastanti tra i team.
2. L'applicazione che dipende dal coordinamento con i proprietari degli oggetti lascia delle lacune. I produttori di dati sono esperti nella creazione di dati, ma c'è un notevole overhead per garantire che tutte le colonne siano classificate e che nessun dato sensibile sfugga. I passaggi di applicazione vengono persi o bloccati su persone che hanno altro lavoro da fare, e le lacune emergono solo durante audit o controlli di conformità.
3. L'identificazione manuale dei dati sensibili non può tenere il passo con la crescita. Nuove tabelle e record di dati arrivano continuamente e il business si aspetta di utilizzarli subito. Se il rilevamento si basa su esseri umani, o su logica di rilevamento codificata manualmente in singole pipeline per ogni tipo di dato in ingresso, rimarrà indietro sia rispetto ai dati che alla domanda.

Queste sfide richiedono un allontanamento dalla governance manuale per oggetto.

Come Unity Catalog abilita la governance dei dati ad alto rendimento con ABAC, tag e classificazione

Le regole di accesso devono essere applicate dinamicamente in base agli attributi, i dati sensibili devono essere rilevati man mano che appaiono e le responsabilità devono essere distribuite tra ruoli specializzati in modo che nessuna singola persona sia un collo di bottiglia. Unity Catalog riunisce tutto questo attraverso tre funzionalità complementari, abbinate a un modello di autorizzazione che consente la separazione dei compiti: criteri di controllo degli accessi basati sugli attributi (ABAC), tag governati e classificazione dei dati agentiva.

• Criteri ABAC sono il modello dinamico di controllo degli accessi di Unity Catalog. Controlla l'accesso in base agli attributi dei dati, quindi un singolo criterio può coprire molte tabelle corrispondenti invece di dover configurare singolarmente ciascuna di esse. Un criterio ABAC valuta le condizioni basate sui tag e applica filtri di riga, che controllano quali righe un utente vede, e mascherature di colonna, che controllano quali valori un utente vede per colonne specifiche, automaticamente a ogni oggetto corrispondente in tutti i cataloghi e schemi. Un amministratore di governance definisce il criterio una volta e i nuovi dati acquisiscono protezione non appena i tag corretti sono in atto.
• Tag governati sono le fondamenta degli attributi su cui si basano i criteri ABAC: un vocabolario di chiavi e valori a livello di account che standardizza il modo in cui i dati vengono descritti in un account, con autorizzazioni che controllano chi può applicare quali tag a quali oggetti. I tag sono coppie chiave o chiave-valore (come sensitivity:confidential o pii:ssn) che si attaccano a cataloghi, schemi, tabelle e colonne, ed ereditano da oggetti padre a figlio.
• Classificazione dei dati agentiva identifica automaticamente i dati sensibili (PII, PHI, ecc.) per la governance e la conformità. I classificatori integrati coprono standard come GDPR e HIPAA, mentre i classificatori personalizzati estendono il rilevamento a pattern specifici del business appresi da colonne già taggate. Utilizzando il riconoscimento di pattern comprovato, metadati e modelli linguistici di grandi dimensioni, offre una maggiore precisione rispetto agli strumenti manuali o basati solo su regex. I nuovi dati vengono scansionati automaticamente per garantire che vengano rilevati eventuali dati sensibili introdotti. In combinazione con i criteri ABAC che proteggono i dati con tag corrispondenti, queste funzionalità garantiscono una protezione automatica e scalabile dei dati sensibili.

Insieme, queste tre funzionalità abilitano un modello di governance che supporta la separazione dei compiti. La governance non dovrebbe dipendere da una singola persona o da un singolo ruolo. Invece, le responsabilità possono essere distribuite tra gruppi specializzati che sono esperti nella loro area e non devono dipendere da altri per svolgere il proprio lavoro. Unity Catalog supporta questo con le autorizzazioni e i confini appropriati per tutte e tre le funzionalità, in modo che ogni gruppo possa eseguire solo le azioni di cui è responsabile.

Separazione dei compiti in pratica

Le tre funzionalità sono progettate per funzionare insieme. Poiché i criteri, la tassonomia dei tag, le autorizzazioni e la classificazione operano tutti all'interno di Unity Catalog, non c'è passaggio di consegne tra sistemi e nessun passaggio manuale tra scoperta e protezione.

In pratica, il flusso di lavoro è il seguente:

1. Definire la tassonomia: I team di governance stabiliscono la tassonomia dei tag governati, combinando classificatori integrati (allineati a standard come GDPR, HIPAA, PCI), classificatori personalizzati per pattern ripetibili e tag di metadati per il contesto aziendale come domini o livelli di sensibilità.
2. Creare criteri ABAC: Gli amministratori di governance definiscono criteri che fanno riferimento a questi tag per controllare l'accesso in base agli attributi dei dati.
3. Classificare e proteggere automaticamente i dati: La classificazione viene eseguita continuamente, taggando i nuovi dati man mano che arrivano. Gli steward possono applicare i tag secondo necessità, da cui il sistema impara nel tempo, riducendo lo sforzo manuale. Di conseguenza, i dati appena taggati vengono protetti immediatamente.
4. Abilitare l'accesso governato ai dati: I produttori di dati creano tabelle all'interno di ambiti governati e i consumatori di dati interrogano i risultati, vedendo solo le righe e le colonne a cui sono autorizzati ad accedere.

“In Atlassian, la governance dell'accesso ai dati e la conformità tra migliaia di utenti e set di dati stavano diventando sempre più complesse con i tradizionali modelli basati sui ruoli. L'ABAC in Unity Catalog ci ha permesso di definire criteri di accesso granulari basati sugli attributi dei dati, riducendo significativamente l'overhead operativo della gestione delle autorizzazioni su larga scala. Ciò che prima richiedeva una gestione estesa delle autorizzazioni manuali ora avviene dinamicamente, consentendo ai nostri team di concentrarsi sulla generazione di insight anziché sulla gestione dell'accesso.” — Gerald Nakhle, Software Engineer, Atlassian

Novità: Disponibilità generale per criteri ABAC, tag governati e classificazione dei dati

Tutte e tre le funzionalità sono ora generalmente disponibili, con miglioramenti che affrontano i feedback più comuni dei clienti.

GA dei criteri ABAC: controllo degli accessi basato sugli attributi in tutto l'ecosistema di dati

Al momento della GA, ABAC scala per i più grandi ecosistemi di dati aziendali e aggiunge miglioramenti alla valutazione e alla creazione dei criteri. Le caratteristiche principali della GA includono:

• Progettato per implementazioni su scala aziendale. I limiti dei criteri sono aumentati di 10 volte in ogni ambito, con supporto per oltre 10.000 criteri per metastore e oltre 100 per catalogo e schema.
• Valutazione dell'identità della sessione per viste e funzioni. Le policy ABAC ora vengono valutate rispetto all'identità dell'utente che esegue la query. Gli utenti vedono esattamente ciò che le proprie autorizzazioni consentono loro di vedere, anche quando interrogano tramite una vista o una funzione.
• Una funzione di mascheramento per molti tipi di colonna. Una singola UDF che accetta e restituisce VARIANT può mascherare INT, DOUBLE, DECIMAL e altri tipi numerici contemporaneamente, e lo stesso approccio si estende alle colonne STRUCT. Ciò riduce il numero di policy che le organizzazioni devono mantenere.

"Meno policy, costi inferiori, precisione chirurgica. ABAC ha trasformato la governance dei dati di Udemy da forza bruta a eleganza." — Rajit Saha | Director, Data & AI Platform, Udemy

Tag governati GA: standardizza la classificazione dei dati con i tag

In GA, i tag governati aggiungono la gestione completa del ciclo di vita tramite SQL, API e UI, oltre a controlli amministrativi più robusti e una visibilità più chiara. Le funzionalità principali di GA includono:

• Gestione completa del ciclo di vita con SQL, API e UI. Gli amministratori possono creare, modificare e ispezionare i tag utilizzando SQL (CREATE, ALTER, DROP, SHOW, DESCRIBE GOVERNED TAG) oltre all'UI, all'API REST e a Terraform. Ciò consente una facile automazione e integrazione nei flussi di lavoro esistenti.
• Controlli amministrativi del workspace. Gli amministratori del workspace ricevono CREATE per impostazione predefinita (configurabile) mentre gli amministratori dell'account ricevono MANAGE e CREATE, consentendo un controllo flessibile sulla governance dei tag.
• Migliore visibilità sulla copertura e sull'ereditarietà dei tag: L'UI e le API forniscono una visione più chiara di come i tag vengono applicati ed ereditati, aiutando i team a monitorare la copertura, tracciare le decisioni di classificazione e verificare le modifiche.

Classificazione dati agentiva GA: rileva e tagga automaticamente i dati su larga scala

In GA, la classificazione espande la copertura della conformità, aggiunge controlli di accuratezza e sblocca classificatori personalizzati per pattern specifici del business. Oltre alle sue capacità attuali, le funzionalità principali di GA includono:

• Visibilità completa dei dati sensibili in un unico posto: Visualizza tutte le classificazioni rilevate in un workspace ed esamina dove sono state trovate, chi ha accesso e dove devono essere create policy ABAC per la protezione.
• Validazione human-in-the-loop che migliora continuamente l'accuratezza del rilevamento. Il feedback dei clienti e le valutazioni di qualità hanno ulteriormente migliorato l'accuratezza del rilevamento. Inoltre, gli utenti possono escludere eventuali falsi positivi rilevati dall'essere taggati, il che migliora continuamente la precisione delle scansioni future.
• Copertura di conformità ampliata. Nuovi classificatori coprono GDPR, HIPAA, GLBA, DPDPA e PCI, oltre al supporto regionale per Regno Unito, Germania, Australia e Brasile. Ulteriori classificatori per India e Canada arriveranno questo mese. L'elenco completo è disponibile qui.
• Classificatori personalizzati in Beta. Sono ora supportate categorie specifiche del business. Assegna alla classificazione dei dati qualsiasi Governed Tag e il sistema identificherà automaticamente le colonne corrispondenti. I pattern di rilevamento vengono appresi dalle colonne già taggate e dai metadati circostanti di Unity Catalog, adattandosi automaticamente ai tuoi dati.

“Con la crescita della nostra azienda, gli approcci manuali all'identificazione e alla protezione dei dati diventano sempre più difficili da sostenere. La classificazione dati agentiva di Databricks sostituisce l'overhead manuale con risultati automatizzati e di alta qualità che scalano in modo più conveniente con il valore. La classificazione dati può aiutare a fornire visibilità continua su dove si trovano i dati chiave nei nostri ambienti. I classificatori personalizzati possono adattarsi ai nostri specifici pattern di dati, aiutando a semplificare la gestione dell'accesso e della conformità. Le policy di controllo degli accessi basato sugli attributi (ABAC) possono equipaggiarci per scalare gli sforzi di conformità attraverso la classificazione con un ridotto overhead manuale.” — Nan Wu, Software Engineer, Superhuman

Iniziare con ABAC, tag governati e classificazione dati in Unity Catalog

Le policy ABAC, i tag governati e la classificazione dati sono disponibili oggi in Unity Catalog.

• Documentazione ABAC: scopri come definire filtri di riga, maschere di colonna e pattern di policy comuni
• Documentazione sui Tag Governati: crea e gestisci definizioni di tag e autorizzazioni
• Documentazione sulla Classificazione Dati: rileva automaticamente classificazioni e dati sensibili in tutti i cataloghi per la postura di conformità.

Queste tre funzionalità rappresentano le fondamenta della governance dati scalabile in Unity Catalog. Man mano che il tuo patrimonio di dati cresce, la pipeline organizza-rileva-proteggi cresce con esso.

Scopri di più al Data and AI Summit

Unisciti a noi a San Francisco, dal 15 al 18 giugno 2026, per scoprire come Data + AI Summit sta plasmando il futuro del controllo degli accessi basato sugli attributi e della governance dei dati.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale