Kraken è un sistema operativo per le utility, che concede in licenza la sua piattaforma a fornitori di energia, acqua e telecomunicazioni in 13 paesi e supporta circa 85 milioni di account contrattualizzati a livello globale. Con la crescita dell'azienda in mercati altamente regolamentati, è emersa la necessità di una governance più solida, di conformità e di una condivisione sicura dei dati in un'architettura multi-account complessa. Con Databricks Unity Catalog e Delta Sharing, Kraken può distribuire i dati ai clienti in modo sicuro, conforme e tempestivo, mantenendo visibilità e controllo su tutta la piattaforma.
Scalare i dati in un mondo regolamentato
Con i dati al centro di tutto ciò che fa Kraken, l'azienda affronta la questione da due angolazioni: aiutare i clienti a utilizzare i dati per l'analisi e la reportistica operativa, e utilizzare i dati internamente per comprendere il business e supportare i processi basati sull'AI. Un team di dati composto da circa 70-85 persone, che si occupa di data engineering, analytics engineering, infrastruttura e delivery, supporta questi sforzi.
Con la crescita di Kraken, operare in mercati fortemente regolamentati ha introdotto sfide di governance sempre più complesse. All'inizio, con solo una manciata di ingegneri, tracciare chi avesse accesso a quali dati era gestibile. Ma con la crescita dell'azienda, questo approccio informale non è stato più sufficiente. Kraken doveva applicare controlli di accesso rigorosi, mantenere la verificabilità e dimostrare la conformità a normative come GDPR e SOC 1 e 2, il tutto gestendo un'architettura in cui ogni cliente opera all'interno del proprio account Databricks dedicato. "Siamo estremamente attenti a quali dati risiedono nel nostro cloud e a come li proteggiamo", ha dichiarato Javi Asensio, Head of Data and Analytics Engineering di Kraken. "La governance e la verificabilità erano aspetti a cui eravamo molto interessati fin dall'inizio".
Come sistema di registrazione per i fornitori di servizi di pubblica utilità, Kraken gestisce dati personali e finanziari sensibili per conto dei clienti, molti dei quali sono società quotate in borsa con severi requisiti di conformità. La visibilità dei costi ha aggiunto ulteriore pressione. Durante la crisi energetica, con la spesa per le infrastrutture sotto esame, Kraken doveva giustificare ogni dollaro speso. "Quando il CEO viene da me e mi dice che stiamo spendendo molti soldi, devo essere in grado di giustificarne il motivo", ha detto Asensio. "Ho bisogno della visibilità necessaria per dire che abbiamo speso questa somma di denaro per far crescere questa parte del business e questo è il valore che ha creato".
Senza un livello di governance unificato, era difficile monitorare in modo coerente l'accesso, l'utilizzo e la responsabilità tra decine di account.
Un livello di governance unificato per un mondo multi-account complesso
Per affrontare queste sfide, Kraken è passata a Unity Catalog, adottandolo fin da subito e costruendo il proprio framework di governance attorno alle sue funzionalità principali. Le tabelle di sistema offrono a Kraken visibilità sull'accesso ai dati, sulla cronologia delle query e sugli endpoint attivi tra i vari account. Poiché Kraken mantiene un account Databricks separato per ogni cliente, le tabelle di sistema e le API di Unity Catalog coprono insieme circa il 95% delle sue esigenze di governance, senza richiedere strumenti di terze parti che sarebbero difficili da gestire in decine di ambienti isolati. "La maggior parte delle cose che dobbiamo fare può provenire dalle tabelle di sistema e il resto dalle API", ha affermato Asensio. "Questo ci consente di non dipendere da terze parti, il che è molto difficile data l'architettura che abbiamo".
La sicurezza è organizzata attorno a un principio chiaro: nessuno deve avere accesso a dati di cui non ha bisogno. Kraken applica questo principio su tre pilastri: l'isolamento dei dati dei clienti tramite la separazione degli account, i controlli di accesso ai dati personali per la conformità al GDPR e i controlli sui dati finanziari per la conformità a SOC 1 e 2. Kraken implementa il mascheramento dei dati e controlli di accesso granulari per supportare un requisito sensibile di Essential Energy, un distributore di elettricità australiano. In questo caso d'uso, Kraken protegge i dati sul consumo energetico per chiunque si trovi al di fuori dell'Australia, compresi gli ingegneri di Kraken, su tre tabelle contenenti miliardi di righe di letture di contatori intelligenti. "Nemmeno ai nostri dipendenti è consentito vedere quei dati a meno che non vivano in Australia", ha detto Asensio. "Anche se gestisco l'infrastruttura e il team, non mi è consentito vederli".
Delta Sharing è diventato un altro componente fondamentale del modo in cui Kraken offre valore ai clienti. Per i clienti su piattaforme meno mature, la configurazione della condivisione dei dati durante l'onboarding può richiedere fino a una settimana e mezza. Per i clienti su Databricks, Delta Sharing riduce questo tempo a un solo giorno. Kraken si standardizza internamente sulle tabelle Delta, convertendole in Iceberg solo quando lo richiedono clienti su piattaforme come Snowflake o Fabric. Guardando al futuro, Kraken prevede di espandere l'uso di Unity Catalog, inclusi i controlli di accesso basati sugli attributi e i tag di governance, per automatizzare la codifica dei dati personali in tutto il suo patrimonio di dati, sia per la conformità interna sia per aiutare i clienti ad applicare una governance migliore da parte loro.
Distribuire i dati in modo sicuro in un settore ad alto rischio
Con Unity Catalog al centro della sua piattaforma dati, Kraken ha costruito una base di governance che scala con la complessità del business. Kraken può ora applicare controlli di accesso granulari, tracciare l'utilizzo dei dati tra gli account e dimostrare la conformità a clienti e autorità di regolamentazione, il tutto da un livello unificato che non richiede strumenti di terze parti.
Sfruttando Delta Sharing, Kraken ha ridotto il tempo necessario per rendere i dati disponibili ai nuovi clienti Databricks da un massimo di una settimana e mezza a un solo giorno, un miglioramento importante dato che la disponibilità dei dati è la prima pietra miliare in un processo di onboarding che può durare da 12 a 18 mesi. Le tabelle di sistema, nel frattempo, offrono alla leadership di Kraken una chiara visibilità su come le risorse Databricks vengono consumate all'interno dell'organizzazione, consentendo loro di collegare la spesa infrastrutturale direttamente ai risultati di business.
In definitiva, Unity Catalog ha permesso a Kraken di soddisfare la fiducia riposta in essa da alcuni dei fornitori di servizi di pubblica utilità più controllati al mondo, dal mascheramento di miliardi di righe di dati sensibili dei contatori intelligenti alla garanzia di una gestione dei dati personali conforme al GDPR in 13 paesi. "Unity Catalog ci consente di distribuire i dati nel modo più sicuro e conforme per i nostri clienti", ha affermato Asensio. "Data la responsabilità in gioco, non è un aspetto che prendiamo alla leggera".