Kraken ist ein Betriebssystem für Versorgungsunternehmen, das seine Plattform an Energie-, Wasser- und Telekommunikationsanbieter in 13 Ländern lizenziert und weltweit rund 85 Millionen Vertragskonten unterstützt. Da das Unternehmen in stark regulierten Märkten wuchs, benötigte es eine stärkere Governance, Compliance und eine sicherere Datenfreigabe über eine komplexe Multi-Account-Architektur hinweg. Mit Databricks Unity Catalog und Delta Sharing kann Kraken Daten sicher, konform und zeitnah an Kunden bereitstellen und gleichzeitig die Transparenz und Kontrolle über seine gesamte Plattform hinweg behalten.
Skalierung von Daten in einer regulierten Welt
Da Daten das Herzstück von allem sind, was Kraken tut, nähert sich das Unternehmen dem Thema aus zwei Blickwinkeln: Kunden bei der Nutzung von Daten für Analysen und das operative Reporting zu unterstützen, und Daten intern zu nutzen, um das Geschäft zu verstehen und KI-gestützte Prozesse zu unterstützen. Ein Datenteam von rund 70 bis 85 Mitarbeitern aus den Bereichen Data Engineering, Analytics Engineering, Infrastruktur und Bereitstellung unterstützt diese Bemühungen.
Mit dem Wachstum von Kraken brachte die Tätigkeit in stark regulierten Märkten immer komplexere Governance-Herausforderungen mit sich. In der Anfangszeit, mit nur einer Handvoll Ingenieuren, war die Nachverfolgung, wer Zugriff auf welche Daten hatte, noch überschaubar. Doch als das Unternehmen wuchs, reichte dieser informelle Ansatz nicht mehr aus. Kraken musste strenge Zugriffskontrollen durchsetzen, die Revisionsfähigkeit gewährleisten und die Einhaltung von Vorschriften wie GDPR und SOC 1 und 2 nachweisen – und das alles bei der Verwaltung einer Architektur, in der jeder Kunde in seinem eigenen, dedizierten Databricks-Konto arbeitet. „Wir gehen extrem vorsichtig damit um, welche Daten in unserer Cloud liegen und wie wir sie schützen“, so Javi Asensio, Head of Data and Analytics Engineering bei Kraken. „Governance und Revisionsfähigkeit waren Themen, an denen wir von Anfang an sehr interessiert waren.“
Als führendes System (System of Record) für Versorgungsunternehmen verarbeitet Kraken sensible personenbezogene und finanzielle Daten im Auftrag von Kunden, von denen viele börsennotierte Unternehmen mit strengen Compliance-Anforderungen sind. Die Kostentransparenz erhöhte den Druck zusätzlich. Während der Energiekrise, als die Infrastrukturausgaben genau unter die Lupe genommen wurden, musste Kraken jeden ausgegebenen Dollar rechtfertigen. „Wenn der CEO zu mir kommt und sagt, dass wir viel Geld ausgeben, muss ich das begründen können“, so Asensio. „Ich brauche die Transparenz, um sagen zu können: Wir haben diesen Betrag ausgegeben, um diesen Teil des Geschäfts auszubauen, und das ist der Wert, den er geschaffen hat.“
Ohne eine einheitliche Governance-Ebene war es schwierig, Zugriff, Nutzung und Verantwortlichkeit über Dutzende von Konten hinweg konsistent zu überwachen.
Eine einheitliche Governance-Ebene für eine komplexe Multi-Account-Welt
Um diese Herausforderungen zu bewältigen, migrierte Kraken zu Unity Catalog, führte es frühzeitig ein und baute sein Governance-Framework um dessen Kernfunktionen herum auf. Systemtabellen bieten Kraken Transparenz über den Datenzugriff, den Abfrageverlauf und aktive Endpunkte über Konten hinweg. Da Kraken für jeden Kunden ein separates Databricks-Konto unterhält, decken Systemtabellen und die Unity Catalog API zusammen rund 95 % der Governance-Anforderungen ab, ohne dass Tools von Drittanbietern erforderlich sind, die in Dutzenden von isolierten Umgebungen nur schwer zu betreiben wären. „Das meiste, was wir tun müssen, können wir über Systemtabellen abwickeln, den Rest über die API“, so Asensio. „Dadurch sind wir nicht von Drittanbietern abhängig, was angesichts unserer Architektur sehr schwierig wäre.“
Die Sicherheit orientiert sich an einem klaren Prinzip: Niemand sollte Zugriff auf Daten haben, die er nicht benötigt. Kraken setzt dies über drei Säulen hinweg durch – Isolierung von Kundendaten durch Kontentrennung, Zugriffskontrollen für personenbezogene Daten zur Einhaltung der GDPR und Kontrollen für Finanzdaten zur Einhaltung von SOC 1 und 2. Kraken implementiert Datenmaskierung und feingranulare Zugriffskontrollen, um eine sensible Anforderung von Essential Energy, einem australischen Stromverteiler, zu erfüllen. In diesem Anwendungsfall schützt Kraken die Energieverbrauchsdaten für alle Personen außerhalb Australiens, einschließlich der Kraken-Ingenieure, in drei Tabellen mit Milliarden von Zeilen an intelligenten Zählerständen. „Nicht even unsere Mitarbeiter dürfen diese Daten sehen, es sei denn, sie leben in Australien“, so Asensio. „Obwohl ich die Infrastruktur und das Team leite, darf ich sie nicht sehen.“
Delta Sharing ist zu einer weiteren wichtigen Komponente geworden, mit der Kraken seinen Kunden Mehrwert bietet. Bei Kunden auf weniger ausgereiften Plattformen kann die Konfiguration der Datenfreigabe während des Onboardings bis zu eineinhalb Wochen dauern. Bei Kunden auf Databricks verkürzt Delta Sharing diese Zeit auf einen einzigen Tag. Kraken standardisiert intern auf Delta-Tabellen und konvertiert nur dann in Iceberg, wenn Kunden auf Plattformen wie Snowflake oder Fabric dies erfordern. Mit Blick auf die Zukunft plant Kraken, die Nutzung von Unity Catalog auszuweiten, einschließlich attributbasierter Zugriffskontrollen und Governance-Tags, um die Kennzeichnung personenbezogener Daten im gesamten Datenbestand zu automatisieren – sowohl für die interne Compliance als auch um Kunden dabei zu helfen, eine bessere Governance auf ihrer Seite anzuwenden.
Sichere Datenbereitstellung in einer hochsensiblen Branche
Mit Unity Catalog im Zentrum seiner Datenplattform hat Kraken ein Governance-Fundament geschaffen, das mit der Komplexität des Unternehmens skaliert. Kraken kann nun feingranulare Zugriffskontrollen durchsetzen, die Datennutzung über Konten hinweg verfolgen und die Compliance gegenüber Kunden und Regulierungsbehörden nachweisen – und das alles über eine einheitliche Ebene, die keine Tools von Drittanbietern erfordert.
Durch die Nutzung von Delta Sharing konnte Kraken die Zeit für die Bereitstellung von Daten für neue Databricks-Kunden von bis zu eineinhalb Wochen auf einen einzigen Tag verkürzen. Dies ist eine wichtige Verbesserung, da die Datenverfügbarkeit der erste Meilenstein in einem Onboarding-Prozess ist, der 12 bis 18 Monate dauern kann. Systemtabellen bieten der Führungsebene von Kraken unterdessen klare Transparenz darüber, wie Databricks-Ressourcen im gesamten Unternehmen genutzt werden, sodass sie die Infrastrukturausgaben direkt mit den Geschäftsergebnissen verknüpfen können.
Letztendlich hat Unity Catalog es Kraken ermöglicht, dem Vertrauen gerecht zu werden, das einige der am strengsten kontrollierten Versorgungsunternehmen der Welt in das Unternehmen setzen – von der Maskierung von Milliarden Zeilen sensibler intelligenter Zählerdaten bis hin zur GDPR-konformen Verarbeitung personenbezogener Daten in 13 Ländern. „Mit Unity Catalog können wir Daten auf die sicherste und konformste Weise für unsere Kunden bereitstellen“, so Asensio. „Angesichts der damit verbundenen Haftung nehmen wir das nicht auf die leichte Schulter.“