Das interne Lakehouse von Databricks umfasst über 100.000 Tabellen aus den Bereichen Engineering, Go-to-Market, HR, Finanzen und Produkt-Telemetrie. Vor Unity Catalog war die Governance uneinheitlich: Zugriffsmuster variierten je nach Team, Klassifizierungen waren unvollständig und niemand konnte mit Sicherheit sagen, welche Datensätze für das AI-Training sicher waren. Das Data Platform-Team hat die Governance von Grund auf neu aufgebaut. Sie machen die Governance bei Databricks automatisch, messbar und bereit für die Ära der agentenbasierten AI. Hier erfahren Sie, wie sie das geschafft haben.
Wenn niemand die Frage beantworten kann: ‚Unterliegen diese Daten der Governance?‘
Databricks skalierte schnell und seine Daten noch schneller. Über 100.000 Tabellen verteilten sich auf Dutzende von Teams, Workspaces und Katalogen. Jedes Team verwaltete den Zugriff anders. Klassifizierungen waren uneinheitlich oder fehlten völlig.
Die Reibung war nicht theoretischer Natur. Security-, Legal- und Engineering-Teams verbrachten Stunden damit, Excel-Tabellen zu durchsuchen, um grundlegende Fragen bei Compliance-Prüfungen zu beantworten. Neue AI-Projekte gerieten ins Stocken, weil niemand bestätigen konnte, ob ein Datensatz die Datenschutzanforderungen erfüllte. Wenn ein Team ein Modell trainieren wollte, gab es keine systematische Möglichkeit zu prüfen, ob die Trainingsdaten klassifiziert, governed oder überhaupt aktuell waren.
„Jeder hatte Lese- und Schreibzugriff auf jede einzelne Tabelle, jeden einzelnen Job“, sagt Bruce Wong, Senior Director of Engineering und Head of Data Platform bei Databricks. „Es gab nicht nur keine Single Source of Truth. Es gab viele Quellen, und es gab keine Wahrheit.“ Wong beschreibt das, was das Team geerbt hat, als einen „Data Swamp“ – isoliert, ohne Governance und nicht skalierbar.
Die Herausforderung lag nicht an mangelndem gutem Willen. Die Teams legten Wert auf Datenqualität. Aber das Governance-Modell, das bei 10 Personen und einem Gigabyte funktioniert, funktioniert nicht bei 10.000 Personen und einem Exabyte. Ohne ein einheitliches System war die Governance ein Flickenteppich aus manuellen Prozessen, der nicht Schritt halten konnte.
In der Zwischenzeit hat das Data-Platform-Team den gesamten Datenbestand überarbeitet – von der SaaS-Datenaufnahme über Lakeflow Connect bis hin zur Multi-Cloud-Portabilität und föderierten Analysen über Geschäftsbereiche hinweg. Um mit dem Wachstum des Unternehmens Schritt zu halten, benötigte jeder Geschäftsbereich zuverlässige, kontrollierte Daten für den Betrieb. Das Plattform-Team brauchte eine Lösung, die nicht nur für die Engineers funktioniert, die Pipelines bauen, sondern für alle Analysten, Marketer, Finanzverantwortlichen und Vertriebsmitarbeiter im gesamten Unternehmen. Li Yang, Senior Engineering Manager bei Databricks, kannte diese Herausforderung genau, da er ein Jahrzehnt bei anderen Tech-Unternehmen verbracht hatte, um ähnliche Skalierungsprobleme zu bewältigen. „In einer B2B-Welt ist Vertrauen kein Feature. Vertrauen ist das Produkt“, sagt Yang. „Wir mussten uns von einem Modell verabschieden, das sich anfühlte, als würde man versuchen, ein Flugzeug während des Flugs zu reparieren.“
Klassifizierung, Zugriffskontrollen und ein Score für jeden Datensatz
Das Team startete als Alpha-Kunde von Unity Catalog mit einem Leitprinzip: Jeder Datensatz sollte standardmäßig vertrauenswürdig, governed und AI-ready sein – durch Leitplanken, nicht durch Barrieren. Unity Catalog ermöglichte es ihnen, Richtlinien- und Governance-Entscheidungen auf Katalogebene zu treffen, anstatt einzelne Benutzer und Tabellen zu verwalten – ein Paradigmenwechsel, der ihre Herangehensweise an das Lakehouse grundlegend veränderte.
Zuerst bauten sie ein universelles Klassifizierungsmodell innerhalb von Unity Catalog. Jede Tabelle wird nach Datensensitivität (Öffentlich, Intern, Vertraulich, Eingeschränkt, Streng Vertraulich) und nach Domäne (Engineering, GTM, HR, Finanzen usw.) getaggt. Diese Tags werden Governance-Zonen zugeordnet, die die Durchsetzung des Zugriffs bestimmen. Zweitens haben sie die Zugriffskontrollen automatisiert. Eine interne Plattform namens Fortress, die auf den Sicherheits-APIs von Unity Catalog aufbaut, erzwingt einen zweckgebundenen, zeitlich begrenzten Zugriff. Keine dauerhaften Berechtigungen mehr. Jede Anfrage nennt einen Grund, läuft planmäßig ab und ist vollständig überprüfbar.
Um Vertrauen im großen Stil zu messen, hat das Team den Data Governance Score entwickelt, der eine kontinuierliche Metrik von 0 bis 100 für jeden Datensatz liefert. Der Score bewertet drei Säulen: Dokumentation (sind Spalten beschrieben und Tabellen annotiert?), Zuverlässigkeit (werden Datenqualitätsprüfungen bestanden?) und Governance (sind die Daten klassifiziert und zugriffsgeschützt?). Der Data Governance Score pflanzt sich über die Lineage nachgelagert fort: Wenn eine vorgelagerte Tabelle an Vertrauen verliert, spiegelt jede davon abhängige Tabelle diese Änderung automatisch wider. Amit Pahwa, ein Staff Software Engineer im Databricks Data Platform-Team, hat an der Entwicklung des Data Governance Score mitgewirkt, um das Unternehmen von der Abhängigkeit von implizitem Teamwissen zu befreien. Er betont, dass ohne strukturierte Daten „Vertrauen der Unterschied ist, ob man nach Fakten oder nach dem Bauchgefühl entscheidet“.
Über die Kern-Governance-Ebene hinaus erweitern zusätzliche Workstreams der Datenplattform die Reichweite der Plattform. Lakeflow Connect sorgt für eine sichere SaaS-Datenaufnahme im großen Stil und ersetzt fehleranfällige Konnektoren durch kontrollierte Pipelines, die Daten direkt in die Medallion-Architektur einspeisen. Eine Multi-Cloud-Plattform stellt sicher, dass Workloads über AWS, Azure und GCP hinweg portabel und sicher sind. Eine föderierte Analyseebene bietet jedem Geschäftsbereich, von den Finanzen über das Marketing bis hin zum Vertrieb, Self-Service-Zugriff auf kontrollierte Daten über Tools wie AI/BI Genie und Databricks Apps. Ein dedizierter Metric Store, der auf Unity Catalog Metric Views basiert, stellt sicher, dass Teams im gesamten Unternehmen eine einheitliche Definition für jede Kennzahl teilen. Die Einführung von Fortress war ein kultureller Wandel für das Unternehmen. „Vor Fortress fühlte sich die Beantragung von Datenzugriffen für die Benutzer wie eine Blackbox an“, sagt Yang. „Jetzt ist es ein transparenter Self-Service-Prozess, bei dem Richtlinien automatisch durchgesetzt werden, sodass sich die Engineers auf Innovationen konzentrieren können, anstatt Tickets manuell freizugeben.“
Agentenbasierte AI erfordert genau die Governance, die bereits aufgebaut wurde
Der Data Governance Score gab dem Data Platform-Team etwas, das es noch nie zuvor hatte: Echtzeit-Einblick darüber, welche Domänen compliant waren und welche Aufmerksamkeit erforderten. Jede der über 100.000 Tabellen wird nun kontinuierlich gescannt und erhält eine Vertrauensbewertung von 0 bis 100. Anstatt dass Compliance-Prüfungen Hektik auslösen, erkennt das Team Schwachstellen in Echtzeit und geht sie proaktiv an. Security- und Legal-Teams verbringen ihre Zeit mit der Risikovorbeugung, anstatt Excel-Tabellen hinterherzujagen.
Die weitreichenden Auswirkungen gehen über die Compliance hinaus. Vertrauenswürdige Daten beschleunigen jeden nachgelagerten Workstream. Wenn ein Team ein Modell trainieren möchte, prüft es den Governance Score und weiß sofort, ob die Daten den Anforderungen entsprechen – ohne manuelle Prüfung, ohne Warten auf Freigaben. Der Metric Store stellt sicher, dass bei Fragen der Unternehmensleitung zu Pipeline, Umsatz oder Nutzung die Antwort immer dieselbe ist, unabhängig davon, wer die Abfrage ausführt oder welches Tool verwendet wird.
Doch die wichtigste Transformation war die, die das Team nicht geplant hatte. Wong bringt es auf den Punkt: „Daten-Governance ist die Grundvoraussetzung für agentenbasierte AI.“ Ein Mensch wird niemals 100.000 Tabellen durchsuchen. Ein AI-Agent findet veraltete Daten, Tabellen mit zu vielen Berechtigungen oder unklassifizierte Datensätze, über die ein Mensch niemals stolpern würde. „Es ist derzeit wahrscheinlicher, dass eine AI schlechte Daten findet und eine Antwort basierend auf diesen schlechten Daten liefert, als dass sie tatsächlich halluziniert“, warnt Wong. Die Governance-Infrastruktur, die das Team über Jahre hinweg aufgebaut hat – vom Klassifizierungsmodell über den Data Governance Score bis hin zur Lineage-basierten Vertrauensweitergabe –, dient nun als Leitplanke für Agenten im gesamten Unternehmen.
Heute nutzt jeder Bereich bei Databricks – Engineering, Finanzen, Marketing, Vertrieb und sogar das Facility Management – Agenten, die auf diesem kontrollierten Fundament aufbauen. Die Menge der durch agentenbasierte AI generierten Daten wächst in einem Tempo, von dem Wong erwartet, dass es die von Menschen generierten Daten bald in den Schatten stellen wird. Da die Governance-Strukturen für Menschen im großen Stil konzipiert wurden, lassen sie sich direkt auf Agenten im großen Stil übertragen. Das Team, das die Governance von Grund auf neu aufgebaut hat, ist heute das Team, das die AI-Zukunft des Unternehmens ermöglicht.
