Neuerungen zu Databricks Unity Catalog auf dem Data + AI Summit 2025

Vor vier Jahren erkannte Databricks eine enorme Komplexität in der Datenlandschaft: separate Kataloge für jede Plattform, isolierte Governance-Tools über Clouds hinweg und keine einheitliche Möglichkeit, KI-Assets zu sichern. Wir leisteten Pionierarbeit im Bereich Unified Governance durch die Einführung von Unity Catalog, einer offenen, flexiblen Katalogebene zur Verwaltung von Zugriff, Lineage, Auditierung und Discovery über alle Daten- und KI-Assets hinweg.

Heute ist Unity Catalog die Grundlage der Databricks Data Intelligence Platform und die branchenweit einzige einheitliche Governance-Lösung für Daten und KI über Formate, Clouds und Engines hinweg. Von der offenen Datenfreigabe bis hin zur feingranularen Sicherheit und Knowledge Governance hilft Unity Catalog Unternehmen, Kontext, Kontrolle und Vertrauen in ihren Datenbestand zu bringen.

Auf dem diesjährigen Data + AI Summit kündigen wir wichtige Innovationen im gesamten Unity Catalog an, die den besten Katalog für Apache Iceberg™ liefern, neue Business-User-Experiences und intelligente Governance, um sensible Daten zu schützen und eine vertrauenswürdige Datenqualität in großem Maßstab zu gewährleisten.

Das ist neu.

Der beste Katalog für Apache Iceberg™

Unternehmen, die ein Lakehouse einführen, sind oft gezwungen, zwischen Delta Lake und Apache Iceberg™ zu wählen. Diese Wahl schafft künstliche Silos: Sie schränkt den Zugriff auf die Daten- und KI-Tools ein, die Teams verwenden können, fragmentiert die Governance und sperrt Metadaten in formatspezifische Kataloge ein.

Unity Catalog macht die Wahl überflüssig. Unity Catalog basiert auf offenen Standards und ist der einzige einheitliche Katalog, der nahtlos über Formate, Engines und Clouds hinweg funktioniert und somit die Grundlage des offenen Lakehouse bildet. Im vergangenen Jahr, nach der Übernahme von Tabular, haben wir umfassend in Apache Iceberg™ investiert, um diese Vision zu erweitern. Wir freuen uns, Folgendes bekannt zu geben:

• Volle Unterstützung für die Iceberg REST Catalog API, die es externen Engines ermöglicht, Unity Catalog-verwaltete Iceberg-Tabellen zu lesen (Allgemein verfügbar) und zu schreiben (Public Preview). Dies ist ein wichtiges Unterscheidungsmerkmal auf dem Markt, das Format-Lock-in eliminiert und eine vollständige Interoperabilität ermöglicht, die von keiner anderen Lösung erreicht wird. 
• Iceberg Managed Tables sind jetzt in Public Preview verfügbar und bieten erstklassige Preise und Leistung, Liquid Clustering, Predictive Optimization und die vollständige Integration mit Databricks und über externe Engines hinweg, einschließlich Trino, Snowflake und Amazon EMR.
• Iceberg Catalog Federation ist in Public Preview verfügbar und ermöglicht es Ihnen, Iceberg-Tabellen, die in AWS Glue, Hive Metastore und Snowflake Horizon verwaltet werden, zu verwalten und abzufragen, ohne Daten zu kopieren.
• Delta Sharing für Iceberg ist jetzt in Private Preview verfügbar, sodass Sie Unity Catalog-Tabellen und Delta-Tabellen mit jedem Empfänger über Delta Sharing freigeben und in jedem Client verwenden können, der die Iceberg REST Catalog API unterstützt.

Zusammen brechen diese Funktionen Format-Silos auf und heben Unity Catalog als einzigen Katalog hervor, der wirklich offene, einheitliche Governance und Interoperabilität bietet. Sehen Sie sich unseren Blog über Iceberg-Support an, um mehr über diese Ankündigungen zu erfahren. 

Unity Catalog für Business-User erweitern

Datenplattformen sollten nicht beim technischen Benutzer aufhören. Business-User benötigen eine klare, konsistente Möglichkeit, Daten zu finden, ihnen zu vertrauen und mit ihnen zu arbeiten. Unity Catalog bietet jetzt eine einheitliche Grundlage für den Geschäftskontext, um die Lücke zwischen Daten- und Business-Teams zu schließen. 

Unity Catalog Metrics: Eine semantische Ebene für alle Daten- und KI-Workloads

Inkonsistente Metrikdefinitionen über Tools und Teams hinweg haben lange Zeit zu Verwirrung, Fehlinterpretationen und einem Mangel an Vertrauen in Daten geführt. Unity Catalog Metrics, jetzt in Public Preview auf AWS, Azure und GCP und später in diesem Sommer allgemein verfügbar, löst dies, indem es Business-Metriken zu erstklassigen Assets im Lakehouse macht. Im Gegensatz zu Metriken, die nur in der BI-Schicht definiert sind, was die Wiederverwendung und Integration einschränkt, macht die Definition von Metriken auf der Datenebene die Geschäftssemantik über alle Workloads hinweg wiederverwendbar, wie z. B. Dashboards, KI-Modelle und Data-Engineering-Jobs. Unity Catalog Metrics sind auch vollständig über SQL adressierbar, um sicherzustellen, dass jeder in der Organisation die gleiche Sicht auf die Metriken hat, unabhängig davon, welches Tool er wählt.

• Einmal definieren, überall verwenden: Erstellen Sie Metriken einmal in Unity Catalog und verwenden Sie sie in KI/BI-Dashboards, Genie, Notebooks, SQL- und Lakeflow-Jobs. Zukünftige Integrationen werden die Unterstützung auf BI-Tools wie Tableau, Hex, Sigma, ThoughtSpot, Omni und Observability-Tools wie Anomalo und Monte Carlo ausweiten.
• Standardmäßig verwaltet und auditierbar: Zertifizierte Metriken werden standardmäßig mit Auditierung und Lineage geliefert, was vertrauenswürdige, konforme Einblicke über Teams hinweg ermöglicht.

"Unity Catalog Metrics bietet uns einen zentralen Ort, um Business-KPIs zu definieren und die Semantik über Teams hinweg zu standardisieren, um sicherzustellen, dass jeder mit den gleichen vertrauenswürdigen Definitionen über Dashboards, SQL und KI-Anwendungen hinweg arbeitet." — Richard Masters, Vice President, Data & AI, Virgin Atlantic

"Unity Catalog Metrics stellt eine aufregende Möglichkeit für Tableau-Kunden dar, den Wert der zentralisierten Governance mit Databricks Unity Catalog zu nutzen. Durch unsere tiefe Integration und die Erweiterung unserer Roadmap mit Databricks freuen wir uns, unseren Kunden die Reibungsverluste bei der Nutzung von Databricks zur Definition ihrer wichtigsten Business-Metriken zu nehmen." — Nicolas Brisoux, Sr. Director Product Management, Tableau

Neue kuratierte Discovery Experiences mit intelligenten Einblicken

Um Business-User vollständig zu unterstützen, müssen Sie vertrauenswürdige Daten leicht auffindbar, verständlich und nutzbar machen. Unity Catalog erweitert seine Business-Aware-Governance mit einer neuen Discover Experience, jetzt in Private Preview, einem kuratierten internen Marktplatz für zertifizierte Datenprodukte, die nach Business-Bereichen wie Vertrieb, Marketing oder Finanzen organisiert sind. 

KI-gestützte Empfehlungen und die Kuration durch Data Stewards helfen dabei, die hochwertigsten Assets wie Metriken, Dashboards, Tabellen, KI-Agenten und Genie-Spaces hervorzuheben, die mit Dokumentation, Eigentumsrechten und Nutzungseinblicken angereichert sind. Neue intelligente Signale heben Datenqualität, Nutzungsmuster, Beziehungen und Zertifizierungsstatus hervor und helfen Benutzern, Vertrauen und Relevanz schnell einzuschätzen. Darüber hinaus können Benutzer mit dem integrierten Databricks Assistant Fragen in natürlicher Sprache stellen und klare, kontextbezogene Antworten erhalten, die auf verwalteten Metriken basieren.

Wir führen auch neue intelligente Funktionen in Databricks ein, um die Daten-Discovery einfacher und intuitiver zu gestalten, wo immer Benutzer in der Plattform arbeiten. Diese Funktionen werden von Unity Catalog unterstützt und helfen Teams, vertrauenswürdige Daten schneller zu finden und ihren Kontext auf einen Blick zu verstehen.

• Domains (Demnächst verfügbar): Organisieren Sie Daten nach Geschäftsbereich, um die Discovery an den Abläufen des Unternehmens auszurichten.
• Zertifizierungen und Veraltungs-Tags (Beta): Signalisieren Sie Datensicherheit und Business-Relevanz über Datensätze, Metriken und Dashboards hinweg. Gekennzeichnete Assets zeigen ihren Status gut sichtbar in Authoring-Oberflächen wie dem SQL-Editor an, wodurch die Datenqualitätssignale während des gesamten Benutzer-Workflows sichtbar bleiben. Zertifizierungen und Veraltungs-Tags sind als Teil von Tag Policies Beta verfügbar. 
• Request for Access (Private Preview): Um die Bereitstellung zu optimieren, können Benutzer sofort Datenzugriff direkt auf das Asset anfordern.

Zusätzliche erweiterte Governance-Funktionen sind jetzt verfügbar 

High-Leverage-Governance mit skalierbaren, attributgesteuerten Kontrollen

Die Skalierung der Data Governance wird mit dem Wachstum von Unternehmen immer schwieriger, da mehr Benutzer, Teams und Daten-Assets zu verwalten sind. Statische Richtlinien und manuelle Kontrollen können nicht mithalten, was zu Governance-Lücken, Sicherheitsrisiken und operativen Engpässen führt. 

Um diese Herausforderungen zu bewältigen, bietet Unity Catalog jetzt intelligente Automatisierung und flexible, skalierbare Kontrollen, um sensible Daten zu klassifizieren, Richtlinien konsistent durchzusetzen und den sicheren Datenzugriff im gesamten Lakehouse zu beschleunigen. 

• Attributbasierte Zugriffssteuerung (ABAC): Definieren Sie flexible Zugriffsrichtlinien mithilfe von Tags, die auf Katalog-, Schema- oder Tabellenebene angewendet werden können. ABAC ist in Beta verfügbar für Row- und Column-Level-Security auf AWS, Azure und GCP. 

• Tag Policies: Tag Policies erzwingen eine Governance-Schicht für die Erstellung, Zuweisung und Verwendung von Tags in Databricks. Diese Richtlinien auf Kontoebene stellen sicher, dass Tags konsistent und vertrauenswürdig bleiben und alles von der Datenklassifizierung bis zur Kostenzuordnung unterstützen. Tag Policies sind in Beta verfügbar auf AWS, Azure und GCP. 

• Data Classification: Erkennen und taggen Sie auf intelligente Weise sensible Daten im gesamten Unity Catalog. Neue Daten werden innerhalb von 24 Stunden gescannt, um automatisch neue PII zu erkennen, den manuellen Aufwand zu minimieren und es Teams zu ermöglichen, den Überblick über den Datenzugriff zu behalten. In Kombination mit ABAC schützt Data Classification sensible Daten automatisch basierend auf Ihren Zugriffskontrollrichtlinien. Data Classification ist in Beta verfügbar auf AWS, Azure und GCP. 

„Die Implementierung von Column Masking über mehr als 5.000 Tabellen hinweg war früher ein enormer manueller Aufwand. Mit ABAC können wir konsistente Richtlinien dynamisch anwenden, wodurch sowohl die Geschwindigkeit als auch die Governance drastisch verbessert werden.“ — Ramesh Balasubramanyan, Databricks Admin, SAIF

„Databricks Data Classification hat unsere Data-Privacy- und Security-Strategie grundlegend verändert. In Kombination mit ABAC ermöglicht es uns, sensible Daten automatisch zu sichern, ohne die Daten einzuschränken, die unsere Analysten benötigen. Der größte Vorteil war die Geschwindigkeit, da die automatisierte Klassifizierung und Maskierung den manuellen Aufwand erheblich reduziert, unsere Ressourcen freisetzt und unserem Team jede Woche unzählige Stunden spart.“ — Mary Tesfay, Data & Analytics Lead, Corp IT, Navitas

Automatisierte Datenqualitätsüberwachung im großen Maßstab

Unity Catalog erkennt jetzt auf intelligente Weise Datenqualitätsprobleme in allen Ihren Tabellen und hilft bei deren Behebung mit der Datenqualitätsüberwachung, verfügbar in Beta auf AWS, Azure und GCP. Die Datenqualitätsüberwachung prüft die Aktualität—wie kürzlich Daten aktualisiert wurden—und die Vollständigkeit—ob die Datenmengen wie erwartet sind—mithilfe von Data Intelligence über gesamte Schemas hinweg. Die Konsumenten sind in der Lage, den Zustand der Daten auf einen Blick mit Gesundheitsindikatoren zu verstehen, während die Dateneigentümer die Priorität von Problemen basierend auf der Downstream-Lineage verstehen, die Ursache aufdecken und Warnungen mithilfe von integriertem Logging und Dashboards einstellen können. 

Starten Sie mit Unity Catalog, der Grundlage von Data Intelligence

Unity Catalog entwickelt sich ständig weiter und ist die branchenweit einzige einheitliche Governance-Schicht, die Grundlage für sichere, intelligente und Business-Aware-Datenplattformen. Egal, ob Sie KI-Agenten erstellen, BI-Dashboards bereitstellen oder Daten über Organisationen hinweg austauschen, Unity Catalog verbindet alles über einen einzigen, offenen Katalog.

Um loszulegen, folgen Sie den Unity Catalog-Anleitungen für AWS, Azure und GCP. 

Sehen Sie sich die Keynote des Data + AI Summit 2025 von Matei Zaharia, Mitbegründer und Chief Technology Officer von Databricks, an, um mehr über diese aktuellen Ankündigungen zu erfahren. 

Registrieren Sie sich für den Data + AI Summit und erkunden Sie den Data- und KI-Governance-Track

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag