Ankündigung der allgemeinen Verfügbarkeit und des Open-Sourcing von Unity Catalog Business Semantics

Da Daten und KI für jedes Unternehmen zentral werden, ist ein einheitliches Verständnis von Geschäftskonzepten unerlässlich. Analysten, Ingenieure, Führungskräfte und jetzt auch KI-Agenten interpretieren oft dieselben Daten unterschiedlich, was zu Metrik-Drift, widersprüchlichen Berichten und schwindendem Vertrauen führt.

Jahrelang lebten diese Geschäftskonzepte in BI-Tools und Dashboards. Im Zeitalter der agentenbasierten KI, in der Agenten Daten analysieren und autonom handeln, schaffen fragmentierte Definitionen nicht nur Verwirrung, sondern skalieren sie auch. Unternehmen benötigen ein einheitliches semantisches Fundament, das im Kern der Daten- und KI-Plattform definiert, einmal verwaltet und überall angewendet wird. Und es muss offen sein. Geschäftssantimente definieren, wie Organisationen Umsatz, Wachstum, Kundenwert und Risiko messen. Diese Definitionen sind strategische Vermögenswerte, die nicht in proprietären Systemen eingesperrt oder auf eine einzige Anwendungsebene beschränkt werden können.

Heute ändern wir dies mit der General Availability von Unity Catalog Business Semantics, einem einheitlichen und offenen semantischen Fundament, das konsistenten, vertrauenswürdigen Kontext über BI-Dashboards, Entwickler-Workflows und KI-Agenten hinweg liefert. Um dieses Fundament wirklich portabel zu machen, Open-Source wir auch seine Kernimplementierung in Apache Spark, mit Unterstützung in Unity Catalog OSS v0.5 bald.

Warum traditionelle Ansätze für Geschäftssantimente scheitern

Kunden verwenden seit langem BI-Tool-spezifische semantische Ebenen, die Konsistenz innerhalb dieses Tools bieten, aber dieser Ansatz hat Einschränkungen:

• Proprietär und fragmentiert: In einer Welt mit mehreren Tools und mehreren Agenten spricht jedes BI-Modell seine eigene Sprache. Infolgedessen sind Definitionen in Dashboards, Modellen und Tabellenkalkulationen eingeschlossen, was die Verwaltung, Durchsetzung von Zugriffsrichtlinien oder die Nachverfolgung der Herkunft (Lineage) in der gesamten Organisation nahezu unmöglich macht.
• Definitionen zu weit stromabwärts: Da diese Ebenen auf der Präsentationsebene und nicht auf dem Datenfundament liegen, definieren Teams wiederholt dieselben Metriken für verschiedene Dashboards und Berichte neu. Dieser stromabwärts gerichtete Ansatz macht Semantik brüchig, inkonsistent und schwer skalierbar.
• Unflexibel für KI: Traditionelle Ebenen basieren auf schwerfälliger, vorgefertigter Modellierung, die nicht mit sich schnell ändernden Geschäftsfragen oder den offenen Aufforderungen von KI-Agenten Schritt halten kann. Jede Änderung erfordert Experteneingriffe, verlangsamt die Reaktion und untergräbt das Vertrauen.

Diese Einschränkungen haben Daten- und KI-Teams lange frustriert. In der heutigen KI-gesteuerten Landschaft, in der Agilität und vertrauenswürdige Antworten nicht verhandelbar sind, sind sie zu einer kritischen Barriere für den Fortschritt geworden.

Unity Catalog Business Semantics: Ein einheitlicher und offener Ansatz für Geschäftssantimente

Unity Catalog Business Semantics stellt eine grundlegende Veränderung dar, da Semantiken jetzt im Kern der Databricks Data Intelligence Platform vereinheitlicht und verwaltet werden. Direkt in Unity Catalog integriert, erweitern sie die gleiche Governance, Sicherheit und Lineage, auf die Sie sich bereits verlassen, und machen diese Definitionen überall verfügbar, wo Sie arbeiten.

Dieser Ansatz bietet drei Hauptvorteile:

1. Offen und wiederverwendbar: Zugänglich über SQL und APIs, können Geschäftssantimente über Dashboards, Notebooks, Anwendungen und KI-Agenten hinweg abgefragt werden. Gespeichert in einem offenen Format, sind sie vollständig portabel und nicht auf proprietäre Tools beschränkt.
2. Im Kern verwaltet: Erbt die gleichen Governance-Richtlinien wie die zugrunde liegenden Daten. Dieser Upstream-Ansatz gewährleistet konsistente Nutzung, Governance, Lineage und Zugriffskontrolle, um eine einzige Quelle der Wahrheit sowohl für Daten als auch für Geschäftssinn zu bieten.
3. Für KI entwickelt: Reiche semantische Metadaten liefern den Kontext, den Agenten benötigen, um neue Fragen genau zu beantworten und sich anzupassen, wenn sich Geschäftskonzepte weiterentwickeln, ohne aufwändige Vorabmodellierung.

Metric Views halfen uns, unsere Metriken zu standardisieren und den geschäftlichen Aufwand für die Abstimmung von Zahlen drastisch zu reduzieren. Abfragen sind deutlich schneller, in einigen Fällen bis zu 10x, Dashboards sind einfacher zu erstellen, und wir haben dank konsistenterer, vorab aggregierter Daten aussagekräftige Verbesserungen bei der Genauigkeit von Genie erzielt. — Pedro Alves, Data Manager, Tech Growth, iFood

Unity Catalog Business Semantics bietet eine spannende Möglichkeit, Konsistenz, Vertrauen und Kontrolle bei der Definition und Nutzung von Geschäftskennzahlen bei Zalando zu etablieren. Es ist ein vielversprechender Beitrag zu abgestimmten, datengesteuerten Entscheidungen über unsere BI-Dashboards, Notebooks und anderen Tools hinweg. — Timur Yüre, Engineering Manager, Zalando

Open-Source-Fundament für Geschäftssantimente

Eines der Hauptziele von Unity Catalog Business Semantics ist es, sicherzustellen, dass Kunden Geschäftssinn auf eine Weise definieren können, die offen, portabel und für die Zusammenarbeit mit ihrem bestehenden Ökosystem konzipiert ist, ohne Lock-in. Semantische Definitionen sollten sich nahtlos in BI-Tools, SQL-Workloads und KI-Agenten integrieren und dauerhaft bleiben, wenn sich Plattformen und Nutzungsmuster weiterentwickeln.

Um dies zu erreichen, Open-Source wir die Kernimplementierung von Metric View in Apache Spark OSS, die auf die kommende Apache Spark-Version abzielt (Sie können den Fortschritt in SPARK-54119 verfolgen), mit Unterstützung in Unity Catalog OSS v0.5 bald. Dies ermöglicht es Kunden, Geschäftssantimente mithilfe von Standard-SQL in offenen Systemen zu definieren, die am Datenfundament verwaltet werden, anstatt in nachgelagerten Tools eingebettet zu sein, und konsistent über Analyse- und KI-Oberflächen hinweg wiederzuverwenden.

Databricks unterstützt auch breitere Branchenbemühungen zur Verbesserung der Interoperabilität rund um Geschäftssantimente. Das Unternehmen ist der Open Semantic Interchange (OSI) Initiative beigetreten und trägt aktiv dazu bei. Wir betrachten Initiativen wie OSI als wichtigen Schritt zur Ausrichtung des Ökosystems und werden entsprechend beitragen, während wir uns weiterhin auf den Aufbau eines offenen, verwalteten semantischen Fundaments konzentrieren, dem Kunden im großen Maßstab vertrauen können.

Das Neue in der GA-Version

Metric Views: Vertrauenswürdige, konsistente KPIs

Im Mittelpunkt dieser GA-Version stehen Metric Views, die vertrauenswürdige, konsistente Definitionen von Geschäftskennzahlen mit semantischen Metadaten wie Anzeigenamen, Formaten und Synonymen festlegen, die sowohl Menschen als auch KI helfen, diese Definitionen mit Zuversicht zu interpretieren und anzuwenden. Mit Metric Views können Sie Datenzuordnungen, Kennzahlen und Dimensionen zentral in SQL definieren und sie direkt in Unity Catalog verwalten. Definitionen werden dann über alle Oberflächen hinweg portabel: KI/BI-Dashboards, Genie, Notebooks, SQL-Anwendungen und Drittanbieter-Tools, die mit Databricks verbunden sind. Da jede Metrik deklarativ definiert ist, kompiliert und führt die Engine die zugrunde liegende SQL zur Abfragezeit deterministisch aus, um sicherzustellen, dass jeder Verbraucher, ob Mensch oder KI-Agent, dasselbe Ergebnis aus derselben Definition erhält, unabhängig davon, wie oder wo er darauf zugreift.

Was ist neu:

Materialisierung für Abfrageleistung: Unity Catalog Business Semantics kombiniert verwaltete Definitionen mit Leistung im großen Maßstab durch Materialisierungen. Anstatt Teams zu zwingen, zu entscheiden, welche Aggregationstabelle verwendet werden soll, Logik für verschiedene Leistungsebenen zu duplizieren oder separate Pipelines für verschiedene Workloads zu erstellen, kümmert sich die semantische Ebene automatisch um die Leistung. Hier ist, wie:

• Automatische Voraggregation: Wenn Sie Materialisierungen für eine Metrik definieren, verwaltet die Plattform optimierte, voraggregierte Ergebnisse ohne manuelles Eingreifen
• Inkrementelle Aktualisierung: Materialisierte Ergebnisse bleiben durch inkrementelle Updates aktuell, sodass Metriken nie veralten und eine vollständige Neuberechnung selten erforderlich ist
• Intelligente Abfrage-Rewriting: Zur Abfragezeit schreibt die Engine Abfragen um, um die beste verfügbare Materialisierung zu nutzen
• Transparente Weiterleitung: Benutzer fragen Metriken genauso ab wie immer, während das System jede Anfrage im Hintergrund an den schnellsten Pfad weiterleitet

Die Materialisierung ist in der Vorschau verfügbar. Weitere Informationen finden Sie in der Dokumentation (AWS, Azure, GCP).

Erstellung mit neuer Benutzeroberfläche und agentenbasierter KI: Jetzt können Sie in der Public Preview Metric Views über eine neue Point-and-Click-Benutzeroberfläche im Unity Catalog Explorer erstellen und verwalten. Dies macht semantische Modellierung sowohl für technische als auch für nicht-technische Benutzer zugänglich, ohne dass komplexe SQL-Kenntnisse oder tiefgreifende Kenntnisse im Datenmodellierungs-Know-how erforderlich sind. Die Benutzeroberfläche ermöglicht es Ihnen, Beziehungen zwischen Tabellen visuell zu definieren, Metriken inline darzustellen und alles End-to-End zu testen, bevor Sie es veröffentlichen – alles, ohne den Browser zu verlassen. Weitere Informationen zur Benutzeroberflächen-basierten Erstellung finden Sie in der Dokumentation (AWS, Azure, GCP).

Genie Code beschleunigt den Erstellungsprozess weiter, indem agentenbasierte KI direkt in den Erstellungsworkflow integriert wird. Anstatt von einer leeren Seite aus zu beginnen, kann Genie Code:

• Semantische Modelle schneller erstellen: Schlagen Sie Maße, Dimensionen, Synonyme und Dokumentationen vor, damit Teams in Minuten statt in Wochen beginnen können
• Verfeinern und refaktorisieren: Identifizieren Sie Probleme in bestehenden Definitionen und empfehlen Sie Verbesserungen, wenn sich die Geschäftslogik weiterentwickelt
• Änderungen validieren: Testen Sie vorgeschlagene Bearbeitungen anhand von Echtzeitdaten, damit Sie Fehler erkennen können, bevor sie sich ausbreiten
• Granulare Änderungsverwaltung ermöglichen: Überprüfen und genehmigen Sie einzelne Metrikänderungen mit vollständiger Transparenz darüber, was sich geändert hat und warum


Metric Views gehen über die Definition von KPIs hinaus. Jede Metrikansicht enthält reichhaltige semantische Metadaten, Anzeigenamen, Formate und Synonyme, die sie sowohl für Menschen als auch für KI verständlich und nutzbar machen. Dies gewährleistet eine konsistente Darstellung über Dashboards und Konversations-UIs hinweg und hilft der KI, Geschäftsbegriffe und natürlichsprachliche Abfragen korrekt zu interpretieren.

Wie Geschäftssemantik Databricks KI/BI antreibt

Mit dieser GA-Version sind KI/BI-Dashboards und Genie jetzt vollständig in die Unity Catalog Business Semantics integriert. In der Praxis ergeben sich daraus drei Hauptvorteile:

In der Praxis ergeben sich daraus drei Hauptvorteile:

1. KI/BI-Dashboards, die von verwalteten Metriken angetrieben werden: Sie können jetzt Dashboards direkt auf Metric Views in Unity Catalog erstellen. Jede Visualisierung, jeder Filter, jedes Drill-through und jeder Vergleich verwendet denselben zertifizierten Satz von Maßen und Dimensionen, was konsistente Zahlen über Teams und Tools hinweg gewährleistet.
2. Genie, das in Ihrer Geschäftssprache verankert ist: Genie-Bereiche können direkt über Metric Views erstellt werden, was bedeutet, dass jede natürlichsprachliche Abfrage, die Genie beantwortet, auf verwalteten, deterministischen Definitionen basiert und nicht auf abgeleiteten Logiken. Da Metric Views zur Laufzeit in logische Abfragen kompiliert werden, erhalten Benutzer immer korrekte und konsistente Ergebnisse. Genie halluziniert keine Metriken mehr; es löst sie aus einer einzigen Quelle der Wahrheit.
3. Dashboard-Logik in Ihre semantische Ebene übertragen: Beim Erstellen eines neuen KI/BI-Dashboards ohne eine vorhandene Metrikansicht können jetzt alle Tabellenverknüpfungen, Filter oder berechneten Felder, die Sie erstellen, mit einer einzigen Aktion in eine neue Metrikansicht in Unity Catalog übertragen werden. Sie wird sofort Teil der semantischen Ebene Ihrer Organisation und ist über Genie, SQL, Notebooks und externe BI-Tools verfügbar. Darüber hinaus profitiert Ihr Dashboard automatisch von der Materialisierung von Metrikansichten, was die Leistung der zugrunde liegenden Abfragen erheblich verbessert.

Erweitern Sie Ihre Semantik auf Ihre Lieblingstools

Eine starke semantische Grundlage wird noch wertvoller, wenn sie über eine einzelne Plattform hinausgeht. Deshalb arbeiten wir eng mit einem reichen Ökosystem von Technologiepartnern zusammen, die sich direkt in die Unity Catalog Business Semantics integrieren.



• Tableau: Tableau plant, die Unterstützung für delegierte Semantiken von externen Metrikanbietern, einschließlich Databricks Unity Catalog Business Semantics, in sein Beziehungsdatenmodell zu integrieren. Dies wird sicherstellen, dass Analysten darauf vertrauen können, dass Metriken konsistent definiert und genau von der zugrunde liegenden semantischen Ebene aggregiert werden. Die Integration wird für Ende 2026 erwartet.

  Tableau freut sich, Unity Catalog Business Semantics in unser Beziehungsdatenmodell zu integrieren, wodurch Analysten und Organisationen Metriken und Metadaten einmal definieren können und Tableau automatisch die richtigen Semantiken für konsistente, vertrauenswürdige Erkenntnisse anwendet. — Nicolas Brisoux, Sr. Director Product Management, Tableau

• Sigma Computing: Sigma integriert sich direkt mit Databricks Unity Catalog Business Semantics, indem es Metric Views in Echtzeit abfragt und so sicherstellt, dass die aktuellsten Definitionen sofort ohne Datenverschiebung übernommen werden. Diese Architektur ermöglicht es Sigma, als transparente Erweiterung Ihres Lakehouse zu fungieren und bei der Ausführung strikt die Sicherheits- und Governance-Protokolle von Unity Catalog zu übernehmen.

  Bei Sigma arbeiten wir intensiv daran, uns in Unity Catalog Business Semantics zu integrieren, da dies unseren Kunden ermöglicht, Sigmas tabellenkalkulationsähnliche Erfahrung mit verwalteten Geschäftsdefinitionen zu kombinieren und schnelle, konsistente und vertrauenswürdige Analysen für alle zu gewährleisten. — Jordan Stein, Product Manager, Sigma

• ThoughtSpot: Im Laufe dieses Jahres wird ThoughtSpot native Unterstützung für Unity Catalog Metric Views hinzufügen, sodass Spotter-Benutzer verwaltete Databricks-Metriken sofort in natürlicher Sprache abfragen können. Dies eliminiert benutzerdefiniertes SQL und bietet Unternehmen einen flexiblen, genauen und schnellen Zugriff auf vertrauenswürdige Geschäftsmetriken in ihrem gesamten Datenstapel.

  ThoughtSpot freut sich, unsere Partnerschaft mit Databricks durch Unity Catalog Business Semantics zu vertiefen und unseren Kunden mehr Flexibilität zu bieten, wie und wo sie ihre Geschäftssemantik verwalten. — Francois Lopitaux, SVP of Product, ThoughtSpot

• Hex: Unity Catalog Metric Views sind jetzt vollständig in Hex integriert. Benutzer können Metric Views direkt von ihren Databricks-Verbindungen aus durchsuchen, sie mit SQL in Hex-Notebooks abfragen und Daten-Apps erstellen, die auf gesteuerten Definitionen basieren. Dies erleichtert den Übergang von der Exploration zu Produktions-Apps, ohne Metriken neu definieren zu müssen.

Mit Databricks Unity Catalog Metric Views in Hex arbeiten Teams mit vertrauenswürdigen, gesteuerten Metriken – das reduziert Inkonsistenzen und beschleunigt die Gewinnung zuverlässiger Erkenntnisse. — Armin Efendic, Partner Engineer, Hex

• Omni: Mit Omni können Teams Metric Views analysieren über vertraute Oberflächen wie Tabellenkalkulationen, SQL oder KI-gestützte Chats.  Omni ermöglicht es auch Business-Anwendern, neue Metriken und Dimensionen zu definieren, während sie Daten erkunden, und diese Aktualisierungen dann per API zurück an Unity Catalog zu senden. Dies schafft eine einzige Quelle der Wahrheit in Unity Catalog, während Business-Experten direkt zum semantischen Modell der Organisation beitragen können. Dies ermöglicht es sowohl Datenteams als auch Business-Experten, direkt zum semantischen Modell beizutragen.

  Die Verankerung von KI im Geschäftskontext ist der einzige Weg, sie zuverlässig zu machen. Unsere Integration mit Unity Catalog Metrics Views bringt gesteuerte Definitionen in jede Schnittstelle – KI, Tabellenkalkulationen, Dashboards und SQL. Mit der Zwei-Wege-Synchronisierung zwischen Omni und Databricks können Teams Metriken in beiden Systemen definieren und aktualisieren, während alles synchron bleibt. Diese Konsistenz hilft Kunden, Self-Service zu skalieren, die KI-Adaption zu beschleunigen und vertrauenswürdige kundenorientierte Datenprodukte zu entwickeln. — Jamie Davidson, Co-founder, Omni

• Atlan: Atlans native Integration mit UC Metrics bringt Ihre kritischsten Metriken direkt in den Atlan Context Graph und verknüpft sie mit Lineage, Eigentümern und Geschäftsdefinitionen, ohne zusätzlichen Berechtigungsaufwand. Dies gibt Teams eine einzige, vertrauenswürdige Ansicht von Metriken im Arbeitsablauf und ermöglicht schnellere Fehlerbehebung, bessere Entscheidungsfindung und KI-fähige Daten in großem Maßstab.

  Metriken sind der Puls jeder Data & AI-Plattform eines Unternehmens. Indem wir UC Metrics in den Atlan Context Graph integrieren – mit Lineage, Geschäftskontext und null zusätzlichen Berechtigungen – erhalten unsere Kunden operative Einblicke, die zuvor unerreichbar waren. Dies ist ein bedeutender Schritt in Richtung KI-fähiger Daten in großem Maßstab. — Chandru, Product Leader, Atlan

• Monte Carlo: Monte Carlo unterstützt jetzt Metric Views in Unity Catalog und bietet Ihnen End-to-End-Observability über Ihre standardisierten Geschäftsmetriken und die Pipelines, die sie antreiben

  Zuverlässige Daten und KI beginnen mit gesteuerten Geschäftsmetriken. Unity Catalog Metrics erleichtert die Standardisierung von KPIs in großem Maßstab, und mit Monte Carlo können Datenleiter diesen Erkenntnissen vertrauen, um reale Geschäftsauswirkungen zu erzielen. — Lior Gavish, Co-founder und CTO, Monte Carlo

• Collibra: Collibra bietet vertrauenswürdige Transparenz für Ihre Databricks-Metriken, sodass sowohl Menschen als auch KI-Agenten sie leicht entdecken und für Geschäftsentscheidungen nutzen können. Die verbesserte Integration verbessert die Metrikvisualisierung, ermöglicht den direkten Fluss von Collibra-genehmigten Metriken in Databricks und fügt eine bidirektionale Synchronisierung hinzu, um konsistente, zuverlässige Metriken über Ihr Daten-Estate hinweg zu gewährleisten.

  Gesteuerte, konsistente Metriken sind erforderlich, damit KI-Agenten und Datennutzer Workflows verstehen, vertrauen und automatisieren können. Unsere gemeinsamen Kunden wünschen sich weiterhin eine enge Zusammenarbeit zwischen Databricks und Collibra. — Tom Dejonghe, VP, Product Management, Data Governance, Collibra

• Domo: Integriert sich jetzt mit Unity Catalog Metric Views und ermöglicht den direkten Fluss von gesteuerten Databricks-Metriken in Domos Dashboards, Analysen und KI-gestützte Workflows. Dies reduziert Duplizierung, stärkt die Governance und beschleunigt die Time-to-Insight bei vertrauenswürdigen KPIs.

  Die Integration von Databricks' gesteuerten Metriken mit Domo hilft Kunden, Duplizierung zu reduzieren, Governance zu verbessern und Einblicke in vertrauenswürdige KPIs zu beschleunigen. — Matthew Payne, VP Engineering, Domo

• Anomalo: Anomalo tritt als Launch-Partner für Unity Catalog Governed Metrics bei und kombiniert die einheitliche semantische Ebene von Databricks mit der automatisierten Metriküberwachung von Anomalo. Diese Integration hilft Unternehmen, Drift und Datenqualitätsprobleme frühzeitig zu erkennen und genaue, vertrauenswürdige Metriken für kritische Entscheidungen zu gewährleisten.

  Durch die Kombination der einheitlichen semantischen Ebene von Databricks mit der Metriküberwachung von Anomalo helfen wir Kunden, Drift frühzeitig zu erkennen und ihre Metriken in großem Maßstab genau und vertrauenswürdig zu halten. — Amy Reams, Vice President of Business Development and Marketing, Anomalo

Zusammen sorgen diese und kommende Integrationen dafür, dass konsistente, gesteuerte Semantiken im breiteren Analytics- und KI-Ökosystem fließen und weit über Databricks hinausreichen.

Erste Schritte mit Unity Catalog Business Semantics

Wir freuen uns sehr über diese Einführung. Da Semantik jetzt ein Kernbestandteil Ihrer Datenplattform ist, fließt der Unternehmenskontext überall hin, von Dashboards und KI-Agenten bis hin zu Notebooks und externen BI-Tools, wodurch Metrik-Silos, Vendor Lock-in und Inkonsistenzen zwischen Tools beseitigt werden. Auf einer offenen Grundlage aufgebaut, funktioniert Ihre semantische Ebene überall dort, wo Ihre Daten sind.
Erkunden Sie die  Dokumentation  (AWS, Azure,  GCP) für eine detaillierte Anleitung, wie Sie mit der Definition von Business Semantics, der Steuerung von Berechtigungen und verschiedenen Nutzungsmethoden beginnen können. 
Entdecken Sie Produktdemos, um Business Semantics in Aktion mit KI/BI-Dashboards und Genie-Spaces zu sehen

• Unity Catalog Metric Views Übersicht
• Metric Views in KI/BI anzeigen
• Metric Views aus einem SQL-Editor abfragen

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag