Einheitliches Data Discovery mit Geschäftskontext in Unity Catalog

Data Discovery basiert auf dem Geschäftskontext

Mit dem Wachstum der Datenbestände stehen viele Unternehmen vor einer grundlegenden Herausforderung: Menschen dabei zu helfen, die richtigen Daten zu finden und zu entscheiden, ob sie diese verwenden sollen. Teams kommen nicht weiter, weil sie grundlegende Fragen nicht zuverlässig beantworten können: Gibt es diese Daten? Wo befinden sie sich? Welche Daten sollte ich verwenden? Was bedeuten sie? Sind sie vertrauenswürdig? Und wie erhalte ich Zugriff?

In der Praxis ist die Discovery fragmentiert. Daten sind nach Quellen und Produktionssystemen geordnet, während die geschäftliche Bedeutung an anderer Stelle zu finden ist, z. B. in Dashboards, Dokumenten, Wikis oder im institutionellen Wissen. Vertrauenssignale und Zugriffs-Workflows sind oft von den Orten getrennt, an denen Personen tatsächlich nach Daten suchen.

Wenn bei der Ermittlung der Geschäftskontext fehlt, verschwenden Benutzer Zeit mit der Suche oder mit doppelter Arbeit, Stewards werden zu Engpässen und die Akzeptanz stagniert, selbst wenn die richtigen Daten bereits vorhanden sind.

Ein einheitliches und intelligentes Sucherlebnis für alle Daten- und KI-Assets

Databricks stellt heute eine neue Discover-Experience vor, die jetzt als Betaversion direkt in den Unity Catalog integriert ist. Die Discover-Seite ersetzt die fragmentierte, toolspezifische Suche durch eine zentrale, kuratierte Möglichkeit, Daten-, Analyse- und KI-Assets zu finden und zu verstehen. Anstatt toolsübergreifend zu suchen oder zu raten, welches Dataset verwendet werden soll, können Benutzer relevante und vertrauenswürdige Assets an einem Ort finden.

Unity Catalog ermöglicht auf die Ermittlung angewendete Data Intelligence, wobei:

• Die geschäftliche Bedeutung ist direkt in den Katalog eingebettet durch Domänen (geschäftsorientierte Gruppierungen von Assets (Vermögenswerte)) und verwaltete Metadaten, sodass Benutzer verstehen, was die Daten darstellen, und nicht nur, wo sie sich befinden.
• Zertifizierungen und Deprecationen machen Vertrauens- und Qualitätssignale kenntlich, die neben den Assets angezeigt werden und Teams dabei helfen, sich auf die wichtigsten Daten zu konzentrieren
• Plattformnative Data Intelligence nutzt Signale wie Nutzung, Herkunft und Eigentümerschaft, um Kontext darüber zu liefern, wie Assets verwendet werden und wer für sie verantwortlich ist
• Integrierte Workflows für Zugriffsanfragen ermöglichen es Benutzern, von der Discovery zur Aktion überzugehen, ohne die Anwendung verlassen zu müssen.

Die Discover-Seite umfasst Ihr gesamtes Lakehouse – von strukturierten und unstrukturierten Daten bis hin zu Dashboards, Metriken, Notebooks, Anwendungen und KI-Assets (Vermögenswerte) wie Genie Spaces. All dies wird über eine einzige, gesteuerte Benutzeroberfläche zugänglich gemacht.

Domänen: Organisation der Ermittlung entsprechend der Funktionsweise des Unternehmens

Domänen, jetzt in der Beta-Version, bilden die Grundlage für eine auf das Geschäft ausgerichtete Ermittlung.

Anstatt Assets in starre technische Hierarchien zu zwingen, organisieren Domänen Daten- und Analyse-Assets nach Geschäftsbereich oder Anwendungsfall, wie z. B. Finanzen, Marketing oder Kundentelemetrie. Wichtig ist, dass Assets in mehreren Domänen erscheinen können. Dadurch entfallen die Nachteile herkömmlicher Ordnerstrukturen, bei denen Teams entscheiden müssen, zu welcher einzelnen Hierarchie ein Asset (Vermögenswert) gehört.

Domänen kombinieren Metadaten-Intelligenz mit menschlicher Steuerung:

• Beliebte und häufig genutzte Assets werden automatisch angezeigt
• Stewards können hochpriore oder neu veröffentlichte Assets pinnen, um sicherzustellen, dass die wichtigsten Datasets und Dashboards leicht zu finden sind
• Assets können ohne Duplizierung über mehrere Domänen hinweg kuratiert werden

Domänen ermöglichen es Stewards außerdem:

• Relevante Assets über Daten und Analytics hinweg kuratieren
• Passen Sie das Browsing-Erlebnis auf jeder Domain-Seite an.
• Fügen Sie aussagekräftige Beschreibungen hinzu und benennen Sie sowohl technische als auch geschäftliche Verantwortliche.

Für Benutzer bedeutet dies, dass die Ermittlung intuitiv und auf ihre Arbeit abgestimmt ist. Für Organisationen bedeutet dies, dass der Geschäftskontext flexibel im Katalog abgebildet wird, ohne starre Hierarchien zu erzwingen.

KI-Signale, gesteuert durch menschliches Fachwissen mit intelligenter Kuratierung

Unsere „Discover“-Seite baut auf den bestehenden Funktionen des Unity Catalog auf und kombiniert KI-gestützte Signale wie Nutzung und Popularität mit menschlicher Kuratierung durch Zertifizierungen und Deprecation-Tagging.

Zertifizierungen sind klare Vertrauenssignale, die Nutzern dabei helfen, schnell zu erkennen, welche Assets empfohlene und genehmigte Quellen der Wahrheit sind. KI-gestützte Empfehlungen helfen dann dabei, relevante, hochwertige Assets sichtbar zu machen, ohne die Benutzer zu überfordern.

Die Discover-Seite ermöglicht es Stewards außerdem, benutzerdefinierte Abschnitte zu erstellen, um Key-Assets auf der Discover-Seite und auf einzelnen Domänenseiten hervorzuheben. Dies kann Benutzer, die mit der Datenlandschaft des Unternehmens nicht vertraut sind, zu den richtigen Daten und Erkenntnissen führen. 

Vertrauen und Zugriff direkt in die Discovery integriert

Die Ermittlung funktioniert nur dann, wenn Benutzer die gefundenen Daten auch nutzen können. Die Ermittlungsseite basiert auf dem Berechtigungsmodell von Unity Catalog, sodass Unternehmen über Durchsuchen einen breiten Zugriff auf Metadaten gewähren und gleichzeitig die Zugriffskontrollen für die Abfrage der zugrunde liegenden Daten durchsetzen können. Benutzer können den Zweck, die Qualität und die Eigentümerschaft eines Assets verstehen und dann direkt Zugriff anfordern, wenn sie bereit sind, es zu verwenden.

Durch das Einbetten von Zugriffsworkflows in den Discovery-Vorgang reduzieren Teams manuelle Genehmigungen, verkürzen die Zeit bis zu Erkenntnissen und skalieren die Governance, ohne dass Stewards zu Engpässen werden.

Erste Schritte

Die Discover-Seite und Domains sind jetzt als Beta auf AWS, Azure Databricks und GCP verfügbar und für Unternehmen mit verteilten Daten, domänenorientierten Teams und Datenplattformen für technische sowie geschäftliche Anwender konzipiert. Wir laden Sie ein, sich für die Beta zu registrieren und uns Ihr Feedback zu geben, um die Roadmap mitzugestalten. Sehen Sie sich unsere Demo an, um die Funktionen in Aktion zu sehen!

Erfahren Sie mehr darüber, wie Unity Catalog sicherstellt, dass Ihre Daten, Modelle, Agenten und Apps auffindbar, kontrolliert und sicher sind, indem Sie unsere Website besuchen. 

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag