Eine agentenbasierte Umgebung auf Kontoebene zur Überwachung und Verbesserung der Governance Ihrer Databricks-Umgebung in großem Maßstab, beginnend mit Erkenntnissen und Empfehlungen zu Daten, AI und Kosten.
von Sadhana Bala, Kristen Wilder und Jodi Boone
Ihr FinOps-Verantwortlicher muss in der Lage sein, die Databricks-Ausgaben einfach aufzuschlüsseln und die Kostentreiber zu identifizieren, ohne Dutzende von Abfragen und Dashboards pflegen zu müssen. Ihr Data-Governance-Team hat eigene Tools zur Verfolgung der Klassifizierungsabdeckung entwickelt, die jedoch bereits veraltet sind. Ihr AI-Bereitstellungsteam muss verstehen, welche Modelle und Agenten von Entwicklern verwendet werden.
Diese Gespräche haben wir immer wieder mit Kunden geführt. Die Teams, die für die Governance der Databricks-Umgebung über Hunderte von Workspaces und mehrere Regionen hinweg verantwortlich sind, haben oft keinen Zugriff auf die benötigten Erkenntnisse. Und wenn doch, sind die Daten über Systemtabellen, Ansichten auf Workspace-Ebene und Tools von Drittanbietern verstreut. Hier kommt der Governance Hub ins Spiel. Er bietet eine zentralisierte Ansicht auf Kontoebene für Datenintegrität, AI-Nutzung und Kosten mit priorisierten Empfehlungen für AWS, Azure und GCP. Jetzt in der Beta-Phase verfügbar.

Entwickelt für die Teams, die es am dringendsten benötigen. Der Governance Hub wurde für Plattform- und Governance-Teams entwickelt, die für die Governance in ihrem Bereich verantwortlich sind. Er gibt ihnen die Möglichkeit, sich auf das Wesentliche zu konzentrieren, ohne durch einen einzelnen Workspace eingeschränkt zu sein. Er unterstützt auch Administratoren, die das Konto überwachen, Aufgaben delegieren und die Compliance im Unternehmen sicherstellen müssen, ohne zum Engpass zu werden.
Vor dem Governance Hub bedeutete das Wissen darüber, welchen Tabellen Tags, Eigentümer oder Dokumentationen fehlten, dass Sie Systemtabellen selbst abfragen mussten – oder es auf die harte Tour herausfinden mussten, wenn ein Audit oder eine Zugriffsanfrage ins Stocken geriet. Jetzt zeigt Ihnen die Seite „Daten“ auf einen Blick: wie viele Assets Sie haben, welcher Prozentsatz getaggt ist, einen Eigentümer hat und klassifiziert ist und welche im Rückstand sind. Die wahre Stärke liegt in den Drilldowns. Klicken Sie auf den Asset-Bestand, um genau zu sehen, welchen Tabellen und Schemata erforderliche Tags oder Beschreibungen fehlen und wo Sie mit dem Schließen der Lücken beginnen können. Klicken Sie auf die Datenqualität, um fehlerhafte oder undokumentierte Metastores anzuzeigen. Verwalten Sie verwaltete Tags: Erstellen Sie Richtlinien, bearbeiten Sie Werte und erteilen Sie Berechtigungen – alles, ohne die Seite zu verlassen.

Die Beantwortung der Frage „Was kann dieser Benutzer tatsächlich abfragen?“ bedeutete früher, Daten aus einem Dutzend Quellen zusammenzuführen, Gruppenmitgliedschaften manuell aufzulösen und Eigentumsrechte über einzelne sicherungsfähige Objekte hinweg zu verfolgen. Mit dem Wachstum Ihres Kontos wird diese Frage sowohl weitaus schwieriger zu beantworten als auch weitaus wichtiger.
Access Insights ersetzt dies durch eine einzige, auf den Prinzipal ausgerichtete Ansicht. Wählen Sie einen beliebigen Benutzer, eine Gruppe oder einen Dienstprinzipal aus, um alles zu sehen, worauf diese im gesamten Konto zugreifen können, einschließlich direkter Berechtigungen, vererbter Zugriffe durch Gruppenmitgliedschaften und eigener Objekte.
Filtern Sie nach Katalog oder Berechtigung, um wichtige Fragen in Sekundenschnelle zu beantworten: Analysieren Sie, warum ein Endbenutzer auf eine Tabelle zugreifen kann oder nicht, überprüfen Sie den Zugriff einer Gruppe, bevor Sie einen externen Dienstleister einbinden, prüfen Sie, worauf ein Dienstprinzipal zugreifen kann, oder identifizieren Sie alles, was einem ausscheidenden Mitarbeiter gehört, bevor er das Unternehmen verlässt.
Access Insights im Governance Hub hilft Ihnen, diese und weitere Fragen über eine einzige Oberfläche zu beantworten.
Die Einführung von AI beschleunigt sich, und damit auch die Frage, wie sie im Unternehmen tatsächlich genutzt wird. Unity AI Gateway bietet eine zentrale Governance-Oberfläche zur Verwaltung von Nutzung, Zugriff und Kosten für Modelle, Agenten, Tools und MCPs. Unabhängig davon, ob Ihr Unternehmen von Databricks gehostete oder extern gehostete Modelle verwendet, bietet das AI Gateway eine einheitliche Governance für Ihren gesamten AI-Datenverkehr.
Der AI-Bereich im Governance Hub bietet detaillierte Einblicke in den Datenverkehr, der durch das Unity AI Gateway fließt. Die AI-Seite erfasst Token-Verbrauch, Modellaktivität, Ausgaben pro Benutzer und die Guardrail-Abdeckung an einem Ort. Sehen Sie, welche Modelle am aktivsten sind, welche Benutzer die Kosten in die Höhe treiben und ob Ihre AI-Budgets im Rahmen liegen. Wenn ein Benutzer seinen Schwellenwert überschreitet, wird dies sofort angezeigt.

Die Seite Kosten zeigt Ihnen Ihre Ausgaben der letzten 30 Tage, des laufenden Monats und den täglichen Durchschnitt, jeweils im Vergleich zum Vorperiodenzeitraum. Eine der wertvollsten Erkenntnisse sind jedoch die getaggten Ausgaben: Welcher Prozentsatz Ihrer Kosten ist tatsächlich zugewiesen? Klicken Sie sich durch, und der Governance Hub filtert automatisch nach Ressourcen ohne Tags. So werden Ausgaben sichtbar, die für Ihre internen Leistungsverrechnungs- und Budgetierungsprozesse unsichtbar waren.
Öffnen Sie von einer beliebigen Kachel aus den Explorer, um die Daten nach Produkt, Workspace, Ressource oder Tag aufzuschlüsseln. Gelangen Sie mit nur zwei Klicks von einer übergeordneten KPI zu den Details: den wichtigsten Jobs, Clustern, Endpunkten und Warehouses in Ihrem Workspace.

Der Governance Hub ist in Genie integriert, sodass Sie über vordefinierte Ansichten und statische Dashboards hinausgehen können. Stellen Sie Fragen wie „Warum gab es einen Kostenanstieg?“ oder „Zeige mir Tabellen mit sensiblen Daten, denen Maskierungsrichtlinien fehlen“ und erhalten Sie Antworten und Empfehlungen, die auf Ihren tatsächlichen Governance-Daten basieren. Kein SQL erforderlich. In Kürze wird Genie sogar in der Lage sein, Aktionen für Sie auszuführen – Richtlinien zu konfigurieren, Warnmeldungen einzurichten und Empfehlungen umzusetzen.
Genie versteht den Kontext jedes Bereichs (Daten, AI und Kosten). Egal, ob Sie einen Anstieg der Token-Nutzung untersuchen oder nicht klassifizierte Assets aufspüren möchten – Sie erhalten die Antwort in Sekundenschnelle, anstatt Abfragen schreiben zu müssen.

Ein Kontoadministrator kann den Governance Hub auf der Seite Previews in der Kontokonsole aktivieren. Kontoadministratoren erhalten vollen Zugriff; Workspace-Administratoren sehen Kosten und AI für ihre Workspaces; Metastore-Administratoren sehen Daten für ihre Metastores. Der Governance Hub berücksichtigt bestehende Berechtigungen: Es müssen keine neuen Zugriffskontrollen konfiguriert werden.
Wir stehen erst am Anfang. Zu den in Kürze verfügbaren Funktionen gehören Einblicke in Leistung und Sicherheit, umsetzbare Empfehlungen, die delegiert werden können, sowie agentenbasierte Funktionen für Governance in großem Maßstab.
Aktivieren Sie den Governance Hub noch heute in Ihrer Kontokonsole
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.