Überwachung der Datenqualität
Intelligentes Qualitäts-Monitoring für Daten und KI auf dem Lakehouse
Was ist Datenqualitäts-Monitoring?
Databricks Data Quality Monitoring ermöglicht es Teams, den Zustand ihrer Datensätze ohne zusätzliche Tools oder Komplexität zu überwachen. Auf Basis von Unity Catalog überwacht Data Quality Monitoring, das Anomalieerkennung und Data-Profiing (früher als Lakehouse Monitoring bekannt) umfasst, automatisch Metriken zur Datenqualität, statistische Trends und Anomalien im Zeitverlauf. Mit einem einzigen, einheitlichen Ansatz, der durch die Lakehouse-Architektur ermöglicht wird, können Teams Probleme diagnostizieren, Ursachenanalysen durchführen und das Vertrauen in ihre Daten- und KI-Assets aufrechterhalten.
Funktionen zum Datenqualitäts-Monitoring auf Databricks
Erkennung von Anomalien
Aktivieren Sie skalierbares Datenqualitäts-Monitoring mit einem Klick. Databricks analysiert automatisch historische Datenmuster, um Anomalien in der Aktualität und Vollständigkeit von Tabellen zu erkennen. Mit intelligentem Scannen werden nur Ihre wichtigsten Tabellen gescannt, während Tabellen mit geringen Auswirkungen übersprungen werden. Tabellen werden bei ihrer Aktualisierung überwacht, um sicherzustellen, dass die Erkenntnisse ohne manuelle Schedule aktuell sind.
Daten-Profiling
Erhalten Sie zusammenfassende Statistiken für Ihre Tabellen und verfolgen Sie historische Trends und unerwartete Änderungen Ihrer Daten und ML-Ausgaben. So können Teams ihre Daten besser verstehen und den nachgelagerten operativen Aufwand reduzieren. Erweitern Sie die Überwachung auf GenAI-Anwendungen und Machine-Learning-Modelle, indem Sie Profile für Inferenztabellen erstellen, die Modelleingaben und Vorhersagen erfassen.
Beschleunigte Ursachenanalyse
Beheben Sie Probleme mit der Daten- und Modellqualität schneller, indem Sie Data-Profiing, historische Trends und Anomaliesignale nutzen, um Probleme bis zu ihrer Quelle zurückzuverfolgen. Dies hilft Teams, die Zeit bis zur Problemlösung zu verkürzen und die Zuverlässigkeit von Produktionspipelines zu verbessern.
Ressourcen
Blog
E-Book
Dokumente
