Was ist ein Unified Data Warehouse?
Eine moderne Architektur, die Data-Warehouse- und Data-Lake-Funktionen mit einheitlicher Governance, ACID-Transaktionen und Unterstützung für SQL- und ML-Workloads kombiniert.
Summary
- Vereint die traditionelle strukturierte Datenanalyse von Data Warehouses mit der Flexibilität von Data Lakes für unstrukturierte Daten und eliminiert so die Notwendigkeit separater Systeme und Datenredundanz.
- Bietet ACID-Transaktionen in Data Lakes mithilfe von Formaten wie Delta Lake und ermöglicht so zuverlässige Aktualisierungen, Löschungen und Zeitreisen bei gleichzeitiger Wahrung von Datenqualität und -konsistenz.
- Unterstützt einheitliche Governance durch Kataloge wie Unity Catalog, sodass SQL-Analysten, Data Engineers und Data Scientists mit angemessener Sicherheit an denselben Datensätzen arbeiten können.
Was ist ein einheitliches Data Warehouse?
Eine einheitliche Datenbank, auch Enterprise Data Warehouse genannt, speichert alle Information eines Unternehmens und macht sie unternehmensweit zugänglich. Heutzutage verwalten die meisten Unternehmen ihre Daten in isolierten Silos, wobei verschiedene Teams desselben Unternehmens für verschiedene Datentypen wie Datenqualität, Datenintegration, Data Governance, Metadaten- und Stammdatenverwaltung, B2B-Datenaustausch, Datenbankenverwaltung und -architektur usw. verschiedene Datenverwaltungs-Tools verwenden. Die Einführung von Enterprise DWs in großen Unternehmen hat sich zu einer bewährten Methode für die Speicherung integrierter und zentralisierter Daten entwickelt, die aus verschiedenen unterschiedlichen Betriebsquellen extrahiert wurden. Auf diese Weise können komplizierte Abfragen durchgeführt werden, ohne dass es zu Konflikten mit den Transaktionsvorgängen der operativen Systeme kommt.
Die typische Architektur eines DW besteht aus verschiedenen Komponenten, wobei Daten von einer Komponente zur nächsten weitergegeben werden, nachdem ein wichtiger Vorgang an den Daten durchgeführt wurde. Die Struktur eines einheitlichen Data Warehouse besteht aus einer Teilmenge der in der Data-Warehouse-Architektur enthaltenen Komponenten, nämlich: der Datenquelle, dem Kern-DW, den Data Marts, den Extraktions-, Transformations- und Ladeprozessen (ETL) und den Metadaten-Repositorys. Der wichtigste Vorteil eines einheitlichen Data Warehouse ergibt sich aus der Tatsache, dass alle Daten auf einer zentralen Prämisse basieren: Daher besteht keine Notwendigkeit, die Daten separat zu analysieren, um sie in umsetzbare Information umzuwandeln, die eine verbesserte Entscheidung erleichtern können.
Gartner®: Databricks als Leader für Cloud-Datenbanken
Vorteile eines einheitlichen Data Warehouse:
- Data Warehouses bieten zusätzliche Unterstützung für Daten, da sie darauf ausgelegt sind, Information zu verfolgen, zu verwalten und zu analysieren. Sie bieten eine großartige Umgebung, die für Entscheidungsunterstützung, Analytics, Berichte und Data Mining konzipiert ist.
- Ein einheitliches Data Warehouse arbeitet Hand in Hand mit anderen Analytics-Programmen, um das Unternehmenswachstum zu fördern.
- Sämtliche Unternehmensdaten stehen jederzeit für Analyse- und Planungszwecke zur Verfügung.
- Benutzer können große Datenmengen mit einer Vielzahl von Parametern speichern. Diese Daten können aus verschiedenen, normalerweise nicht miteinander verbundenen Quellen stammen.
- Ein einheitliches Data Warehouse ist in der Lage, Daten zu verfeinern, redundante Informationen zu eliminieren und gleichzeitig die Datenqualität insgesamt zu verbessern.
- Es hält die Notwendigkeit, Daten zu ändern, auf einem Minimum und die Datenintegrität auf bestmöglichem Niveau.
- Es bietet verbesserte und aktuelle Informationen.