Lakehouse Geschäftsdatenmodelle für Kommunikation, Medien und Unterhaltung

Databricks Lakehouse Geschäftsdatenmodelle

Eine Bibliothek von vierzig produktionsreifen Geschäftsdatenmodellen der Silver-Schicht, eines pro Branche, die direkt in Unity Catalog als analytische Grundlage eines Databricks Lakehouse bereitgestellt werden.

Jedes Modell ist vom ersten Tag an vollständig, verwaltet und intern konsistent. Jede Domäne, Tabelle, Spalte, jeder Fremdschlüssel, jedes Klassifizierungs-Tag und jede Metrikansicht ist bereits definiert. Generische Branchenvorlagen mitteln jedes Unternehmen in einem Sektor, was Kunden monatelange Anpassungsarbeit erspart. Ein Lakehouse Geschäftsdatenmodell ist wie eine einzelne Organisation in ihrer Branche geformt, mit der Terminologie und den Abteilungen, die sie tatsächlich verwendet.

Jedes Modell wird in zwei Umfängen geliefert, MVM (Minimum Viable Model) und ECM (Expanded Coverage Model), unterstützt drei Unity Catalog Layouts (Katalogisierungsstile) und enthält dasselbe vollständige Artefakt-Bundle.

Wo es sich befindet

Ein Lakehouse Geschäftsdatenmodell ist die Silver-Schicht. Bronze übernimmt die Rohdatenerfassung (Lakeflow, Auto Loader). Silver ist das konforme, normalisierte analytische Modell, aus dem jeder Analyst, jedes BI-Tool und jede ML-Workload liest. Gold wird aus Erkenntnissen (KPI-Tabellen, Feature-Tabellen, Aggregationen) abgeleitet, die auf Silver berechnet werden.

Was mit jedem Modell geliefert wird

Jedes Modell wird als vollständiges Bundle veröffentlicht.

`model.json` ist das logische Modell, das jede Domäne, Subdomäne, jedes Produkt, Attribut, jeden Fremdschlüssel, jedes Klassifizierungs-Tag und jede Metrikansichtsdefinition erfasst. Es ist die Währungseinheit. Checken Sie es in git ein, vergleichen Sie Versionen und teilen Sie es über Umgebungen hinweg.

Eine Unity Catalog Bereitstellung von Schemata, Delta-Tabellen, Primärschlüssel-Constraints, Fremdschlüssel-Constraints (informatorisch) und Klassifizierungs-Tags. Die genauen Katalog- und Schemanamen hängen vom bei der Installation gewählten Katalogisierungsstil ab.

Metrikansichten sind wiederverwendbare KPI-Definitionen, die auf den physischen Tabellen installiert sind und für AI/BI-Dashboards und AI/BI Genie bereitstehen.

Ein RDFS Wissensgraph (ontology/) drückt dasselbe Modell als semantischen Graphen für die Integration semantischer Tools und die AI-Agenten-Grundlage aus.

Ein DBML-Diagramm (diagram/) zur visuellen Erkundung in dbdiagram.io oder jedem DBML-kompatiblen Viewer.

SQL DDL (schemas/) für die gesamte Bereitstellung, nach Schema organisiert.

Excel- und Markdown-Dokumentation wurde zusammen mit dem Modell generiert.

Optionale synthetische Beispieldaten. Pool-basierte Zeilen berücksichtigen alle Fremdschlüssel, Regex-Constraints und Klassifizierungs-Tags.

Hierarchie

Jedes Modell folgt derselben Hierarchie. Die Organisation ist das gesamte Unternehmen. Sie enthält drei Abteilungen: Operations (was das Unternehmen physisch tut), Business (wem es dient und wie es Einnahmen erzielt) und Corporate (das unterstützende Backoffice). Jede Abteilung enthält eine oder mehrere Domänen (einwortige, kleingeschriebene, singuläre Bounded Contexts). Jede Domäne enthält zwei oder mehr Subdomänen (zweiwortige semantische Gruppierungen). Jede Subdomäne enthält Produkte (die Delta-Tabellen). Jedes Produkt enthält Attribute (die Spalten), denen Datentypen und Klassifizierungs-Tags im Voraus zugewiesen sind.

Operations und Business zusammen umfassen immer mindestens 80 % der Domänen; Corporate ist auf 20 % begrenzt. Dieses Verhältnis sorgt dafür, dass jedes Modell auf das ausgerichtet ist, was das Geschäft tatsächlich antreibt, und nicht auf sein administratives Backoffice.

Jedes Modell ist konstruktionsbedingt auch ein Directed Acyclic Graph (gerichteter azyklischer Graph). Fremdschlüssel zeigen immer von Kind zu Elternteil (order.customer_id, niemals customer.latest_order_id); Zyklen werden vor der Veröffentlichung aufgebrochen; jede Domäne ist über Fremdschlüssel mit mindestens einer anderen verbunden, sodass domänenübergreifende Analysen immer möglich sind.

Zwei Umfänge: MVM und ECM

MVM (Minimum Viable Model) macht 30 bis 50 Prozent der ECM-Tabellenanzahl aus und deckt nur wesentliche Geschäftsfunktionen ab, dimensioniert für SMB-Engagements, Pilotprojekte und Entwicklungs-/Testumgebungen.

ECM (Expanded Coverage Model) bietet eine vollständige Unternehmensabdeckung, einschließlich unterstützender Corporate-Domänen, dimensioniert für Fortune 100-Bereitstellungen. Die Attributtiefe ist in beiden Umfängen identisch. MVM ist kein Skelett, sondern lediglich eine kleinere Oberfläche.

Vergleichen wir MVM und ECM genauer.

Was für die Kommunikations-, Medien- und Unterhaltungsindustrien verfügbar ist

Als Ausgangspunkt haben wir derzeit 4 Modelle als MVM oder ECM verfügbar. Diese Modelle sind:

Werbung ~ ein Beispiel

Im Repository sehen Sie einen Vergleich der Modelltypen MVM und ECM, damit Sie eine gute Entscheidung treffen können, an welchem Modellumfang Sie interessiert sind.

Dies beinhaltet eine detaillierte Überprüfung der verfügbaren Domänen und Produkte.

Sie erhalten Details darüber, was Teil des ausgewählten Modellumfangs ist. Dies umfasst Anweisungen, Beispiele, Dokumentation und Versionshinweise.

Wenn Sie bereit sind, das Modell in Ihrer Umgebung bereitzustellen, lesen Sie die Readme-Datei im Haupt-Repository, um die Schritte durchzugehen. Im Großen und Ganzen müssen Sie lediglich das Installations-Notebook ausführen, das auf die Branche und den Modellumfang ausgerichtet ist, an denen Sie interessiert sind.

Erste Schritte

Die Bibliothek befindet sich im Industry Solutions Repository: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Wählen Sie ein Modell, einen Umfang (MVM oder ECM), einen Katalogisierungsstil, einen Bereitstellungskatalog und führen Sie das Installations-Notebook aus. Eine typische MVM-Installation ist in wenigen Minuten abgeschlossen, verglichen mit Databricks Serverless, das unter zwei Stunden dauert. Beide erzeugen eine vollständig bereitgestellte Silver-Schicht in Unity Catalog mit Metrikansichten, die für AI/BI-Dashboards und AI/BI Genie bereit sind.

Jedes Modell ist ein Ausgangspunkt. Kunden, die ein Modell an ihre Organisation anpassen müssen (Domänen umbenennen, Produkte zusammenführen oder aufteilen, eine fehlende Domäne hinzufügen, Namenskonventionen ändern), können dies mit dem Modeling Agent tun, der das Modell durch Anweisungen in natürlicher Sprache iteriert.

Verwandte Ressourcen

Weitere Informationen finden Sie im ersten Teil unserer Blog-Veröffentlichung zum Thema Datenmodellierung ~ Starten Sie Ihre Datenmodellierung mit Databricks Industry Data Models
https://www.databricks.com/blog/jumpstart-your-data-modeling-databricks-industry-data-models