Modelli di dati aziendali Lakehouse per il settore manifatturiero e industriale

Modelli di dati aziendali di Databricks Lakehouse

Dove si colloca

Un modello di dati aziendali Lakehouse è il livello Silver. Il livello Bronze gestisce l'ingestione dei dati grezzi (Lakeflow, Auto Loader). Il livello Silver è il modello analitico standardizzato e normalizzato da cui leggono tutti gli analisti, gli strumenti di BI e i carichi di lavoro ML. Il livello Gold deriva da insight (tabelle KPI, tabelle delle feature, aggregati) calcolati a partire dal livello Silver.

Cosa include ciascun modello

Ogni modello viene pubblicato come pacchetto completo.

`model.json` è il modello logico che acquisisce ogni dominio, sottodominio, prodotto, attributo, chiave esterna, tag di classificazione e definizione di vista metrica. È l'elemento cardine. Esegui il commit su Git, confronta le differenze tra le versioni e condividilo tra i vari ambienti.

Un deployment in Unity Catalog di schemi, tabelle Delta, vincoli di chiave primaria, vincoli di chiave esterna (informativi) e tag di classificazione. I nomi esatti del catalogo e dello schema dipendono dallo stile di catalogazione scelto durante l'installazione.

Le viste metriche sono definizioni di KPI riutilizzabili installate sopra le tabelle fisiche, pronte per le dashboard AI/BI e AI/BI Genie.

Un knowledge graph RDFS (ontology/) esprime lo stesso modello sotto forma di grafo semantico per l'integrazione di strumenti semantici e il grounding degli agenti AI.

Un diagramma DBML (diagram/) per l'esplorazione visiva in dbdiagram.io o in qualsiasi visualizzatore compatibile con DBML.

SQL DDL (schemas/) per l'intero deployment, organizzato per schema.

La documentazione in formato Excel e Markdown viene generata insieme al modello.

Dati di esempio sintetici opzionali. Le righe basate su pool rispettano tutte le chiavi esterne, i vincoli regex e i tag di classificazione.

Gerarchia

Ogni modello segue la stessa gerarchia. L'organizzazione rappresenta l'intera azienda. Contiene tre divisioni: Operations (ciò che l'azienda fa fisicamente), Business (chi serve e come guadagna) e Corporate (il back office di supporto). Ogni divisione contiene uno o più domini (contesti delimitati espressi con una sola parola, in minuscolo e al singolare). Ogni dominio contiene due o più sottodomini (raggruppamenti semantici di due parole). Ogni sottodominio contiene prodotti (le tabelle Delta). Ogni prodotto contiene attributi (le colonne), con tipi di dati e tag di classificazione assegnati in anticipo.

Insieme, Operations e Business contengono sempre almeno l'80% dei domini; Corporate è limitato al 20%. Questo rapporto fa sì che ogni modello rimanga incentrato sulle attività che fanno effettivamente funzionare l'azienda, piuttosto che sul suo back office amministrativo.

Inoltre, ogni modello è per costruzione un grafo aciclico diretto. Le chiavi esterne puntano sempre da figlio a genitore (order.customer_id, mai customer.latest_order_id); i cicli vengono interrotti prima della pubblicazione; ogni dominio si collega ad almeno un altro tramite chiavi esterne, rendendo sempre possibile l'analisi cross-domain.

Due ambiti: MVM ed ECM

MVM (Minimum Viable Model) rappresenta dal 30 al 50 percento del numero di tabelle dell'ECM e copre solo le funzioni aziendali essenziali, con dimensioni pensate per progetti SMB, progetti pilota e ambienti di dev/test.

ECM (Expanded Coverage Model) offre una copertura aziendale completa, inclusi i domini Corporate di supporto, con dimensioni pensate per deployment Fortune 100. La profondità degli attributi è identica in entrambi gli ambiti. L'MVM non è una struttura ridotta all'osso, ha semplicemente un'area di copertura inferiore.

Confrontiamo più in dettaglio i modelli MVM ed ECM.

Cosa è disponibile per il settore manifatturiero e industriale

Come punto di partenza, attualmente abbiamo 6 modelli disponibili come MVM o ECM. Questi modelli sono:

Automotive ~ Un esempio

Esaminando il repository, puoi vedere un confronto tra i tipi di modello MVM ed ECM, in modo da poter prendere una decisione informata sull'ambito del modello a cui sei interessato.

Questo include una panoramica dettagliata dei domini e dei prodotti disponibili.

Puoi ottenere dettagli su ciò che fa parte dell'ambito del modello selezionato. Questo include istruzioni, esempi, documentazione e note di rilascio.

Se sei pronto a distribuire il modello nel tuo ambiente, consulta il file readme nel repository principale per seguire i passaggi. A grandi linee, tutto ciò che devi fare è eseguire il notebook di installazione puntato sul settore e sull'ambito del modello di tuo interesse.

Inizia subito

La libreria si trova nel repository Industry Solutions: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Scegli un modello, un ambito (MVM o ECM), uno stile di catalogazione, un catalogo di distribuzione ed esegui il notebook di installazione. Una tipica installazione MVM si completa in decine di minuti, rispetto a Databricks Serverless, che richiede meno di due ore. Entrambi producono un livello Silver completamente distribuito in Unity Catalog con viste metriche pronte per i dashboard AI/BI e AI/BI Genie.

Ogni modello è un punto di partenza. I clienti che hanno l'esigenza di adattare un modello alla propria organizzazione (rinominare domini, unire o dividere prodotti, aggiungere un dominio mancante, modificare le convenzioni di denominazione) possono farlo utilizzando il Modeling Agent, che itera il modello attraverso direttive in linguaggio naturale.

Risorse correlate

Per ulteriori informazioni, consulta la prima parte del nostro post del blog sulla modellazione dei dati ~ Avvia rapidamente la modellazione dei dati con Databricks Industry Data Models