Modelli di dati aziendali Lakehouse per Viaggi e Logistica

Modelli di dati aziendali del Lakehouse Databricks

Dove si trova

Un modello di dati aziendali Lakehouse è il livello Silver. Il livello Bronze gestisce l'inserimento dei dati grezzi (Lakeflow, Auto Loader). Il livello Silver è il modello analitico conformato e normalizzato da cui leggono tutti gli analisti, gli strumenti di BI e i carichi di lavoro di ML. Il livello Gold è derivato dagli insight (tabelle KPI, tabelle delle funzionalità, aggregati) calcolati sul livello Silver.

Cosa è incluso in ogni modello

Ogni modello viene pubblicato come un pacchetto completo.

`model.json` è il modello logico che acquisisce ogni dominio, sottodominio, prodotto, attributo, chiave esterna, tag di classificazione e definizione della vista metrica. È l'unità di riferimento. Esegui il check-in in Git, confronta le versioni e condividi tra ambienti.

Un'implementazione di Unity Catalog di schemi, tabelle Delta, vincoli di chiave primaria, vincoli di chiave esterna (informativi) e tag di classificazione. I nomi esatti del catalogo e dello schema dipendono dallo stile di catalogazione scelto durante l'installazione.

Viste metriche sono definizioni di KPI riutilizzabili installate sopra le tabelle fisiche, pronte per le dashboard AI/BI e per AI/BI Genie.

Un grafo di conoscenza RDFS (ontology/) esprime lo stesso modello di un grafo semantico per l'integrazione con strumenti semantici e il grounding di agenti AI.

Un diagramma DBML (diagram/) per l'esplorazione visiva in dbdiagram.io o qualsiasi visualizzatore compatibile con DBML.

SQL DDL (schemas/) per l'intero deployment, organizzato per schema.

La documentazione Excel e Markdown è stata generata insieme al modello.

Dati di esempio sintetici facoltativi. Le righe basate su pool rispettano tutte le chiavi esterne, i vincoli regex e i tag di classificazione.

Gerarchia

Ogni modello segue la stessa gerarchia. L'organizzazione è l'intera azienda. Comprende tre divisioni: attività operative (cosa fa fisicamente l'azienda), Business (chi serve e come guadagna) e Corporate (il back office di supporto). Ogni divisione contiene uno o più domini (contesti limitati singolari a una parola, minuscoli e singolare). Ogni dominio contiene due o più sottodomini (raggruppamenti semantici di due parole). Ogni sottodominio contiene prodotti (le tabelle Delta). Ogni prodotto contiene attributi (le colonne), con tipi di dati e tag di classificazione assegnati all'inizio.

Attività operative e Business combinati detengono sempre almeno l'80% dei domini; Corporate ha un limite massimo del 20%. Questo rapporto mantiene ogni modello incentrato su ciò che fa davvero funzionare il business, anziché sul suo back office amministrativo.

Ogni modello è anche un Grafo Aciclico Diretto per costruzione. Le chiavi esterne puntano sempre da figlio a genitore (order.customer_id, mai customer.latest_order_id); i cicli vengono interrotti prima della pubblicazione; ogni dominio si collega ad almeno un altro tramite chiavi esterne, quindi le analitiche cross-dominio sono sempre possibili.

Due ambiti: MVM ed ECM

L'MVM (Minimum Viable Model) rappresenta dal 30 al 50% del numero di tabelle ECM e copre solo le funzioni aziendali essenziali, con dimensioni adatte a progetti SMB, progetti pilota e ambienti di sviluppo/test.

L'ECM (Expanded Coverage Model) offre una copertura aziendale completa, che include il supporto per i domini Corporate, ed è dimensionato per le implementazioni Fortune 100. La profondità degli attributi è identica in entrambi gli ambiti. MVM non è uno scheletro, ma solo una superficie più piccola.

Confrontiamo MVM ed ECM più in dettaglio.

Cosa è disponibile per i settori industriali dei viaggi e della logistica

Come punto di partenza, attualmente disponiamo di 4 modelli disponibili come MVM o ECM. Questi modelli sono:

Viaggi e ospitalità ~ un esempio

Consultando il repository, è possibile visualizzare un confronto tra i tipi di modello MVM ed ECM, in modo da poter decidere con cognizione di causa quale ambito di modello è di proprio interesse.

Ciò include una revisione dettagliata dei domini e dei prodotti disponibili.

Puoi ottenere dettagli su cosa fa parte dell'ambito del modello selezionato. Questo include istruzioni, campioni, documentazione e note di rilascio.

Se si è pronti per la distribuzione del modello nel proprio ambiente, consultare il file readme nel repository principale per seguire i passaggi. A livello generale, è sufficiente eseguire il notebook di installazione per il settore e l'ambito del modello di interesse.

Comincia

La libreria si trova nel repository Industry Solutions: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. Scegli un modello, un ambito (MVM o ECM), uno stile di catalogazione, un catalogo di deployment ed esegui il notebook di installazione. Una tipica installazione MVM viene completata in decine di minuti, rispetto a Databricks Serverless, che richiede meno di due ore. Entrambi producono un livello Silver completamente implementato in Unity Catalog con viste delle metriche pronte per le dashboard di AI/BI e per AI/BI Genie.

Ogni modello è un punto di partenza. I clienti che devono adattare un modello alla propria organizzazione (rinominare domini, Merge o suddividere prodotti, aggiungere un dominio mancante, modificare le convenzioni di denominazione) possono farlo utilizzando il Modeling Agent, che esegue l'iterazione del modello tramite direttive in linguaggio naturale.

Risorse correlate

Per maggiori informazioni, consulta la prima parte del nostro post sul blog dedicato al Data Modeling: Jumpstart your Data Modeling with Databricks Industry Data Models

Ottieni i modelli di dati di settore Databricks Lakehouse su GitHub ~ Lakehouse Industry Data Models on GitHub