Modelli di dati aziendali Lakehouse per il settore retail e largo consumo

Modelli di dati aziendali di Databricks Lakehouse

Una libreria di modelli di dati aziendali di livello Silver pronti per la produzione e specifici per i singoli settori, che vengono distribuiti direttamente in Unity Catalog come base analitica di un lakehouse Databricks.

Ciascun modello è completo, governato e internamente coerente fin dal primo giorno. Ogni dominio, tabella, colonna, chiave esterna, tag di classificazione e vista delle metriche è già definito. I template di settore generici sono costruiti sulla media delle diverse aziende che vi operano e richiedono ai clienti mesi di lavoro per adattarli alle proprie esigenze. Un modello di dati aziendali Lakehouse è invece modellato su una singola organizzazione del suo settore industriale, con la terminologia e le divisioni che essa effettivamente utilizza.

Ogni modello viene fornito in due ambiti, MVM (Minimum Viable Model) ed ECM (Expanded Coverage Model), supporta tre layout di Unity Catalog (stili di catalogazione) e include lo stesso set completo di artefatti.

Dove si colloca

Cosa include ciascun modello

Ogni modello viene pubblicato come un pacchetto completo.

`model.json` è il modello logico che acquisisce ogni definizione di dominio, sottodominio, prodotto, attributo, chiave esterna, tag di classificazione e vista delle metriche. È l'elemento cardine. Esegui il commit su Git, confronta le differenze tra le versioni e condividilo tra i vari ambienti.

Una distribuzione in Unity Catalog di schemi, tabelle Delta, vincoli di chiave primaria, vincoli di chiave esterna (informativi) e tag di classificazione. I nomi esatti del catalogo e dello schema dipendono dallo stile di catalogazione scelto durante l'installazione.

Le viste delle metriche sono definizioni di KPI riutilizzabili installate sopra le tabelle fisiche, pronte per le dashboard AI/BI e per AI/BI Genie.

Un grafo di conoscenza RDFS (ontology/) esprime lo stesso modello sotto forma di grafo semantico per l'integrazione con strumenti semantici e il grounding degli agenti AI.

Un diagramma DBML (diagram/) per l'esplorazione visiva in dbdiagram.io o in qualsiasi visualizzatore compatibile con DBML.

SQL DDL (schemas/) per l'intera implementazione, organizzato per schema.

La documentazione in formato Excel e Markdown viene generata insieme al modello.

Dati di esempio sintetici facoltativi. Le righe basate su pool rispettano tutte le chiavi esterne, i vincoli regex e i tag di classificazione. 

Gerarchia

Ogni modello segue la stessa gerarchia. L'organizzazione rappresenta l'intera azienda. Contiene tre divisioni: Operations (ciò che l'azienda fa fisicamente), Business (a chi si rivolge e come guadagna) e Corporate (il back office di supporto). Ogni divisione contiene uno o più domini (contesti delimitati espressi con una sola parola, in minuscolo e al singolare). Ogni dominio contiene due o più sottodomini (raggruppamenti semantici di due parole). Ogni sottodominio contiene prodotti (le tabelle Delta). Ogni prodotto contiene attributi (le colonne), con tipi di dati e tag di classificazione assegnati in anticipo.

Insieme, Operations e Business contengono sempre almeno l'80% dei domini, mentre Corporate è limitato al 20%. Questo rapporto fa sì che ogni modello rimanga incentrato sulle attività che fanno effettivamente funzionare l'azienda, piuttosto che sul suo back office amministrativo.

Ogni modello è inoltre, per costruzione, un grafo aciclico diretto. Le chiavi esterne puntano sempre dal figlio al genitore (order.customer_id, mai customer.latest_order_id); i cicli vengono interrotti prima della pubblicazione; ogni dominio si collega ad almeno un altro tramite chiavi esterne, rendendo sempre possibile l'analisi cross-domain.

Due ambiti: MVM ed ECM

MVM (Minimum Viable Model) rappresenta dal 30 al 50 percento del numero di tabelle dell'ECM e copre solo le funzioni aziendali essenziali, con dimensioni pensate per progetti per PMI, progetti pilota e ambienti di sviluppo/test.

ECM (Expanded Coverage Model) offre una copertura aziendale completa, inclusi i domini Corporate di supporto, con dimensioni pensate per implementazioni in aziende Fortune 100. La profondità degli attributi è identica in entrambi gli ambiti. L'MVM non è una struttura ridotta all'osso, ha semplicemente un'area di copertura inferiore.

Confrontiamo più in dettaglio MVM ed ECM.

Disponibilità per il settore retail e largo consumo

Come punto di partenza, al momento abbiamo 7 modelli disponibili come MVM o ECM. Questi modelli sono:

INDUSTRIA	Domini ECM	Prodotti ECM	Domini MVM	Prodotti MVM
retail	19	401	15	154
grocery	19	374	14	175
E-commerce	18	369	14	148
Beni di consumo	19	403	14	184
[nome del settore industriale]	[??]	400	12	163
Alimentari e bevande	19	376	14	157
Ristorazione	14	292	13	153

Distribuzione alimentare ~ un esempio

Esaminando il repository, puoi vedere un confronto tra i tipi di modello MVM ed ECM, in modo da poter prendere una decisione informata sull'ambito del modello a cui sei interessato.

Questo include una panoramica dettagliata dei domini e dei prodotti disponibili.

Puoi ottenere dettagli su ciò che fa parte dell'ambito del modello selezionato.  Questo include istruzioni, esempi, documentazione e note di rilascio.

Se sei pronto a distribuire il modello nel tuo ambiente, consulta il file readme nel repository principale per seguire i passaggi descritti. A grandi linee, tutto ciò che devi fare è eseguire il notebook di installazione puntato sul settore e sull'ambito del modello di tuo interesse.

Comincia

La libreria si trova nel repository Industry Solutions. Scegli un modello, un ambito (MVM o ECM), uno stile di catalogazione, un catalogo di distribuzione ed esegui il notebook di installazione. Una tipica installazione MVM si completa in decine di minuti, rispetto a Databricks Serverless, che richiede meno di due ore. Entrambi producono un livello Silver completamente distribuito in Unity Catalog con viste delle metriche pronte per le dashboard AI/BI e AI/BI Genie.

Ogni modello è un punto di partenza. I clienti che hanno l'esigenza di adattare un modello alla propria organizzazione (rinominare domini, unire o dividere prodotti, aggiungere un dominio mancante, modificare le convenzioni di denominazione) possono farlo utilizzando il Modeling Agent, che itera il modello attraverso direttive in linguaggio naturale.

Risorse correlate

Per maggiori informazioni, consulta la prima parte del nostro post del blog Avvia rapidamente la modellazione dei dati con Databricks Industry Data Models.