Data Warehousing intelligente su Databricks - Clonato

Riepilogo dell'architettura

L'architettura supporta la reportistica tradizionale, dashboard in tempo reale, la modellazione predittiva e l'analisi self-service, il tutto nel rispetto degli standard aziendali di sicurezza, governance e prestazioni.

Questa soluzione dimostra come Databricks Data Intelligence Platform, basata su Databricks Lakehouse, aiuti le organizzazioni a modernizzare la propria strategia di data warehousing, soddisfacendo al contempo le esigenze sia dei team di dati che degli stakeholder aziendali.

L'architettura inizia con un lakehouse aperto e governato, gestito da Unity Catalog. I dati vengono acquisiti da una serie di sistemi, tra cui database operativi, app SaaS, flussi di eventi e file system, e arrivano in un livello di archiviazione centrale. La data intelligence della piattaforma gestisce qualsiasi attività, dall'ETL e l'analisi SQL alle dashboard e ai casi d'uso di AI. Supportando l'accesso flessibile tramite SQL, strumenti di BI e query in linguaggio naturale, la piattaforma accelera la distribuzione dei prodotti di dati e rende gli insight accessibili in tutta l'organizzazione.

Casi d'uso

Casi d'uso tecnici

• Acquisizione di dati strutturati, non strutturati, batch e in streaming da diverse sorgenti
• Creazione di pipeline ETL dichiarative e robuste
• Modellazione di fatti, dimensioni e data mart utilizzando un'architettura medallion
• Esecuzione di query SQL ad alta concorrenza per reportistica e creazione di dashboard
• Integrazione dei risultati di ML direttamente nel data warehouse per l'uso a valle

Casi d'uso aziendali

• Fornitura di dashboard in tempo reale su vendite, operazioni o metriche dei clienti
• Abilitazione dell'esplorazione ad hoc tramite interfacce in linguaggio naturale come Genie
• Supporto a casi d'uso predittivi come la previsione della domanda e la modellazione del churn
• Condivisione di prodotti di dati governati tra reparti o con partner
• Fornitura di insight rapidi e affidabili per i team finanziari, di marketing e di prodotto

Funzionalità chiave con la Data Intelligence

La componente di data intelligence di questa architettura rende la piattaforma più intelligente, adattiva e facile da usare per diversi profili e carichi di lavoro. Applica l'AI e la consapevolezza dei metadati in tutto il sistema per semplificare le esperienze e automatizzare i processi decisionali:

• Interfaccia in linguaggio naturale (Genie): Comprende il contesto aziendale e consente agli utenti di porre domande sui dati in un linguaggio semplice
• Consapevolezza semantica: Riconosce le relazioni tra tabelle, colonne e pattern di utilizzo per suggerire join, filtri o calcoli
• Ottimizzazione predittiva: Ottimizza continuamente le prestazioni delle query e l'allocazione delle risorse di calcolo in base ai carichi di lavoro storici
• Governance unificata: Etichetta, classifica e traccia l'utilizzo degli asset di dati, rendendo l'esplorazione più intuitiva e sicura
• Funzionalità chiave: Una piattaforma auto-ottimizzante che si adatta ai tuoi dati e ai tuoi utenti
• Elemento di differenziazione: La data intelligence è integrata nell'acquisizione, nelle query, nella governance e nella visualizzazione, non aggiunta a posteriori

Flusso di dati con funzionalità chiave ed elementi di differenziazione

1. Sorgenti di dati: I dati sono archiviati in un'ampia varietà di sistemi, tra cui app aziendali (ad es. SAP, Salesforce), database, dispositivi IoT, log delle applicazioni e API esterne. Queste sorgenti possono produrre dati strutturati, semistrutturati o non strutturati.
2. Acquisizione dei dati: Consente di importare dati tramite processi batch, change data capture (CDC) o streaming. Queste pipeline alimentano l'architettura lakehouse quasi in tempo reale o a intervalli pianificati, a seconda del sistema di origine e del caso d'uso.
   • Principale elemento di differenziazione: Acquisizione unificata per tutte le modalità (batch, streaming e CDC) senza la necessità di infrastrutture o pipeline separate
3. Trasformazione dei dati, ETL, pipeline dichiarative: Una volta acquisiti, i dati vengono trasformati attraverso l'architettura medallion e progressivamente perfezionati da dati grezzi a dati curati.
   • Dalla zona Raw alla zona Bronze: Dati acquisiti da sistemi sorgente esterni in cui le strutture in questo livello corrispondono alle strutture delle tabelle del sistema sorgente "così come sono", senza alcuna trasformazione o aggiornamento dei dati
   • Dalla zona Bronze alla zona Silver: Standardizzazione e pulizia dei dati in entrata
   • Dalla zona Silver alla zona Gold: Applicazione della logica aziendale per creare modelli riutilizzabili
   • Fatti e dimensioni → data mart: Aggregazione e cura dei dati per l'analisi a valle
   • Principale elemento di differenziazione: Pipeline dichiarative di livello di produzione con lineage, osservabilità ed evoluzione dello schema integrate
4. Dati curati per casi d'uso di AI: I dati curati provenienti dai data mart possono essere utilizzati per addestrare o applicare modelli di machine learning. Questi modelli supportano casi d'uso come la previsione della domanda, il rilevamento delle anomalie e lo scoring dei clienti.
   • I risultati dei modelli sono archiviati insieme ai dati tradizionali del data warehouse per un facile accesso tramite SQL o dashboard
   • I risultati possono essere aggiornati in base a una pianificazione o valutati in tempo reale, a seconda dei requisiti
   • Principale elemento di differenziazione: Co-allocazione di carichi di lavoro di analisi e AI sulla stessa piattaforma, senza necessità di spostamento dei dati. I risultati dei modelli sono trattati come asset nativi, interrogabili e governati.