Costruire un Lakehouse Semantico con AtScale e Databricks

Kyle Hale, Solution Architect con Databricks, ha coniato il termine "Semantic Lakehouse" nel suo blog qualche mese fa. È una buona panoramica del potenziale per semplificare lo stack di BI e sfruttare la potenza del lakehouse. Poiché AtScale e Databricks collaborano sempre più per supportare i nostri clienti congiunti, il potenziale per sfruttare la piattaforma di livello semantico di AtScale con Databricks per creare rapidamente un Semantic Lakehouse ha preso forma. Un semantic lakehouse fornisce un livello di astrazione sulle tabelle fisiche e offre una visione user-friendly per il consumo dei dati definendo e organizzando i dati per diverse aree tematiche, e definendo le entità, gli attributi e i join. Tutto ciò semplifica il consumo dei dati da parte degli analisti aziendali e degli utenti finali.

La maggior parte delle aziende ha ancora difficoltà con la democratizzazione dei dati

Rendere i dati disponibili ai decisori è una sfida che la maggior parte delle organizzazioni affronta oggi. Più grande è l'organizzazione, più difficile diventa imporre uno standard unico per il consumo e la preparazione delle analisi. Oltre la metà delle aziende segnala l'utilizzo di tre o più strumenti di BI, con oltre un terzo che ne utilizza quattro o più. Oltre agli utenti di BI, i data scientist hanno la loro gamma di preferenze, così come gli sviluppatori di applicazioni.

Questi strumenti funzionano in modi diversi e parlano linguaggi di query diversi. Risultati di analisi contrastanti sono quasi garantiti quando più unità aziendali prendono decisioni ricorrendo a diverse copie di dati isolate o a soluzioni convenzionali di OLAP cubing come Tableau Hyper Extracts, Power BI Premium Imports, o Microsoft SQL Server Analysis Services (SSAS) per gli utenti Excel.

Mantenere i dati in diversi data mart e data warehouse, estratti in vari database e dati memorizzati esternamente nella cache negli strumenti di reporting non fornisce una versione unica della verità per l'azienda e aumenta il movimento dei dati, l'ETL, la sicurezza e la complessità. Diventa un incubo di governance dei dati e significa anche che le organizzazioni gestiscono le loro attività su dati potenzialmente obsoleti provenienti da diversi silos di dati nei livelli di BI e non sfruttano appieno la potenza del Databricks Lakehouse.

La necessità di un livello semantico universale

Il livello semantico di AtScale si posiziona tra tutti i tuoi strumenti di consumo di analisi e il tuo Databricks Lakehouse. Astrando la forma fisica e la posizione dei dati, il livello semantico rende i dati memorizzati nel Delta Lake pronti per l'analisi e facilmente utilizzabili dallo strumento di scelta degli utenti aziendali. Gli strumenti di consumo possono connettersi ad AtScale tramite uno dei seguenti protocolli:

• Per SQL, il motore AtScale appare come un data warehouse Hive SQL.
• Per MDX o DAX, AtScale appare come un cubo SQL Server Analysis Services (SSAS).
• Per applicazioni REST o Python, AtScale appare come un servizio web.

Invece di elaborare i dati localmente, AtScale invia le query in entrata a Databricks come SQL ottimizzato. Ciò significa che le query degli utenti vengono eseguite direttamente su Delta Lake utilizzando Databricks SQL per il calcolo, la scalabilità e le prestazioni.

Il vantaggio aggiuntivo dell'utilizzo di un Universal Semantic Layer è che la tecnologia di ottimizzazione autonoma delle prestazioni di AtScale identifica i modelli di query degli utenti per orchestrare automaticamente la creazione e la manutenzione degli aggregati, proprio come farebbe il team di data engineering. Ora nessuno deve dedicare tempo e sforzi di sviluppo per creare e mantenere questi aggregati, poiché sono auto-creati e gestiti da AtScale per prestazioni ottimali. Questi aggregati vengono creati nel Delta Lake come tabelle Delta fisiche e possono essere considerati uno "strato di diamante". Questi aggregati sono completamente gestiti da AtScale e migliorano la scalabilità e le prestazioni dei tuoi report BI sul Databricks Lakehouse, semplificando radicalmente le pipeline di dati di analisi e il data engineering associato.

Creare un semantic lakehouse agnostico rispetto agli strumenti

La visione della Databricks Lakehouse Platform è una singola piattaforma unificata per supportare tutti i tuoi carichi di lavoro di dati, analisi e AI. La descrizione di Kyle del "Semantic Lakehouse" è un buon modello per uno stack di BI semplificato.

AtScale estende questa idea di Semantic Lakehouse supportando i carichi di lavoro di BI e i casi d'uso AI/ML attraverso il nostro Semantic Layer agnostico rispetto agli strumenti. La combinazione di AtScale e Databricks significa che l'architettura Semantic Lakehouse viene estesa a qualsiasi livello di presentazione: non importa se si tratta di Tableau, Power BI, Excel o Looker. Tutti possono utilizzare lo stesso livello semantico in AtScale.

Con l'avvento del lakehouse, le organizzazioni non hanno più i loro team di BI e AI/ML che lavorano in isolamento. L'Universal Semantic Layer di AtScale aiuta le organizzazioni a ottenere un accesso coerente a tutti i loro dati aziendali, indipendentemente dal fatto che si tratti di un utente aziendale in Excel o di uno scienziato dati che utilizza un Notebook, sfruttando appieno la potenza della loro Databricks Lakehouse Platform.

Risorse aggiuntive

Guarda la nostra tavola rotonda con Franco Patano, lead product specialist presso Databricks per maggiori informazioni e per scoprire come questi strumenti possono aiutarti a creare una piattaforma di analisi agile e scalabile.

Se hai domande su AtScale o su come modernizzare e migrare il tuo stack legacy EDW, BI e di reporting a Databricks e AtScale, non esitare a contattare [email protected] o contatta Databricks.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale