Presentazione di Lakehouse//RT: prestazioni in tempo reale su un lakehouse unificato

Quando abbiamo introdotto l'architettura lakehouse, la nostra visione era quella di creare un'unica piattaforma unificata per tutte le vostre esigenze di dati, eliminando la divisione tra data lake e data warehouse. Abbiamo dimostrato che questo era possibile con Databricks Lakehouse, riunendo diversi carichi di lavoro di analytics, BI, AI ed ETL su un'unica piattaforma che utilizza dati aperti, eliminando le duplicazioni e centralizzando la governance.

Ora stiamo unificando il serving in tempo reale con la nostra piattaforma dati principale. Oggi, questo viene comunemente realizzato utilizzando un layer di serving separato o un motore specializzato. Ciò comporta copie di dati isolate che aggiungono complessità, costi e rischi alla vostra architettura dei dati.

Databricks è lieta di annunciare che stiamo portando prestazioni nell'ordine dei millisecondi direttamente nel lakehouse. Presentiamo Lakehouse//RT, il nuovo data warehouse in tempo reale di Databricks progettato per carichi di lavoro di analytics operativa, BI, serving di app e osservabilità. Lakehouse//RT è basato su Reyden, un nuovo motore rivoluzionario per carichi di lavoro in tempo reale che richiedono una reattività immediata a un'elevata concorrenza.

Layer di serving separati: un compromesso fallimentare

Man mano che le organizzazioni estendono l'accesso ai dati a utenti, applicazioni, dashboard e agenti, la richiesta di reattività in tempo reale con un'elevata concorrenza continua a crescere. La risposta tradizionale consisteva nell'introdurre un layer di serving dedicato. Sebbene sia veloce per le letture, questo approccio richiede la copia dei dati in un nuovo layer, isolandoli dal resto della piattaforma e introducendo maggiore complessità nell'ambiente.

Copiare i dati in un layer di serving separato non è gratuito. Vi costa tre volte tanto, ancora prima di aver eseguito una singola query.

1. Pagate in duplicazione. Estraete i dati da formati aperti come Delta e Iceberg e li copiate in uno storage proprietario che nessun altro motore è in grado di leggere. Ora vi trovate con una seconda pipeline di ingestion, una nuova serie di modalità di guasto ogni volta che una sincronizzazione si interrompe e un ulteriore sovraccarico operativo ogni volta che i dati di origine cambiano.
2. Pagate in governance. Le policy di sicurezza, i controlli di accesso e la logica di business definiti una volta in Unity Catalog non seguono i dati nel layer di serving. Quindi dovete definirli di nuovo, in un secondo posto. Nel momento in cui i due sistemi divergono, vi ritrovate con regole incoerenti, accessi frammentati e una lacuna che il vostro team di sicurezza dovrà giustificare.
3. Pagate in ingegneria. Qualcuno deve gestire quella pipeline. Qualcuno deve fare il debug dei problemi di sincronizzazione. Qualcuno deve eseguire il secondo cluster. Gli ingegneri più vicini ai carichi di lavoro più sensibili alla latenza finiscono per passare le giornate a occuparsi dei collegamenti tecnici anziché del prodotto.

E il peggio è che: anche dopo aver pagato per tutte e tre le cose, il layer di serving non riesce comunque a eseguire tutte le query. Non appena una query diventa complessa (ad es. join, window function) o i dati diventano grandi, il sistema crolla.

Lakehouse//RT: prestazioni in tempo reale, basate su Reyden

Lakehouse//RT è un nuovo data warehouse in tempo reale che offre prestazioni nell'ordine dei millisecondi su scala massiva, senza spostamento di dati. Potete supportare carichi di lavoro in tempo reale continuando a utilizzare gli stessi formati aperti, lo stesso modello di governance e la stessa architettura dati centrale che già alimentano le vostre analytics e l'AI.

I partecipanti alla preview hanno riscontrato prestazioni fino a 16 volte migliori rispetto ai layer di serving in tempo reale, con tempi di risposta di soli 10 ms su dataset più piccoli e prestazioni inferiori a 100 ms su quelli più grandi. Sui benchmark analitici standard, Lakehouse//RT offre una latenza inferiore a 100 millisecondi a 12.000 query al secondo.

Ma è facile scegliere ad hoc un singolo numero su un singolo benchmark. La vera prova consiste nel vedere se quella velocità si mantiene ovunque: con più dati, con query più difficili e sotto un carico più pesante.

Lakehouse//RT supera le prestazioni in tutti i benchmark

Questo nuovo approccio consente a Lakehouse//RT di mantenere una bassa latenza, anche con migliaia di query al secondo, sia su dataset grandi che piccoli, laddove altri data warehouse o motori in tempo reale specializzati possono subire picchi nei tempi di risposta o persino bloccarsi del tutto.

Ecco come si presenta questo aspetto su tre dimensioni:

1. Sotto carico: è facile offrire una bassa latenza con una singola query. La sfida sorge quando una dashboard o un'applicazione invia contemporaneamente migliaia di query al sistema. Non volete che i vostri utenti finali aprano l'applicazione analitica e debbano attendere secondi o addirittura minuti per il caricamento. Abbiamo testato Lakehouse//RT rispetto alle principali alternative sulla latenza delle query, spingendo il throughput da una manciata di query al secondo a migliaia. Le alternative si comportano tutte allo stesso modo. La latenza si mantiene stabile per un po', poi sale e infine il motore smette del tutto di rispondere. Lakehouse//RT rimane stabile su tutta la linea, scalando a migliaia di query al secondo senza sacrificare la latenza delle query.

2. Su scala: questo test si basa su TPCH, un benchmark standard di supporto alle decisioni. Abbiamo eseguito una suite di query su uno schema di vendita che combina scansioni di tabelle di grandi dimensioni, join multi-tabella e aggregazioni, ovvero la struttura tipica della reportistica aziendale quotidiana. Lo eseguiamo da dataset di piccole dimensioni fino a un terabyte, il percorso che compie ogni dataset con l'accumularsi dell'utilizzo e dello storico. Lakehouse//RT mantiene bassa la latenza man mano che i dati crescono, e il grafico mostra come le prestazioni si mantengano costanti tra i vari fattori di scala. Sfortunatamente, con fattori di scala elevati, 2 delle 3 alternative testate non sono riuscite a funzionare. Ciò evidenzia ulteriormente l'incapacità di questi stack collaterali in tempo reale di gestire volumi di dati significativi.

3. Sulle query più difficili: questo test si basa su TPCDS, un benchmark di supporto alle decisioni più esigente per i data warehouse. Abbiamo eseguito una suite di query complesse costituite da join multi-tabella profondi, sottoquery e window function su uno schema di warehouse realistico, il tipo di analisi che un analista scrive quando la domanda va ben oltre una semplice ricerca. Lakehouse//RT mantiene bassa la latenza anche quando le query diventano più difficili, e il grafico mostra che il divario non fa che aumentare, con un'alternativa che risulta fino a 25 volte più lenta. E ancora una volta, alla scala più grande, la stessa alternativa non è riuscita affatto a completare l'esecuzione. Un'ulteriore prova del fatto che gli stack collaterali in tempo reale progettati per semplici ricerche non sono in grado di gestire le complesse analisi che le aziende eseguono ogni giorno.

Il risultato è coerente su tutti e tre gli aspetti. Veloce sotto carico, veloce su scala e veloce sulle query più difficili, in un unico motore, su un'unica copia dei vostri dati. I nostri clienti in anteprima hanno riscontrato incrementi prestazionali simili con Lakehouse//RT in scenari reali, dalle dashboard alle applicazioni analitiche in tempo reale.

Velocità nell'ordine dei millisecondi su scala, su un'unica piattaforma unificata e ben governata

Unificando le prestazioni in tempo reale con la vostra piattaforma dati centrale, Lakehouse//RT elimina i compromessi architetturali per offrire tre vantaggi fondamentali: risposte in tempo reale, architettura snella e governance coerente.

Risposte in tempo reale

Quando è fondamentale ottenere gli insight più rapidi e aggiornati, Lakehouse//RT risponde alle aspettative. I clienti che operano in settori esigenti in cui ogni millisecondo conta, indipendentemente dal numero di query simultanee, riducono drasticamente il time-to-insight grazie al lakehouse in tempo reale.

Ecco quali incrementi di prestazioni hanno riscontrato alcuni dei nostri primi clienti in anteprima:

"Meta Enterprise esegue analytics per i nostri team nei settori della supply chain, della finanza e non solo, dove gli analisti si aspettano risposte istantanee, anche in presenza di un'elevata concorrenza sulle nostre tabelle più grandi. Con Lakehouse//RT, i risultati delle nostre query tipiche vengono restituiti in decine di millisecondi con i dati sul lake, senza bisogno di un sistema separato affiancato."

— Srikanth Sakhamuri, Data Engineering Leader presso Meta

"SES, un'azienda di soluzioni spaziali, aiuta i governi a proteggere, le imprese a crescere e le persone a rimanere connesse, ovunque si trovino. Grazie ai satelliti multi-orbita integrati e alla nostra rete terrestre globale, offriamo una connettività resiliente e senza interruzioni. Le nostre dashboard operative si basano su miliardi di righe di telemetria in tempo reale e richiedono risposte in millisecondi con un'elevata concorrenza.

Lakehouse//RT offre esattamente questo direttamente sui nostri dati Databricks: 20 volte più veloce rispetto ai nostri tempi di query precedenti e a una frazione del costo, poiché non abbiamo più bisogno di gestire un layer di serving separato per soddisfare i nostri requisiti di latenza."

— Dennis Rossberg, Senior Data Cloud Architect presso SES

"Enverus è la piattaforma di dati e AI del settore energetico, basata su oltre 25 anni di intelligence proprietaria con 2,7 petabyte di dati costantemente aggiornati, più di 350 milioni di registri giudiziari e oltre 500 miliardi di dollari in transazioni annuali che coprono l'intera catena del valore dell'energia. Ciò significa che la nostra analisi deve rimanere interattiva, anche con la crescita del traffico degli analisti e delle app integrate.

Con Lakehouse//RT, le query restituiscono risultati in decine di millisecondi per alcune query, e fino a 100 volte più velocemente su altre rispetto al nostro motore in tempo reale specializzato. Queste prestazioni ci consentono di unificare il nostro stack di analisi separato in un unico Lakehouse."

— Paul Lamb, Director, Enterprise Analytics presso Enverus

Architettura semplificata

Invece di copiare e spostare dati e creare pipeline aggiuntive, i team possono fare affidamento su un'unica piattaforma agile per ottenere la potenza di calcolo di cui hanno bisogno senza strumenti proprietari. Ciò significa meno complessità e frammentazione del sistema.

"La nostra piattaforma gestisce centinaia di query al secondo per dati sulle prestazioni in tempo reale su tutta la nostra base clienti, quindi la coerenza e la latenza influiscono direttamente sull'esperienza del cliente.

Con Lakehouse//RT, stiamo riscontrando prestazioni costantemente inferiori a 200 millisecondi sulle query delle nostre dashboard principali. Poter ottenere questo risultato direttamente sui dati governati del lakehouse semplifica drasticamente la nostra pipeline e l'architettura di serving."

— Kayvon Raphael, Senior Director of Engineering presso Magnite

"La ricerca delle minacce richiede una latenza costantemente bassa, anche con la crescita dell'utilizzo da parte di utenti e agenti. Ciò che stiamo vedendo con Lakehouse//RT sono prestazioni nell'ordine dei millisecondi su dati in tempo reale con un miglioramento di 5 volte nei tempi di risposta, il che apre la strada all'esecuzione di tali carichi di lavoro sul nostro lakehouse invece di mantenere un sistema di serving separato."

— Chris Kopek, Head of Data Platforms, Cisco

"In Halcyon, i nostri team monitorano i dati di sicurezza su milioni di endpoint, correlando segnali diversi per identificare le minacce critiche in pochi secondi. Con la crescita delle esigenze di sicurezza dei nostri clienti, è aumentato anche il carico sui nostri sistemi.

Lakehouse//RT ha fornito le prestazioni e la concorrenza di cui avevamo bisogno. Le nostre query critiche ora vengono eseguite circa 4 volte più velocemente, direttamente sul nostro Lakehouse, senza un sistema di caching separato."

— Seagen Levites, Senior Director Quantitative Analysis presso Halcyon AI

Governance solida e coerente

Allo stesso tempo, la governance rimane centralizzata. Criteri di sicurezza, autorizzazioni, controlli di acesso e logica di business rimangono definiti e applicati in modo coerente con Unity Catalog. I tuoi team non devono duplicare le regole o rincorrere una governance frammentata. Lo configuri una volta e funziona ovunque.

"Lakehouse//RT è stato in media più veloce di oltre un terzo rispetto al nostro data warehouse precedente sul nostro dataset sanitario, con query 10 volte più veloci [su alcuni carichi di lavoro]. Ciò si traduce direttamente in un accesso più rapido alle informazioni e in più tempo per prendere decisioni per i nostri clienti. Avevamo preso in considerazione un sistema in tempo reale dedicato per potenziare la nostra architettura Lakehouse, ma Lakehouse//RT ha eliminato tale necessità, offrendoci quella velocità in modo nativo con una governance coerente."

— Mehrshad Setayesh, SVP Engineering (Data, Platform, AI) presso PointClickCare

"Bally’s è uno dei più grandi gruppi tecnologici globali di gaming e lotterie del settore, con milioni di transazioni al giorno su circa 60 TB in Delta Lake sotto Unity Catalog. I nostri team operativi hanno bisogno di risposte in pochi secondi e, per offrirle, avevamo implementato sistemi di serving separati a bassa latenza insieme al lakehouse. Lakehouse//RT elimina questo compromesso: prestazioni inferiori al secondo, 7 volte più veloci sugli stessi dati, direttamente dalle nostre tabelle Delta governate. Nessuna copia, nessun cluster aggiuntivo, nessun secondo sistema da proteggere.

Questa semplicità è particolarmente importante in un settore altamente regolamentato, in cui il mantenimento dei più elevati standard di governance, sicurezza e privacy dei dati è fondamentale per il nostro modo di operare."

— Mark Borg, Senior Vice President of Data presso Bally’s

"Equilibrium Energy sta reinventando il modo in cui viene effettuato il trading di energia: agenti AI che lavorano a fianco dei trader umani, su dati in tempo reale estratti da decine di fonti diverse, alla velocità effettivamente richiesta dal mercato. È un carico di lavoro con cui la maggior parte delle architetture in tempo reale non riesce a tenere il passo. Lakehouse//RT ha offerto una latenza mediana fino a 3,6 volte più veloce rispetto a SQL Serverless sulle query del nostro portale, abbastanza veloce da consentire ai trader di ragionare con i dati anziché attenderli, eseguendo scenari, esplorando insieme agli agenti AI e prendendo decisioni in pochi secondi.

Mantenere tutto su un'unica piattaforma, invece di aggiungere un livello in tempo reale separato al nostro stack, ci consente di muoverci a questa velocità senza sacrificare la governance."

— Tarek Rached, Director, Data Platform presso Equilibrium Energy

Partner

Oltre ai clienti in Preview, alcuni dei più grandi partner globali di Databricks condividono già la nostra visione per Lakehouse//RT. Riconoscono l'incredibile potenziale che questo porta sul mercato e desiderano collaborare con noi mentre apriamo la strada al data warehousing in tempo reale.

"L'alleanza di Deloitte con Databricks continua a registrare uno slancio incredibile mentre aiutiamo le organizzazioni a trasformare i loro dati in asset strategici pronti per l'AI. Il lancio di Lakehouse//RT segna un significativo passo avanti, fornendo le funzionalità in tempo reale necessarie per alimentare l'analisi avanzata e accelerare il time-to-value. Siamo entusiasti di approfondire la nostra collaborazione con Databricks e di portare questa ultima innovazione ai nostri clienti per generare risultati di business misurabili e d'impatto."

— Thomas Zipprich, Principal and Global Databricks Alliance Leader, Deloitte Consulting LLP

"Mentre assistiamo a un'accelerazione della nostra partnership con Databricks grazie al lancio del nostro nuovo Business Group, la domanda aziendale di dati in tempo reale e AI non è mai stata così chiara. Il lancio di Lakehouse//RT offre la velocità e l'architettura aperta di cui i nostri clienti hanno bisogno per guidare una reinvenzione aziendale intelligente. Non vediamo l'ora di continuare il nostro percorso con Databricks per sbloccare nuove possibilità."

— Jigyasa Singh, Global Databricks Business Group Lead, Accenture

"Sigma ora si connette direttamente a Lakehouse//RT, Agent Bricks, Genie Agents e Lakebase, in modo che i clienti comuni possano ottenere prestazioni delle query inferiori al secondo su scala, esplorare miliardi di righe attraverso una familiare interfaccia a foglio di calcolo, creare agenti che agiscono su tali dati e gestire l'intero flusso di lavoro degli agenti (memoria, stato e tutto il resto) senza mai lasciare l'ambiente governato di cui già si fidano.

La parte più difficile dell'AI aziendale non è creare il modello. È far funzionare gli agenti su dati aziendali reali, con autorizzazioni reali, su scala. Questo è esattamente ciò che Sigma e Databricks risolvono insieme."

— Mike Palmer, CEO di Sigma

Un nuovo motore e un nuovo modello di calcolo

Oltre ai vantaggi in termini di prestazioni, semplicità e governance, Lakehouse//RT solleva i tuoi team dall'onere delle decisioni:

AUTO sizing. Non devi più scegliere una taglia. Databricks determina automaticamente la risorsa di calcolo di base corretta per il tuo carico di lavoro, eliminando i tentativi e i cicli di aumento delle dimensioni quando le query rallentano o di riduzione per risparmiare sui costi.

Autoscaling incrementale. I data warehouse tradizionali gestiscono una maggiore concorrenza avviando intere copie di se stessi, 2X, poi 3X, poi 4X. Un piccolo aumento della domanda può raddoppiare la tua fattura. Lakehouse//RT si adatta aggiungendo e rimuovendo singoli nodi al variare del carico, così ottieni esattamente la capacità di cui hai bisogno e paghi esattamente per quella.

Porta a casa i tuoi carichi di lavoro in tempo reale

Databricks fornisce da tempo la scalabilità e l'apertura necessarie per l'analisi moderna e l'AI. Le organizzazioni non devono più scegliere tra prestazioni a bassa latenza e un'architettura dati aperta e unificata. Non hai bisogno di uno stack più frammentato. Hai bisogno di un data warehouse più capace.

Lakehouse//RT è ora disponibile in Beta per workload selezionati in sola lettura, con ulteriori funzionalità in arrivo nei prossimi mesi. Contatta il team del tuo account Databricks per iniziare e portare i tuoi workload in tempo reale sul lakehouse. Come offerta di lancio, l'utilizzo di Lakehouse//RT è scontato del 30% fino a gennaio 2027. Una volta dentro, ti basterà selezionare Lakehouse//RT dal selettore di warehouse e sarai subito pronto a partire.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale