Aggiornamento di Lakebase per le festività

Da quando abbiamo annunciato la Public Preview di Lakebase in estate, migliaia di clienti Databricks hanno creato applicazioni Data Intelligent su Lakebase, utilizzandolo per alimentare il data serving delle applicazioni, i negozi di funzionalità e la memoria degli agenti, mantenendo al contempo i dati strettamente allineati con i flussi di lavoro di analitiche e machine learning.

Con l'avvicinarsi della fine dell'anno, siamo entusiasti di presentare una nuova ed entusiasmante serie di miglioramenti:

• Scalabilità automatica che adatta dinamicamente il compute in base al carico
• Scale to zero, che consente di arrestare il compute quando è inattivo e di riprenderlo automaticamente in centinaia di millisecondi
• Provisioning istantaneo per creare nuove istanze di database in pochi secondi
• Branching istantaneo del database, che abilita flussi di lavoro di tipo git con ambienti isolati e copy-on-write per lo sviluppo, il test e lo staging
• Backup automatici e ripristino point-in-time per un ripristino rapido e attività operative più sicure
• Postgres 17, insieme al supporto continuo per Postgres 16
• Capacità di archiviazione aumentata fino a 8 TB per carichi di lavoro di produzione più grandi
• Una nuova UI di Lakebase che semplifica i flussi di lavoro comuni

Queste funzionalità rappresentano una tappa fondamentale nella definizione della categoria lakebase, un'architettura di database serverless che separa lo storage OLTP dal compute. Sono rese possibili combinando la tecnologia di storage e Postgres serverless derivante dalla nostra acquisizione di Neon con l'infrastruttura multi-cloud di livello enterprise di Databricks. 

Scalabilità automatica per carichi di lavoro applicativi dinamici

I carichi di lavoro delle applicazioni moderne raramente seguono modelli di traffico prevedibili. L'attività degli utenti fluttua durante il giorno, i Job in background generano picchi di scrittura e i sistemi basati su agenti possono creare picchi improvvisi di concorrenza. I database operativi tradizionali richiedono ai team di pianificare manualmente l'utilizzo di picco e di regolare la capacità, il che spesso si traduce in overprovisioning e complessità non necessarie.

Poiché Lakebase si basa su un'architettura che separa il livello di storage dal livello di elaborazione e consente il dimensionamento indipendente dei due, stiamo ora rilasciando la funzionalità di dimensionamento automatico del calcolo (compute autoscaling), in grado di regolare dinamicamente la capacità di calcolo in base alla domanda del carico di lavoro attivo. Quando il traffico aumenta, la capacità di calcolo (compute) viene potenziata per mantenere le prestazioni. Quando l'attività rallenta, il compute si riduce. I database inattivi vengono sospesi dopo un breve periodo di inattività e si riattivano rapidamente quando arrivano nuove query. Compute si adatta dinamicamente per soddisfare la richiesta del carico di lavoro sia negli ambienti di produzione che in quelli di sviluppo.

Il risultato è meno tempo dedicato alla gestione della capacità e più tempo da dedicare al comportamento dell'applicazione.

Avvio rapido e provisioning immediato

La creazione di un nuovo database o la riattivazione di uno inattivo non dovrebbero rallentare lo sviluppo. Con questo aggiornamento, i nuovi database Lakebase vengono sottoposti a provisioning in pochi secondi e le istanze sospese si riattivano rapidamente al ritorno del traffico. Questo rende più semplice avviare ambienti on demand, iterare durante lo sviluppo e supportare flussi di lavoro in cui i database vengono creati ed eliminati di frequente.

Per i team che creano e testano applicazioni, una startup più rapida riduce gli attriti e mantiene serrati i cicli di iterazione, soprattutto se abbinato a branching e autoscaling.

Branching per un'iterazione più rapida e sicura

Creare e far evolvere le applicazioni di produzione significa un cambiamento costante. I team convalidano gli aggiornamenti dello schema, eseguono il debug di problemi complessi ed eseguono pipeline CI che dipendono da viste coerenti dei dati. La clonazione tradizionale dei database fa fatica a tenere il passo perché le copie complete sono lente, richiedono molto spazio di archiviazione e sono rischiose dal punto di vista operativo.

Il servizio di storage Lakebase implementa il branching copy-on-write e ora rendiamo disponibile questa funzionalità ai nostri clienti come branching del database. I branch sono ambienti istantanei di tipo copy-on-write che rimangono isolati pur condividendo lo storage sottostante. Questo semplifica l'avvio di ambienti di sviluppo, test e staging in pochi secondi e l'iterazione sulla logica dell'applicazione senza intaccare i sistemi di produzione.

In pratica, il branching rimuove l'attrito dal ciclo di vita dello sviluppo e aiuta i team a procedere più velocemente e con sicurezza. (Ma il testing in produzione è comunque sconsigliato!)

Backup automatici e ripristino point-in-time 

Non tutti i problemi relativi ai dati sono un'interruzione del servizio. A volte il problema è più sottile: un bug che scrive silenziosamente dati errati nel tempo, una modifica dello schema che si comporta in modo diverso dal previsto o uno script di backfill che interessa più righe del previsto. Questi problemi spesso passano inosservati finché i team non devono fare affidamento sui dati storici per l'analisi, il reporting o il comportamento delle applicazioni downstream.

Negli ambienti tradizionali, il ripristino da scenari come questo può essere complicato. I team sono costretti a ricostruire la cronologia manualmente, a rieseguire i log o a creare sistemi temporanei solo per ripristinare una versione valida nota dei propri dati. Questo processo richiede molto tempo, è soggetto a errori e spesso necessita di una profonda competenza sui database.

Lakebase ora rende queste situazioni molto più facili da gestire. Grazie ai backup automatici e al ripristino point-in-time, i team possono ripristinare un database a un momento esatto in pochi secondi. In questo modo i team applicativi possono recuperare rapidamente i problemi di dati causati da bug dell'applicazione o da errori operativi, senza dover ricorrere a replay manuali o a complessi flussi di lavoro di recupero.

Supporto per carichi di lavoro di produzione più grandi

Oltre al ripristino, i sistemi di produzione devono anche avere spazio per crescere con l'aumento dei volumi di dati. Con questo aggiornamento, Lakebase aumenta la sua capacità di archiviazione supportata fino a 8 TB, un aumento di quattro volte rispetto ai limiti precedenti, rendendolo adatto a carichi di lavoro applicativi più grandi ed esigenti. 

Supporto esteso per le versioni di Postgres

Lakebase ora supporta anche Postgres 17, mantenendo il supporto per Postgres 16. Ciò consente ai team di accedere ai più recenti miglioramenti di Postgres, mantenendo la compatibilità con le applicazioni esistenti.

Insieme, questi aggiornamenti rendono Lakebase una base più solida per l'esecuzione di carichi di lavoro operativi di livello produttivo su Databricks.

Flussi di lavoro più semplici con una nuova UI Lakebase

Lakebase ora include un'interfaccia utente nuova e rinnovata, progettata per semplificare i flussi di lavoro quotidiani. Creare database, gestire i branch e comprendere il comportamento della capacità è più semplice, con default migliori e un provisioning più rapido. Questa nuova UI è accessibile dall'icona dell'App Launcher per la nuova offerta di Lakebase con autoscaling. La precedente offerta di provisioning di Lakebase apparirà nella UI nelle prossime settimane. 

Adozione

Come indicato in precedenza, migliaia di clienti Databricks creano applicazioni su Lakebase. Poiché Lakebase è completamente integrato nella Databricks Data Intelligence Platform, i dati operativi si trovano nella stessa base che supporta analitiche, AI, applicazioni e flussi di lavoro agentivi. Unity Catalog fornisce governance coerente, controllo degli accessi, auditing e lineage. Databricks Apps e gli agent frameworks possono utilizzare Lakebase per integrare lo stato in tempo reale con il contesto storico, eliminando la necessità di ETL o di replica.

Per gli operatori del settore, questo crea un ambiente unificato in cui i dati operativi e analitici rimangono allineati, senza la necessità di destreggiarsi tra più sistemi per mantenere le applicazioni connesse all'intelligence.

Citando due early adopter:

"Lakebase consente a un team "agentic" di ottenere rapidamente e in autonomia i dati necessari per i propri modelli, che si tratti di richieste di indennizzo storiche o di transazioni in tempo reale, e questo è davvero potente." — Dragon Sky, Chief Architect, Ensemble Health

“Lakebase ci offre uno store durevole e a bassa latenza per lo stato delle applicazioni, in modo che le nostre app di dati si carichino rapidamente, si aggiornino senza interruzioni e supportino anche i link a pagine condivise tra gli utenti”. — Bobby Muldoon, VP of ingegneria, YipitData

Le novità di Lakebase

Queste nuove funzionalità sono disponibili oggi in AWS us-east-1, us-west-2, eu-west-1 e saranno gradualmente estese ad altre regioni nelle prossime settimane. Consulta la documentazione del prodotto per saperne di più e provare le ultime funzionalità.

Questo aggiornamento rappresenta un significativo passo avanti per Lakebase. Ma non siamo fermi. Aspettatevi molti aggiornamenti interessanti dopo le vacanze del prossimo anno!

Buone feste dal team di Lakebase!