Annuncio di Lakebase in anteprima pubblica

Al Data and AI Summit, abbiamo introdotto una nuova categoria di database operazionali chiamati lakebase per la creazione di applicazioni intelligenti. Oggi, siamo entusiasti di annunciare l'anteprima pubblica di Databricks Lakebase, il primo database Postgres completamente gestito, creato per app di dati e AI. 

I clienti stanno combinando i loro dati operazionali e analitici per creare applicazioni intelligenti: servendo feature e modelli, creando applicazioni standalone o analizzando dati operazionali in un lakehouse. Tuttavia, continuano a incontrare difficoltà nel provisioning, nello scaling e nella mancanza di un'esperienza di sviluppo moderna per i dati, poiché i database non hanno visto molte innovazioni negli ultimi decenni. 

I Lakebase offrono una soluzione per l'era dell'AI. In questo blog, introdurremo le funzionalità e i vantaggi chiave di Databricks Lakebase e descriveremo come i clienti utilizzano già Lakebase oggi.

Introduzione a Lakebase

I database OLTP non sono cambiati fondamentalmente dagli anni '90. Anche quando distribuiti nel cloud, questi database legacy sono lenti e costosi da fornire e gestire. I database operazionali sono tipicamente distribuiti in uno stack separato dalla piattaforma di analisi, creando silos tra dati transazionali e analitici. Inoltre, questi database non si adattano a un flusso di lavoro di sviluppo moderno necessario per lo sviluppo AI. L'architettura tradizionale prevede tipicamente database separati per ambienti di sviluppo, test, staging e produzione, ognuno fornito, popolato e mantenuto separatamente.

Databricks Lakebase è un database unico nel suo genere, costruito su standard open source, con un'architettura altamente scalabile, basata sulla separazione di calcolo e storage, specificamente progettato per lo sviluppo di applicazioni moderne. Lakebase è profondamente integrato nel lakehouse per semplificare la combinazione di stack operazionali, analitici e AI.

Costruito su Postgres open source 

Negli ultimi 7 anni, Postgres è diventato il database più popolare nella comunità degli sviluppatori ed è la scelta di database de facto per le applicazioni moderne. È open source, ha un vivace ecosistema di estensioni ed è supportato da una solida comunità di librerie, strumenti e framework. Gli ingegneri sanno già come lavorarci, e tutti i modelli fondamentali sono addestrati su vaste quantità di dati disponibili per l'ecosistema Postgres, rendendolo molto accessibile alle applicazioni intelligenti e agli agenti.

Con il supporto per estensioni popolari come PostGIS e pgvector, e un ampio ecosistema di driver e strumenti, Lakebase fornisce un ricco set di funzionalità che saranno familiari ai team di sviluppo. 

Separazione di Calcolo e Storage

Lakebase sfrutta un'architettura che separa calcolo e storage, consentendo uno scaling indipendente pur supportando transazioni a bassa latenza (<10ms) e ad alta concorrenza (>10k qps).

Lakebase è completamente gestito da Databricks, il che significa che non c'è infrastruttura da fornire o mantenere. Il risultato è un servizio di database che rimuove gli ostacoli sia dai processi infrastrutturali che di sviluppo, consentendo ai team di muoversi più velocemente senza compromettere il controllo o l'affidabilità.

• Alta disponibilità con secondari leggibili: L'alta disponibilità multi-zona protegge dai guasti zonali fornendo risorse di calcolo secondarie attraverso le zone. I secondari possono essere opzionalmente leggibili per fornire isolamento e scaling orizzontale dei carichi di lavoro di lettura.
• Storage e recupero dati: Tutte le transazioni vengono persistite in uno storage crittografato che è durevole a livello regionale e quindi protetto da qualsiasi guasto di singola zona. Il recupero point-in-time è disponibile tramite una finestra di protezione dati che fornisce fino a 35 giorni di tempo di recupero.
• Branching per un ambiente di test isolato o recupero point-in-time: Lakebase utilizza il branching copy-on-write per creare un clone istantaneo zero-copy del database, insieme a un calcolo dedicato per operare su quel branch. Il branch figlio è gestito indipendentemente dal branch padre principale e può essere creato in base ai dati nel padre al momento attuale, o in un momento precedente o Log Sequence Number (LSN). Questo può essere utilizzato per creare un ambiente di test isolato con dati di produzione o per operazioni di recupero point-in-time.

DevEx moderna, costruita per l'AI

Lakebase è costruito sulla tecnologia Neon, che fornisce il branching copy-on-write e il calcolo serverless autoscaling. Il branching copy-on-write rende possibile creare istantaneamente un nuovo database con gli stessi dati e schema di un database esistente, senza influenzare l'originale. Questo nuovo database è economicamente vantaggioso perché non duplica i dati sottostanti.  Il calcolo serverless autoscaling fornisce tempi di avvio inferiori al secondo e scala in base alla domanda, con lo scaling a zero che consente un utilizzo del calcolo economicamente vantaggioso.

Insieme, il calcolo serverless autoscaling e le funzionalità di branching cambiano completamente il paradigma di sviluppo per le applicazioni. Gli sviluppatori possono creare istantaneamente un branch del database per corrispondere a ogni branch git e non devono preoccuparsi di impostare nuove istanze di database, campionare dati per ambienti di sviluppo o test, o popolare più database.

Per sviluppatori e agenti, ciò significa che gli ambienti di database effimeri possono essere creati, utilizzati e dismessi rapidamente a costi virtualmente nulli, con uno sforzo virtualmente nullo.

L'esperienza di sviluppo Neon completa in Lakebase e molte altre funzionalità entusiasmanti arriveranno presto.

Integrato con il lakehouse

Lakebase integra uno strato di database transazionale con il lakehouse ed eredita la maturità operativa della Databricks Platform, inclusi observability, sicurezza e controlli di accesso. Lakebase si sincronizza con le tabelle gestite da Unity Catalog, rendendo facile e veloce combinare carichi di lavoro operazionali, analitici e AI senza pipeline ETL personalizzate. Di conseguenza, puoi creare applicazioni intelligenti che consumano feature o previsioni generate nel lakehouse e aggiornare lo strato analitico con dati operazionali freschi, tutto all'interno di una piattaforma unificata.

• Sincronizzazione dati completamente gestita: Pipeline di sincronizzazione dati facili da configurare forniscono un modo semplice e scalabile per gestire i dati tra le tabelle gestite da Unity Catalog e Lakebase. Le opzioni di frequenza di sincronizzazione dati includono Snapshot una tantum, Triggered o Continuous.
• Servizio di feature e modelli: Servi feature e modelli di machine learning per applicazioni con Lakebase come feature store online, e il lakehouse come store offline per training e analisi.
• Governance unificata: Sfrutta l'integrazione nativa con Unity Catalog e l'identità Databricks per semplificare il controllo degli accessi su tutta la piattaforma. Utilizza Databricks Identity e OAuth per mantenere un'identità coerente tra i tuoi utenti operazionali e analitici. Registra un database Postgres in Unity Catalog per fornire governance unificata e controllo degli accessi per gli utenti analitici.
• Integrazione Databricks Apps: Crea e distribuisci applicazioni full-stack su Databricks con Lakebase che alimenta le interazioni transazionali. Databricks Apps supporta Lakebase come tipo di risorsa nativa.
• Ambiente di sviluppo unificato: Utilizza Databricks SQL Editor per interrogare direttamente Lakebase e sfogliare i dati.
• Monitoraggio integrato: Fornisce metriche chiave del database come transazioni al secondo, numero di connessioni aperte e utilizzo delle risorse.
• Sicurezza di rete: Lakebase è integrato con le funzionalità di sicurezza di rete enterprise di Databricks, inclusi PrivateLink e IP ACL, per fornire una sicurezza di rete coerente
• Multi-cloud: Lakebase è disponibile su diversi provider cloud senza replatforming. In anteprima pubblica, Lakebase è disponibile su Azure e AWS, con supporto per Google Cloud Platform che verrà aggiunto in futuro.

I clienti utilizzano Lakebase

Con centinaia di clienti nel programma Private Preview, è stato entusiasmante vedere la varietà di casi d'uso, tra cui:

• Servire dati e/o feature dal lakehouse per applicazioni come raccomandazioni personalizzate o segmentazione dei clienti,
• Creare applicazioni e agenti per l'elaborazione degli ordini, l'approvazione di flussi di lavoro interattivi e chatbot.
• Analizzare dati operazionali nel lakehouse sincronizzando i dati nel lakehouse per l'analisi storica degli ordini, o la cronologia dei chatbot per i dati di training.

In Heineken, il nostro obiettivo è diventare il birrificio meglio connesso. Per farlo, avevamo bisogno di un modo per unificare tutti i nostri set di dati per accelerare il percorso dai dati al valore. Databricks è da tempo la nostra base per l'analisi, creando insight come raccomandazioni sui prodotti e miglioramenti della catena di approvvigionamento. La nostra piattaforma dati analitica si sta ora evolvendo per diventare una piattaforma dati AI operativa e deve fornire tali insight alle applicazioni a bassa latenza. —Jelle Van Etten, Head of Global Data Platform, Heineken

In Tibber, dare ai clienti il controllo sul loro consumo energetico richiede un'infrastruttura dati flessibile. L'integrazione di Lakebase con Databricks semplifica la gestione dei dati analitici e transazionali, aiutandoci a fornire insight in tempo reale ai nostri clienti. — Niklas Nordansjö, Data Platform Lead, Tibber AS

Una solida rete di partner aiuta i clienti di Lakebase a lavorare con i loro partner tecnologici e System Integrator esistenti per l'integrazione dei dati, la business intelligence e la governance. Siamo entusiasti di avere un fantastico gruppo di partner di lancio del settore per Lakebase.

In dbt Labs, stiamo cambiando il modo in cui viene fatta l'ingegneria dei dati. Con il nuovo Lakebase di Databricks, i nostri clienti congiunti saranno ora in grado di combinare dati transazionali a bassa latenza e dati analitici in un'unica piattaforma su Databricks. Questo ci aiuterà entrambi a fornire AI su scala enterprise per i nostri clienti. Non vediamo l'ora di inaugurare la nuova era dell'analisi con Databricks. — Ryan Segar, Chief Product Officer, dbt Labs

Riepilogo

Lakebase combina la familiarità e l'estensibilità di Postgres, la scalabilità di un'architettura serverless moderna, un'esperienza sviluppatore moderna, con l'esperienza dati unificata del lakehouse e la maturità operativa della Databricks Data Intelligence Platform. Combinando questi elementi in un'unica offerta completamente gestita, Lakebase consente ai team di creare applicazioni intelligenti e basate sui dati senza la complessità operativa tradizionalmente associata ai sistemi transazionali.

Lakebase è disponibile in anteprima pubblica con i prezzi disponibili qui. Se stai cercando di creare applicazioni che incorporino analisi e AI, è il pezzo mancante del tuo stack, pronto per accelerare lo sviluppo e semplificare le operazioni. Se sei un amministratore di Workspace o Account, puoi abilitarlo direttamente dal tuo Databricks Workspace. Provalo oggi stesso!

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale