Annuncio dell'anteprima pubblica di Lakebase

Al Data and AI Summit, abbiamo introdotto una nuova categoria di database operativi chiamati lakebase per la creazione di applicazioni intelligenti. Oggi, siamo entusiasti di annunciare la Public Preview di Databricks Lakebase, il primo database Postgres completamente gestito, creato per app di dati e AI. 

I clienti stanno combinando i loro dati operativi e analitici per creare applicazioni intelligenti: fornendo funzionalità e modelli, creando applicazioni autonome o analizzando dati operativi in un lakehouse. Tuttavia, continuano ad avere difficoltà con il provisioning, il dimensionamento e la mancanza di una moderna esperienza per sviluppatori per i dati, perché i database non hanno visto molta innovazione negli ultimi decenni. 

I Lakebase forniscono una soluzione per l'era dell'AI. In questo blog, presenteremo le principali funzionalità e i vantaggi di Databricks Lakebase e illustreremo come i clienti utilizzano già Lakebase oggi.

Presentazione di Lakebase

I database OLTP non sono cambiati radicalmente dagli anni '90. Anche quando vengono distribuiti sul cloud, questi database legacy sono lenti e costosi da provisionare e gestire. I database operativi vengono in genere distribuiti in uno stack separato dalla piattaforma di analisi, creando silos tra dati transazionali e analitici. Inoltre, questi database non si adattano a un moderno flusso di lavoro di sviluppo necessario per lo sviluppo dell'AI. L'architettura tradizionale in genere prevede database separati per ambienti di sviluppo, test, staging e produzione, ognuno dei quali viene provisionato, popolato e gestito separatamente.

Databricks Lakebase è un database unico nel suo genere, basato su standard open source, con un'architettura altamente scalabile, basata sulla separazione di elaborazione e archiviazione, specificamente progettata per lo sviluppo di applicazioni moderne. Lakebase è profondamente integrato nel lakehouse per semplificare la combinazione di stack operativi, analitici e di AI.

Basato su Postgres open source 

Negli ultimi 7 anni, Postgres è diventato il database più popolare nella community di sviluppatori ed è la scelta di database di fatto per le applicazioni moderne. È open source, ha un vivace ecosistema di estensioni ed è supportato da una solida community di librerie, strumenti e framework. Gli ingegneri sanno già come utilizzarlo e tutti i modelli fondamentali sono addestrati su grandi quantità di dati disponibili per l'ecosistema Postgres, rendendolo molto accessibile alle applicazioni e agli agenti intelligenti.

Con il supporto per estensioni popolari come PostGIS e pgvector e un ampio ecosistema di driver e strumenti, Lakebase offre un ricco set di funzionalità che risulteranno familiari ai team di sviluppo. 

Separazione di elaborazione e archiviazione

Lakebase sfrutta un'architettura che separa elaborazione e archiviazione, il che consente il dimensionamento indipendente supportando al contempo bassa latenza (<10 ms) e transazioni ad alta concorrenza (>10k qps).

Lakebase è completamente gestito da Databricks, il che significa che non è necessario effettuare il provisioning o la manutenzione dell'infrastruttura. Il risultato è un servizio di database che rimuove gli attriti sia dai processi infrastrutturali che di sviluppo, consentendo ai team di muoversi più velocemente senza compromettere il controllo o l'affidabilità.

• Elevata disponibilità con secondari leggibili: l'elevata disponibilità multi-zona protegge dagli errori di zona mediante il provisioning di risorse di calcolo secondarie tra le zone. I secondari possono facoltativamente essere leggibili per fornire isolamento e dimensionamento orizzontale dei carichi di lavoro di lettura.
• Archiviazione e ripristino dei dati: tutte le transazioni vengono salvate in modo permanente in un archivio crittografato che è durevole a livello regionale e quindi protetto da qualsiasi errore di singola zona. Il ripristino point-in-time è disponibile tramite una finestra di protezione dei dati che offre fino a 35 giorni di tempo di ripristino.
• Branching per un ambiente di test isolato o ripristino point-in-time: Lakebase utilizza il branching copy-on-write per creare un clone istantaneo zero-copy del database, insieme a risorse di calcolo dedicate per operare su tale branch. Il branch figlio viene gestito indipendentemente dal branch padre principale e può essere creato in base ai dati nel padre nel punto nel tempo corrente o in un punto nel tempo precedente o Log Sequence Number (LSN). Questo può essere utilizzato per creare un ambiente di test isolato con dati di produzione o per operazioni di ripristino point-in-time.

DevEx moderno, creato per l'AI

Lakebase è basato sulla tecnologia Neon, che fornisce branching copy-on-write e calcolo serverless con scalabilità automatica. Il branching copy-on-write consente di creare istantaneamente un nuovo database con gli stessi dati e lo stesso schema di un database esistente, senza influire sull'originale. Questo nuovo database è economicamente vantaggioso perché non duplica i dati sottostanti.  Il calcolo serverless con scalabilità automatica fornisce tempi di avvio inferiori al secondo e si adatta in base alla domanda, con il dimensionamento a zero che consente un utilizzo del calcolo economicamente vantaggioso.

Combinate, le funzionalità di scalabilità automatica serverless del calcolo e di branching cambiano completamente il paradigma di sviluppo per le applicazioni. Gli sviluppatori possono creare istantaneamente un branch di database per corrispondere a ogni branch git e non devono preoccuparsi di configurare nuove istanze di database, campionare i dati per ambienti di sviluppo o test o idratare più database.

Per sviluppatori e agenti, questo significa che gli ambienti di database temporanei possono essere creati, utilizzati e dismessi rapidamente a costo praticamente nullo, con uno sforzo praticamente nullo.

L'esperienza completa per sviluppatori Neon in Lakebase e molte altre interessanti funzionalità saranno disponibili a breve.

Integrato con il lakehouse

Lakebase integra un livello di database transazionale con il lakehouse ed eredita la maturità operativa della piattaforma Databricks, tra cui osservabilità, sicurezza e controlli di accesso. Lakebase si sincronizza con le tabelle gestite di Unity Catalog, rendendo facile e veloce la combinazione di carichi di lavoro operativi, analitici e di AI senza pipeline ETL personalizzate. Di conseguenza, puoi creare applicazioni intelligenti che utilizzano funzionalità o previsioni generate nel lakehouse e aggiornare il livello analitico con dati operativi aggiornati, tutto all'interno di una piattaforma unificata.

• Sincronizzazione dei dati completamente gestita: le pipeline di sincronizzazione dei dati facili da configurare forniscono un modo semplice e scalabile per gestire i dati tra le tabelle gestite di Unity Catalog e Lakebase. Le opzioni di frequenza di sincronizzazione dei dati includono Snapshot una tantum, Attivata o Continua.
• Feature e Model serving: fornisci funzionalità e modelli di machine learning per applicazioni con Lakebase come feature store online e il lakehouse come archivio offline per training e analisi.
• Governance unificata: sfrutta l'integrazione nativa con Unity Catalog e l'identità Databricks per semplificare il controllo degli accessi sull'intera piattaforma. Sfrutta l'identità Databricks e OAuth per mantenere un'identità coerente tra i tuoi utenti operativi e analitici. Registra un database Postgres in Unity Catalog per fornire governance unificata e controllo degli accessi per gli utenti di analisi.
• Integrazione di Databricks Apps: crea e distribuisci applicazioni full-stack su Databricks con Lakebase che alimenta le interazioni transazionali. Databricks Apps supporta Lakebase come tipo di risorsa nativa.
• Ambiente di sviluppo unificato: utilizza l'editor SQL di Databricks per interrogare direttamente Lakebase e sfogliare i dati.
• Monitoraggio integrato: fornisce metriche chiave del database come le transazioni al secondo, il numero di connessioni aperte e l'utilizzo delle risorse.
• Sicurezza di rete: Lakebase è integrato con le funzionalità di sicurezza di rete aziendale di Databricks, tra cui PrivateLink e ACL IP, per fornire una sicurezza di rete coerente
• Multi-cloud: Lakebase è disponibile tra i provider di cloud senza ripiattaformare. In Public Preview, Lakebase è disponibile su Azure e AWS, con il supporto per Google Cloud Platform che verrà aggiunto in futuro.

I clienti stanno utilizzando Lakebase

Con centinaia di clienti nel programma Private Preview, è stato entusiasmante vedere la varietà di casi d'uso, tra cui:

• Fornire dati e/o funzionalità dal lakehouse per applicazioni come consigli personalizzati o segmentazione dei clienti,
• Creazione di applicazioni e agenti per l'elaborazione degli ordini, la firma interattiva del flusso di lavoro e i chatbot.
• Analizzare i dati operativi nel lakehouse sincronizzando i dati con il lakehouse per l'analisi storica degli ordini o la cronologia dei chatbot per i dati di training.

In Heineken, il nostro obiettivo è diventare il birrificio meglio connesso. Per fare ciò, avevamo bisogno di un modo per unificare tutti i nostri set di dati per accelerare il percorso dai dati al valore. Databricks è stata a lungo la nostra base per l'analisi, creando informazioni dettagliate come consigli sui prodotti e miglioramenti della supply chain. La nostra piattaforma di dati analitici si sta ora evolvendo per diventare una piattaforma di dati AI operativa e deve fornire tali informazioni dettagliate alle applicazioni a bassa latenza. —Jelle Van Etten, Head of Global Data Platform, Heineken

In Tibber, consentire ai clienti di assumere il controllo del proprio consumo di energia richiede un'infrastruttura dati flessibile. L'integrazione di Lakebase con Databricks semplifica la fornitura di dati analitici e transazionali, aiutandoci a fornire informazioni dettagliate in tempo reale ai nostri clienti. — Niklas Nordansjö, Data Platform Lead, Tibber AS

Una solida rete di partner aiuta i clienti Lakebase a lavorare con i propri partner tecnologici e integratori di sistemi esistenti per l'integrazione dei dati, la business intelligence e la governance. Siamo entusiasti di avere un fantastico gruppo di partner di lancio del settore per Lakebase.

In dbt Labs, stiamo cambiando il modo in cui viene eseguita l'ingegneria dei dati. Con il nuovo Lakebase di Databricks, i nostri clienti congiunti saranno ora in grado di combinare dati transazionali a bassa latenza e dati analitici in un'unica piattaforma su Databricks. Questo ci aiuterà entrambi a fornire AI su scala aziendale per i nostri clienti. Non vediamo l'ora di inaugurare la nuova era dell'analisi con Databricks. — Ryan Segar, Chief Product Officer, dbt Labs

Riepilogo

Lakebase combina la familiarità e l'estensibilità di Postgres, la scalabilità di una moderna architettura serverless, una moderna esperienza per sviluppatori, con l'esperienza dati unificata del lakehouse e la maturità operativa della piattaforma Databricks Data Intelligence. Combinando questi elementi in un'unica offerta completamente gestita, Lakebase consente ai team di creare applicazioni intelligenti basate sui dati senza la complessità operativa tradizionalmente associata ai sistemi transazionali.

Lakebase è disponibile in Public Preview con i prezzi disponibili qui. Se stai cercando di creare applicazioni che incorporino analisi e AI, è il tassello mancante del tuo stack, pronto ad accelerare lo sviluppo e semplificare le operazioni. Se sei un amministratore dell'area di lavoro o dell'account, puoi abilitarlo direttamente dalla tua area di lavoro Databricks. Provalo oggi stesso!

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale