Annuncio del Lakebase Change Data Feed (CDF)
Aprire il database OLTP ad altri motori
- Lakebase Change Data Feed (anteprima pubblica) elimina la proliferazione di pipeline dai database operativi. Attiva il CDF una volta per progetto Lakebase per esporre le modifiche di ogni tabella tramite Unity Catalog Managed Tables per l'accesso in lettura diretta da parte di qualsiasi motore, modello o agente.
- CDC nativo governato end-to-end senza infrastruttura secondaria: nessun connettore di database, monitoraggio dello stato di replica o processi di estrazione separati; i consumer downstream come le pipeline di streaming SDP, le viste materializzate DBSQL e gli embedding di Agent Bricks si iscrivono tutti allo stesso feed isolato senza impattare il carico di lavoro primario.
- I dati operativi funzionano ora come livello Bronze nativo nell'architettura medallion. Lakebase Synced Tables fornisce già dati Gold alle applicazioni; Lakebase CDF chiude il cerchio con governance completa di Unity Catalog e lineage attraverso il ciclo di vita dei dati.
In passato, spostare i dati dal tuo database operativo significava configurare e monitorare una pipeline per ogni origine e ogni destinazione. Per la maggior parte dei team, questo comporta uno sforzo umano fragile, non governato e con complessità O(n).
Oggi cambiamo questo approccio. Disponibile ora in anteprima pubblica, Lakebase offre un Change Data Feed (CDF) archiviato e governato in Unity Catalog Managed Tables. Abilita il feed una sola volta e consenti a tutti i motori, modelli e agenti di leggerlo direttamente.
Perché caricare dati operativi nel lake è ancora così difficile?
Sebbene Lakeflow Connect abbia reso banale l'ingestione di dati nel Lakehouse, estrarre dati dal database OLTP rimane un processo manuale e ad alto attrito. L'estrazione del Change Data Capture (CDC) costringe i team a configurare connettori di database, supervisionare gli stati di replica, mitigare gli impatti sulle prestazioni e tracciare gli errori tramite strumenti disconnessi. Questo modello fallisce nello sviluppo basato su agenti che si basa su un rapido branching dei dati. Mantenere pipeline di estrazione complesse e non governate per ogni nuovo branch verso ogni destinazione è insostenibile.
Abbiamo risolto questo problema nel Lakehouse. Ora lo portiamo su Lakebase.
Il Lakehouse ha eliminato le pipeline di estrazione per l'analisi memorizzando i dati una volta in formati aperti (Apache Iceberg™, Delta Lake). Ha stabilito il Change Data Feed (CDF) come standard per la replica downstream, alimentando flussi di lavoro ETL, di streaming e log di controllo.
Ora puoi configurare quel CDF nativamente su Lakebase. L'abilitazione richiede meno di un minuto e si applica a tutte le tabelle all'interno di un progetto. Da questo singolo feed, puoi creare pipeline di streaming con SDP, generare viste materializzate con DBSQL o calcolare e archiviare embedding con Agent Bricks. Ogni consumer downstream si iscrive allo stesso identico feed, completamente isolato dal tuo carico di lavoro operativo primario.
I database operativi appartengono all'architettura medallion
Con Lakebase, i tuoi dati operativi non sono più isolati dal Lakehouse. Lakebase offre già Synced Tables, stabilendo il modello di fornire set di dati Gold direttamente alle applicazioni. Lakebase CDF completa l'architettura. Il tuo database operativo diventa ora il tuo livello Bronze nativo, eliminando la necessità di pipeline separate o processi di estrazione per caricare i dati nel Lakehouse. Invece, ottieni governance completa e lineage attraverso il ciclo di vita dei dati tramite Unity Catalog.
Questo è solo l'inizio. Stiamo portando l'apertura che ami del Lakehouse direttamente su Lakebase. Resta sintonizzato per il Data and AI Summit e unisciti alla nostra sessione di approfondimento su questa architettura.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Ricevi gli ultimi articoli nella tua casella di posta
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.