Lakebase Change Data Feed (CDF) の発表

従来、運用データベースからデータを移動するには、ソースごとに宛先ごとにパイプラインを設定・監視する必要がありました。ほとんどのチームにとって、これは壊れやすく、統制がなく、O(n) の人的労力を要するものでした。

本日、このアプローチを変更します。現在 Public Preview で利用可能な Lakebase は、Change Data Feed (CDF) を特徴としており、これはUnity Catalog Managed Tables に保存および管理されます。フィードを一度有効にするだけで、すべてのエンジン、モデル、エージェントが直接読み取ることができます。

運用データをレイクにロードするのは、なぜまだ難しいのでしょうか？

Lakeflow Connect により Lakehouse へのデータ取り込みは容易になりましたが、OLTP データベースからデータを取り出すのは、依然として手動で手間のかかるプロセスです。Change Data Capture (CDC) を抽出すると、チームはデータベースコネクタを設定し、レプリケーション状態を監視し、パフォーマンスへの影響を軽減し、連携されていないツールを通じてエラーを追跡する必要があります。このモデルは、迅速なデータブランチングに依存するエージェントファースト開発では破綻します。新しいブランチごとに、すべての宛先に対して複雑で統制のない抽出パイプラインを維持することは持続可能ではありません。

Lakehouse でこれを解決しました。今度は Lakebase にもたらします。

Lakehouse は、データをオープンフォーマット (Apache Iceberg™, Delta Lake) で一度保存することで、分析のための抽出パイプラインを排除しました。ETL、ストリーミングワークフロー、および監査ログを強化するダウンストリームレプリケーションの標準として Change Data Feed (CDF) を確立しました。

これで、Lakebase 上でネイティブに CDF を設定できます。有効にするのに 1 分もかからず、プロジェクト内のすべてのテーブルに適用されます。この単一のフィードから、SDP でストリーミングパイプラインを構築したり、DBSQL でマテリアライズドビューを生成したり、Agent Bricks で埋め込みを計算・保存したりできます。すべてのダウンストリームコンシューマーは、プライマリ運用ワークロードから完全に分離された、まったく同じフィードをサブスクライブします。

運用データベースはメダリオンアーキテクチャに属します

Lakebase により、運用データはもはや Lakehouse から孤立しなくなりました。Lakebase はすでにSynced Tables を提供しており、Gold データセットをアプリケーションに直接提供するパターンを確立しています。Lakebase CDF はアーキテクチャを完成させます。運用データベースは、Lakehouse へのデータロードのための個別のパイプラインや抽出ジョブを必要とせず、ネイティブな Bronze レイヤーとして機能するようになりました。代わりに、Unity Catalog を通じて、データライフサイクル全体にわたる完全なガバナンスとリネージが得られます。

これはほんの始まりにすぎません。Lakehouse のオープンさを Lakebase に直接もたらしています。Data and AI Summit にご期待ください。このアーキテクチャに関する私たちのブレイクアウトセッション にぜひご参加ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事