Lakebaseとは何か

本ブログでは、OLTPデータベースの新たなアーキテクチャとして「Lakebase（レイクベース）」を提案します。Lakebaseは以下の特徴を持つアーキテクチャです。

• オープン性：LakebaseはPostgresなどのオープンソース標準に基づいて構築されます。

• ストレージとコンピュートの分離：Lakebaseはデータをオープンフォーマットで最新のデータレイク（オブジェクトストレージ）に保存することで、ストレージとコンピュートのスケーリングを個別に行うことができ、TCO（総保有コスト）の削減とベンダーロックインの回避を実現します。

• サーバーレス：Lakebaseは軽量で、即座に弾力的にスケールアップ・ダウン可能です。ゼロまでスケールダウンすると、コストは安価なデータレイク上のデータ保存コストのみになります。

• モダンな開発ワークフロー：データベースのブランチ作成は、コードリポジトリのブランチ作成と同じくらい簡単で、ほぼ瞬時に行えるべきです。

• AIエージェント向けに最適化：Lakebaseは、多数のAIエージェントが機械のスピードで動作できるよう設計されており、ブランチやチェックポイント機能により、AIエージェントが自由に試行錯誤し、過去に戻ることが可能です。

• Lakehouseとの統合：Lakebaseは、複雑なETLパイプラインを必要とせず、業務データ・分析データ・AIシステムを容易に統合できるように設計されています。

オープン性

ほとんどのテクノロジーには何らかのロックインがありますが、従来型のOLTPデータベースほどロックインが強いものはありません。その結果、この分野では何十年もの間、ほとんどイノベーションが起きていませんでした。従来のOLTPデータベースはモノリシックで高コスト、かつベンダーロックインが深刻です。

Lakebaseは、信頼性の高いオープンソース技術を基盤にしています。これにより、幅広いツールや開発者向けワークフローとの互換性が確保されます。プロプライエタリ（独自仕様）なシステムとは異なり、Lakebaseは透明性・移植性・コミュニティ主導のイノベーションを促進します。組織は、特定のベンダーやプラットフォームにデータアーキテクチャを縛られることなく、自信を持って運用できます。

Postgresは、データベース分野におけるオープンソース標準の代表格です。DB-Enginesでは最も成長しているOLTPデータベースであり、StackOverflowの開発者調査でも、他を大きく引き離して最も人気のあるデータベースとして挙げられています。成熟したエンジンと豊富な拡張機能のエコシステムを備えているのも特徴です。

ストレージとコンピュートの分離

Lakehouseアーキテクチャの最も基本的な技術的柱の一つが、ストレージとコンピュートの分離です。これにより、コンピュートリソースとストレージリソースをそれぞれ独立してスケールさせることが可能になります。Lakebaseもこのアーキテクチャを採用しています。

ただし、これを実現するのは簡単ではありません。というのも、安価なデータレイクはもともと、OLTPデータベースのような高負荷ワークロード（例えば、1桁ミリ秒の低レイテンシや秒間数百万件のトランザクション処理）に対応するようには設計されていなかったためです。

なお、ストレージとコンピュートの分離は、いくつかのプロプライエタリ（独自仕様）なデータベース、特にハイパースケーラーによるPostgresの商用版などで先行して試みられています。しかし、これらはクローズドで高コストなストレージシステムの上に構築されており、オープンなストレージ形式を提供していないのが現状です。

Lakebaseは、こうした過去の取り組みを踏まえ、安価なデータレイクと真にオープンなフォーマットを活用する形で進化してきました。データはオブジェクトストレージにPostgresページのようなオープンフォーマットで保存され、コンピュートインスタンスはデータレイクから直接データを読み込みつつ、中間層でソフトステート（揮発性のキャッシュなど）を活用して性能を高めています。

サーバーレス体験

伝統的なデータベースは、多くの管理を必要とするヘビーウェイトのインフラです。一度プロビジョニングされると、通常は数年間稼働します。オーバープロビジョニングすると、必要以上の費用がかかります。アンダープロビジョニングすると、データベースはアプリケーションのニーズに対応するための容量を持たず、スケールアップするためのダウンタイムを伴う可能性があります。

lakebaseは軽量でサーバーレスです。必要なときにすぐに起動し、必要なくなったときにはゼロにスケールダウンします。負荷が変わると自動的にスケールします。これらの機能はすべて、ストレージと計算のアーキテクチャの分離によって可能になります。

レイクハウスの統合

伝統的なアーキテクチャでは、運用データベースと分析システムは完全に孤立しています。データを移動するには、カスタムETLパイプライン、手動のスキーマ管理、別々のアクセス制御セットが必要です。この断片化は開発を遅らせ、レイテンシを導入し、データチームとプラットフォームチームの両方に運用上のオーバーヘッドを生じさせます。

レイクベースはこれを解決するために、レイクハウスへの深い統合を実現し、運用層と分析層の間でほぼリアルタイムの同期を可能にします。その結果、データはアプリケーションでの提供のために迅速に利用可能となり、運用上の変更は複雑なワークフロー、重複したインフラストラクチャ、またはデータ移動から発生するエグレスコストなしでレイクハウスに戻ることができます。レイクハウスとの統合は、一貫したデータ権限とセキュリティを持つガバナンスを簡素化します。

モダンな開発ワークフロー

今日では、エンジニアがコードベースを変更する際の最初のステップは、Gitリポジトリの新しいブランチを作成することが一般的です。エンジニアはこのブランチ上で変更を加え、テストを実施します。このブランチは本番環境とは完全に分離されているため、安全に開発できます。

しかし、こうしたワークフローは従来のデータベースでは実現できません。データベースには「git checkout -b」に相当する機能がなく、そのためデータベースの変更はソフトウェア開発ライフサイクルの中でも特にミスが起きやすい部分となっています。

Lakebaseは、ストレージとコンピュートの分離によって可能になるCopy-on-Write技術を活用し、スキーマとデータを含む完全なデータベースのブランチ作成を可能にします。このブランチは即座に、そして非常に低コストで作成できるため、まさに「git checkout -b」が必要なあらゆる場面で使うことができます。

AIエージェントのために構築

Neonのデータによると、過去1年間でAIエージェントによって作成されたデータベースの割合は30％から80％超へと急増しました。これは、人間によって作成されたデータベースの約4倍のスピードで、AIがデータベースを構築していることを意味します。

この傾向が続けば、近い将来、データベースの99％はAIエージェントによって作成・運用されるようになり、人間はその支援役になると予想されます。これはデータベース設計に対してまったく新しい要件をもたらすものであり、Lakebaseはこの変化に最適なアーキテクチャとなると私たちは考えています。

AIエージェントを「膨大な数の高速なジュニア開発者チーム（必要に応じてシニア開発者が“メンター”としてサポート）」と捉えると、Lakebaseが持つ以下の機能は、AIエージェントにとって極めて有用です。

• オープンソースエコシステム：最先端の大規模言語モデル（LLM）は、Postgresなどの人気オープンソースエコシステムに関する膨大な公開情報で学習されています。そのため、AIエージェントはすでにこれらのシステムの「専門家」として機能できます。

• スピード：従来のデータベースは人間による操作を前提に設計されており、立ち上げに数分かかっても問題とはされてきませんでした。しかし、AIエージェントは機械のスピードで動作するため、瞬時のプロビジョニングが極めて重要です。

• 弾力的なスケーリングと価格体系：Lakebaseはストレージとコンピュートを分離したサーバーレスアーキテクチャを採用しており、非常に低コストでPostgresインスタンスを運用できます。これにより、何千、何百万というAIエージェントにそれぞれ専用のデータベースを割り当てることも、専門エンジニア（例：DBA）による環境管理なしに、コスト効率よく実現可能となります。結果としてTCO（総保有コスト）が大幅に削減されます。

• ブランチとフォーク：AIエージェントの動作は非決定的であり、「なんとなくの判断」（vibe）を確認・検証する必要がある場面もあります。Lakebaseはスキーマだけでなくデータも含めてデータベース全体を即座に複製できるため、すべてのAIエージェントが独立した高忠実度の環境上で実験・検証を行うことができます。

これからの展望

今日から本機能ばパブリックプレビューとなりました。これは、私たちの新しいデータベースオファリングであり、Lakebaseとも呼ばれます。

しかし、製品発表よりも重要なのは、lakebaseが従来のデータベースアーキテクチャよりもはるかに優れた新しいOLTPデータベースアーキテクチャであるということです。私たちは、これが将来のすべてのOLTPデータベースシステムが構築されるべき方法だと考えています。