Data + AI Summit にて、私たちは「インテリジェントアプリケーションのための新しい運用データベースカテゴリ」として「Lakebase（レイクベース）」を発表しました。そして本日、Databricks Lakebase のパブリックプレビューを開始したことを嬉しくお知らせします。Lakebase は、データアプリケーションとAIのために設計された初のフルマネージドなPostgresデータベースです。
多くのお客様が、特徴量や機械学習モデルの提供、スタンドアロンアプリケーションの構築、レイクハウス上での運用データ分析など、インテリジェントなアプリケーションの構築において、運用データと分析データの統合を進めています。しかし依然として、プロビジョニングやスケーリングの難しさ、モダンな開発体験の欠如といった課題に直面しています。なぜなら、従来のデータベースはここ数十年ほとんど進化していないからです。
Lakebase は、AI時代にふさわしい解決策を提供します。本ブログでは、Databricks Lakebase の主な特長と利点をご紹介し、すでにLakebaseを活用しているお客様の事例にも触れます。
OLTP（オンライン・トランザクション処理）型のデータベースは1990年代から本質的に変化していません。クラウド上で動かしても、これらのレガシーなデータベースはプロビジョニングや管理に時間がかかり、コストも高くなりがちで す。運用データベースは通常、分析基盤とは別のスタックとして構築されるため、トランザクションデータと分析データの間にサイロが生まれてしまいます。さらに、これらのデータベースは、AI開発に求められるようなモダンな開発ワークフローにも適していません。従来のアーキテクチャでは、開発・テスト・ステージング・本番といった各環境に個別のデータベースを用意し、それぞれを独立してプロビジョニング・データ投入・管理する必要がありました。
Databricks Lakebase は、オープンソースの標準技術をベースに、コンピュートとストレージの分離に基づいたスケーラブルなアーキテクチャを採用し、モダンアプリケーション開発のために設計された初めてのデータベースです。Lakebase はLakehouseと深く統合されており、運用・分析・AIスタックの連携を容易にします。
過去7年間で、Postgresは開発者コミュニティにおいて最も人気のあるデータベースとなり、モダンアプリケーションの事実上の標準となっています。Postgresはオープンソースであり、拡張機能のエコシステムが豊富で、ライブラリやツール、フレームワークを支える活発なコミュニティも存在します。多くのエンジニアがすでに扱いに慣れており、基盤モデル（Foundation Model）も、Postgresエコシステムで利用可能な膨大なデータを元に学習されているため、インテリジェントなアプリケーションやエージェントにとって非常に親和性が高いのです。
PostGISやpgvectorなどの人気のある拡張機能をサポートし、幅広いドライバーやツールのエコシステムを備えたLakebaseは、開発チームにとって馴染み深い豊富な機能を提供します。
Lakebase はコンピュートとストレージを分離したアーキテクチャを採用しており、低レイテンシ（10ミリ秒未満）かつ高い同時接続性（1万QPS超）を保ちながら、両者を独立してスケーリングすることが可能です。
Lakebase は Databricks によって完全にマネージドされており、インフラのプロビジョニングや管理は不要です。これにより、インフラ管理や開発プロセスにおける摩擦が取り除かれ、信頼性や制御性を犠牲にすることなく、より迅速に開発を進めることができます。
マルチゾーンでの高可用性構成により、ゾーン障害に対する耐性を実現します。各ゾーンにセカンダリのコンピュートリソースを自動でプロビジョニングし、オプションで読み取り専用として使用することで、読み取り処理の分離やスケーラビリティの向上が可能です。
すべてのトランザクションは暗号化されたストレージに永続化され、リージョン単位での耐久性が確保されているため、単一ゾーンの障害にも強くなっています。最大35日間のリカバリが可能な「データ保護ウィンドウ」を通じて、ポイントインタイムリカバリ も利用できます。
Lakebase は「コピーオンライト（Copy-on-Write）」方式によるブランチ機能を提供しており、データベースのゼロコピークローンを即座に作成できます。このブランチには専用のコンピュートリソースが割り当てられ、メインブランチとは独立して管理されます。子ブランチは、親ブランチの現在の状態、または過去の特定時点やログシーケンス番号（LSN）を基に作成できます。これにより、本番データを使ったテスト環境の構築や、特定時点へのリカバリが柔軟に行えます。
Lakebase は Neon テクノロジーを基盤として構築されており、「コピーオンライトのブランチ機能」と「サーバレスの自動スケーリング」を備えています。
コピーオンライトによるブランチ機能により、既存のデータベースと同じデータおよびスキーマを持つ新しいデータベースを、元のデータベースに影響を与えることなく即座に作成することができます。このクローンは、実際のデータを複製しないため、非常に経済的です。
また、サーバレスコンピュートはサブセカンド（1秒未満）で起動し、需要に応じて自動的にスケールします。使用されていないときは ゼロまでスケールダウンするため、コスト効率も高くなっています。
これらを組み合わせることで、アプリケーション開発のパラダイムが大きく変わります。
開発者は Git ブランチごとに対応するデータベースブランチを即座に作成でき、新たにインスタンスを立ち上げたり、開発やテスト用にデータをサンプリングしたり、複数のデータベースを準備・管理したりする必要がなくなります。
開発者だけでなくAIエージェントにとっても、この仕組みにより、一時的なデータベース環境をほぼ手間なく・ほぼコストゼロで高速に作成・活用・破棄することが可能になります。
Lakebaseでは、Neonのフル開発者体験（Developer Experience）を含む多くの機能が今後順次提供される予定です。どうぞご期待ください。
Lakebase は、トランザクション処理が可能なデータベースレイヤーとして Lakehouse に統合されており、Databricks プラットフォームの運用面での成熟度（オブザーバビリティ、セキュリティ、アクセス制御など）をそのまま継承しています。
Lakebase は Unity Catalog 管理テーブルと同期し、カスタム ETL パイプラインを用意することなく、運用、分析、AI の各ワークロードを簡単かつ高速に統合することができます。
これにより、Lakehouse で生成した特徴量や予測をアプリケーションが活用し、運用データをリアルタイムで分析レ イヤーに反映するような、インテリジェントアプリケーションの開発が、統一されたプラットフォーム上で可能になります。
Unity Catalog 管理テーブルと Lakebase 間のデータを、簡単かつスケーラブルに同期できるパイプラインが提供されます。同期頻度は、スナップショット（一回のみ）、トリガー型、または継続的同期から選択可能です。
Lakebase をオンラインの特徴量ストアとして利用し、Lakehouse をオフラインのトレーニング・分析用ストアとして組み合わせることで、アプリケーションへの特徴量・機械学習モデルの提供が可能になります。
Unity Catalog や Databricks Identity とネイティブに統合されているため、プラットフォーム全体のアクセス制御が簡素化されます。Databricks Identity および OAuth を活用し、運用・分析の両ユーザーに一貫した ID を適用可能です。Postgres データベースを Unity Catalog に登録することで、分析ユーザーに対しても統合されたガバナンスとアクセス制御を提供できます。
Lakebase をトランザクション処理基盤として活用し、Databricks 上でフルスタックアプリケーションを構築・デプロイできます。Databricks Apps は、Lakebase をネイティブなリソースタイプとしてサポートしています。
Databricks SQL エディタを使って、Lakebase に直接クエリを実行したり、データを閲覧したりできます。
秒あたりのトランザクション数、オープンコネクション数、リソース使用率など、主要なデータベース指標を可視化するモニタリング機能が備わっています。
Lakebase は、PrivateLink や IP ACL など、Databricks のエンタープライズ向けネットワークセキュリティ機能と統合されており、一貫したセキュリティレベルを提供します。
Lakebase はマルチクラウドに対応しており、再構築の必要なく、さまざまなクラウドプロバイダーで利用可能です。パブリックプレビュー時点では Azure および AWS に対応しており、今後 Google Cloud Platform（GCP）にも対応予定です。
Lakebaseは、トランザクションデータベースレイヤーをレイクハウスと統合し、Databricksプラットフォームの運用成熟度を継承しています。これには、観測可能性、セキュリティ、アクセス制御が含まれます。LakebaseはUnity Catalog管理テーブルと同期し、カスタムETLパイプラインなしで運用、分析、AIワークロードを迅速かつ簡単に組み合わせることができます。その結果、レイクハウスで生成された特徴や予測を消費するインテリジェントなアプリケーションを構築 し、新鮮な運用データで分析レイヤーを更新することができます。これらはすべて統一されたプラットフォーム内で行うことができます。
プライベートプレビューにはすでに数百社のお客様が参加しており、さまざまなユースケースが実現されているのを目にするのは非常にエキサイティングです。具体的には、以下のような活用が見られます：
パーソナライズされたレコメンデーションや顧客セグメンテーションなどのアプリケーションに対し、Lakehouse からデータや特徴量を提供
注文処理、インタラクティブなワークフロー承認、チャットボットなどのアプリケーションやエージェントの構築
過去の注文データの分析やチャットボットのトレーニング用データとして、運用データを Lakehouse に同期し分析に活用
ハイネケンでは、最も接続された醸造所 になることを目指しています。そのためには、すべてのデータセットを統一して、データから価値への道筋を加速させる方法が必要でした。Databricksは長い間、製品の推奨やサプライチェーンの強化などの洞察を生み出すための我々の分析の基盤でした。私たちの分析データプラットフォームは現在、運用AIデータプラットフォームに進化しており、その洞察をアプリケーションに低レイテンシで提供する必要があります。 —Jelle Van Etten, Head of Global Data Platform, Heineken
Tibberでは、顧客が自分のエネルギー消費をコントロールすることを可能にするために、柔軟なデータインフラストラクチャが必要です。レイクベースとDatabricksの統合により、分析データとトランザクションデータを簡単に提供することができ、リアルタイムの洞察をお客様に提供するのに役立ちます。 — Niklas Nordansjö, Data Platform Lead, Tibber AS
強力なパートナーネットワークにより、Lakebase を利用するお客様は、既存のテクノロジーパートナーやシステムインテグレーターと連携しながら、データ統合、ビジネスインテリジェンス、ガバナンスをスムーズに進めることができます。
Lakebase のローンチにあたり、業界を代表する素晴らしいパートナーの皆様とご一緒できることを大変嬉しく思います。
dbt Labsでは、データエンジニアリングのやり方を変えています。Databricksの新しいLakebaseを使用すると、共同顧客は低レイテンシのトランザクションデータと分析データをDatabricksの1つのプラットフォームに統合することができます。これにより、私たちは両方の顧客に対してエンタープライズ規模のAIを提供するのに役立ちます。Databricksと共に新しい分析の時代を迎えることを楽しみにしています。 — Ryan Segar, Chief Product Officer, dbt Labs
Lakebase は、Postgres の親しみやすさと拡張性、モダンなサーバレスアーキテクチャによるスケーラビリティ、開発者にとって快適な開発体験、そして Lakehouse の統合されたデータ活用体験と Databricks Data Intelligence Platform の運用成熟度をすべて兼ね備えた、フルマネージドのソリューションです。
これらの要素を一つに統合することで、Lakebase は、従来のトランザクションシステムにありがちな複雑な運用を必要とせずに、インテリジェントでデータ駆動型のアプリケーション開発を可能にします。
Lakebase は現在パブリックプレビューでご利用いただけます。料金情報はこちらをご参照ください。
もし分析やAIを組み込んだアプリケーション開発を進めているなら、Lakebase はまさにスタックに足りなかった最後のピースです。開発を加速し、運用をシンプルにする準備が整っています。
Databricks ワークスペースまたはアカウントの管理者の方であれば、ワークスペースから直接 Lakebase を有効化できます。ぜひ本日からお試しください！’
