Lakebase 年末アップデート

夏に Lakebase のパブリックプレビューを発表して以来、何千もの Databricks の顧客が Lakebase を活用し、アプリケーション向けのデータ提供、フィーチャーストア、エージェントメモリを強化するとともに、そのデータをアナリティクスや機械学習のワークフローと密接に連携させながら、Lakebase 上にデータインテリジェントアプリケーションを構築しています。

年末を迎えるにあたり、これらのワークロードの運用を一層効率化する新たな機能強化セットを提供できることをうれしく思います。

• オートスケールにより、負荷に応じてコンピュートを動的に調整
• Scale to zeroにより、アイドル時にコンピュートをシャットダウンし、数百ミリ秒で自動的に再開できます
• インスタントプロビジョニングにより、新しいデータベースインスタンスを数秒で作成できます
• インスタントなデータベースブランチングにより、分離されたコピーオンライト環境で、開発、テスト、ステージング用の git のようなワークフローを実現できます
• 自動バックアップとポイントインタイムリカバリで、高速なリストアと安全な運用を可能にします
• Postgres 17 のサポート追加、Postgres 16 も引き続きサポート
• ストレージ容量を最大8TBまで増強し、大規模な本番運用のワークロードに対応します
• 新しい Lakebase UIで日常的なワークフローをシンプルにします

これらの機能は、OLTP ストレージをコンピュートから分離するサーバーレス データベース アーキテクチャである Lakebase カテゴリを定義する上で、重要なマイルストーンとなります。これらは、当社によるNeonの買収で得たサーバーレスのPostgresおよびストレージ技術と、Databricksのエンタープライズグレードのマルチクラウドインフラストラクチャを組み合わせることで実現しました。

動的なアプリケーション ワークロード向けのオートスケール

現代のアプリケーション ワークロードが、予測可能なトラフィック パターンに従うことはめったにありません。ユーザーアクティビティは1日を通して変動し、バックグラウンドジョブは書き込みを大量発生させ、エージェントベースのシステムは同時実行性に急激なスパイクを引き起こす可能性があります。従来の運用データベースでは、チームが手動でピーク時の使用量を計画し、容量を調整する必要があり、その結果、オーバープロビジョニングや不要な複雑さが生じることがよくありました。

Lakebaseはストレージとコンピュートを分離・独立してスケーリングできるアーキテクチャを基盤としているため、今回、ワークロードの需要に応じてコンピュートを動的に調整するオートスケール機能をリリースしました。トラフィックが増加すると、パフォーマンスを維持するためにコンピュートがスケールアップします。アクティビティが低下すると、コンピュートはスケールダウンします。アイドル状態のデータベースは、短時間の非アクティブ期間後に一時停止し、新しいクエリーが来るとすぐに再開します。コンピュートは、本番運用と開発環境の両方において、ワークロードの需要に応じて動的に調整されます。

その結果、容量の管理に費やす時間が減り、アプリケーションの動作により多くの時間を集中できるようになります。

高速な起動とインスタントプロビジョニング

新規データベースの作成やアイドル状態のデータベースの再開によって、開発が遅くなることがあってはなりません。このアップデートにより、新しいLakebaseデータベースは数秒でプロビジョニングされ、サスペンドされたインスタンスもトラフィックが戻ると迅速に再開します。これにより、オンデマンドでの環境の立ち上げ、開発中のイテレーション、データベースの作成と破棄が頻繁に行われるワークフローのサポートが容易になります。

アプリケーションを構築およびテストするチームにとって、スタートアップが高速であると開発の摩擦が減り、イテレーションサイクルを短縮できます。これは特に、ブランチングやオートスケールと組み合わせた場合に効果的です。

CI/CDワークフローを加速する「ゼロコピー・ブランチング」

プロダクションアプリケーションの構築と進化には、常に変化が伴います。開発チームは、スキーマ更新の検証、複雑な問題のデバッグ、そして一貫性のあるデータビューに基づくCI/CDパイプラインの実行を継続的に求められます。しかし従来のデータベースクローン手法では、データ全体の複製に膨大な時間を要し、大量のストレージを消費するうえ、本番環境に負荷やリスクをもたらすという課題がありました。

こうした課題を根本から解決し、CI/CDワークフローに最適化された「ゼロコピー・ブランチング」を実現するデータベースプラットフォームがLakebaseです。

Lakebaseのストレージサービスは、Copy-on-Write方式によるブランチングを採用し、これをデータベースレベルのブランチ機能として提供しています。ブランチとは、ベースとなるストレージを共有しながらも論理的に分離された状態を維持できる仕組みです。ブランチ作成時にデータ全体を物理的にコピーする必要がないため、実質的にゼロコピーに近い形で高速に環境を生成できます。

これにより、開発・テスト・ステージング環境をわずか数秒で立ち上げることが可能になります。本番システムに影響を与えることなく、アプリケーションロジックの反復的な改善を迅速に進められます。その結果、Lakebaseは安全かつ高速なブランチベース開発を実現し、モダンなCI/CDワークフローをデータベースレイヤーから強力に支えます。

実際、ブランチングは開発ライフサイクルにおける摩擦をなくし、チームが自信をもって迅速に開発を進めるのに役立ちます。（とはいえ、「本番環境でテストしましょう」という意味ではありません。本番運用でのテストは推奨されません！）

自動バックアップとポイントインタイムリカバリ

データの問題が必ずしも障害として表面化するとは限りません。問題はもっと微妙な場合もあります。たとえば、時間をかけて密かに誤ったデータを書き込むバグ、想定とは異なる動作をするスキーマ変更、意図したよりも多くの行に影響を与えてしまうバックフィルスクリプトなどです。多くの場合、こうした問題は、分析、レポート作成、ダウンストリームのアプリケーション動作などでチームがヒストリカルデータを利用する段階になるまで見過ごされています。

従来の環境では、このようなシナリオからの復旧は大変な作業になることがあります。多くの場合、チームはデータの正常なバージョンを復元するためだけに、履歴を手作業で再構築したり、ログを再生したり、そのためだけの一時的なシステムを立ち上げたりすることを余儀なくされています。そのプロセスは時間がかかり、エラーも発生しやすいうえ、データベースに関する深い専門知識が求められることも少なくありません。

Lakebaseによって、このような状況への対応がはるかに容易になります。自動バックアップとポイントインタイムリカバリ機能により、チームはデータベースを数秒以内で正確な時点に復元できます。アプリケーションチームは、これにより、アプリケーションのバグや操作ミスが原因で発生したデータの問題から、手動でのリプレイや複雑なリカバリーワークフローなしで迅速に復旧できます。

より大規模な本番運用のワークロードをサポート

リカバリだけでなく、本番運用にはデータ量の増加に対応して拡張できる余地も必要です。このアップデートにより、Lakebase はサポート対象のストレージ容量を以前の上限の 4 倍となる最大 8 TB まで拡張し、より大規模で要求の厳しいアプリケーション ワークロードにも対応可能になりました。 

Postgresのバージョンサポートを拡張

Lakebaseは、Postgres 16の継続サポートに加えて、Postgres 17にも対応しました。これにより、チームは既存のアプリケーションとの互換性を維持しながら、最新の Postgres の機能改善を利用できるようになります。

これらのアップデートにより、LakebaseはDatabricks上で本番運用のオペレーショナルワークロードを実行するための、より強力な基盤となります。

新しいLakebase UIによる、よりシンプルなワークフロー

Lakebase には、日常的なワークフローを簡素化するために設計された、デザインを一新した新しいユーザーインターフェースが含まれるようになりました。より優れたデフォルトの設定と迅速なプロビジョニングにより、データベースの作成、ブランチの管理、容量の挙動の把握が、より簡単になりました。この新しいUIは、Lakebaseの新しいオートスケール オファリングのアプリ ランチャー アイコンからアクセスできます。以前のプロビジョニング版Lakebaseは、今後数週間以内にUIに表示されるようになります。

導入と利用の拡大状況

前述の通り、何千もの Databricks の顧客が Lakebase 上でアプリケーションを構築してきました。Lakebase は Databricks Data Intelligence Platform に完全に統合されており、オペレーショナルデータはアナリティクス、AI、アプリケーション、エージェントワークフローをサポートする基盤と同じ場所に格納されます。Unity Catalog は、一貫したガバナンス、アクセス制御、監査、リネージを提供します。Databricks Apps とエージェントフレームワークは Lakebase を利用して、リアルタイムの状態と履歴コンテキストを統合し、ETL やレプリケーションの必要性をなくすことができます。

実務者にとってこれは、アプリケーションとインテリジェンスの接続を維持するために複数のシステムをやりくりする必要なく、運用データと分析データの整合性が保たれる統合環境を実現します。

アーリーアダプター 2 名からの声:

“Lakebase を使うと、エージェントチームはモデルに必要なデータを、それが過去の請求であれリアルタイムのトランザクションであれ、迅速にセルフサービスで利用できます。これは本当に強力です”— Dragon Sky、チーフアーキテクト、Ensemble Health

「Lakebaseは、アプリケーションの状態を保存するための、耐久性が高く低レイテンシのストアを提供してくれます。そのおかげで、当社のデータアプリは高速に読み込まれ、シームレスに更新され、さらにユーザー間で共有ページLinkもサポートできます。」— ボビー・マルドゥーン、YipitData エンジニアリング担当 VP

Lakebase の今後の展開

これらの新機能は AWS の us-east-1、us-west-2、eu-west-1 リージョンで本日より利用可能になり、今後数週間で他のリージョンにも順次展開される予定です。詳細は 製品ドキュメント をご覧いただき、最新機能をお試しください。

今回のアップデートは、Lakebase にとって意義深いステップとなります。しかし、私たちは立ち止まりません。来年のホリデー明けに予定されている、たくさんのエキサイティングなアップデートにご期待ください！

Lakebase チームより、ハッピーホリデー！