Lakebase パブリックプレビューを発表

DatabricksのData and AI Summitにおいて、インテリジェントアプリケーション構築のための新しいオペレーショナルデータベースのカテゴリであるlakebaseを発表しました。本日、データアプリとAIのために構築された初のフルマネージドPostgresデータベースであるDatabricks Lakebaseのパブリックプレビューを発表できることを嬉しく思います。 

お客様は、オペレーショナルデータと分析データを組み合わせてインテリジェントアプリケーションを構築しています。これは、フィーチャーやモデルの提供、スタンドアロンアプリケーションの構築、またはレイクハウスでのオペレーショナルデータの分析などです。しかし、データベースは過去数十年間ほとんどイノベーションがなく、プロビジョニング、スケーリング、そしてデータのためのモダンな開発者エクスペリエンスの欠如に依然として苦労しています。 

LakebaseはAI時代のためのソリューションを提供します。この記事では、Databricks Lakebaseの主な機能とメリットを紹介し、お客様が今日どのようにLakebaseを使用しているかを概説します。

Lakebaseの紹介

OLTPデータベースは90年代から根本的に変化していません。クラウドにデプロイされていても、これらのレガシーデータベースはプロビジョニングと管理にコストがかかり、遅いです。オペレーショナルデータベースは通常、分析プラットフォームとは別のスタックにデプロイされるため、トランザクションデータと分析データの間にサイロが生まれます。さらに、これらのデータベースはAI開発に必要なモダンな開発ワークフローにも適合しません。従来のアーキテクチャでは、開発、テスト、ステージング、および本番環境ごとに個別のデータベースが必要となり、それぞれが個別にプロビジョニング、ポピュレート、およびメンテナンスされます。

Databricks Lakebaseは、オープンソース標準に基づいて構築された初のデータベースであり、コンピューティングとストレージの分離に基づいた高度にスケーラブルなアーキテクチャを備え、モダンなアプリケーション開発のために特別に設計されています。Lakebaseはレイクハウスに深く統合されており、オペレーショナル、分析、およびAIスタックを簡単に組み合わせることができます。

オープンソースPostgres上に構築

過去7年間で、Postgresは開発者コミュニティで最も人気のあるデータベースとなり、モダンなアプリケーションの事実上のデータベース選択肢となっています。オープンソースであり、拡張機能の活発なエコシステムを持ち、ライブラリ、ツール、フレームワークの堅牢なコミュニティによってサポートされています。エンジニアはすでにそれを扱う方法を知っており、すべての基盤モデルはPostgresエコシステムで利用可能な膨大な量のデータでトレーニングされているため、インテリジェントアプリケーションやエージェントにとって非常にアクセスしやすいものとなっています。

PostGISやpgvectorなどの人気のある拡張機能、および幅広いドライバーとツールのエコシステムをサポートするLakebaseは、開発チームにとって馴染みのある豊富な機能セットを提供します。

コンピューティングとストレージの分離

Lakebaseはコンピューティングとストレージを分離するアーキテクチャを活用しており、これにより独立したスケーリングが可能になり、低遅延（<10ms）および高同時実行トランザクション（>10k qps）をサポートします。

LakebaseはDatabricksによって完全に管理されているため、プロビジョニングまたはメンテナンスするインフラストラクチャはありません。その結果、インフラストラクチャと開発プロセスの両方から摩擦を取り除くデータベースサービスとなり、チームは制御や信頼性を損なうことなく、より迅速に進むことができます。

• 読み取り可能なセカンダリによる高可用性：マルチゾーン高可用性は、ゾーンをまたいでセカンダリコンピューティングリソースをプロビジョニングすることにより、ゾーン障害から保護します。セカンダリは、読み取りワークロードの分離と水平スケーリングを提供するために、オプションで読み取り可能にすることができます。
• データストレージとリカバリ：すべてのトランザクションは、地域的に耐久性があり、単一ゾーン障害から保護されている暗号化されたストレージに永続化されます。ポイントインタイムリカバリは、最大35日間のリカバリ時間を提供するデータ保護ウィンドウを介して利用可能です。
• 分離されたテスト環境またはポイントインタイムリカバリのためのブランチング：Lakebaseはコピーオンライトブランチングを使用して、データベースのインスタントゼロコピー クローンを作成し、それに加えてそのブランチで操作するための専用コンピューティングを作成します。子ブランチはメインの親ブランチとは独立して管理され、現在の時点、または過去の時点またはログシーケンス番号（LSN）のデータに基づいて作成できます。これは、本番データを含む分離されたテスト環境を作成するため、またはポイントインタイムリカバリ操作のために使用できます。

AIのために構築されたモダンなDevEx

LakebaseはNeonテクノロジー上に構築されており、コピーオンライトブランチングとオートスケーリングサーバーレスコンピューティングを提供します。コピーオンライトブランチングにより、既存のデータベースと同じデータとスキーマを持つ新しいデータベースを、元のデータベースに影響を与えることなくインスタントに作成できます。この新しいデータベースは、基盤となるデータを複製しないため、経済的に有利です。サーバーレスコンピューティングのオートスケーリングは、サブ秒単位の起動時間を提供し、需要に基づいてスケーリングし、ゼロへのスケーリングによりコスト効率の高いコンピューティング利用を可能にします。

組み合わせることで、コンピューティングのサーバーレスオートスケーリングとブランチング機能は、アプリケーションの開発パラダイムを完全に変えます。開発者は、各gitブランチに一致するデータベースブランチをインスタントに作成でき、新しいデータベースインスタンスのセットアップ、開発またはテスト環境用のデータのサンプリング、または複数のデータベースのハイドレーションを心配する必要がありません。

開発者とエージェントの両方にとって、これは、エフェメラルデータベース環境を、ほぼゼロのコストで、ほぼゼロの労力で、迅速に作成、使用、および廃止できることを意味します。

Lakebaseの完全なNeon開発者エクスペリエンスと、その他多くのエキサイティングな機能がまもなく登場します。

レイクハウスとの統合

Lakebaseは、トランザクションデータベースレイヤーをレイクハウスと統合し、Databricks Platformのオブザーバビリティ、セキュリティ、アクセス制御を含む運用成熟度を継承します。LakebaseはUnity Catalogマネージドテーブルと同期し、カスタムETLパイプラインなしでオペレーショナル、分析、AIワークロードを組み合わせることを迅速かつ容易にします。その結果、レイクハウスで生成されたフィーチャーや予測を消費し、統合プラットフォーム内で、最新のオペレーショナルデータで分析レイヤーを更新するインテリジェントアプリケーションを構築できます。

• 完全に管理されたデータ同期：設定が簡単なデータ同期パイプラインは、Unity CatalogマネージドテーブルとLakebase間のデータを管理するためのシンプルでスケーラブルな方法を提供します。データ同期の頻度オプションには、ワンオフスナップショット、トリガー、または継続が含まれます。
• フィーチャーおよびモデルサービング：Lakebaseをオンラインフィーチャーストアとして、レイクハウスをトレーニングおよび分析用のオフラインストアとして使用し、アプリケーションに機械学習フィーチャーとモデルを提供します。
• 統合ガバナンス：Unity CatalogおよびDatabricks IDとのネイティブ統合を活用して、プラットフォーム全体でアクセス制御を簡素化します。Databricks IDとOAuthを活用して、オペレーショナルユーザーと分析ユーザー間で一貫したIDを維持します。PostgresデータベースをUnity Catalogに登録して、分析ユーザーに統合ガバナンスとアクセス制御を提供します。
• Databricks Apps統合：Lakebaseをトランザクションインタラクションのパワーソースとして使用し、Databricks上でフルスタックアプリケーションを構築およびデプロイします。Databricks Appsは、Lakebaseをネイティブリソースタイプとしてサポートします。
• 統合開発環境：Databricks SQLエディターを使用して、Lakebaseを直接クエリしたり、データを参照したりできます。
• 組み込み監視：トランザクション/秒、接続数、リソース使用率などの主要なデータベースメトリックを提供します。
• ネットワークセキュリティ：Lakebaseは、PrivateLinkやIP ACLを含むDatabricksのエンタープライズネットワークセキュリティ機能と統合されており、一貫したネットワークセキュリティを提供します。
• マルチクラウド： Lakebaseは、リプラットフォームなしでクラウドプロバイダー全体で利用可能です。パブリックプレビューでは、LakebaseはAzureおよびAWSで利用可能であり、将来的にはGoogle Cloud Platformのサポートが追加される予定です。

お客様はLakebaseを使用しています

プライベートプレビュープログラムには数百のお客様が参加しており、次のようなさまざまなユースケースを見てきました。

• パーソナライズされたレコメンデーションや顧客セグメンテーションなどのアプリケーションのために、レイクハウスからデータまたはフィーチャーを提供する
• 注文処理、インタラクティブワークフローの承認、チャットボットのためのアプリケーションおよびエージェントの構築
• 履歴注文分析、またはトレーニングデータ用のチャットボット履歴のために、レイクハウスにデータを同期することにより、レイクハウスでオペレーショナルデータを分析する

ハイネケンでは、最高のコネクテッド・ブリュワーになることを目指しています。そのために、すべてのデータセットを統合し、データから価値を生み出すまでの道のりを加速させる方法が必要でした。Databricksは長年にわたり、当社の分析基盤として、製品レコメンデーションやサプライチェーンの強化といったインサイトを生み出してきました。当社の分析データプラットフォームは現在、運用AIデータプラットフォームへと進化しており、これらのインサイトを低レイテンシーでアプリケーションに提供する必要があります。— Jelle Van Etten, Head of Global Data Platform, Heineken

Tibberでは、顧客が自身のエネルギー消費を管理できるようにするには、柔軟なデータインフラストラクチャが必要です。DatabricksとのLakebaseの統合により、分析データとトランザクションデータを簡単に提供できるようになり、リアルタイムのインサイトを顧客に届けるのに役立っています。— Niklas Nordansjö, Data Platform Lead, Tibber AS

強力なパートナーネットワークは、Lakebaseのお客様がデータ統合、ビジネスインテリジェンス、ガバナンスのために、既存のテクノロジーパートナーやシステムインテグレーターと連携するのに役立ちます。Lakebaseの素晴らしい業界ローンチパートナーの皆様と共に、私たちは興奮しています。

dbt Labsでは、データエンジニアリングの方法を変革しています。Databricksの新しいLakebaseにより、当社の共同顧客は、低レイテンシーのトランザクションデータと分析データを、Databricks上の1つのプラットフォームに統合できるようになります。これにより、両社はお客様のためにエンタープライズ規模のAIを提供できるようになります。Databricksと共に、分析の新しい時代を切り開くことを楽しみにしています。— Ryan Segar, Chief Product Officer, dbt Labs

概要

Lakebaseは、Postgresの使い慣れた拡張性、最新のサーバーレスアーキテクチャのスケーラビリティ、最新の開発者エクスペリエンス、そしてレイクハウスの統合データエクスペリエンスとDatabricks Data Intelligence Platformの運用成熟度を組み合わせています。これらの要素を単一のフルマネージドサービスに統合することで、Lakebaseは、トランザクションシステムに従来伴う運用上の複雑さなしに、インテリジェントでデータ駆動型のアプリケーションを構築することをチームに可能にします。

Lakebaseはパブリックプレビューで利用可能であり、価格についてはこちらで確認できます。分析とAIを組み込んだアプリケーションを構築したいと考えているなら、これはあなたのスタックの欠けていたピースであり、開発の加速と運用の簡素化の準備ができています。ワークスペースまたはアカウント管理者であれば、Databricks Workspaceから直接有効化できます。ぜひ今日からお試しください！

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事