メインコンテンツへジャンプ

DatabricksがLTAPをローンチ:初のレイク型トランザクション/分析処理アーキテクチャ - 複製

2024年6月16日

DatabricksがLTAPをローンチ:初のレイク型トランザクション/分析処理アーキテクチャ - 複製
  • Databricksは本日、レイク内の単一のデータコピー上でOLAPとOLTPを統合し、設計段階からETL、レプリカ、パイプラインを不要にする新しいデータ処理アーキテクチャであるLTAP(Lake Transactional/Analytical Processing)を発表しました。
  • LTAPアーキテクチャの基盤であるLakebaseは、現在、数千のお客様に利用されており、プラットフォーム全体で1日あたり1,200万回のデータベース起動を処理しています。
  • Databricksは、世界初のLTAPプラットフォームです。Lakebase(オープンオブジェクトストレージ上のサーバーレスPostgres)とLakehouseを統合し、すべての運用データ、分析データ、ストリーミングデータに対して、単一のガバナンスモデル、信頼できる唯一の情報源(Source of Truth)、およびストレージレイヤーを提供します。

DATA + AI SUMMIT – 2026年6月16日 – データとAIの企業であるDatabricksは本日、トランザクション、分析、ストリーミング、運用データをレイク内の単一のストレージコピー上に統合する新しいデータ処理アーキテクチャであるLake Transactional/Analytical Processing(LTAP)を発表しました。LTAPにより、企業は、何十年もの間データインフラを定義してきたパイプライン、レプリカ、またはETLのオーバーヘッドなしに、データの読み取り、推論、実行を行うための、ガバナンスが効いた単一の基盤を手にすることができます。Lakebaseの大きな進歩を原動力とするLTAPは、AIアプリケーション時代の新しいデータ基盤を提供します。

エージェント時代のための新しいデータ基盤

40年もの間、トランザクションワークロードと分析ワークロードは別々のシステムに存在していました。運用データベースはアプリケーションに対応し、分析システムは質問に答えていました。これらを橋渡しすることは、脆弱で負荷がかかると壊れやすいCDCパイプラインを構築することを意味していました。人間が人間のスピードでソフトウェアを書いていた時代でさえ、それはすでに悪いトレードオフでした。今日、AIは開発者がこれまでにないほど多くの(約50倍の)アプリケーションを作成するのを支援しており、その多くは、ほぼリアルタイムでデータを読み取り、推論し、実行する必要があるエージェントによって駆動されています。古いアーキテクチャは、このような用途を想定して構築されていませんでした。

データ業界はこれまでにも、異種システムの問題を解決しようと試みてきました。HTAPは、トランザクションデータと分析データを単一のエンジンに統合することを約束しましたが、その過程でワークロードの分離が崩れ、両方のパフォーマンスが損なわれ、組織には大規模で高価な独自のフットプリントが残されました。Zero ETLは異なるアプローチをとり、CDCパイプラインを排除するのではなく隠しました。根本的なアーキテクチャの問題は残ったままでした。

LTAPは根本的に異なるアプローチをとります。両方のワークロードを1つのエンジンに強制したり、パイプラインを隠したりするのではなく、ストレージレイヤーでデータを統合します。すべての運用データは、パイプラインなしで、すぐにクエリ可能になり、分析のためにレイクで利用できます。トランザクションワークロードと分析ワークロードは、完全なパフォーマンスと厳格な分離を維持しながら、個別にスケールします。また、LTAPはオープンスタンダードに基づいて構築されているため、Postgresをサポートする任意のアプリケーションや、IcebergやDeltaなどのオープンテーブルフォーマットを理解する任意のリーダーで動作します。

Databricksの共同創業者兼CEOであるAli Ghodsiは、次のように述べています。「何十年もの間、複雑なデータインフラは、チームが支払うことを余儀なくされる税金のようなものでした。そこにエージェントが登場しました。わずか数か月の間に、組織は事実上、労働力を2倍に増やしました。ただし、人間ではありません。エージェントは、人間のチームには決して真似できないペースでコードを書き、呼び出しを行い、ループを実行します。前のコンピューティング時代を支えたインフラは、今や誰もが許容できないボトルネックとなっています。LTAPはそれを取り除きます。」

Lakebaseに災害復旧、Gitスタイルのブランチ作成、スナップショット機能が追加

LTAPへの第一歩は、Lakehouseを支えるのと同じレイヤーであるオブジェクトストレージにPostgresネイティブのトランザクションをもたらしたLakebaseでした。コンピュートとストレージを分離することで、Lakebaseは数千のアプリケーションとエージェントを同時に実行する経済性を一変させます。昨年ローンチされたばかりのLakebaseは、すでにBlock、Ensemble、Superhuman、Zillowを含む数千のお客様に利用されており、1日あたり1,200万回のデータベース起動を処理しています。

本日、Databricksは、大規模なエンタープライズAI向けにLakebaseを拡張する新機能を発表しました。新しいクロスクラウド、クロスリージョンの災害復旧により、組織はより耐障害性の高いデータアーキテクチャを構築できます。これは、エージェントがミッションクリティカルな業務を引き受けるようになるにつれて、ますます重要になっています。さらに、新しいGitスタイルのブランチ作成とスナップショットにより、本番データに対する安全な実験が可能になり、自律的なデータベース運用により、エージェントが健全性を監視し、速度低下を検出し、インデックスを提案し、復旧を支援することができます。

LTAPがどのようにアーキテクチャを完成させるか

LakebaseとLakehouseはすでにストレージレイヤーを共有していましたが、それぞれが独自のフォーマットで独自のデータコピーを保持していました。LTAPはそのギャップを埋めます。Lakebaseは、Lakehouseと同じオープンフォーマットを使用して、データをUnity Catalogに直接保存します。その結果、何十年もの間エンタープライズデータインフラを定義してきたトレードオフを排除する、3つの特性によって定義された、よりクリーンなアーキテクチャが実現します。

  • 統合されたガバナンス、信頼できる唯一の情報源:すべての運用、分析、ストリーミングデータは、変換や劣化なしに、オープンフォーマット(DeltaおよびIceberg)でオープンオブジェクトストレージ上に存在します。すべてが単一のアイデンティティ、権限、監査モデルを備えたUnity Catalogを通じて管理されるため、すべてのエンジンが同じコピーを読み取り、エージェントはアクションを実行するためのガバナンスが効いた単一のサーフェスを共有します。
  • あらゆるワークロードでパフォーマンスのトレードオフなし:トランザクションワークロードは、完全なACIDセマンティクスを備えた標準のPostgresで実行されます。分析ワークロードは、任意のスケールと同時実行性で、Lakehouse全体で実行されます。それぞれが個別にスケールし、システム間でデータ移動がないため、コピーやシャドーインフラなしで、運用結果と分析結果が常に同期されます。
  • ETLパイプラインなし(隠されたものも含む):運用ストアと分析ストアを同期するパイプライン、維持すべきレプリカ、システム間でデータを移動するコネクタはありません。このアーキテクチャはETLレイヤーを完全に排除し、データの最新性を確保しながら、システムの同期を維持するための運用コストを削減します。

EnsembleのCTOであるGrant Veazey氏は次のように述べています。「私たちがサービスを提供している医療システムにとって、収益サイクルにおけるスピードと正確性は、ケアを提供する能力に直接影響します。Databricksへの早期の投資により、2ペタバイトを超えるクリーンで調和された収益サイクルデータをサポートする、ガバナンスの効いた基盤を構築することができました。LakebaseとLTAPは、運用ワークロードと分析ワークロードを単一のレイヤーに統合することでその基盤を拡張し、当社のRCMネイティブAIが実際の運用で機能するために必要なリアルタイムアクセスを提供します。これは、プロバイダーの財務パフォーマンスの向上、そして救急部門、NICU、その他のクリティカルケアサービスに還元される回収収益の増加につながります。」

提供開始時期

LTAPは、Lakebaseの一部として間もなく提供される予定です。

Databricksについて

Databricksは、データとAIの企業です。adidas、AT&T、Bayer、Block、Mastercard、Rivian、Unilever、そしてFortune 500の70%を含む、世界中の20,000以上の組織が、データとAIのアプリ、分析、エージェントの構築とスケールをDatabricksに信頼して任せています。サンフランシスコに本社を置き、世界中に30以上のオフィスを持つDatabricksは、Lakebase、Genie、Agent Bricks、Lakeflow、Lakehouse、Unity Catalogを含む統合プラットフォームを提供しています。詳細については、LinkedInXYouTubeInstagramでDatabricksをフォローしてください。

Data + AI カンパニーになる準備はできていますか?