- データブリックスは、新しいデータ処理アーキテクチャ「LTAP（Lake Transactional/Analytical Processing）」を発表。データレイク上の単一のデータコピーでOLAPとOLTPを統合し、ETL、レプリカ、パイプラインを設計上不要に
- LTAPアーキテクチャの基盤となる「Lakebase」は、現在数千社のお客様に利用されており、プラットフォーム全体で1日あたり1,200万件のデータベース起動を処理
- データブリックスは世界初のLTAPプラットフォーム。Lakebaseと「Lakehouse」を、運用・分析・ストリーミングデータ全体にわたる、単一のガバナンスモデルと信頼できるデータソース、およびストレージレイヤーの下で統合
データとAIの企業であるDatabricks（本社：米国カリフォルニア州サンフランシスコ、以下「データブリックス」）は、トランザクション処理、分析処理、ストリーミングデータ、運用データを、データレイク上の単一のストレージコピーに統合する、新しいデータ処理アーキテクチャ「LTAP（Lake Transactional/Analytical Processing）」を、米国時間6月16日に発表しました。
LTAPにより、企業はパイプラインやレプリカ、さらには長年にわたりデータ基盤を特徴づけてきたETLのオーバーヘッドなしに、データを読み取り、推論し、アクション起こすための単一のガバナンス基盤を利用できるようになります。オープンなオブジェクトストレージ上のサーバーレスPostgresである「Lakebase」の大幅な進化を基に、LTAPはAIアプリケーション時代に向けた新たなデータ基盤を提供します。
エージェント時代のための新たなデータ基盤
過去40年間にわたり、トランザクション処理と分析処理のワークロードは別々のシステムで運用されてきました。運用データベースはアプリケーションを支え、分析システムは問いに答える役割を担ってきました。この両者を連携させるためには、CDCパイプラインの構築が必要でしたが、これは脆弱で、高負荷時には障害が発生しやすいものでした。人間が人間の速度でソフトウ ェアを開発していた時代でさえ、このトレードオフは理想的とはいえませんでした。現在では、開発者がAIを活用することで、これまでよりも約50倍も多くのアプリケーションを開発することが可能になっており、その多くは、データをほぼリアルタイムで読み取り、推論し、行動するエージェントによって支えられています。しかし、従来のアーキテクチャは、この新しい用途を想定して設計されたものではありませんでした。
データ業界はこれまでにも、分断されたシステムの課題解決を試みてきました。HTAPは、トランザクションデータと分析データを単一エンジンに統合することを目指しましたが、その過程でワークロードの分離が損なわれ、双方の性能に妥協が生じるとともに、高コストな独自システムへの依存を招きました。一方、ゼロETLはCDCパイプラインを、排除するのではなく隠すという、異なるアプローチを採用しました。しかし、根本的なアーキテクチャ上の問題は依然として残ったままでした。
LTAPは、これとは根本的に異なるアプローチを採用しています。トランザクション処理と分析処理を単一エンジンに押し込めたりパイプラインを隠したりするのではなく、ストレージレイヤーでデータを統合します。全ての運用データは即座にクエリ可能であり、パイプラインを介することなくデータレイク上で分析に利用できます。さらに、トランザクション処理と分析処理のワークロードは、高い性能と厳格な分離を保ったまま、それぞれ独立して拡張できます。また、LTAPはオープン標準の上に構築されているため、Postgresを利用するあらゆるアプリケーションや、IcebergやDeltaのようなオープンなテーブル形式をサポートする、あらゆる分析ツールと連携可能です。
データブリックスの共同設立者兼CEOであるアリ・ゴディシは、次のように述べています。
「何十年もの間、複雑なデータインフラは企業が負担せざるを得ない税金のようなものでした。しかし、エージェントの登場によって、状況は一変しました。わずか数カ月のうちに、企業は実質的にその労働力を倍増させましたが、それは人間だけによるものではありませんでした。エージェントは、人間では到底実現できない速度で、コードを書き、業務を実行し、反復処理を行います。これまでのコンピューティング時代を支えてきたインフラは、今やその速度に対応できず、企業にとって許容できないボトルネックになっています。LTAPは、そのボトルネックを取り除くものです」
Lakebaseにディザスタリカバリ機能、Gitスタイルのブランチ機能、スナップショット機能を追加
LTAP実現への第一歩となったのがLakebaseでした。Lakebaseは、Lakehouseと同じレイヤーを利用するオブジェクトストレージ上に、Postgresネイティブのトランザクション機能をもたらしました。コンピュートとストレージを分離することで、Lakebaseは数千のアプリケーションやエージェントを同時に稼働させる際のコスト構造を大きく変革します。Lakebaseは昨年の提供開始以来、すでにBlock、Ensemble、Superhuman、Zillowを含む数千社のお客様に利用されており、1日あたり1,200万件のデータベース起動を処理しています。
今回データブリックスが発表したのは、エンタープライズAIを大規模に活用するためにLakebaseを拡張する新機能です。新たに追加された クラウド間・リージョン間のディザスタリカバリ機能により、企業はより高いレジリエンスを備えたデータアーキテクチャを構築できるようになります。これは、エージェントがミッションクリティカルな業務を担うケースが増える中で、ますます重要性を増しています。さらに、新しいGitスタイルのブランチ機能とスナップショット機能により、本番データに対して安全に実験や検証を行うことが可能になります。また、自律型データベース運用機能によって、エージェントはシステムの健全性の監視、パフォーマンス低下の検知、インデックスの提案、さらには障害復旧の支援を行えるようになります。
LTAPがアーキテクチャを完成させる仕組み
LakebaseとLakehouseは、これまでも同じストレージレイヤーを共有していましたが、それぞれが独自のフォーマットでデータのコピーを保持していました。LTAPは、このギャップを解消します。Lakebaseは、データを「Unity Catalog」に直接保存し、Lakehouseと同じオープンフォーマットを利用します。その結果、企業のデータ基盤を長年悩ませてきたトレードオフを解消する、以下の3つの特長を備えたシンプルなアーキテクチャが実現します。
統合ガバナンスと単一の信頼できるデータソース
すべての運用・分析・ストリーミングデータは、データ変換や品質劣化を伴うことなく、オープンなオブジェクトストレージに、DeltaおよびIcebergといったオープンフォーマットで保存されます。すべてのデータは、Unity Catalogを通じて単一のアイデンティティ、アクセス権限、監査モデルの下で統制されます。そのため、あらゆる処理エンジンが同じデータを読み取り、エージェントも単一のガバナンス環境の中でアクションを実行できます。
あらゆるワークロードで性能面のトレードオフが不要
トランザクション処理は、完全なACID特性を備えた標準Postgres上で実行されます。一方、分析ワークロードは、どのような規模や同時実行数であっても、Lakehouse全体にわたって実行されます。それぞれが独立して拡張され、システム間でデータを移動する必要がないため、運用と分析の結果は常に同期され、データコピーや重複インフラも不要になります。
一切のETLパイプラインが不要に
運用ストアと分析ストアを同期させるパイプライン、維持管理が必要なレプリカ、システム間でデータを移動させるコネクタは存在しません。LTAPはETLレイヤーそのものをアーキテクチャから完全に排除し、システム同期にかかる運用コストを削減しながら、常に最新のデータを利用できる環境を実現します。
EnsembleのCTOであるGrant Veazey氏は、次のように述べています。
「当社がサービスを提供する医療機関にとって、収益サイクルにおけるスピードと正確性は、医療サービスを提供する能力に直結しています。当社は、データブリックスとの早期からの取り組みにより、2ペタバイト超のクリーンで統合された収益サイクルデータを支える、ガバナンスの効いた基盤を構築することができました。LakebaseとLTAPは、運用ワークロードと分析ワークロードを単一レイヤーに統合することで、この基盤をさらに発展させます。その結果、当社の収益サイクル管理向けAIが、本番環境のデータへリアルタイムにアクセスできるようになります。これは医療機関の財務パフォーマンス向上につながるだけでなく、救急部門やNICU（新生児集中治療室）、その他の集中治療向け医療サービスへ還元される収益の増加にも貢献します」
提供について
LTAPは、今後Lakebaseの機能として提供開始される予定です。
データブリックスについて
データブリックスはデータとAIの会社です。アディダス、AT＆T、バイエル、Block、Mastercard、リヴィアン、ユニリーバ、Fortune 500の70%以上の企業を含め、グローバルで2万社超が、データとAIのアプリケーション、アナリティクス、エージェントの構築・拡張に、データブリックスを利用しています。米国カリフォルニア州サンフランシスコに本社を置き、世界で30以上のオフィスを構えるデータブリックスは、「Lakebase」「Genie」「Agent Bricks」「Lakeflow」「Lakehouse」「Unity Catalog」などが統合されたプラットフォームを提供しています。詳細は、ウェブサイト（日本語） をご覧ください。
【報道関係者のお問い合わせ先】
データブリックス 広報代理 アシュトン・コンサルティング
電話：03-5425-7220 Email: DatabricksPR@ashton.jp