データブリックス、「Unity Catalog」の更新により テーブル形式のロックインを排除し、ビジネスユーザー向け機能を拡張

Unity Catalog、Apache Iceberg™とDelta Lake向けの 最も包括的なカタログに進化
複数エンジン間でのオープンな相互運用性とガバナンスを実現、ビジネスユーザーに統一されたセマンティクスと高度な検索体験を提供 

データとAIの企業であるDatabricks（本社：米国カリフォルニア州サンフランシスコ、以下「データブリックス」）は本日（米国時間6月11日）、「Unity Catalog」への協力な新機能追加を発表し、統合ガバナンス分野におけるリーダーシップをさらに拡大しました。Unity Catalogは、Apache Iceberg™テーブルへの完全対応と、Apache Iceberg REST Catalog APIへのネイティブ対応を開始しました。これによりUnity Catalogは、きめ細かなガバナンスのもとで、外部エンジンがパフォーマンス最適化されたIceberg管理テーブルへの読み書きを可能にする、唯一のカタログとなりました。これにより、ロックインを排除し、他のツールやエンジンとのシームレスな相互運用を実現します。また、データブリックスは、Unity Catalogをビジネスユーザー向けに拡張する2つの新機能も発表しました。「Unity Catalog Metrics」により、企業のビジネス管理基盤であるビジネスメトリクスとKPIを、第一級のデータ資産として定義できるようになりました。さらに、ビジネス領域ごとに整理された価値の高いデータやAI、AI/BI資産を集め、新たにキュレーションされた社内マーケットプレイスの導入により、ビジネスユーザーによるデータとAIの検索体験が強化されます。これらすべての資産は、自動化されたデータインテリジェンスで強化されており、各チームも適切なデータを見つけ、信頼し、すぐに活用できるようになります。

Unity Catalogでの形式選択が不要に
オープンスタンダードを基盤に構築されたUnity Catalogは、あらゆるテーブル形式やエンジンで動作するよう設計されています。データブリックスは、Apache Icebergに完全対応するパブリックプレビューの開始により、このビジョンをさらに推し進めました。これにより、Apache IcebergとDelta Lakeエコシステムを統一されたガバナンスアプローチで統合します。

今回のプレビューでは、3つの新機能が追加されました。
まず、企業はUnity CatalogのIceberg REST Catalog APIを通じて、Apache Iceberg 対応のどのエンジンからでも読み書きできる、Iceberg 管理テーブルを作成できます。これらの Iceberg 管理テーブルは、Unity Catalog のすべての機能のメリットを活用できます。例えば、AIを活用した予測最適化による最適なコストパフォーマンスの実現、TrinoやSnowflake、Amazon EMR などの外部エンジンを含むエンジン全体で、統一されたガバナンスとポリシーの適用が可能になります。
次に、Unity Catalog の先進的なLakehouse Federation機能によって、外部カタログで管理されている Iceberg テーブルへシームレスにアクセスできるようになります。このような外部テーブルも、データブリックス内のネイティブテーブルと同様に、検索とガバナンスが可能になります。
最後に、IcebergテーブルはDelta Sharingエコシステムのすべてのメリットを享受でき、組織間でのIcebergテーブルのシームレスな共有が実現します。これらの機能によって、データ形式の違いによるサイロ化を解消できます。業界内で、これらの機能を提供しているカタログは他にありません。

データプラットフォームとビジネスユーザー間の乖離が拡大
技術者向けのデータプラットフォームは急速に進化してきた一方で、ビジネス部門のチームは、意思決定の基盤となるシステムと、まだ十分に連携できていません。技術チームは、テーブルやファイル、コンピュートリソース、コードを中心に業務を行う一方、ビジネスユーザーは BI ツールや AI チャットボットを使い、ビジネス領域内のKPIやビジネスメトリクスに注目しています。このように、根本的に異なる専門用語や視点・考え方の違いにより、ビジネスユーザーはどのデータを信頼すべきか分からず、基本的な質問についてすら、エンジニアに頼らざるを得ない状況に陥っています。ビジネスの文脈を統一的に捉える基盤がなければ、企業は作業の重複や意思決定の遅れ、データと行動の間のギャップという課題に直面することになります。

ビジネス全体でメトリクスを管理する、単一の情報源
こうした課題に対応するため、Unity Catalog Metrics は、従来はBIツール内に埋め込まれていたビジネスメトリクスの定義を、データプラットフォーム上に取り込みます。これにより企業全体で、一貫した正確な形でビジネスの成果を理解できるようになります。従来の独自仕様のBIセマンティックレイヤーとは異なり、Unity Catalog Metrics はSQL経由で完全にアクセスできるため、どのツールを使っていても、全員が同じメトリクスの見方を共有できます。Unity Catalog Metrics は本日、パブリックプレビューとして利用が可能となりました。今夏後半には一般提供される予定です。

文脈のための統一された基盤　ガイド付き検索からインテリジェントなインサイトへ
ビジネスユーザーが信頼できるデータを真に活用できるように、データブリックスは直感的な検索機能と組み込み型インテリジェンスを融合させた、Unity Catalogの新機能を導入します。新たな「Discover」機能は、営業、マーケティング、財務などのビジネス領域別に整理された、認定済みデータ製品のキュレーション社内マーケットプレイスが提供されます。これらの製品には、ドキュメント、所有者情報、タグ、利用状況のインサイトが付加されています。自動化されたインテリジェントなレコメンド機能と、データ管理者向けのキュレーションツールにより、メトリクス、ダッシュボード、テーブル、AIエージェント、Genieスペースなどの高付加価値のアセットを、手動承認やエンジニアのサポートを必要としないセルフサービス型のワークフローで、簡単に探索、理解、信頼、アクセスできるようになります。Unity Catalog Discoverは現在、プライベートプレビューとして提供中です。

Unity Catalogは、ユーザー体験全体にわたってインテリジェンスを追加し、データ品質のシグナル、利用傾向、アセット間の関連性、認証・非推奨のステータスを可視化することで、ユーザーがデータの信頼性や関連性をすばやく判断できるよう支援します。さらに、Unity Catalog には 「Databricks Assistant」 が組み込まれており、ユーザーは自然言語で質問をすると、管理されたメトリクスに基づいた、根拠がある文脈に沿った回答を得られます。これにより、データ探索は「案内付きの旅」へと変わり、データはアクセスしやすく、説明可能で、信頼でき、すぐに利用可能な状態になります。

データブリックスの共同設立者兼CTOであるマテイ・ザハリアは次のように述べています。
「当社は4年前に、Unity Catalogで『統合ガバナンス（Unified Governance）』というカテゴリを創設しました。今回のUnity Catalogの更新により、Apache Icebergやすべてのオープンテーブル形式に対応した、業界最高のカタログを提供できるようになりました。さらに、外部エンジンから管理されたテーブルへの読み書きを可能にする唯一のソリューションとして、真にオープンなエンタープライズ向けカタログを実現しています。お客様がどのテーブル形式を選んだとしても、当社はそのデータがアクセス可能で、最適化され、ガバナンスに準拠していることを保証します。当社は、ビジネスユーザーにも注力することで、『データとAIの民主化』という当社ミッションの実現に向け、すべての企業ユーザーを支援していきます」

お客様とパートナーの声
Riskified　データプラットフォームアーキテクト　Hen Ben-Hemo氏： 
「Riskifiedでは、すべてのデータをオープン形式で保存し、使用するすべてのツールと接続できる単一カタログを求めていました。Unity Catalogは、どんなIcebergクライアントからでも自由に作成や書き込みといったIcebergテーブルの操作ができるため、レイクハウスエコシステム全体が活用可能になり、アーキテクチャの将来性を確保してくれます」

Virgin Atlantic　データ＆AI担当バイスプレジデント　Richard Masters氏：
「Unity Catalog Metricsは、ビジネスKPIを一元的に定義し、チーム間でセマンティクスを標準化する場所を提供してくれます。これにより、ダッシュボード、SQL、AIアプリケーションの全体で、誰もが信頼できる同じ定義に基づいて作業できるようになります」

Zalando　エンジニアリング・マネージャー　Timur Yuere氏：
「Unity Catalog Metrics は、Zalando 全社でのビジネスメトリクスの定義と活用において、一貫性、信頼性、管理を確立するための大きな可能性をもたらします。BIダッシュボード、ノートブック、その他のツールにわたり、整合性の取れたデータ主導型の意思決定に寄与することが、大いに期待できます」

Tableau　製品管理シニアディレクター　Nicolas Brisoux氏： 
「Unity Catalog Metricsは、Tableauのお客様がデータブリックスの Unity Catalogの集中管理のガバナンス価値を活用するための、素晴らしい機会を提供します。データブリックスとの深い統合と拡大するロードマップを通じて、お客様がデータブリックスを活用してコアとなるビジネスメトリクスを定義する際のハードルを軽減するお手伝いができることを、大変嬉しく思っています」

Sigma Computing　製品VP　 Dillion Morrison氏：
「当社はデータブリックスとの提携により、Unity Catalog Metrics を Sigma に統合できることを大変嬉しく思っています。これにより、ビジネスチームは自分たちのダッシュボード内で、信頼でき標準化されたビジネスメトリクスに直接アクセスできるようになります。全員が一貫した定義に基づいて意思決定を行えるため、質問について毎回データチームに頼る必要がなくなります」

提供について
データブリックスは、Unity CatalogにおけるApache Icebergの完全サポートを、パブリックプレビューとして提供開始しました。Unity Catalog Metricsは本日から、パブリックプレビューとしてすべてのお客様が利用可能となっており、今夏後半に一般提供が予定されています。Unity Catalog Discoverは現在、プライベートプレビュー中です。

データブリックスについて
データブリックスはデータとAIの会社です。Block、Comcast、Condé Nast、リヴィアン、シェル、そしてFortune 500の60%以上を含む世界中の15,000以上の組織が、データ、アナリティクスおよびAIを統合し民主化するデータブリックスのデータ・インテリジェンス・プラットフォームを利用しています。米国カリフォルニア州サンフランシスコに本社を置き、世界中にオフィスを構えるデータブリックスは、レイクハウス、Apache Spark™、Delta Lake、MLflow、Unity Catalogのクリエイターによって創立されました。詳細については、ウェブサイト（日本語）をご確認ください。