Unity Catalog Business Semanticsの一般提供開始とオープンソース化を発表

データとAIがすべてのエンタープライズの中心となるにつれて、ビジネスコンセプトの一貫した理解が不可欠になります。アナリスト、エンジニア、エグゼクティブ、そしてAIエージェントでさえ、同じデータを異なる方法で解釈することが多く、メトリックのずれ、矛盾したレポート、信頼性の低下につながります。

長年、これらのビジネスコンセプトはBIツールやダッシュボードの中に存在していました。エージェントがデータを推論し自律的に動作するエージェンティックAIの時代では、断片化された定義は混乱を生むだけでなく、それを拡大させます。エンタープライズは、データとAIプラットフォームの中核で定義され、一度ガバナンスされ、どこでも適用される統一されたセマンティック基盤を必要としています。そしてそれはオープンでなければなりません。ビジネスセマンティクスは、組織が収益、成長、顧客価値、リスクをどのように測定するかを定義します。これらの定義は、プロプライエタリなシステムにロックされたり、単一のアプリケーションレイヤーに限定されたりすることのできない戦略的資産です。

本日、私たちはUnity Catalog Business Semanticsの一般提供開始（General Availability）により、これを変革します。これは、BIダッシュボード、開発者ワークフロー、AIエージェント全体で一貫性のある信頼できるコンテキストを提供する、統一されたオープンなセマンティック基盤です。この基盤を真にポータブルにするために、コア実装をApache Sparkでオープンソース化し、まもなくUnity Catalog OSS v0.5でもサポートする予定です。

ビジネスセマンティクスに対する従来ののアプローチが不十分な理由

お客様は長年、そのツール内での一貫性を提供するBIツール固有のセマンティックレイヤーを使用してきましたが、そのアプローチには限界があります。

• プロプライエタリで断片化されている：マルチツール、マルチエージェントの世界では、各BIモデルは独自の言語を話します。その結果、定義はダッシュボード、モデル、スプレッドシートの中にロックされ、組織全体でのガバナンス、アクセスポリシーの強制、リネージの追跡がほぼ不可能になります。
• 定義がダウンストリームすぎる：これらのレイヤーはデータ基盤ではなくプレゼンテーション層に配置されるため、チームは異なるダッシュボードやレポートのために同じメトリックを繰り返し再定義します。このダウンストリームアプローチは、セマンティクスを脆く、一貫性がなく、スケーリングが困難にします。
• AIにとって柔軟性に欠ける：従来のレイヤーは、急速に変化するビジネスの質問やAIエージェントのオープンエンドなプロンプトに追いつけない、重い事前モデリングに依存しています。変更ごとに専門家の介入が必要となり、応答が遅れ、信頼性が低下します。

これらの制限は、データおよびAIチームを長年悩ませてきました。アジリティと信頼できる回答が譲れない今日のAI主導の状況では、それらは進歩への重大な障壁となっています。

Unity Catalog Business Semantics：ビジネスセマンティクスへの統一されたオープンなアプローチ

Unity Catalog Business Semanticsは、Databricks Data Intelligence Platformの中核でセマンティクスが統一されガバナンスされるという根本的な変化を表します。Unity Catalogに直接組み込まれており、すでに信頼しているガバナンス、セキュリティ、リネージを拡張し、それらの定義を作業するすべての場所で利用可能にします。

このアプローチは3つの主要なメリットをもたらします。

1. オープンで再利用可能：SQLとAPIを通じてアクセス可能で、ビジネスセマンティクスはダッシュボード、ノートブック、アプリケーション、AIエージェント全体でクエリできます。オープンフォーマットで保存されているため、完全にポータブルであり、プロプライエタリなツールに限定されません。
2. コアでガバナンス：基盤となるデータと同じガバナンスポリシーを継承します。このアップストリームアプローチにより、データとビジネスの意味の両方に対する単一の真実の源を提供するために、一貫した使用、ガバナンス、リネージ、アクセス制御が保証されます。
3. AI向けに設計：リッチなセマンティックメタデータは、エージェントが新しい質問に正確に回答し、重い事前モデリングなしでビジネスコンセプトの進化に適応するために必要なコンテキストを提供します。

Metric Viewsは、メトリックの標準化と、数値の照合にかかるビジネスのワークロードを劇的に削減するのに役立ちました。クエリは大幅に高速化され、場合によっては最大10倍になり、ダッシュボードの構築が容易になり、より一貫性のある事前集計されたデータのおかげでGenieの精度に目に見える改善が見られました。 — Pedro Alves, Data Manager, Tech Growth, iFood

Unity Catalog Business Semanticsは、Zalando全体でビジネスメトリックが定義および消費される方法に一貫性、信頼性、および制御を確立するためのエキサイティングな機会をもたらします。これは、BIダッシュボード、ノートブック、その他のツール全体での整合性の取れたデータ駆動型の意思決定に有望な貢献です。 — Timur Yüre, Engineering Manager, Zalando

ビジネスセマンティクスのためのオープンソース基盤

Unity Catalog Business Semanticsの主要な目標の1つは、顧客がロックインなしで、既存のエコシステム全体で機能するように設計された、オープンでポータブルな方法でビジネスの意味を定義できるようにすることです。セマンティック定義は、BIツール、SQLワークロード、AIエージェントとシームレスに統合され、プラットフォームや消費パターンが進化しても永続する必要があります。

これを実現するために、Apache Spark OSSでコアのMetric View実装をオープンソース化しており、次期Apache Sparkリリースを対象としています（進捗はSPARK-54119で追跡できます）。まもなくUnity Catalog OSS v0.5でもサポートされる予定です。これにより、顧客はダウンストリームツールに埋め込むのではなくデータ基盤でガバナンスされ、分析およびAIサーフェス全体で一貫して再利用される、オープンシステムで標準SQLを使用してビジネスセマンティクスを定義できます。

Databricksは、ビジネスセマンティクスに関する相互運用性を向上させるための、より広範な業界の取り組みも支援しています。同社はOpen Semantic Interchange (OSI)イニシアチブに参加し、それに積極的に貢献しています。私たちは、OSIのようなイニシアチブをエコシステムのアライメントに向けた重要な一歩と見なし、それに貢献するとともに、顧客が大規模に信頼できるオープンでガバナンスされたセマンティック基盤の構築に引き続き注力していきます。

GAリリースにおける新機能の解説

Metric Views：信頼できる一貫したKPI

このGAリリースの中心となるのはMetric Viewsです。これは、表示名、フォーマット、同義語などのセマンティックメタデータを使用して、信頼できる一貫したビジネスKPIの定義を確立し、人間とAIの両方が自信を持ってそれらの定義を解釈および適用できるようにします。Metric Viewsを使用すると、SQLでデータマッピング、メジャー、ディメンションを中央で定義し、Unity Catalogで直接ガバナンスできます。定義は、AI/BIダッシュボード、Genie、ノートブック、SQLアプリケーション、およびDatabricksに接続されたサードパーティツールなど、すべてのサーフェスでポータブルになります。各メトリックは宣言的に定義されているため、エンジンはクエリ時に基盤となるSQLをコンパイルして決定論的に実行し、人間またはAIエージェントのいずれであっても、すべてのコンシューマーが、アクセス方法や場所に関係なく、同じ定義から同じ結果を得られるようにします。

新機能：

クエリパフォーマンスのためのマテリアライゼーション：Unity Catalog Business Semanticsは、ガバナンスされた定義と大規模なパフォーマンスをマテリアライゼーションを通じてペアにします。チームにどの集計テーブルにヒットするかを決定させたり、異なるパフォーマンスティアのためにロジックを複製したり、異なるワークロードのために個別のパイプラインを構築したりするのではなく、セマンティックレイヤーがパフォーマンスを自動的に処理します。仕組みは次のとおりです。

• 自動集計: メトリックのマテリアライゼーションを定義すると、プラットフォームは手動介入なしに最適化された事前集計結果を維持します。
• 増分更新: マテリアライズされた結果は増分更新によって最新の状態に保たれるため、メトリックが古くなることはなく、完全な再計算が必要になることはほとんどありません。
• インテリジェントクエリ書き換え: クエリ時に、エンジンは最適なマテリアライゼーションを活用するようにクエリを書き換えます。
• 透過的なルーティング: ユーザーはこれまで通りメトリックをクエリしますが、システムはバックグラウンドで各リクエストを最速のパスにルーティングします。

マテリアライゼーションはプレビュー版であり、詳細についてはドキュメントを参照してください（AWS, Azure, GCP）。

新しいUIとエージェントAIエクスペリエンスによる作成: 現在、パブリックプレビューでは、Unity Catalog Explorerの新しいポイントアンドクリックUIを通じてMetric Viewsを作成および管理できます。これにより、複雑なSQLや深いデータモデリングの専門知識を必要とせずに、技術ユーザーと非技術ユーザーの両方がセマンティックモデリングにアクセスできるようになります。このUIを使用すると、ブラウザを離れることなく、テーブル間の関係を視覚的に定義し、メトリックをインラインでチャート化し、すべてをエンドツーエンドでテストしてから公開できます。UIベースの作成の詳細については、ドキュメントを参照してください（AWS, Azure, GCP）。

Genie Code は、エージェントAIを作成ワークフローに直接取り込むことで、作成プロセスをさらに加速します。空のページから始めるのではなく、Genie Codeは次のことが可能です。

• セマンティックモデルの高速ブートストラップ: メジャー、ディメンション、同義語、ドキュメントを提案し、チームが数週間ではなく数分で開始できるようにします。
• リファクタリングと改善: 既存の定義の問題を特定し、ビジネスロジックが進化するにつれて改善を推奨します。
• 変更の検証: 提案された編集を実際のデータでテストし、エラーが広がる前に検出できるようにします。
• 詳細な変更管理の有効化: 何が変更され、なぜ変更されたのかを完全に可視化して、個々のメトリック変更を確認および承認します。

Metric ViewsはKPIの定義を超えています。各Metric Viewは、人間とAIの両方にとって理解可能で利用可能なリッチなセマンティックメタデータ、表示名、フォーマット、同義語を運びます。これにより、ダッシュボードや会話型UI全体で一貫した表示が保証され、AIがビジネス用語や自然言語クエリを正しく解釈するのに役立ちます。

ビジネスセマンティクスがDatabricks AI/BIを強化する方法

このGAリリースにより、AI/BIダッシュボードとGenieはUnity Catalog Business Semanticsと完全に統合されました。実際には、これにより3つの主要なメリットがアンロックされます。

実際には、これにより3つの主要なメリットがアンロックされます。

1. ガバナンスされたメトリックによるAI/BIダッシュボード: Unity CatalogのMetric Viewsで直接ダッシュボードを構築できるようになりました。すべてのビジュアル、フィルター、ドリルスルー、比較は、同じ認定されたメジャーとディメンションのセットを使用するため、チームやツール全体で一貫した数値が保証されます。
2. ビジネス言語に基づいたGenie: GenieスペースはMetric Viewsの上に直接作成できます。これは、Genieが回答するすべての自然言語クエリが、推論されたロジックではなく、ガバナンスされた決定論的な定義に基づいていることを意味します。Metric Viewsは実行時に論理クエリにコンパイルされるため、ユーザーは常に正確で一貫した結果を得られます。Genieはもはやメトリックを幻覚させるのではなく、単一の真実の情報源から解決しています。
3. ダッシュボードロジックをセマンティックレイヤーに昇格させる: 既存のMetric Viewなしで新しいAI/BIダッシュボードを作成する場合、構築したテーブル結合、フィルター、計算フィールドは、単一のアクションでUnity Catalogの新しいMetric Viewに昇格できるようになりました。これは組織のセマンティックレイヤーの一部となり、Genie、SQL、ノートブック、外部BIツール全体で利用可能になります。さらに、ダッシュボードはMetric Viewのマテリアライゼーションから自動的にメリットを得るため、基盤となるクエリのパフォーマンスが大幅に向上します。

お気に入りのツールにセマンティクスを拡張する

強力なセマンティック基盤は、単一のプラットフォームを超えて移動すると、さらに価値が高まります。そのため、Unity Catalog Business Semanticsと直接統合するテクノロジーパートナーの豊富なエコシステムと緊密に連携しています。

• Tableau: Tableauは、Databricks Unity Catalog Business Semanticsを含む外部メトリックプロバイダーからの委任セマンティクスのサポートを、リレーションシップデータモデルに追加する予定です。これにより、アナリストは、メトリックが一貫して定義され、基盤となるセマンティックレイヤーによって正確に集計されていることを信頼できるようになります。この統合は2026年後半に予定されています。

  Tableauは、Unity Catalog Business Semanticsをリレーションシップデータモデルに導入できることを嬉しく思います。これにより、アナリストや組織はメトリックとメタデータを一度定義するだけで、Tableauが適切なセマンティクスを自動的に適用し、一貫性のある信頼性の高いインサイトを提供できるようになります。 — Nicolas Brisoux、シニアディレクター プロダクトマネジメント、Tableau

• Sigma Computing: Sigmaは、Databricks Unity Catalog Business Semanticsと直接統合し、Metric Viewsをリアルタイムでクエリすることで、最新の定義がデータ移動なしに即座に反映されることを保証します。このアーキテクチャにより、SigmaはLakehouseの透過的な拡張として機能し、実行時にUnity Catalogのセキュリティとガバナンスプロトコルを厳密に継承します。

  Sigmaでは、Unity Catalog Business Semanticsとの統合に懸命に取り組んでいます。これにより、お客様はSigmaのスプレッドシートのようなエクスペリエンスを、ガバナンスされたビジネス定義とペアリングでき、すべての人に高速で一貫性があり、信頼性の高い分析を保証します。 — Jordan Stein、プロダクトマネージャー、Sigma

• ThoughtSpot: 今年後半、ThoughtSpotはUnity Catalog Metric Viewsのネイティブサポートを追加し、SpotterユーザーがガバナンスされたDatabricksメトリックを自然言語で即座にクエリできるようになります。これにより、カスタムSQLが不要になり、組織はデータスタック全体で信頼できるビジネスメトリックに柔軟かつ正確かつ高速にアクセスできるようになります。

  ThoughtSpotは、Unity Catalog Business Semanticsを通じてDatabricksとのパートナーシップを深めることに興奮しています。これにより、お客様はビジネスセマンティクスを管理する方法と場所において、より多くの柔軟性を得ることができます。 — Francois Lopitaux、製品担当SVP、ThoughtSpot

• Hex: Unity Catalog Metric Views は Hex に完全に統合されました。ユーザーは、Databricks 接続から直接 Metric Views を参照し、Hex ノートブックで SQL を使用してクエリを実行し、ガバナンスされた定義に基づいたデータアプリを構築できます。これにより、探索から本番アプリへの移行が、メトリクスを再定義することなく容易になります。

Databricks Unity Catalog Metric Views と Hex を使用すると、チームは信頼できるガバナンスされたメトリクスから作業できるため、一貫性が減り、信頼できるインサイトでより迅速に進むことができます。 — Armin Efendic, Partner Engineer, Hex

• Omni: Omni を使用すると、チームはスプレッドシート、SQL、または AI ドリブンチャットなどの使い慣れたエクスペリエンスを通じてMetric Views を分析できます。 Omni では、ビジネスユーザーがデータを探索する際に新しいメトリクスやディメンションを定義し、API を介してそれらの更新を Unity Catalog にプッシュすることもできます。これにより、Unity Catalog に単一の信頼できるソースが作成され、ビジネスエキスパートが組織のセマンティックモデルに直接貢献できるようになります。これにより、データチームとビジネスエキスパートの両方がセマンティックモデルに直接貢献できます。

  AI をビジネスコンテキストに結びつけることが、AI を信頼できるものにする唯一の方法です。Unity Catalog Metrics Views との統合により、ガバナンスされた定義が AI、スプレッドシート、ダッシュボード、SQL など、すべてのインターフェイスに連携されます。 Omni と Databricks の間の双方向同期により、チームはどちらのシステムでもメトリクスを定義および更新しながら、すべてを整合させることができます。この一貫性は、顧客がセルフサービスをスケーリングし、AI の採用を加速し、信頼できる顧客向けデータ製品を強化するのに役立ちます。 — Jamie Davidson, Co-founder, Omni

• Atlan: Atlan の UC Metrics とのネイティブ統合により、最も重要なメトリクスが Atlan Context Graph に直接取り込まれ、追加の権限オーバーヘッドなしで、リネージ、オーナー、ビジネス定義に結び付けられます。これにより、チームはワークフロー内でメトリクスを単一の信頼できるビューで把握でき、トラブルシューティングの迅速化、意思決定の改善、および大規模な AI 対応データが可能になります。

  メトリクスは、すべてのエンタープライズの Data & AI プラットフォームの心臓部です。UC Metrics を Atlan の Context Graph に取り込むことで、リネージ、ビジネスコンテキスト、および追加の権限なしで、お客様はこれまで手の届かなかった運用インテリジェンスを獲得できます。これは、大規模な AI 対応データに向けた重要な一歩です。 — Chandru, Product Leader, Atlan

• Monte Carlo: Monte Carlo は Unity Catalog の Metric Views をサポートするようになり、標準化されたビジネスメトリクスとその基盤となるパイプライン全体のエンドツーエンドのオブザーバビリティを提供します。

  信頼できるデータと AI は、ガバナンスされたビジネスメトリクスから始まります。Unity Catalog Metrics は KPI を大規模に標準化することを容易にし、Monte Carlo を使用することで、データリーダーはそれらのインサイトを信頼して実際のビジネスインパクトを推進できます。 — Lior Gavish, Co-founder and CTO, Monte Carlo

• Collibra: Collibra は、Databricks メトリクスに対する信頼できる可視性を提供し、人間と AI エージェントの両方がビジネス上の意思決定のためにそれらを簡単に見つけて使用できるようにします。強化された統合により、メトリクスの可視性が向上し、Collibra 承認済みメトリクスが Databricks に直接フローし、双方向同期が追加され、データエステート全体で一貫性のある信頼できるメトリクスが保証されます。

  AI エージェントとデータユーザーがワークフローを理解し、信頼し、自動化するには、ガバナンスされた一貫性のあるメトリクスが必要です。当社の共同顧客は、Databricks と Collibra の緊密な連携を継続的に求めています。 — Tom Dejonghe, VP, Product Management, Data Governance, Collibra

• Domo: Unity Catalog Metric Views と統合され、ガバナンスされた Databricks メトリクスが Domo のダッシュボード、分析、および AI パワードワークフローに直接フローできるようになりました。これにより、重複が削減され、ガバナンスが強化され、信頼できる KPI のインサイト取得までの時間が短縮されます。

  Databricks のガバナンスされたメトリクスを Domo と統合することで、顧客は重複を削減し、ガバナンスを改善し、信頼できる KPI のインサイトを加速できます。 — Matthew Payne, VP Engineering, Domo

• Anomalo: Anomalo は Unity Catalog Governed Metrics のローンチパートナーとして参加し、Databricks の統合セマンティックレイヤーと Anomalo の自動メトリクスモニタリングをペアリングします。この統合は、企業がドリフトとデータ品質の問題を早期に検出するのに役立ち、正確で信頼できるメトリクスを重要な意思決定のために保証します。

  Databricks の統合セマンティックレイヤーと Anomalo のメトリクスモニタリングを組み合わせることで、ドリフトを早期に検出し、メトリクスを大規模に正確で信頼できる状態に保つことができます。 — Amy Reams,Vice President of Business Development and Marketing, Anomalo

これらおよび今後の統合により、Databricks をはるかに超えて、より広範な分析および AI エコシステム全体で、一貫性のあるガバナンスされたセマンティクスがフローすることが保証されます。

Unity Catalog Business Semantics の開始方法

このローンチに非常に興奮しています。セマンティクスがデータプラットフォームのコア部分になったことで、エンタープライズコンテキストは、ダッシュボードや AI エージェントからノートブックや外部 BI ツールまで、どこにでもフローし、メトリクスサイロ、ベンダーロックイン、ツール間の不整合を排除します。オープンな基盤上に構築されたセマンティックレイヤーは、データが存在するすべての場所で機能します。
詳細なガイドについては、 ドキュメント  (AWS, Azure,  GCP) を参照して、ビジネスセマンティクスの定義、権限の制御、さまざまな消費方法について詳しく確認してください。
AI/BI ダッシュボードと Genie スペースでビジネスセマンティクスを実際に確認できる製品デモをご覧ください。

• Unity Catalog Metric Views の概要
• AI/BI での Metric Views の表示
• SQL エディターからの Metric Views のクエリ

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事