データの場所を問わず、すべてのデータと対話する

エージェンティックAIの登場により、12ヶ月前には存在しなかったクロスソース推論への需要が生まれています。ビジネスユーザーは、「前四半期に最も高いROIをもたらしたマーケティングキャンペーンはどれか？」といった自然言語の質問を投げかけ、データから即座にインサイトを得たいと考えています。

問題は、企業のデータがAWS Glue、Snowflake、Oracle、BigQuery、Postgresなどの複数のシステムに分散していることが多く、時にはレガシーな独自フォーマットにロックインされているため、すべてを単一のシステムに移行するには数ヶ月かかる可能性があることです。

データを移行することなく、データ資産全体を推論できるとしたらどうでしょうか？Lakehouse Federationを使用すると、Databricksは既存のデータソースがどこにあっても直接接続し、それらを Unity Catalogの単一のガバナンスレイヤーの下に統合します。権限、リネージ、アクセス制御が接続されたすべてのシステムで一貫して機能するため、ソースごとに再構築することなく、エンタープライズレベルのセキュリティを確保できます。ビジネスユーザーは、Genieを通じてその統合されたデータに自然な言葉でクエリを実行でき、パイプラインの作成、コピー、移行ステップを一切行うことなく、接続されたすべてのプラットフォームにまたがる回答を得ることができます。

このブログでは、外部ソースへの接続、メタデータのUnity Catalogへの同期、そしてGenieを通じた質問の実行まで、わずか数分でセットアップする方法を順を追って説明します。

仕組み

Lakehouse Federationを使用すると、ユーザーやAIエージェントは外部ソースに安全に接続し、ネイティブデータとともにガバナンスを適用できます。これにより、Genieは移行を行うことなく、拡張されたデータ資産にオンザフライでアクセスできるようになります。Lakehouse Federationは、20を超える主要なデータプラットフォームへの接続に対応しています。例として、AWS Glueを使用したセットアップがいかに簡単かを見ていきましょう。

1. Lakehouse Federationで外部データソースに接続する

まず、外部のAWS Glueプロジェクトへの接続を作成します。この例では、マーケティングキャンペーンデータを含むGlueデータベースに接続します。

次に、データをその場でUnity Catalogに同期します。これにより、データをコピーすることなくすべてのテーブルにアクセスできるようになり、データが常に最新の状態に保たれます。また、ソースシステムへの影響も回避できます。

2. 既存のメタデータの活用

生のテーブル名やカラム名は、AIエージェントにとって意味をなさないことがよくあります。AIエージェントは、 status_code 4 が「緊急」を意味することや、 spend_amount がマーケティング費用を指していることを本質的に知ることはできません。

多くの組織は、ソースシステムでのスキーマのドキュメント化にすでに投資しており、Glueに直接テーブルの説明、カラムのコメント、ビジネス用語集の用語を追加しています。Lakehouse Federationは、そのコンテキストを自動的に引き継ぐようになりました。外部カタログを作成すると、ソースシステムからのコメントや説明が、テーブルのメタデータとともにUnity Catalogにフェデレーションされます。

これは以下を意味します：

• 既存のカラムの説明（例：「spend_amount — 米ドルでのマーケティング総支出」）が、手動で再入力することなく引き継がれます
• ビジネスコンテキストを記録したテーブルレベルのコメントが保持されます
• GenieなどのAIツールは、このメタデータを即座に活用してスキーマを理解できます

現在、GlueとBigQueryの外部テーブルコメントをサポートしています。プレビュー版では、PostgreSQL、Redshift、MySQL、Snowflakeへのサポートを拡大しており、今後も毎月さらに多くのソースを追加する予定です（プレビューに登録する）。

3. フェデレーションデータ上での再利用可能なセマンティクスの定義

引き継がれたコメントはGenieにデータの内容を伝えますが、ビジネスがどのように測定を行っているかまでは捉えることができません。カラムのコメントは spend_amount が米ドルでのマーケティング費用であることを説明できますが、ROIがインプレッション数を支出で割ったものであることを定義できるのはメトリック定義だけです。これがビジネスロジックであり、歴史的には、散在するダッシュボードの数式、アドホックなSQL、属人的な知識の中に存在し、チーム間で定義が微妙に異なることがよくありました。

Unity Catalog Semanticsを使用すると、そのビジネスロジックを管理対象オブジェクトとして一度定義するだけで、クエリを実行するすべてのツールで同じ信頼性の高い計算結果を得ることができます。また、フェデレーションテーブルはUnity Catalogにおいてファーストクラスの市民として扱われるため、ソースシステムから移動していないデータに対しても機能します。移行を行うことなく、任意のフェデレーションソース上でROIなどのメトリックを直接定義できます。

Unity Catalogのメトリックを使用すると、フェデレーションテーブル上で直接、一度だけ定義します。メトリックビューは、ユーザーがグループ化やフィルタリングに使用できる campaign_id や quarter などのフィールドと、ビジネス数式自体を定義するメジャーである roi の2つの要素を定義します。

ROIを一度定義すれば、Genie、AI/BIダッシュボード、ノートブックのすべてが同じ方法で計算を行います。定義が変更された場合は、1箇所で更新するだけで、すべての利用者にその変更が引き継がれます。

4. Genieへの質問

データが接続され、コンテキスト化されたことで、マーケティングアナリストはGenieルームを開いて、冒頭の質問「前四半期に最も高いROIをもたらしたマーケティングキャンペーンはどれか？」を投げかけることができます。

GenieはROIの数式を一から再構築する必要はありません。メトリックビュー内の認定された roi メジャーへと解決され、フェデレーションデータに対して正しいSQLを自動的に生成します。

その結果、Glueにあるライブデータから導き出された、即座かつ正確な回答が得られます。

Lakehouse Federationを搭載したGenieは、Unity Catalogがデータ資産全体にわたってAIインサイトをどのように実現するかを示す一例にすぎません。クエリがGenieルームのビジネスアナリストからのものであっても、エージェント駆動のワークフローからのものであっても、Unity Catalogはそれを機能させるための、ガバナンスが適用されコンテキスト化された基盤を提供します。

今後の展望

私たちは、Lakehouse FederationをDatabricksプラットフォームへの最も迅速な導入経路にするための投資を続けています。

• フェデレーションテーブル向けのより豊かなビジネスセマンティクス：既存のコメントをインポートするだけでなく、AIを活用した説明やビジネスコンテキストによってフェデレーションメタデータを拡張する新しい方法を構築しており、これによりGenieを最初からさらにスマートに利用できるようになります。
• マネージドテーブルへのアップグレードによるパフォーマンスの向上：SET MANAGED機能を使用して、外部テーブルをDatabricksのUnity Catalogマネージドテーブルに変換し、50%以上のコスト削減と20倍高速なクエリのメリットを享受できます。
• より多くのカタログやプラットフォームへのフェデレーションサポート：新しいフェデレーションソースを継続的に追加し、より多くのデータ資産に対してガバナンスが適用されたアクセスを提供します。

始めましょう

• 詳細については、Lakehouse Federationのドキュメントをご覧ください（AWS、 Azure、 GCP）
• プレビューに登録する（外部テーブルコメント機能）
• Databricksの無料トライアルを開始する

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事