AIを活用したアナリティクス：自然言語 vs. SQLによるデータビジュアライゼーションの作成

Databricksのビジネスインテリジェンスおよびアナリティクス製品のプロダクトマーケティングを率いるRichard Tomlinsonは、データを扱いやすくして、人々のより優れた意思決定やイノベーションを推進するテクノロジーを支援することにキャリアを捧げてきました。この対談では、可視化のための自然言語クエリがSQL以上の機能をいかに提供できるようになったか、AIを活用したアナリティクスの信頼性を確保する方法、そしてビジネスコンテキストがなぜ重要であるかについて語ります。

可視化のための自然言語クエリがこれまで期待に応えられなかった理由

可視化のための自然言語クエリは10年前から存在しています。なぜこれまで期待通りの成果を上げられなかったのでしょうか？

Richard Tomlinson: その期待は検索型アナリティクスの初期から存在していましたが、期待に応えられずにいました。その理由は、システムが質問を構文解析できても、ビジネスを理解できなかったからです。

従来の初期世代のNL-to-SQLは、この課題を単なる「言語からスキーマへの変換」（単語をカラムに対応付け、クエリを生成し、グラフを返す）として扱っていました。簡単な検索にはこれで十分ですが、複雑なエンタープライズデータに直面すると破綻してしまいます。実際のビジネス環境では、チーム間で同じ指標の定義が異なったり、テーブル間の結合が曖昧だったり、メタデータではなく個人の頭の中にしか存在しないビジネスルールがあったり、2つの数値が矛盾した際にどちらが正しい情報源かを判断する方法がなかったりします。

ボトルネックとなっていたのはLLMではなく、コンテキストでした。モデルが飛躍的に進化しても、生のテーブル名やカラムヘッダーから意味を推測するしかなかったため、同じ質問を2回しても異なる結果が出力されることがありました。

変化をもたらしたのは、モデルの性能向上だけではありません。言語モデルの下にガバナンスの効いたセマンティックレイヤーを配置し、「売上」がこのチームにとって何を意味するのか、どのテーブルが認定された情報源か、会計年度がどのように定義されているか、常に適用すべきフィルターは何かをエージェントに指示する必要があると認識されたことです。それがなければ、自然言語クエリは会議室のデモでは魅力的に見えても、実際のエンタープライズデータには対応できませんでした。

すべてのユーザーに信頼できる回答を提供

自然言語によって、誰もがAIを活用したアナリティクスを利用できるようになりました。しかし、専門家ではないユーザーが信頼できる回答を得られるようにするには、どうすればよいでしょうか？

Richard Tomlinson: より多くの人が質問できるようにすることは簡単な部分です。難しいのは、回答を意思決定に使えるほど信頼できるものにすることです。そのためには、裏側で3つの要素を満たす必要があります。

1つ目は、データ自体にガバナンスが効いていることです。実際のビジネス運用に沿って構築された、クリーンで整理されたデータが必要です。カテゴリがビジネス全体で統一され、各レコードが明確に定義され、顧客や製品の重複がない状態を指します。また、詳細なアクセス制御によってセキュリティが確保され、すべてのユーザーが権限のあるデータのみを閲覧できるようにする必要があります。

2つ目は、データの意味が一部の人の経験則や個人のスプレッドシートに埋もれることなく、明示的かつ機械読取可能であることです。ガバナンスの効いた指標定義、文書化された用語集、明確に定義された主キーと外部キーのリレーションシップ、そして認定されたソースが必要であり、これらはすべてUnity Catalogのようなシステムに登録され、クエリの実行時にAIエージェントが利用できるようにする必要があります。

3つ目は、信頼・検証レイヤーが存在し、AIが生成したすべての回答を、それを導き出した定義、ソース、アクセス権限まで遡って追跡できることです。これにより、ビジネスユーザーはシステムが「何を回答したか」だけでなく、「なぜそのように回答したか」を検証できるようになります。これがGenie Oneの土台となっています。つまり、ガバナンスの効いたデータ、明示的なセマンティクス、検証可能なデータ由来（プロバナンス）です。これらがなければ、誤った回答をより迅速に得られる手段を全員に与えているだけに過ぎません。

セマンティックグラウンディングがもたらす革新

セマンティックグラウンディングとは何ですか？また、効果的な自然言語ベースのデータ可視化にどのように貢献しますか？

Richard Tomlinson: セマンティックグラウンディングとは、モデルがカラム名から意味を不確実な形で推測するのではなく、AIエージェントによる質問の解釈を組織の実際のビジネス定義、リレーションシップ、ルールに結びつける（グラウンディングする）プロセスです。

具体的には、1行のSQLも生成される前に、エージェントはすでに「純売上高」に特定の承認済み計算式が使用されること、マーケティングのサマリーではなく認定された財務テーブルから抽出すべきこと、会計四半期が2月に始まること、無料トライアルユーザーはリテンション指標から除外されることなどを把握している状態を意味します。

Databricksでは、Genie Ontologyが統合されたコンテキストレイヤーを提供します。指標ビュー、管理ページ、ドメイン、認定データソースなどの明示的にモデル化されたナレッジと、組織の実際の業務方法から自動的に学習されたコンテキストを組み合わせます。そのコンテキストは、ダッシュボード、クエリ、ノートブック、その他のエンタープライズアセットから直接抽出されます。

学習されたコンテキストの各要素（Ontology Snippet）には、ソース、利用頻度、鮮度、認定ステータスに基づいて権限スコアが付与されます。クエリ実行時には、ランキングシステムが関連性と権限スコアの双方で競合するスニペットを評価し、競合を解消した上で、ユーザーの参照が許可されているコンテキストのみを提供します。

このプロセスを用いて作成された可視化は、単なる見た目の良いグラフにとどまりません。組織のドメインエキスパートが使用する定義やロジックに基づいているため、「それっぽい回答」と「信頼できる回答」の違いを生み出します。

優れたガバナンスがすべてを可能にする

SQLの代わりに自然言語を使用してデータ可視化を成功させる上で、ガバナンスはどのような役割を果たしますか？

Richard Tomlinson: ガバナンスは、エンタープライズ規模で自然言語アナリティクスを可能にする中核となるインフラであり、後付けのコンプライアンス用チェックボックスではありません。

ビジネスユーザーが自然言語で質問すると、システムはどのテーブルを照会するか、どの結合を行うか、どの指標定義を適用するか、特定のユーザーにどの行と列の閲覧を許可するかなど、回答を形成するための一連の決定を下す必要があります。SQLの世界では、訓練されたアナリストがそれらの判断を行います。自然言語の世界では、AIエージェントがその判断を下すため、事後的に適用するのではなく、エージェントが行うすべての意思決定をガバナンスによって導く必要があります。

Unity Catalogは、詳細なアクセス制御、ユーザーごとに適用される行フィルターと列マスク、組織が保証するアセットをエージェントに伝える認定シグナル、古くなったデータソースからエージェントを遠ざける非推奨フラグによって、その基礎を提供します。

ガバナンスはセマンティックレイヤー自体にも適用されます。Ontology Snippetは記述対象となるデータと同じUnity Catalogの権限に従うため、エージェントはユーザーの参照が許可されているビジネスコンテキストのみを使用します。適切なガバナンスを導入することで、ガードレールがシステムによって強制されるため、組織は安心してセルフサービスアナリティクスをより幅広いユーザーに開放できるようになります。

対話のスレッドを意図通りに維持する

AIを活用したアナリティクスは、追加の質問を含め、進行中の対話におけるコンテキストをどのように追跡・維持していますか？

Richard Tomlinson: これは対話型アナリティクスにおいて最も過小評価されている技術的課題の1つであり、ほとんどのNL-to-SQLシステムが失敗する原因でもあります。たとえば、ユーザーが「前四半期の売上は？」と質問し、続いて「それを地域別にブレイクダウンして」と尋ねた場合、システムは「それ」が前のクエリの指標、期間、フィルターを指していることを理解し、そのコンテキストを回答に活用する必要があります。

Genieは対話状態を維持することで、スレッド内での対話コンテキストを保持します。テーブルやカラムのメタデータ、エージェント編集者が指定した指示、前後の対話ターンからのコンテキストが、次の質問の解釈に活用されます。追加の質問があいまいな場合、Genieは推測で答えるのではなく、確認の質問をすることができます。

また、Genieは過去の対話を利用して回答を生成することもできます。ユーザーが過去の作業を参照する（「前四半期のARRについて話したのを覚えていますか？そこから地域別にドリルダウンしましょう」など）と、画面を切り替えることなく、システムはそのコンテキストを現在の対話に取り込みます。

セマンティックグラウンディングと対話のフィルタリングを組み合わせることで、対話が長くなっても回答の一貫性が保たれます。オントロジーがターンを超えて永続する安定した定義を提供するため、1ターン目でも5ターン目でも「売上」は同じ意味を持ちます。一方で、対話管理システムはすべての情報を単純に追加するのではなく、関連するコンテキストを選択的に処理するため、コンテキストウィンドウが溢れて未成熟なシステムで発生するような会話のブレが生じるのを防ぎます。

ガバナンスを組み込んだ状態でGenieを日常のツールに導入

組織はどのようにして、チームがすでに使用しているアプリやAIツールにGenieを導入できるでしょうか？また、データアクセス権限はどのように適用されますか？

リチャード・トムリンソン： Databricksは複数の統合方法を提供しています。Genie Conversation APIを使用することで、開発者は自然言語によるデータクエリ機能を自身のアプリケーション、チャットボット、エージェントフレームワークに直接組み込むことができます。このAPIを介して、ユーザーは質問の投稿、生成されたSQLやクエリ結果の取得を行い、前のコンテキストを記憶したマルチターンの対話形式で回答を得ることができます。

組織は、Genie One MCPサーバーを通じて、Claude、ChatGPT、Microsoft Copilot、Cursorなど、すでに活用しているAIアシスタントからGenieを使用することもできます。回答は、Databricks内と同じビジネス定義およびデータ権限を使用します。

Genie Agentsは、権限を維持したまま他のアプリケーションに組み込むことも可能です。クエリはエージェント作成者が設定した認証情報を使用してSQLウェアハウス上で実行されますが、各エンドユーザーが表示できる内容は、アクセス権に基づいてUnity Catalogが決定します。行フィルター、列マスク、テーブルレベルの特権はすべてユーザーごとに適用されます。

外部統合に推奨される認証パターンは代理（OBO）OAuthです。これは、外部アシスタントがユーザーの代理として機能し、Genieがリクエストごとにそのユーザーの権限を適用する仕組みです。これにより、2人のユーザーが同じチャットボットに同じ質問をした場合でも、ユーザーごとの特別な設定なしに、閲覧を許可されたデータのみに基づいてそれぞれに適切な回答が提供されます。

生のデータベース接続は単にデータをそのまま渡すだけです。ガバナンスの効いたアナリティクス統合により、誰がどのメトリクスを閲覧でき、それがどのように計算されるかを管理できます。

自然言語アナリティクスの約束を果たす

自然言語アナリティクスは長らく、誰もが質問を投げかけるだけでデータの可視化を得られるようになると言われてきました。しかし実際には、その結果は意思決定に利用できるほど十分な信頼性を備えていないことが少なくありませんでした。AIが従来アナリストによって行われていた意思決定を担うようになるにつれ、その根底にあるコンテキストが極めて重要になります。信頼できる回答を得るには、ガバナンスの効いたデータ、共有された定義、明確な権限、そして各回答がどのように生成されたかを検証する方法が必要です。また、会話が続く中でシステムがコンテキストを保持し、従業員が日常的に使用しているツールにAI搭載のアナリティクスを組み込むことも求められます。この基盤が整うことで、組織は働く場所を問わず、全社的な従業員に対して信頼できるアナリティクスへのアクセスを安心して提供し、スマートな意思決定を支援できるようになります。

Genieがどのようにビジネスの質問をガバナンスの効いた回答やアクションに変換するかをご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事