「何が起きたのか？」から「何が起きるのか？」へ

ビジネスインテリジェンスは、常に問いに答えるためのものでした。多くの組織にとって、それらの問いは「前四半期に何が起きたか？」といった記述的なもの、あるいは「なぜ南東部で解約率が急上昇したのか？」といった診断的なものでした。Databricks Genieは、これらの問いへのアクセス性を劇的に向上させ、ビジネスユーザーがSQLを書いたりアナリストを待ったりすることなく、自然言語で回答を得られるようにしました。

しかし、最も重要な意思決定を左右する問いは、予測的なものです。「来四半期に解約する可能性が高い顧客は誰か？」「価格を調整した場合、需要はどのように変化するか？」「このローン申請者がデフォルト（債務不履行）になる確率はどのくらいか？」これらに答えるには、歴史的にまったく異なるツール、スキル、チームが必要でした。データサイエンティストがデータを探索し、予測への適合性を検証し、特徴量をエンジニアリングし、モデルをトレーニングし、状況の変化に応じてそのモデルを維持管理する必要があったのです。その結果、ビジネスユーザーが自信を持って操作するBIの世界と、専門チームしか立ち入れない予測分析の世界との間に、明確な境界線が引かれていました。

以前のブログ投稿では、Prior Labsの表形式データ用基盤モデルであるTabPFNが、単一のフォワードパスで本番環境レベルの予測を提供することにより、予測ワークフローの大部分をどのように短縮するかを示しました。しかし、重要なボトルネックが残っていました。TabPFNが予測を行う前に、誰かがビジネス上の問いを適切に構成されたデータセットに変換する必要があったのです。モデルによる予測は一瞬かもしれませんが、そこにデータを投入する作業は一瞬ではありません。

特徴量エンジニアとしてのGenie、ユニバーサルモデルとしてのTabPFN

ここで、Genieの役割は「問いに答えること」から「予測を可能にすること」へと移行します。Genieは、組織のデータ（スキーマ、リレーションシップ、ビジネスセマンティクス）をすでに理解しています。マルチエージェントオーケストレーター内でGenieとTabPFNを組み合わせることで、クローズドループが構築されます。Genieが自然言語の問いをTabPFNが必要とする正確な入力データに動的に変換し、TabPFNがそのデータを単一のフォワードパスで予測に変換します。会話中に行われたすべての予測的な問いに対して、その場でカスタマイズされた回答が返されます。回答できる問いの範囲は実質的に無限になります。「結果を伴う履歴データがある場合、新しいシナリオの結果を予測する」という形で組み立てられる問いであれば、どのようなものでも数秒で回答を得ることができます。

その結果、Unity Catalogによる完全なリネージとアクセス制御を備えたレイクハウスデータに基づく、ガバナンスの効いた単一のエクスペリエンスが実現します。ビジネスユーザーは、記述的分析に使用するのと同じ対話型インターフェースで予測的な問いを投げかけることができます。

本稿では、これを可能にするアプリケーションアーキテクチャについて説明し、各技術コンポーネントを紹介しながら、それらがどのように連携して対話型BI内で予測インテリジェンスを直接提供するのかを示します。

ビデオ 1. Databricks Appsインターフェースを介した、GenieおよびTabPFNを搭載したマルチエージェントスーパーバイザーとの対話

アーキテクチャ：マルチエージェントスーパーバイザー

このシステムは、Databricks Appとしてデプロイされたマルチエージェントオーケストレーターとして構築されており、Databricks上でエンタープライズエージェントを構築・デプロイするためのプラットフォームである Agent Bricksを使用して主要なコンポーネントを接続します。Genieは、ガバナンスの効いたレイクハウスデータに対する構造化SQL分析のサブエージェントとして機能します。TabPFNは、外部MCPサーバーとしてUnity Catalogに接続されています。システムは追加のサブエージェントやサービングエンドポイントもサポートしており、必要に応じて他のDatabricksアプリケーションや追加のMCPサーバーを追加できます。

予測的な問いが届くと、オーケストレーターはエージェントワークフローを実行します。ユーザーのビジネス上の意図を解釈します。問いに答えるために予測分析が必要な場合、Genieにクエリを送信してレイクハウスから適切なラベル付きデータを抽出します。必要なデータをすべて収集した後、TabPFNを呼び出し、このデータを適切なフォーマットでモデルに渡します。最後に、スーパーバイザーが予測を解釈し、実用的な推奨事項をユーザーに提供します（図1）。

核心となるインサイトの実践

具体的な例として、営業リーダーが「Horton-Crossの商談を成立させる可能性が最も高いプロモーションタイプはどれか？」と尋ねた場合に何が起こるかを考えてみましょう。

従来のワークフローでは、この問いに答えるために、データサイエンティストが問いを理解し、どのテーブルとカラムが重要かを特定し、プロモーションタイプと成約/失注結果を含む過去の商談から適切なトレーニングセットを抽出し、アルゴリズムを選択してハイパーパラメータを調整し、パフォーマンスを検証し、Horton-Crossの商談に特化した推論データを準備し、モデルを実行し、出力をビジネス上の推奨事項に変換する必要がありました。これらの各ステップには、時間、専門知識、そして反復作業が必要です。そして、次の問いである「成約確率を最大化するための最適なフォローアップ日はいつか？」に答えるには、まったく異なるモデルをゼロから構築する必要があります。

では、同じマルチエージェントスーパーバイザーの下でGenieとTabPFNを使用した場合に何が起こるかを見てみましょう。スーパーバイザーは自然言語の問いとそのセマンティックな意図を解釈し、その意図をGenieに対するデータセット生成の具体的なリクエストに変換します。Genieは、この問いに答えるには、成約または失注をラベルとして使用し、プロモーションとアカウントを結合した過去の商談データが必要であることを認識し、このデータを即座に抽出するための正確なSQLを生成します。

TabPFNはそのデータセットを受け取り、単一のフォワードパスで予測を生成します。特徴量の前処理も、モデルの選択も、ハイパーパラメータの調整も不要です。最後に、スーパーバイザーは明確でデータ駆動型の推奨事項を返します。問いから予測に至るパイプライン全体が、1回の会話のやり取りの中で自然言語から自動的に構築されます。

品質の評価と制限事項

このパターンには制限事項があります。TabPFNの精度は、Genieが生成するデータの品質に依存します。スキーマが適切なシグナルを捉えていない、必要な結合が存在しない、あるいは結果がデータに表現されていないなどの理由で、Genieが特定の問いに対して明確なラベル列を持つ意味のあるデータセットを構築できない場合、TabPFNがどれほど有能であっても、予測の信頼性は低くなります。効果的なGenieスペースを構築するためのベストプラクティスは、こちらをご覧ください。さらに、複数ターンの会話の中で、エージェントがハルシネーションを起こしたり、重要な情報を省略したりする一般的なリスクもあります。

だからこそ、体系的な評価が不可欠なのです。デプロイ前に一度検証すればよい静的なMLパイプラインとは異なり、このシステムは問いごとに異なるML問題を動的に構築します。どのクラスの問いが信頼性の高い予測を生み出し、どの問いがGenieが適切に構成されたトレーニングセットとして表現できる限界を超えているのか、その境界線を理解するための評価フレームワークが必要です。

このソリューションアクセラレータには、MLflowのGenAI評価フレームワーク上に構築された包括的な評価ハーネスが付属しています。これは稼働中のエージェントに対して実行され、結果をMLflowの実験トラッキング（Experiment Tracking）に記録するため、チームは単一の画面で長期的に品質を評価および監視できます。詳細については、こちらをご覧ください。

ビデオ 2. Databricks Experimentsインターフェースを介した、GenieおよびTabPFNを搭載したマルチエージェントスーパーバイザーの評価

この評価ループがなければ、システムは信頼できる予測と信頼できない予測を区別する方法がないまま、自信ありげに予測を返してしまう可能性があります。この厳格なアプローチにより、あらゆるレベルでのカバレッジが確保されます。会話や動作のデグレード（退行）をキャッチすると同時に、予測パイプラインのエンドツーエンドの正確性を検証します。これらのチェックを組み合わせることで、チームはどの質問クラスが信頼性の高い予測を生成し、システムの境界がどこにあるのかを明確に理解した上で、自信を持ってこのパターンを本番環境にデプロイできるようになります。

はじめに

Genie、TabPFN、Agent Bricksの組み合わせは、記述的分析と予測的分析の関係を再定義します。Genieは特徴量エンジニアリングのレイヤーとなり、TabPFNはトレーニングとメンテナンスのオーバーヘッドを排除します。Agent Bricksがオーケストレーションとガバナンスのバックボーンを提供し、MLflowが回答の品質を評価および監視します。その結果、ビジネスユーザーは、記述的分析で日常的に使用しているものと同じ対話型インターフェースから、予測的な質問を行えるようになります。

ソリューションアクセラレータの完全版はこちらから入手できます。このリポジトリには、サンプルデータの生成、Genie Spaceの設定、および上述のエンドツーエンドの評価ハーネスが含まれています。このパターンはドメインに依存しません。このアクセラレータでは企業の売上分析をデモとして紹介していますが、結果を伴う構造化データが存在する領域であれば、ヘルスケアのリスクスコアリング、製造業の品質予測、金融不正検知、顧客離脱分析など、あらゆるドメインに同じアーキテクチャを適用できます。

今すぐ始めて、チームがすでに行っている会話に予測インテリジェンスを取り入れましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事