ジェフリーズ、Databricksとエージェントアナリティクスで株式調査を大規模に最新化

株式調査は、幅広さと確信が勝負です。

Jefferiesでは、グローバル株式調査部門がセクターや地域を問わず約3,500社をカバーしており、アナリストは米国、EMEA、APACに拠点を置いています。その規模は競争上の優位性であると同時に、拡大し続けるサードパーティや社内のデータセットを扱うあらゆる調査機関にとって、おなじみの課題も生み出します。

「当社のアナリストは、企業、業界、データソースという広大な世界からシグナルを統合しなければなりません」と、Jefferies のエクイティリサーチ部門でデータ&AI の責任者を務める Ethan Geismar 氏は述べています。「私たちの目標は、アナリストがその複雑さを、差別化された実用的な投資アドバイスに変えてクライアントに提供できるよう支援することです」

アナリストが尋ねる質問は、限定的であったり、規範的であったりすることはほとんどありません。それらは自由回答形式で、ドメイン固有のものであり、どのデータセットにクエリを実行するか、どのテーブルを結合するかという観点ではなく、市場やファンダメンタルズの言葉で構成されています。たとえば、アナリストは「ファストカジュアルレストランの需要と見通しは？」といった質問をします。または「担当しているブランド全体で、来店者数とアプリのdownload数はどのような傾向にありますか？」

投資判断に確信が求められる分野では、単一のシグナルだけでは不十分なことがほとんどです。アナリストは確信を深めるために、複数の独立したソースからの裏付けを必要とします。

過去数年間、Jefferiesの株式調査エンジニアリングチームはDatabricksと緊密に連携し、数十の構造化データセットを取り込み、クレンジングし、標準化してきました。これらのデータセットの多くは、元々はオルタナティブデータでしたが、現在では金融、市場、マクロ経済の指標にまで及んでいます。生成AIの能力が成熟するにつれ、チームは新たな問いに答えようとしました。

Jefferiesは、ガバナンスを維持し、既存のデータインフラストラクチャに直接接続し、自然言語の質問を信頼性の高いマルチソース分析に変換することで、アナリストがこのデータをより速く、より簡単に探索できる方法をどのように提供できるでしょうか？

この問題を解決するため、JefferiesはJefferies Data Intelligence (JDI) を構築しました。これはDatabricks AI/BI Genieを搭載した会話型アナリティクスエクスペリエンスで、アナリストはガバナンスの効いた複数ソースのデータセットに対して、自由形式の調査質問を直接投げかけることができます。

従来のセルフサービスと手厚いサポートの限界

これまで、Jefferiesは新規およびアドホックなアナリストの要求を主に2つの方法でサポートしてきました。

第一に、従来型のセルフサービス データ閲覧ツールの利用です。これによりアナリストはデータセットに直接アクセスできましたが、有意義な知見を抽出するには、基盤となるデータの状況やツールを理解する必要がありました。

第二に、手厚い社内サービスモデルを通じて、調査エンジニアリングチームがアナリストの質問をデータ抽出に変換し、統合された結果を提供していました。

「データをクレンジングしてマッピングした後でも、まだ摩擦があります。アナリストが尋ねる基本的な質問を、適切なデータセットと適切なビューに変換する人が必要になるのです」とGeismar氏は説明しました。「アナリストはテーブルや結合という観点で質問を構成するのではなく、ファンダメンタルズ、マクロ経済、業界動向、比較ポジショニング、カタリスト、リスクなどについて質問します」

このアプローチは強力でしたが、チームのキャパシティという別の制約を生み出しました。

「私たちは月単位のスプリントで作業しており、直前のリクエストに対応する余裕は限られています」とガイスマーは語りました。「技術的に難しい課題でなくても、キャパシティの制約から、取り組めるようになるまでに数日から数週間かかることもありました」

より複雑な質問、特に複数のデータセットにまたがる三角測量を必要とする質問は、一度優先されると、集中して取り組んでも数時間から数日かかる可能性がありました。

複雑な研究課題は、多くの場合、最も困難なものでした。ファストカジュアル レストランにおける消費者需要のトレンドについて質問するアナリストは、来店客数データ、モバイルアプリのエンゲージメントメトリクス、調査に基づく購入意向、マクロ経済のコンテキストなどを必要とする場合があります。これらはそれぞれ、個別のデータ抽出、結合、分析を必要とします。

どちらのモデルも機能していましたが、どちらにも摩擦が生じていました。Jefferiesが必要としていたのは、新たなボトルネックを生み出すことなく、セルフサービスの独立性と調査エンジニアリングチームの組み込みの専門知識を組み合わせる方法でした。

アナリストの現場のニーズに応えるResearch Agent

これを大規模に運用するため、Jefferiesは、同社の構造化データレイク上で稼働するオーケストレーションおよび推論エンジンとしてAI/BI Genieを活用し、アナリスト向けのカスタムインターフェースを備えた社内株式調査アシスタントを構築しました。

その結果、アナリストはドメインの専門家に尋ねるのと同じ質問をし、複数の関連データセットに基づいた回答を得ることができるようになりました。重要なのは、このシステムがアナリストが調査を構成するためにすでに使用している言語を理解することです。

例えば、アナリストがファストカジュアルレストランについて質問すると、AI/BI Genieはドメイン固有のセマンティックマッピングとキュレーションされたビジネスコンテキストを使用してそのセクターの略語を解釈し、適切なカバレッジユニバースにマッピングして、関連データを取得します。アナリストがブランド、テーブル、結合を指定する必要はありません。

これらの同じカバレッジマッピングは、アナリストが自然にセクターをセグメント化する方法や業界の分類法と整合しており、構成ブランド全体のレストラン総来客数などの集計ビューを可能にします。このロジックはGenieに直接組み込まれているため、アナリストは使い慣れた言語とグループ分けを使用してカバレッジを照会できます。

そこからアナリストは自然に反復作業を行い、ブランドレベルの内訳（「これを個々のブランド別に分類して」）や親会社の集計、追加のコンテキストを要求することで、それらのディメンションを事前に指定することなく、より深い分析を促すことができます。

自由回答形式の質問が隠れた知見を明らかに

アナリストが自由形式のプロンプトを入力すると、システムは当面の課題に最も関連性の高いシグナルを特定するのに役立ち、アナリストがそれまで考慮していなかった知見やデータセットを明らかにすることもよくあります。

「ファストカジュアル レストランへの来店者数を表示して」といった簡単なクエリで、関連する来店客数データを取得し、トレンド分析を提示します。

しかし、「ファストカジュアルレストランの需要と見通しを示して」といったより広範なプロンプトは、来客数、モバイルアプリの使用状況、調査に基づく購入意向、マクロ経済指標、その他のシグナルを照合することで、分析の範囲を広げます。

「これにより、アナリストは技術的な知識やサポートを必要とせずに、当社のデータにシームレスにアクセスできるようになります」とガイスマー氏は述べました。「しかし、より強力な価値は、アナリストがその存在を知らなかったデータや、問いかけている質問に使おうとは思わなかったであろうデータに触れさせてくれることです」

このマルチソース応答は、アナリストが明示的に要求していない分析の視点を浮かび上がらせ、独立した情報源間での裏付けを可能にします。

その裏付けこそが、中核となる価値提案である、とガイスマー氏は言います。「複数の独立したデータセットを統合して論旨を裏付けることに、その力はあります」と彼は付け加えました。「冗長性はありません。確信度を高めているのです」それが肝心なところです。

逆に、アウトプットが仮説と矛盾する場合には、新たな研究の方向性を示唆し、投資テーマを洗練させるのに役立ちます。

仕組み：Databricks上に構築されたエージェントワークフロー

アナリスト体験は対話型に感じられますが、その背後にあるインフラストラクチャは高度なものです。内部では、このアプリケーションはLangGraphベースのマルチエージェントアーキテクチャによって駆動され、Databricks Model Servingを通じて運用されています。

アナリストが質問を送信すると、システムは構造化されたワークフローに従います。

1. ツールの検証では、社内の Databricks リソースと、米国連邦準備経済データ（FRED）、米国労働統計局（BLS）などのサードパーティ サービスの両方を確認し、必要なデータサービスと API が利用可能であることを保証します。
2. プランニングエージェント は、質問を調査タスクのセットに分解し、何を調査する必要があるか、利用可能なツールをどのように使用して包括的に回答するかについての計画を作成します。
3. 実行エージェントは、可能な限りデータを並行して取得し、Genie を通じて管理されたデータセットからデータを取得し、必要に応じてサードパーティの API を呼び出します。これらのエージェントは調査計画の順序に従い、依存関係が存在する場合は順次実行し、可能な場合は並行して実行します。
4. 統合エージェント は、結果を首尾一貫した応答にまとめます。これには、複数のソースからの調査結果を組み合わせたグラフや分析が含まれることがよくあります。

重要なのは、このシステムが1つの質問に対して複数のデータセットからシグナルを取得して裏付けられることであり、1つのテーブルや単一の結合ビューに依存するのではなく、データセットを横断した裏付けが可能になる点です。このアーキテクチャにより、アナリストはティッカーやブランドレベルの内訳といった自然なフォローアップを繰り返して、シグナルを検証し、詳細を掘り下げることができます。

このワークフローにおいてGenieは、キュレーションされ、ガバナンスの効いたビジネスデータに対して自然言語での質問を可能にすることで重要な役割を果たします。一方、Databricks Model ServingはJDIアプリケーションのデプロイメントおよびサービングレイヤーを提供します。

このシステムはモデルに依存せず、プランニングや統合などの推論集約的なタスクにはさまざまな基盤モデルを活用する一方、アーキテクチャの進化に合わせて、（ツール検証などの）より単純なステップには軽量またはタスク固有のモデルを組み込む柔軟性を維持しています。

JDI を構築しているチームにとって、このアーキテクチャは、株式調査が今後どのように行われるかという点において、より広範な変化を示唆しています。

「Databricks を使って Jefferies Data Intelligence を構築したことで、未来の研究がどのようなものになるかを垣間見ることができました」と、エクイティリサーチチームのシニアアソシエイトデータサイエンティストである Dylan Andrews 氏は説明しました。「データを操作するための構文を知っているかどうかはますます重要でなくなり、数分以内にドメインを横断するデータのモザイクに基づいた仮説を検証または反証することに、より重点が置かれるようになるでしょう」

Defaultでのガバナンス with Unity Catalog

Jefferiesにとって最も重要な要件の1つは、ガバナンスを後付けにしないことでした。

データセットはDatabricks Unity Catalogを通じて登録・アクセスされるため、アクセス制御はユーザーIDに基づいて自動的に適用されます。GenieはUnity Catalogで既に定義されているものと同じテーブルレベルおよび行/列レベルの権限を尊重するため、AIエクスペリエンスのためにカスタムの承認ロジックを構築・維持する必要がなくなります。

これにより、データセキュリティやコンプライアンスを損なうことなく、強力な分析機能を技術者以外のユーザーにも自信を持って拡張できるようになりました。システムがより機密性の高いデータセットやグローバル地域全体のより広範なユーザーアクセスを含むように拡張されるにつれて、これらの組み込みのガバナンスコントロールにより、適切な人が適切なデータを自動的に表示できるようになります。

既存のデータインフラストラクチャ上に構築

このエクイティリサーチエージェントは、スタンドアロンの AI プロトタイプとして開発されたものではありません。これは、Jefferies が Databricks との 7 年間のパートナーシップを通じてすでに構築していたデータ基盤の真上に位置するように設計されました。

現在、このシステムは、ガバナンスの効いたDatabricksデータセットとランタイムAPIコールを組み合わせたハイブリッドアーキテクチャで、複数のソースから情報を引き出しています。

Genie Spaces（キュレートされたデータセット）：

• ファンダメンタルデータ: 企業が四半期ごとの決算発表サイクルで公開する、企業固有の KPI を含む財務および業績メトリクス
• 代替データセット: ウェブトラフィック、来店客数、ソーシャルメディアのエンゲージメントなど。事前に結合されており、クロス分析が可能です。

ランタイムAPI接続:

• マクロ経済データ: FRED と BLS からの指標。
• その他のサードパーティサービスと API: 事前にステージングされておらず、実行時に API または MCP を介して取り込む方が適している追加のサードパーティデータソース。

このエージェントは、API 呼び出しによるデータと Genie を介して取得された管理されたデータセットをシームレスに結合し、リアルタイムの外部データと慎重にキュレーションされた内部ソースの両方にまたがる包括的な回答を提供します。

このアシスタントは、すでに導入されている同じ取り込みパイプライン、オーケストレーションジョブ、ガバナンスモデルを活用するため、Jefferiesは並行システムを導入するのではなく、既存のインフラストラクチャ上にエージェント機能を重ねることができました。Databricks上で実行されるオーケストレーションされたジョブ（既存のDatabricksパイプラインを介した取り込み、クレンジング、標準化を処理）は、引き続き基盤として機能し、現在は自然言語を介してアクセスできます。

株式調査チームのシニアアソシエイトデータサイエンティストであるタマル・ケルナー氏は、Databricksのネイティブ機能が開発をどのように加速させたかを強調しました。

「Databricks GenieとModel Servingは、データアクセス、デプロイメント、ガバナンスを標準で処理してくれたため、私たちのチームはJDIの核となる差別化要因である、エージェント的なシステム設計、アナリスト第一のワークフロー、迅速なデータセット横断でのシグナル裏付けに集中することができました」

透明性による信頼の構築

導入にはスピード以上のものが必要でした。アナリストは、特に人間の仲介者がいないワークフローにおいて、アウトプットを信頼する必要がありました。

チームが解決した重要な課題の1つは次の点でした。 専門知識のないユーザーに、AIが生成したアウトプットを安心して信頼してもらうにはどうすればよいか。 非構造化データで構築されたツールとは異なり、チームは、出典元のドキュメントに単純にリンクを戻して情報がどこから引用されたかをハイライトで示すことも、アナリストにSQLクエリーを検証させて正しさを確認してもらうこともできませんでした。

解決策は、すべての応答に監査可能性を直接組み込むことでした。JDI が返す各回答には、展開可能なドロップダウンが含まれており、システムがアナリストのプロンプトをどのようにデータ抽出コールに変換したかを順を追って示す、思考の連鎖（chain-of-thought）ビューが表示されます。この透明性により、技術者以外のユーザーは、SQL やソーステーブルを直接調べる必要なく推論プロセスを理解および監査できるため、出力に対する信頼性が高まります。

この説明可能性は、複数の裏付けとなるデータセットを提示するシステムの能力と相まって、アナリストが投資推奨に確信を持つために必要な証拠を提供します。

初期の影響と今後の展開

このアシスタントは現在、米国の250人以上のユーザーに展開されており、EMEAとAPACにも拡大する計画で、世界で合計約550人のアナリストがアクセスできるようになります。

このツールは公開されてからまだ数週間ですが、すでに広く採用されています。すでに数百の質問が回答され、数千もの知見とグラフが生成されています。

帯域幅の制約や複雑さのために以前は数日から数週間かかっていた作業が、今では数分で提供されるようになりました。

Jefferiesの消費者調査担当マネージングディレクターであるカウミル・ガジュラワラ氏のようなユーザーにとって、その加速はすでに調査の進め方を変えています。

「JDIは私たちのワークフローを大幅に加速させました」とガジュラワラ氏は語りました。「より多くのことを、より速く行っています。「まだほんの序の口です。仕事をより速くこなすことから、以前は不可能だったことができることを発見する段階へと進化しています」

現在のシステムは、約10～12のコアデータソースからデータを取得しており、そのうちのいくつかは複数のデータセットを含んでいます。将来的には30～40以上のソースに拡大する明確な道筋があります。

「最も一般的なソースから着手していますが、今後その 2～3 倍のソースを追加していく予定です」と Geismar 氏は述べました。「私たちのビジョンは、これが部門の構造化データへの単一のアクセスポイントとなり、ほとんどのアナリストにとって日常的なツールになることです」

プラットフォームが拡大するにつれて、Jefferies は、アクセス可能な調査データの幅を広げながら、パフォーマンス、ユーザビリティ、解釈可能性の維持に引き続き注力しています。

株式調査への新たなアクセスポイント

Databricksのデータエンジニアリング、ガバナンス、AIの能力を基盤に、Jefferiesはアナリストが構造化データと対話する方法を進化させ、セルフサービスの自律性と調査エンジニアリングチームの組み込みの専門知識を組み合わせています。

その結果、単に迅速な回答が得られるだけでなく、裏付けのある証拠に基づき、調査に求められるスピードで提供される、より強力で信頼性の高い投資テーマをアナリストが構築するのを支援するシステムが実現しました。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事