最先端のデータエージェントが、品質とコストの両面で一般的なコーディングエージェントを凌駕する理由

エージェント型AIにおけるこれまでの常識では、より優れた回答を得るにはより多くのトークンが必要になるとされていました。つまり、エージェントの探索時間を延ばし、検証を増やし、再試行を重ねることで、精度は常に向上するという考え方です。しかし、社内の実際の利用実績から抽出した400以上のリアルなデータタスクを用いて、Genie Codeと主要な汎用コーディングエージェント3種を直接比較評価したところ、逆の結果が得られました。Genie Codeは、テストしたエージェントの中で最も精度が高く、同時に最もコスト効率に優れていたのです。

その理由は、データエージェントが、一般的なコーディングエージェントが苦戦する新たなパラダイムで動作する必要があるからです。以前ご紹介したように、データエージェントは独自の課題に直面しています。何十万ものテーブル、ノートブック、ダッシュボード、ドキュメントが存在し、常に進化し続ける動的なワークスペースの中から適切なアセットを見つけ出さなければなりません。また、古くなっていたり矛盾していたりする可能性のあるメタデータやドキュメントの中から信頼できる唯一の情報源を特定する必要があり、しかもこれらすべてを、コーディングエージェントが頼りにするような検証可能なテストなしで行わなければならないのです。

これらの課題に対処するため、私たちはGenie Codeに、一般的なコーディングエージェントが陥りがちな「ランダムウォーク（手当たり次第の探索）」を回避できる機能を搭載しました。これには、カタログやワークスペースのアセットに対するセマンティック検索、ユーザーが信頼するテーブルやビジネスロジックの永続的なメモリ、そしてエンタープライズコンテキストに対する深いセマンティックな理解が含まれます。

この評価セッションにおいて、その違いは顕著に現れました。例えば、あるタスクでは、Genie Codeがセマンティック検索とメタデータを活用して適切なテーブルを効率的に見つけ出し、1つのSQLクエリを記述して、わずか5回のツール呼び出しで正しい回答にたどり着きました。一方で、3つの汎用エージェントはいずれも探索の迷路から抜け出すことができませんでした。

以下では、幅広い実世界のユーザータスクにおいて、私たちがどのようにGenie Codeを評価したかについて詳しく解説します。

実際の利用実績に基づく400以上のリアルなタスクでエージェントを評価

私たちは、Genie Codeにおける実際のユーザータスクの幅広い分布をカバーする評価セットを意図的に構築しました。Databricks社内の実際の利用実績から401個の独立したタスクを抽出。これには、日常的な質問からパワーユーザーが取り組む難解な問題までが含まれます。例えば、エージェントが適切なアセットを見つけ出す必要のある「探索タスク」、コードやクエリの作成と修正、コードのデバッグ、既存コードの理解と説明、テーブルから正確な数値を引き出す必要のある「高精度なデータ検索」などです。

これらのタスクを、Genie Codeおよび3つの主要な汎用コーディングエージェント（ここではAgent X、Agent Y、Agent Zと呼びます）に実行させました。各タスクの制限時間は実時間で20分です。回答は、正確かつ有用であるかどうかに基づき、独立した判定者によって評価されました。タイムアウトしたタスクは失敗とみなされます。この分析におけるドル数値は、ユーザーが各エージェントに支払う推定コストであり、相対的な比較として捉えるのが最も有益です。

評価結果

同等の最先端レベルのLLMを使用し、Databricks MCPで拡張された各エージェントを用いて、401個すべてのタスクを実行しました。

Genie Codeはこのベンチマークにおいて最も精度が高く、最も低コストでした。タスクあたりのコストはAgent Xの約半分であり、正解あたりのコストで見ると半分以下に抑えられています。Agent YとAgent Zの精度は50%台半ばにとどまりました。その主な原因は、非常に大きなテーブルに対する非効率的で制限のないクエリによる、長時間のスキャンに伴うタイムアウトでした。

この特定のベンチマークにおいて、タスクコストの中央値は$0.34、p99は$2.72、最も高額なタスクは$3.87であり、$2を超えるタスクはわずか4%でした。他のエージェントでは、タスクの33〜40%が$1を超えていたのに対し（Genie Codeは16%）、Agent Xのディープな探索実行では、最大で$9.49という大幅に高いコストに達しました。すべてのエージェントが同等クラスの最先端モデルを利用できるため、コストの差は純粋に効率性（回答にたどり着くまでのターン数と消費トークン数の少なさ）に起因しています。

この差は、各エージェントが必要なデータをどのように見つけるかによって生じています。評価セットの中で最も難しいタスクでは、アセット名が明示されておらず、エージェントは回答する前に、関連するビジネスロジックとともに適切なテーブル、ノートブック、またはダッシュボードを特定する必要があります。これらのタスクにおいて、汎用エージェントは非効率的なワークスペース探索に頼らざるを得ず、その結果、精度の低下とコストの上昇を招いていました。

一方、Genie Codeは、カタログに対するセマンティック検索やワークスペースデータの永続的なメモリなど、ワークスペースのコンテキストを理解しているため、こうした探索の大部分をスキップできます。タスクあたりの平均ツール呼び出し回数はわずか8.3回で、テストしたどのエージェントよりも少なくなっています。前述のコストの「ロングテール（高額な実行）」の原因もここにあります。どのエージェントにおいても、高額な実行の大部分はこれらの探索タスクが占めていますが、Genie Codeのテールは最も短くなっています。この優位性は、Genie Ontologyによってさらに強化されると期待されます（今回の実行では、まだすべてのお客様にグローバルに提供されていないため、Ontologyを無効にしていました）。

結論

調査を開始した当初、私たちは精度とコストの間にトレードオフがあると考えていました。しかし、実際のユーザータスクの幅広い分布において、Genie Codeはデータに対する強力なセマンティック理解を活用することで、一般的なコーディングエージェントを凌駕し、より高い精度とより低いコストを同時に実現できることがわかりました。

Genie Codeは最先端のデータエージェントとして構築されており、Databricksワークスペースのような非常に動的で曖昧な環境での動作に最適化されています。一般的なコーディングエージェントはこのような環境で苦戦し、Genie Codeがすでに持っているコンテキストを再発見するためにターンとトークンを浪費してしまいます。Genie Codeの専門知識は、汎用的な機能を損なうことなく、精度、スピード、そしてコスト削減へと同時に結実します。

最後に、私たちの Databricksコードベースにおけるコーディングエージェントのベンチマークと同様に、より広範な教訓として、一般的なリーダーボードではユーザーの日常的なエクスペリエンスを測定できないということが挙げられます。私たちは、実世界のタスクに基づいて日々評価を拡大しており、今後も得られた知見を公開し続けていきます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事