Unity AI Gatewayのスマートルーティング：タスクあたりのコストを30%以上削減しながら、フロンティア級の品質を実現

コーディングタスクにおける価格とパフォーマンスの最前線では、非常に多様なモデルやハーネスが登場しています。2026年だけでも、すでに33個の新しいモデルがリリースされました。以前のブログ記事「Databricksのコードベースに対するベンチマーク評価」では、モデルが機能の階層ごとに分類されること、そして日常的な業務の多く（フラグの切り替え、単一ファイルの編集、範囲の明確なバグ修正など）には、最も高価なモデルは必要ないことがわかりました。

では、開発者の生産性を損なうことなく、AIコーディングのコストを削減するにはどうすればよいでしょうか？最大のチャンスの1つは、すべてのタスクにデフォルトで最も有能な（そして最も高価な）オプションを適用するのではなく、各タスクを適切なモデルにマッピングすることです。 低コストのモデルを活用するだけで、50%以上のコストを削減できますが、ユーザーにとってこれを判断するのは非常に困難です。優れたモデルや高性能なハーネスが急増する中、コーディングエージェントのユーザーは常に選択肢の多さに圧倒されています。すべてのタスクに対して最適なモデルを選択しようと時間を無駄にする代わりに、多くのユーザーは最も能力の高いモデルを最大の設定にしてそのまま使い続けています。ユーザーに選択を強いたり、厳格な制限によって生産性を低下させたりするのではなく、私たちはイノベーションを起こす必要があると考えました。

だからこそ、私たちはUnity AI Gatewayにおける次の主要なコスト管理機能である「Smart Routing」をローンチし、ベータ版として提供を開始します。 Unity AI Gatewayは、企業全体でAIへのアクセス、支出の管理、コントロールの適用を行うための一元化された場所を提供します。Smart Routingは、複雑さに基づいてタスクを適切なモデルに自動的にマッピングすることで、インテリジェントな最適化を追加します。Smart RoutingはClaude CodeやCodexで直接動作するため、開発者がすでに使用しているツールを最適化できます。

さらに、私たちはモデルのルーティングにとどまりません。コーディングエージェント向けのメタハーネスである Omnigentを使用することで、チームはモデルとコーディングハーネスの両方を最適化し、Smart Routingのパワーを最大限に活用できます。これにより、開発者は自分で選択することなく、タスクに最適な組み合わせを利用できます。

その成果は明らかです。社内のコーディングワークロードにおいて、Smart Routingは、Opus 5のような主要モデルのタスクあたりわずか65%のコストで、どの単一モデルよりも優れたパフォーマンスを発揮しました。公開ベンチマークでは、Smart Routingは 半分以下のコストでOpus 5と同等のパフォーマンスを達成しました。

私たちが学んだことは以下の通りです。

1. 最大の効果は、よりシンプルなタスクに安価なモデルを使用することから得られます。 社内では非常に多様なタスクが発生していますが、そのほとんどはプレミアムモデルを必要としません。私たちは、シンプルなタスクには安価なモデルを選択し、フロンティアモデルのパフォーマンスを必要とする複雑な作業には「エスカレーション」するようにルーターを構成しました。
2. タスクの開始時に利用可能な情報（説明とメタデータ）のみを使用しても、優れた結果が得られました。 回答やテスト、リポジトリに関する情報は一切提供しませんでしたが、Smart Routingは依然として効果的な選択を行うことができました。
3. 作業の複雑さを効果的に評価し、必要に応じてエスカレーションする点においては、まだ改善の余地が十分にあります。 完璧な先見の明を持つルーターがあれば、現在のコストの数分の一で、すべての単一モデルを凌駕するでしょう。また、実際のセッションでは、タスクがより複雑になっていないかを途中で再評価することも役立ちます。このギャップを埋めることは、研究とハーネス設計の両方の課題です。改善に向けて、実際のユーザーフィードバックから学ぶ必要があります。

それでは、これをどのように構築したかを見ていきましょう。

インテリジェントなモデルルーティングはどのように機能するのか？

インテリジェントなモデルルーティングは、複雑さ、機能、コストなどの要因に基づいて、タスクに最適なモデルを選択します。コーディングエージェントにおいて、そのルーティングをいつ行うべきかは重要な決定事項です。

ルーティングには一般的に2つのアプローチがあります。

1. リクエストごとのルーティング： 特定のセッションにおいて、そのメッセージのプロンプトの複雑さのみに基づいて、各 リクエストをルーティングすることを検討しているチームもあります。課題は、大規模な環境では、コストが キャッシュヒット率に左右される点です。高いキャッシュヒット率を維持するには、連続するターンを同じモデルに（そして現在の一般的なモデルでは、同じエフォートレベルに）ルーティングする必要があります。
2. タスクを認識するルーティング： セッションの開始時に、まずタスクの複雑さを評価し、そのセッション中ずっと使用するモデルとハーネスを提案します。これによりキャッシュヒット率が維持され、キャッシュが古くなった場合（コンパクションイベントが発生した場合など）に、必要に応じてアップグレードやダウングレードを行うといった、将来的な最適化の機会が得られます。

Smart Routerの仕組み

私たちは、キャッシュの効率性を維持しながら、各コーディングタスクを適切なモデルとハーネスにマッピングするために、タスクを認識するルーティングを採用しました。最も興味深い課題は、タスクを開始する前にその難易度を判断することです。私たちはシンプルに始めたかったため、現在のルーターは単一のポリシーを使用し、すべてのタスクに同じ方法で適用しています。

まず、タスクを分類します。これには、タスクの説明を読み取り、いくつかのセマンティックフィールド（システムのどの部分が変更されるか、プロンプトにどのようなコードの証拠が含まれているか（スニペット、トレースバック、または明示的なものがないか）、どのように失敗しているように見えるか、修正がどの程度局所的か、どのようなプロジェクトに属しているか）でラベル付けする、安価で低レイテンシのモデルを使用します。これらから、ルーターはタスクタイプのファミリーと言語ファミリーを導き出します。フロンティアモデルを使用すると、すべてのリクエスト（節約したいシンプルなリクエストも含め）に負荷がかかるため、エクストラクターは意図的に小さく高速に設計されています。

次に、どのモデルクラスが最適かを絞り込みます。ルーターはデフォルトで中規模のモデルを使用し、ラベルに基づいて調整を行います。タスクがフロンティアレベルの機能や知識を必要とする場合はより高価なモデルにエスカレーションし、そうでない場合はより安価なモデルに委ねます。これにより、単一のポリシーで一連のモデル全体を活用できます。

初期の結果は有望です。どのラボもアクセスしたことのない独自の社内ベンチマークにおいて、35%のコスト削減を達成しました。成果が一般化できることを示す公開コーディングベンチマークでは、56%のコスト削減を達成しました。自社のユースケースやデザインパートナーからの学習が進むにつれ、この効果はさらに拡大すると期待しています。

モデルやハーネスをまたいでコーディングタスクをどのようにルーティングするのか？

Smart Routingがルーティングの決定を処理しますが、その後、それに基づいて行動できる必要があります。これはClaude CodeやCodexの内部でネイティブに動作しますが、コーディングエージェントにおいては、適切なモデルだけでなく、適切なコーディングハーネスを選択することで、より優れたパフォーマンスが得られます。エンジニアが選択されたモデルとハーネスを活用できるようにするには、個々のコーディングセッションの上位に位置し、それらをオーケストレーションするレイヤーが必要です。これが、私たちが Omnigentを構築した理由です。

Smart Routingは、Omnigentにおいて2つのレベルで実装されています。

まず、Omnigentを使用する開発者は、特定のコーディングハーネスを手動で選択する代わりに、Smart Routingを選択できます。その後、Omnigentは各タスクに対してハーネスとモデルの両方を自動的に選択し、モデルのルーティングはUnity AI GatewayのSmart Routingによって実行されます。この設計により、開発者や管理者は、クライアントを毎回変更することなく、組織レベルのガイダンスや以前の会話履歴を使用するオプションなどのカスタマイズを自由に行うことができます。

これは、すべてのサブエージェントの起動がSmart Routing APIを経由することも意味し、サブエージェントが異なるハーネスやモデルを活用できるようになります。ユーザーの最初のプロンプトは、詳細が不足していて複雑さを判断するのが難しいことが多いため、サブエージェントを使用することで、新しい情報、新鮮なキャッシュ、明確な指示に基づいて新しい作業を調整できます。単一のタスクにおいて、プランニングや並列サブエージェントの作業全体で、きめ細かなルーティングの決定を行うことができます（たとえば、大規模なコードベースの要約タスクは安価なモデルにルーティングし、アーキテクチャの設計はより高価なモデルで行うなど）。これにより、さらに大幅なコスト削減が可能になります。

モデルルーティングが機能しているかどうかを、どのように評価すればよいでしょうか？

効果的なモデルルーティングでは、コストだけでなく、開発者の生産性の両方を最適化する必要があります。ルーターはまだ初期段階の技術であり、今後大幅な反復（イテレーション）が必要となるため、フィードバックシグナルを得ることが極めて重要です。ここでの最初のステップは、後で評価できるようにすべてのコーディングセッションのトレースを記録することでした。コストと開発者体験（DX）の両方を考慮したいと考えています。生産性を犠牲にしてコストを最適化することは望ましくありません。

Unity AI Gatewayを使用すると、コーディングエージェントのトレースをUnity Catalogに記録できます。これは極めて機密性の高いデータであり、多くの成熟した企業では、高度なタグ付けやアクセス制御ポリシーによって管理される必要があります。

ルーターへの変更を評価するために、AIモデルと人手によるレビューの両方を使用してトレースを分析しました。ルーティングを適用する前に自社のセッションでこの分析を実行したところ、デフォルトのモデルが最も高価であったという理由だけで、多くのセッションが最先端モデル（フロンティアモデル）のコストを必要のない作業に費やしていることがわかりました。実際、ルーターが有用であることを検証するには、次のメトリクスを継続的に監視します：

• モデル別のセッションの内訳
• ルーティングされたモデルによってエンドツーエンドで完了したセッション数
• ルーティングによるコスト削減額（ドル換算）

インテリジェントなモデルルーティングの今後の展望

私たちは、この分野には大きなチャンスがあると信じており、今後も本格的な研究を続けていく予定です。まだ初期段階であるため、学ぶべきことがたくさんあります。
最初の課題は、実際のユーザーの行動と一致しない、信頼性の低いベンチマークデータでした。ベンチマークタスクは例外的に整然としており、それぞれが自己完結した作業指示書として提供されます。ルーターはこのようなタスクでは優れたパフォーマンスを発揮しますが、実際のセッションはまったく異なることがよくあります。

• 最初のプロンプトが正確であることは稀です。開発者が最初に入力するのは仕様ではなく、問題の症状や大まかな意図であり、ルーターはその最初のメッセージを読み取って処理を確定させてしまうためです。
• セッションは再利用されます。そのため、最初のリクエストに対して適切だった決定が、4回目のリクエストでは誤りになる可能性があり、ルーターに再度問い合わせが行われることもありません。

そこで、より多くの情報を収集し、新しい手法を試すために、いくつかの新しい方向性を研究しています：

1. タスクのスコープ定義が容易なところから始める。 PR（プルリクエスト）のレビュー、サブエージェントの起動、バッチ移行、スケジュールされたジョブなどは、マシンがタスクステートメントを作成するため、最初から完全に仕様が定義されています。ルーティングは、ユーザーの習慣を変えることなく、現在このクラスで機能しているため、まずはここからデプロイを進めています。
2. 最初のターンではなく、数回のやり取りの後にルーティングする。 インタラクティブな作業において、最初のプロンプトは決定を下すのに最悪のタイミングであり、そこで決定を強制される理由はありません。代わりに、安価なモデルに最初のやり取りを処理させて明確化のための質問をさせ、タスクの形が整った段階でルーティングするのが効果です。高速で小規模なモデルで探索を行う方が適しているため、これによりコストとユーザー体験の両方が向上します。
3. セッションを小さくする。 1つのタスクにとどまるセッションの方がルーティングがうまく機能し、コストも抑えられます。ツールによって、テーマが変わったときに新しいセッションを開始することを自然な流れにすることで、これを促進できます。
4. 切り替えを低コストにする。 上記のすべてを実現するには、セッション途中でのモデル変更を低コストで行える必要があります。キャッシュヒット率がコストの大半を占める現在の環境では、セッション途中での切り替えを大規模に運用することは不可能です。キャッシュミスがすでに発生しているコンテキストの圧縮（Context compaction）が自然なつなぎ目となります（これは CognitionのDevin Fusionが採用している方法です）。将来的には、キャッシュミスをルーターの使用方法に組み込むのではなく、ルーティングレイヤーで明示的に価格設定できるようにしたいと考えています。

ルーティングは通常、コストを削減するための手段としてアピールされます。簡単な作業に対してより低い価格を支払うことで多くのメリットが得られますが、同じ仕組みを使って、より良い成果を得るためにいつより多くのコストをかけるべきかを判断することもできます。価値の最大化（Valuemaxxing）には両面があります。十分な場合は安価なモデルを使用し、価値が見合う場合は確信を持ってより多くのコストをかけます。

コーディングツールはユーザーにますます多くのトークンを消費させがちですが、私たちが本当に望んでいるのは、トークンではなく、1ドルあたりの生産的な アウトプットを最適化することです。十分な場合に、より安価で高速なモデルを選択することは、単にコストを節約するだけではありません。時間も節約でき、本当に必要とするタスクのために、限られた最先端モデルのキャパシティを確保しておくことができます。

スマートルーティングを今すぐお試しください

スマートルーティングは、Unity AI Gatewayを通じてベータ版でご利用いただけるようになりました。複雑さに基づいてコーディングタスクを適切なモデルに自動的にルーティングし、タスクごとに最適なモデルを選択することで、30%以上のコスト削減を実現しながら、チームが最先端レベルのパフォーマンスを達成できるよう支援します。開発者の選択肢や生産性を制限することなく、AIコーディングコストを削減したいチームにとって、スマートルーティングは、手動でのモデル選択や大まかな支出制限に代わる選択肢を提供します。また、Omnigentを使用すると、モデルやコーディングハーネス全体にインテリジェントなルーティングを拡張できます。

開始するには、ドキュメントページをご覧ください：

• モデルルーティングの場合： Unity AI Gatewayを介してスマートルーティングを有効にする
• モデル + ハーネスルーティングの場合： Omnigent（v0.9.0以降）でスマートルーティングを使用する

Unity AI Gatewayの詳細については、 ウェブサイトをご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事