大規模におけるAIコーディングコストの管理

AIコーディングツールは計り知れない価値をもたらします。Databricksでは、エージェント型コーディングによって、追跡しているすべての開発速度指標が目に見えて向上しており、一部のチームでは生産性が桁違いに向上しています。しかし、AIツールを大規模に導入しているほぼすべての企業が、同じ壁にぶつかっています。それが、 指数関数的に増大するコストです。このコストの急上昇は持続不可能です。放置すれば、いずれ収益を上回ってしまいます。この支出の爆発的な増加により、企業は矛盾した状況に陥っています。一方では、AI変革を最大限に推し進め、強力なツールを従業員に提供したいと考えながら、他方では、AIがもたらす効率性の向上そのものを損なう、あるいは台無しにしかねない総コストの状況に対処しなければならないのです。 幸いなことに、最も早い時期に大規模な導入を行ったいくつかの企業は、この難題を解決する一連のアプローチにたどり着き、「二重の使命」を果たしています。それは、（a）摩擦を最小限に抑えながらAIツールへの幅広いアクセスを提供すること、そして（b）ユーザーあたりの総コストをほぼ一定の範囲内に抑えることです。本ブログ記事では、Databricksでの経験や、Stripe、Coinbase、Uber、Rampなどのデジタルネイティブ企業数社との対話に基づき、実証済みのコスト管理手法を紹介します。以下の表は、現在の手法とそれに関連する削減効果をまとめたものです。数値は開発チームへの非公式な調査に基づく目安です。 これらの手法の一部は、多くの企業がすでに使用しているソフトウェアで簡単に実装できます。一方で、エンドユーザーのクライアントを修正したり、モデル間でトラフィックを移行したりする手法など、新しいインフラを必要とするものもあります。Databricksでは、主要なインフラコンポーネントであるエンドユーザー向けメタハーネス（ Omnigent）とAI Gateway（ Unity AI Gateway）をオープンソース化、または無償で提供しています。全体像を把握しやすくするため、本記事では、お話を伺った他社が使用しているソフトウェアについても取り上げています。 コーディングモデルにおける「効率性のフロンティア」 コーディングにかかる費用を抑えるための最大の手段は、より効率的なモデルがリリースされた際に、それらへと迅速に移行することです。単に「より安価なモデル」と説明するだけでは、モデルのコストと品質の間の微妙な関係性が見えなくなってしまうため、この点については少し詳しく説明する必要があります。 口語的には、 フロンティアモデルという用語は「最高レベルの知能を持つモデル」を意味し、 フロンティアラボは主にピーク時の知能を向上させることに注力しています。フロンティアモデルは現在、数学やサイバーセキュリティにおけるこれまでにない課題を解決できるようになっています。しかし、AIを大規模に導入する場合、別の種類のフロンティアがより重要になります。それが 効率性のフロンティアです。 効率性のフロンティアは、 特定の知能レベルにおいて 最も優れた価格帯を実現するモデルの集合として定義されます。日常的なコーディングの大部分は、数学的な証明や斬新なセキュリティの知見を必要としません。そのため、全体として重要になるのは、一般的なソフトウェア開発業務の品質基準を満たすモデルのコストです。この「効率性のフロンティア」は知能のフロンティアよりもはるかに速いペースで進歩しており、従来のモデルよりも価格あたりの知能に優れた新しいモデルがほぼ毎週のようにリリースされています。 コスト削減手段その1：オープンソースや低コストのモデルへの移行 新しく、より効率的なモデルを迅速に採用することは、あらゆる手法の中で最大のコスト削減効果をもたらします。しかし、その恩恵を享受するには、企業はまず、どのモデルが実際に既存のモデルを上回っているかを知る必要があります。公開されているベンチマークは、コーディングタスクにおける実際のパフォーマンスを十分に反映していないことが多いため、これを判断するのは困難な場合があります。新しいモデルを評価するために、多くの企業は、自社の社内開発環境をより正確に反映していると考えられる自動評価システムを構築しています。Databricksは最近、 このようなベンチマークの例を公開しました。この中では、GLMモデルが非常に競争力のあるコストパフォーマンスを示していることが確認されました。このベンチマーク結果を受けて、私たちは社内の開発者向けにGLMの展開を開始しました。新しいモデルが必ずしも効率性のフロンティアを進めるとは限らず、評価結果が期待外れに終わることも少なくありません。例えば、StripeはOpus 4.7がOpus 4.6と比べてコストが増加する一方で、品質はそれほど向上しないことを発見しました。そのため、同社は社内でOpus...