DatabricksがDay 1に12,000人の従業員にフロンティアモデルを展開した方法

従業員にフロンティアAI機能へのアクセスを提供することは、Databricksにおける最優先事項です。そのため、新しいモデルが利用可能になったらすぐに従業員がそれらを使用できるようにすることが重要です。同時に、12,000人以上の従業員に新しいモデルへの迅速なアクセスを提供することは、以下の理由から容易ではありません。 フロンティアモデルとして売り出されているモデルが、実際にはそうではないことがよくあります。例えば、Opus 5.0はOpus 4.8と比較してコストが高く、社内エンジニアによる定量的および定性的な品質スコアの両方で低い評価となりました。性能が後退したモデルに移行することは、企業を支援するどころか、大きな打撃を与える可能性があります。私たちの経験では、ワークロードを新しいモデルに一斉に移行する前に、モデルの評価を慎重に行う必要があります。 新しいモデルを安易に使用すると、コストが爆発的に増加する可能性があります。コスト削減策を講じることなく、対照群にGPT Astraをリリースしたところ、 開発者1人あたりの平均支出が60%増加しました 。1万人以上のユーザーを抱える企業にとって、一晩でコストが60%増加することは、予算計画を立てる上で非常に困難な事態です。Astraが特に優れているタスクをより深く理解した後は、利用方法を誘導することで、全体的なコストを大幅に削減することができました。 本ブログ記事では、Databricksのほとんどの従業員に新しいモデルへの「初日（Day 1）」アクセスを提供しつつ、それらのモデルが長期的に実用可能であるかを評価するために採用した一連の手法について説明します。これらの手法は、新しいモデルを適応的にリリース、評価、および組み込むために、 Unity Gateway に大きく依存しています。9月21日の週は、Opus 5、GPT-6 Sol、GPT-Lunaが相次いでリリースされ、これらの機能の重要な試金石となりました。その週、Databricksはすべての従業員に初日アクセスを提供し、3日目までに、これらのモデルが効率性のフロンティアにあることを確認するのに十分なデータを収集し、より広範なインフラストラクチャへの組み込みを決定しました。 モデルリリースのライフサイクル 概略として、Databricksにおける新しいモデルのリリースは、以下のようなパイプラインに沿って行われます。 新しいモデルを「試験的（experimental）」なものとして、すぐにすべての従業員が利用できるようにします。 ユーザーごとの予算に基づいて、新しいモデルの使用を制限します。 十分なデータを収集した後、モデルを本番環境に昇格させるか（あるいはデフォルトにするか）を決定します。 ステップ1：新しいモデルをすぐに利用可能にする クローズドおよびオープンのモデルプロバイダー間でのモデル管理を容易にするため、社内でのすべての利用において自社の Databricks...