MetaのSpark Muse 1.1がDatabricksで利用可能になりました。Unity AI Gatewayによって完全にガバナンス管理されます。

新しいモデルがリリースされるたびに、推論能力の向上、コストの削減、あるいは新しい機能が約束され、開発者はリリース初日からそれらを利用したいと考えます。しかし、プロバイダーが増えるたびに、新たなAPIキー、新たな統合、そしてプラットフォームチームが管理すべき新たなガバナンス領域が追加されることになります。すべてのモデルプロバイダーを統合的に管理する中央集権的な方法がなければ、アクセスは断片化し、APIキーは乱立し、利用状況やコストの可視性は失われてしまいます。

本日、Unity AI Gatewayの新しいModel Provider Services（MPS）を通じて、Databricks上でのMetaの新しいMuse Spark 1.1のサポートを発表します。MPSを使用すると、OpenAI、Anthropic、Amazon Bedrock、そして新しくリリースされたMuse Spark 1.1などのモデルプロバイダーを、Unity Catalogを通じて接続し、管理することができます。 これにより、モデルを一度登録すれば、使い慣れたUnity Catalogの権限を使用してアクセスを制御でき、すべてのチームが完全なガバナンスとオブザーバビリティが確保された状態でUnity AI Gatewayを介してクエリを実行できるようになります。

本記事では、Muse Spark 1.1を使用して、組織がガバナンスやセキュリティを損なうことなく、新しくリリースされたモデルを初日から導入する方法をご紹介します。

新しいモデルのリリース時に生じるAIガバナンスのギャップ

例えば、あなたのチームがリリース当日にMuse Spark 1.1を使いたいとします。あるチームはプロバイダーのアカウントを作成して構築を始めます。別のチームは独自のAPIキーを要求します。やがて、同じキーの複数のコピーがノートブック、アプリケーション、CI/CDパイプラインに分散し、それぞれが個別に管理されるようになります。アクセス制御も同様に断片化します。「これら3つのチームはプレミアムモデルを使用でき、他の全員は標準モデルを使用する」といったルールを一貫して適用する方法がないためです。

プラットフォーム管理者側では、支出の統合的なビュー、トークンレベルの属性特定、社外に送信されたプロンプトの記録はなく、リクエストがモデルプロバイダーに到達する前にルールを適用する場所もありません。財務部門からMetaの請求額が3倍になった理由を尋ねられたとき、Metaのコンソールで総額を確認することはできても、どのチームやワークスペースがそれを引き起こしたのかを単一の中央レポートで確認することはできません。

このパターンはMuse Sparkに限ったことではなく、組織が新しいモデルを採用するたびに直面する共通の課題です。

解決策：Unity AI GatewayにおけるModel Provider Services

Model Provider Serviceは、外部プロバイダーを表す、管理されたUnity Catalogのセキュリティ保護可能オブジェクト（securable）です。これはカタログとスキーマ内に存在し、プロバイダーの接続構成とAPIキーを保持します。呼び出し元は名前でサービスを参照し、独自のDatabricks資格情報で認証します。ゲートウェイはリクエスト時にプロバイダーのAPIキーを付加します。APIキーはUnity Catalogの接続を介して保存され、プラットフォーム管理または顧客管理のキーで暗号化され、クライアントのコンシューマーに直接公開されることはありません。

Model Provider ServiceがUnity Catalogに登録されると、組織は「選択肢（Choice）」、「制御（Control）」、「明確さ（Clarity）」の3つのメリットを得られます。

• 選択肢（Choice） — 任意のモデルを採用し、自由に切り替え可能：プロバイダーとそのAPIキーを一度定義すれば、すべてのワークスペースのすべてのチームが利用できるようになります。新しくリリースされたモデルに初日からアクセスし、プロバイダー内のモデル間を切り替えることができます。評価や本番環境のユースケースに合わせて、プロバイダー間でOpenAI互換モデルを迅速に切り替えることが可能です。
• 制御（Control） — 一元的なアクセス管理：このサービスはファーストクラスのオブジェクトであるため、標準のGRANTおよびREVOKE（クエリ用のEXECUTE、表示用のREAD_METADATA、サービス更新用のMANAGE）を使用して権限を管理できます。Model Provider Serviceにレート制限やサービスポリシーを適用することで、すべてのモデルリクエストにスロットリングやガードレールを適用できます。
• 明確さ（Clarity） — すべてのリクエストを可視化して説明可能に：利用状況とコストの追跡はデフォルトで有効になっているため、すべてのリクエストがトークン数、レイテンシ、ステータスコードで計測され、ユーザー、チーム、またはアプリごとの正確なコスト配分が可能になります。推論テーブルを関連付けて、リクエストとレスポンスの完全なペイロードを管理されたDeltaテーブルにログ記録し、トラブルシューティングや監査に役立てることができます。

図1. プロバイダーをUnity Catalogに一度登録するだけで、すべてのチームとプロバイダーが1つのゲートウェイを通じて管理されます。

仕組み

外部でホストされているMuse Spark 1.1モデルをModel Provider Serviceとして登録し、使用できるユーザーを制限し、モニタリングを有効にして、エンドツーエンドでクエリを実行してみましょう。

プロバイダーの登録

DatabricksでMuse Spark 1.1を使用するには、まずUnity Catalogに登録する必要があります。現在パブリックプレビュー中であるMetaのModel APIからMuse SparkのAPIキーを取得します。Muse SparkはOpenAI Responses APIと互換性があるため、OpenAIプロバイダータイプを使用して登録し、MetaのAPIに直接接続できます。

Unity CatalogのUIで登録します。 Catalog Explorer → Create → Create a service → Model provider serviceに移動し、OpenAIを選択して、MetaのキーをAPI keyとして貼り付け、Base URLにhttps://api.meta.ai/v1を指定し、モデルとしてmuse-spark-1.1を追加して、モデルのAPIタイプを/openai/v1/responsesに設定します。

プロバイダーが登録されると、2つの重要なセキュリティ制御が適用されます。第一に、APIキーはUnity Catalog内に暗号化されて保存されます。第二に、モデルリストによって公開されるモデルとAPIサーフェスが厳密に定義されるため、リストにないモデルへのリクエストは、Metaに到達する前にゲートウェイで傍受され、拒否されます。

アクセス権の付与

このサービスはUnity Catalogのセキュリティ保護可能オブジェクトであるため、他のオブジェクトに適用するのと同じ原則を使用して管理します。クエリを実行するには、呼び出し元にサービスに対するEXECUTE権限に加えて、その親に対するUSE CATALOGおよびUSE SCHEMA権限が必要です。サービスの作成者、またはサービスに対するMANAGE権限を持つ管理者が、これらの権限を付与できます。

アクセス権を付与するには：

1. Catalog Explorerで、Model Provider Serviceを開きます。
2. Permissionsタブで、[Grant]をクリックします。
3. アクセス権を付与するユーザーまたはグループを選択し、EXECUTE権限を選択して、[Grant]をクリックします。

モデルへのクエリ実行

図2. 単一のリクエスト：ゲートウェイがアクセスをチェックし、レート制限とポリシーを適用し、Muse Sparkにルーティングし、利用状況をログに記録します。

Muse SparkはOpenAI Responses APIに対応しているため、OpenAI互換のクライアントをゲートウェイに向け、クエリ用に1つのヘッダーを設定します。

この追加ヘッダーにより、Unity AI GatewayはModel Provider Serviceを識別し、呼び出し元の権限を検証できます。権限が検証されると、ゲートウェイは構成を解決し、リクエストを外部モデルにルーティングします。

ログ記録、モニタリング、およびガードレール

Unity AI Gatewayは、サービスを介してルーティングされるすべてのリクエストを計測します。すべての利用状況は、入力/出力トークン数、レイテンシ、ステータスコードとともに、system.ai_gateway.usageに報告されます。支出情報はsystem.ai_gateway.external_model_spendに記録されます。Databricks-Ai-Gateway-Request-Tagsヘッダーを追加してプロジェクトごとに支出を分類し、推論テーブルを関連付けて、リクエストとレスポンスの完全なペイロードを管理されたDeltaテーブルにログ記録して監査に役立てることができます。

サービスに ポリシーを適用することで、リクエストごとにガードレールを適用できます。これには、PII、プロンプトインジェクション、安全でないコンテンツなどの一般的なリスクに対するデフォルトのガードレールや、独自のルールに合わせたカスタムポリシーを追加する機能が含まれます。ガードレールはゲートウェイで一元的に実行されるため、誰が送信したかにかかわらず、安全でないプロンプトは Muse Spark に到達する前に検出されます。サービスごとの レート制限により、容量とコストが制限されます。

開始方法

モデルプロバイダーサービスは、 AWS、Azure、GCPでご利用いただけます。アカウント管理者は、アカウントコンソールの プレビューページでプレビューを有効にできます。

詳細については、 モデルプロバイダーサービス、 アクセス制御、および ゲートウェイ経由のクエリに関するドキュメントを参照してください。

Unity AI Gatewayは、選択肢、制御、明確性を提供し、チームが任意のモデルを自由に使用できるようにします。今すぐプレビューを有効にして、モデルプロバイダーサービスをお試しください！

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事