QwenモデルはAlibabaによって開発され、コード補完やインストラクションタスクの両方において高い性能を示しています。本ブログでは、QwenモデルをLlama系アーキテクチャと類似のアプローチでDatabricks上に登録・デプロイする方法をご紹介します。この記事のステップに従えば、低レイテンシーかつ高スループットの利点を持つ、Databricksの基盤モデル（Provisioned Throughput）エンドポイントを活用することができます。
多くのエンタープライズ向けワークロードにおいて、Databricksは大規模言語モデル（LLM）のトレーニング、登録、提供までを一貫して行えるプラットフォームです。Databricks Mosaic AIモデルサービングを利用すれば、ファインチューニング済みモデルやベースモデルを簡単にデプロイし、リアルタイム推論やバッチ推論に活用できます。
最近リリースされたQwen 2.5シリーズのモデルは、コード補完やインストラクションタスクにおいて非常に高い性能を示しています。Qwen 2.5 modelsはリリース時点で、MMLU、ARC-C、MATH、HumanEvalといった標準ベンチマークや、Multi-Exam、Multi-Understandingといった多言語ベンチマークにおいて、同等サイズの他モデルを上回る結果を出しました。 Qwen 2.5 Coder modelsも、コード関連のベンチマークにおいて同様の成果を示しています。
こうした性能の高さから、Databricks Model ServingでQwenモデルを活用し、さまざまなユースケースに対応したいと考える顧客にとっては、大きな導入動機となるでしょう。
QwenモデルをDatabricks上で提供するには、以下の4つのステップが必要です：
ノートブックを実行して、QwenモデルのファイルをLlamaアーキテクチャおよびDatabricksのモデルサービングに対応する形式へ変換する
QwenモデルをUnity Catalogに登録する
登録済みモデルをDatabricks Foundation Model Servingにデプロイする
デプロイされたモデルに対して品質テストを実施する（手動でのテスト、または標準ベンチマークをエンドポイントに対して実行するなど）
Databricks基盤モデル提供は、MetaのLlamaモデルなどのモデルに最適化されたパフォーマンスを提供します。顧客は、これらのモデルをプロビジョニングされたスループットでデプロイし、低レイテンシーと高スループットを実現することができます。Qwenモデルの基礎となるモデル構造はLlamaモデルの構造と非常に似ていますが、Databricksのモデル提供インフラを活用するためには一部の修正が必要です。以下の手順では、顧客が必要な変更をどのように行うかを説明しています。
modify_qwen.pyの手順は、Qwen2.5モデルを取り、Databricksでのプロビジョニングスループットに最適化されたLlamaアーキテクチャと一致するように書き換えます。以下はコードの主要な手順です：
.safetensors を収集します。"architectures"、"model_type"などのフィールドを"llama"に更新し、Qwen特有のフラグを削除します。tokenizer.jsonを持ってくることを確認します、merges.txt、など。このステップの終わりには、Llamaと互換性のあるQwenモデルができあがります。vLLMでモデルをロードすることができ、それをLlamaモデルとして扱い、コードを生成したり、使用したモデルに応じて指示に従ったりすることができます。
ヒント： huggingface_hub.snapshot_downloadを使用して、Hugging FaceからQwen/Qwen2.5-Coder-7B-InstructなどのQwenモデルの一つをディレクトリにフェッチし、変換を行う前にダウンロードすることができます。
次に、Databricksで「Qwen as Llama」モデルをログに記録し、提供する方法に焦点を当てます。これはregister_qwen.pyによって処理されます。ここでの手順は、モデルがLlamaモデルとしてモデル提供が期待する設定を持つことを確認します。主な手順：
chat_templateを削除し、tokenizer_classを設定する）。config.jsonをLlama互換のシーケンス長に反映させます。このノートブックを実行すると、モデルはUnityカタログに登録されます。モデルに移動し、「このモデルを提供する」をクリックしてエンドポイントを設定します。異なるトークン/秒レートでプロビジョニングされた入力を持つエンドポイントを設定するオプションが表示されるはずです。
エンドポイントが準備できたら、基本的なテストを行って正常に動作していることを確認できます。仮に、私たちがQwen2.5-Coder-7Bをデプロイしたとします。上記の変換と登録を行った後のモデル。このモデルは、コードの一部を完成させるか、中間部分を埋めることができます。それを使って簡単なソート関数を完成させましょう。“Use”ドロップダウンで“Query”をクリックし、以下のリクエ ストを入力します：
レスポンスのテキストには、実装の残りの部分が含まれています：
より定量的なアプローチのために、HumanEvalタスクのための補完を生成することができます。その後、その評価を実行してpass@1メトリックを取得し、公開された結果と比較します。
max_position_embeddingsを16000トークンに設定します。もともとQwenがより多くをサポートしていた場合、最大コンテキスト長をいくつか失う可能性があります。しかし、プロビジョニングされたスループットのサポートは依然として得られます。Databricksは現在、プロビジョニングスループットモデル提供に直接Qwenモデルをサポートしていませんが、上記の方法により、これらのモデルをLlamaモデルのアーキテクチャと互換性のある形に整えて登録し、提供することができます。このワークアラウンドは、あなたのチームがQwenの機能を必要としながらも、Databricksモデルサービングエンドポイントとプロビジョニン グされたスループットの利便性を求める場合に特に役立ちます。
主要なポイント
将来的な考慮事項
