MetaのLlama 2とDatabricksでジェネレーティブAIアプリを構築する

翻訳：Junichi Maruyama.  -  Original Blog Link

本日、Meta社は最新の大規模言語モデル（LLM）であるLlama 2をオープンソースとして公開し、商用利用を開始しました。私たちはその能力とあらゆる可能性のあるAI APPに感銘を受け、Metaとの協力がエキサイティングでした。

今年初め、メタ社はLLaMAをリリースし、オープンソース（OSS）LLMのフロンティアを大きく前進させた。v1モデルは商用利用はできないが、生成AIとLLMの研究を大きく加速させた。AlpacaとVicunaは、高品質な指示フォローとチャットデータがあれば、LLaMAをChatGPTのように振る舞うようにファインチューニングできることを実証した。この研究結果に基づいて、Databricksはdatabricks-dolly-15k命令追跡データセットを作成し、商用利用できるようにリリースした。LLaMA-Adapterと QLoRAは、コンシューマーGPU上で低コストでLLaMAモデルをファインチューニングできる、パラメータ効率の良いファインチューニング手法を導入した。Llama.cppは、LLaMAモデルを4ビット整数量子化のMacBook上で効率的に実行できるように移植しました。

これと並行して、企業がLLMを活用できるように、LLaMAと同等かそれ以上の品質のモデルを商用利用するためのオープンソースの取り組みが複数行われてきた。MosaicMLからリリースされた MPT-7Bは、LLaMA-7Bに匹敵し、より長いコンテキストのためのALiBiのような追加機能を備えた、商業利用のための最初のOSS LLMとなった。それ以来、Falcon-7Bや40B、OpenLLaMA-3B、7B、13B、MPT-30Bのような寛容なライセンスでリリースされるOSSモデルの数が増えています。

新たにリリースされたLlama 2モデルは、LLM研究を加速させるだけでなく、企業が独自の生成AI APPを構築することを可能にします。Llama 2には7B、13B、70Bのモデルが含まれ、幅広いAI APPの開発に利用できます。 

ジェネレーティブAI APPの完全な所有権

Llama 2やMPTのようなOSSモデルは、企業がモデルを所有し、生成AI APPを完全に制御する機会を提供します。OSSを使えば、AI APPの正しさやパフォーマンスを厳密に管理でき、SaaSモデルにない利点を持てます：

• ベンダーのロックインや強制的な非推奨スケジュールなし
• 学習済みモデルへの完全なアクセスを保持しながら、企業データを使ってファインチューニングが可能
• モデルの動作は時間とともに変化しない
• 信頼されたインフラストラクチャ内でプライベートモデルインスタンスを提供する能力
• 生成AIアプリケーションの正しさ、バイアス、パフォーマンスを厳密に制御

Databricksでは、多くのお客様がさまざまなジェネレーティブAIのユースケースにオープンソースのLLMを採用しています。OSSモデルの品質が急速に向上し続ける中、APIベースのモデルと品質、コスト、信頼性、およびセキュリティを比較するために、これらのモデルを実験するお客様が増えています。

DatabricksでLlama 2を使って開発する

Llama 2モデルは現在利用可能で、Databricks上で簡単に試すことができます。Llama 2を推論に使用する方法、Gradioアプリでラップする方法、データで効率的にファインチューニングする方法、モデルをMLflowに記録する方法を示すサンプルノートブックを提供します。

• Llama 2 batch inference
• Llama 2 model logging and inference with MLFlow
• Llama 2 fine tuning

Serving Llama 2

ファインチューニングされたLlama 2モデルを利用するには、このモデルを組織全体に展開し、AIを利用したAI APPに統合する機能が必要です。DatabricksはこうしたAI APPの展開を容易にします。 

Model Serving offeringは、商用アプリケーションで可能な限り最高のレイテンシーとスループットを提供するために、GPU上でのLLMの提供をサポートしています。ファインチューニングされたLLaMAモデルをデプロイするために必要なのは、サービングエンドポイントを作成し、UnityカタログまたはモデルレジストリからMLflowモデルをエンドポイントの構成に含めることだけです。Databricks がモデルの本番環境を構築し、準備は完了です！エンドポイントはトラフィックに合わせてスケールします。

GPUを利用したModel ServingへのプレビューアクセスにSign upしてください！

Databricks はまた、OSS LLM モデルに可能な限り最高のレイテンシーとスループットを必要とする企業向けに、最適化された LLM Serving を提供しています。Llama 2 を選択した企業がクラス最高のパフォーマンスを得られるように、製品の一部として Llama 2 のサポートを追加する予定です。

¹ いくつかの制限があります。詳細はLlama 2ライセンスをご覧ください。