Databricks Lakehouse AIでLlama 2 Foundation Modelsが利用可能になりました！

翻訳：Saki Kitaoka.  -  Original Blog Link

私たちは、Meta AIのLlama 2 チャットモデル (Meta AI’s Llama 2) が Databricks Marketplaceで利用可能になり、プライベートモデルのサービングエンドポイントに微調整してデプロイできることを発表できることを嬉しく思います。Databricksマーケットプレイスは、クラウド、リージョン、プラットフォーム間でデータアセット（データセットやノートブックを含む）を共有および交換できるオープンなマーケットプレイスです。既にマーケットプレイスで提供されているデータアセットに加え、この新しいリスティングは、7から70ビリオンのパラメータを持つLlama 2のチャット指向の大規模言語モデル（LLM）、およびUnityカタログの集中ガバナンスと系統追跡へのインスタントアクセスを提供します。各モデルはMLflowにラップされており、DatabricksノートブックでMLflow Evaluation APIを使用するのはもちろん、LLM最適化GPUモデルサービングエンドポイントにシングルクリックでデプロイするのも簡単です。(LLM-optimized GPU model serving endpoints)

 

Llama 2とは何ですか？

Llama 2は、Meta AIがチャットユースケースに最適化した生成テキストモデルの一種です。これらのモデルは、他のオープンモデルを上回るパフォーマンスを発揮し、微調整されたオープンモデルがOpenAIのGPT-3.5-turboと競合できるという画期的なモデルの一つです。

 

Llama 2 on Lakehouse AI

Llama 2を用いて、Databricks Lakehouse AIプラットフォーム上で安全なエンドツーエンドのエクスペリエンスを今すぐ得ることができます：

1. Databricksマーケットプレイスでのアクセス：Databricks Marketplaceから、ノートブックをプレビューし、Llama 2モデルへのインスタントアクセスを得ることができます。マーケットプレイスでは、Unityカタログで管理できる最先端のファウンデーションモデルを発見し、評価するのが簡単です。

2. Unityカタログでの集中的なガバナンス：モデルがカタログにあるため、Unityカタログで利用可能な集中ガバナンス、監査、系統(リネージ)追跡のすべてをLlama 2モデルに自動的に適用できます。

3. 最適化されたGPUモデルサービングでワンクリックデプロイ：MLflowでLlama 2モデルをパッケージングしているので、Databricks Model Servingでモデルをプライベートにホストするためのワンクリックデプロイメントを実現できます。現在パブリックプレビューが利用可能なGPU Model Servingは、大規模言語モデルに最適化されて動作し、低レイテンシーを実現し、高スループットをサポートします。これは、機密データを活用するユースケースや、顧客データを第三者に送信できないケースに適したオプションです。

4. AIゲートウェイでプライベートエンドポイントの活用：GPU上でモデルをプライベートにホスティングするのはコストがかかるため、エンドポイントを最大化するために、MLflow AI Gatewayを利用して、組織内の各ユースケースに対してルートを作成し、配布することをお勧めします。AI Gatewayは、Databricks Model Servingエンドポイントおよび外部ホストされたSaaS LLMのセキュアなクレデンシャル管理に加え、コストコントロールのためのレートリミティングもサポートしています。

5. 試してみてください：製品ツアー(product tour)を開始して、DatabricksマーケットプレイスからLlama 2モデルを提供する方法を確認してください。

 

Databricksでの生成AIを開始しましょう

Databricks Lakehouse AIプラットフォームは、開発者が信頼を持って生成AIアプリケーションを迅速に構築し、デプロイすることを可能にします。

• 今すぐ Marketplaceにアクセスし、Llama 2チャットモデルを利用してみてください！
• Databricks GPU Model Servingを使用したLLMのプライベートホスティングをチェックしてください。Llama 2-70Bをデプロイしたい場合は、このフォームに記入してください(fill out this form)、次のステップについてディスカッションしましょう。
• MLflow AIゲートウェイのプライベートプレビューにサインアップ(Sign up)してください
• Databricks Demoから企業のデータをLLMに組み込むRetrieval Augmented Generation（RAG）チャットボットを構築してください
• LLMの例を含む私たちのGitHubリポジトリをチェックしてください
• 製品ツアー(product tour)を活用して、DatabricksマーケットプレースからLlama 2モデルをどのように提供するかを見てください

 

 

もうすぐさらにエキサイティングな発表がありますので、お楽しみに！