DeepSeek R1 on Databricks

Deepseek-R1は、最先端のオープンモデルであり、初めて「推論」機能をオープンソースコミュニティに提供します。特に、このリリースには、その推論機能をLlama-70BおよびLlama-8Bモデルに蒸留したものも含まれており、スピード、コスト効果、そして新たに「推論」機能の魅力的な組み合わせを提供します。私たちは、Mosaic AI Model ServingでDeepSeek-R1-Llamaモデルを簡単にダウンロードして実行する方法を共有できることを嬉しく思います。そして、それにより、セキュリティ、業界トップクラスのパフォーマンス最適化、そしてDatabricks Data Intelligence Platformとの統合の利点を享受することができます。これらのオープンな「推論」モデルを使って、さらにインテリジェントにデータを推論できるエージェントシステムの構築が可能になります。

Databricks上でのDeepseek-R1-Distilled-Llamaモデルのデプロイ

Deepseek-R1-Distill-LlamaモデルをDatabricksにダウンロード、登録、デプロイするには、ここに含まれているノートブックを使用するか、以下の指示に従ってください：

 

1. 必要なコンピュート¹を立ち上げ、モデルとそのトークナイザーをロードします：

このプロセスは、Llama 8Bの場合、32GBのモデルの重みをダウンロードするため、数分かかるはずです。

 

2. 次に、モデルとトークナイザーをtransformersモデルとして登録します。mlflow.transformers は、Unity Catalogでのモデルの登録を簡単にします - モデルのサイズ（この場合は8B）とモデル名を設定するだけです。

¹  私たちはML Runtime 15.4 LTSと、8Bモデルのためのg4dn.4xlargeシングルノードクラスタ、70Bモデルのためのg6e.4xlargeを使用しました。ノートブック内でモデルをデプロイするためには、必ずしもGPUが必要ではありません。使用するコンピュートに十分なメモリ容量があればよいのです。

 

3. このモデルを私たちの高度に最適化されたModel Servingエンジンを使用して提供するには、Servingに移動して、登録済みのモデルでエンドポイントを起動するだけです！

エンドポイントが準備できたら、APIを通じて簡単にモデルをクエリすることができます。また、Playgroundを使用してアプリケーションのプロトタイピングを開始することもできます。

Mosaic AI Model Servingを使用すると、このモデルのデプロイは簡単でありながら強力で、最高クラスのパフォーマンス最適化とLakehouseとの統合を活用してガバナンスとセキュリティを実現します。

推論モデルを使用するタイミング

Deepseek-R1シリーズのモデルの特徴的な点の1つは、OpenAIのo1モデルに似た、拡張された連鎖的思考（CoT）能力です。この機能は、私たちのPlayground UIで確認できます。そこで「Thinking」セクションを折りたたんで表示すると、モデルの推論過程（CoTトレース）が見られます。この機能は、特に数学やコーディングの問題において、高品質な回答を引き出す可能性がありますが、その分、出力トークンが大幅に増える可能性もあります。また、モデルとやり取りする際には、Deepseekの使用ガイドラインに従うことをお勧めします。

推論モデルの使い方についてはまだ初期段階にあり、この機能を活用してお客様がどのような新しいデータインテリジェンスシステムを構築できるかを楽しみにしています。お客様には自分自身のユースケースで実験していただき、その結果をぜひお知らせください。今後数週間でR1、推論、およびDatabricks上でのデータインテリジェンス構築に関する更なるアップデートをお届けする予定ですので、どうぞご期待ください。

関連リソース

• Mosaic AI Model Servingについて詳しく学びましょう。
• バッチLLM推論を使用して、大量のデータにDeepseek-R1-distilled-Llamaモデルを適用します
• エージェントフレームワークと評価を用いて、エージェンティックおよびRAGアプリを製品品質に構築します