オープンソースAIの新標準：DatabricksでMeta Llama 3.1が利用可能に

当社は Meta と提携して Databricks 上で Llama 3.1 シリーズのモデルをリリースし、強力なオープン モデルの標準をさらに前進させられることを嬉しく思います。Llama 3.1 を使用すると、企業は所有権やカスタマイズを犠牲にすることなく、最高品質の GenAI アプリを構築できるようになります。 Databricks では、イノベーションを加速し、オープン言語モデルを使用してより安全なシステムを構築するという Meta の取り組みに賛同しており、新しいモデル スイートを初日からエンタープライズのお客様に提供できることを嬉しく思っています。

Llama 3.1 を Databricks 内にネイティブに統合し、顧客がこれを使用してアプリケーションを簡単に構築できるようにしました。 本日より、 Databricks のお客様は Mosaic AI を使用して Llama 3.1 モデルを提供および微調整し、それらを Retrieval Augmented Generation (RAG) およびエージェント システムにシームレスに接続し、ユースケース用の合成データを簡単に生成し、スケーラブルな評価にモデルを活用できるようになります。 これらの機能により、企業は最高品質のオープンソース モデルを使用して独自の組織のデータを最大限に活用し、本番運用規模の GenAI アプリケーションを構築できます。

「オープンソースの AI が業界標準となり、前進への道となると信じています。 Llama3.1 について Databricks と提携することにより、合成データ生成や短期バッチ推論などの高度な機能がどの開発者にとってもアクセスしやすくなります。これを使って人々が何を作るのか、楽しみにしています」

— マーク・ザッカーバーグ、Meta創業者兼CEO

Llama 3.1 モデルの新機能は何ですか?

Llama 3.1 モデルはこれまでで最も高性能なオープン モデルであり、次のような多くの新機能が導入されています。

• Meta Llama 3.1-405B-Instruct は、現在世界最高品質のオープン モデルです。最高の AI モデルに匹敵する比類のない推論能力、操縦性、および一般知識を備えています。これらの機能により、これまでオープン モデルでは不可能だった複雑なアプリケーションの構築が可能になります。
• 既存の 8B および 70B モデルの品質が向上しました。これらのモデルはすでに 1,000 社を超える Databricks の顧客によって使用されています。Databricks 上で新しいモデルに簡単に移行でき、変更を加えることなくすぐに品質向上のメリットを享受できます。
• コンテキストの長さが 128k トークンに拡張され、大規模なデータセットの分析が可能になり、より関連性の高いコンテキストにアクセスすることでハルシネーションが軽減され、RAG アプリケーションが改善されます。
• 8 つの言語をサポートしているため、企業はより幅広い顧客ベースに効果的にリーチし、関与することができます。
• ツールの使用と関数の呼び出しが改善され、高度なタスクを自動化し、複雑なクエリに回答できる複雑なマルチステップのエージェント ワークフローを作成できるようになりました。
• アップグレードされた LlamaGuard モデルと Safety Models により、エンタープライズ ユース ケース向けの Compound AI システムの安全で責任ある導入が可能になります。

Databricks Mosaic AI で Llama 3.1 を使って開発する

Llama 3.1とその他の基盤モデルの体験

Llama 3.1 ファミリーのモデルが Unity Catalog 内の system.ai カタログで利用できるようになりました。 他の基盤モデルで動作する同じ統合 API と SDK を使用して、Mosaic AI Model Servingで簡単にアクセスできます。統合インターフェースにより、 Llama 3.1 コレクション内のモデルを簡単に実験、切り替え、デプロイし、任意のプロバイダーの他の基盤モデルと比較できます。この柔軟性により、アプリケーションの品質、レイテンシ、コストの要件を満たす最適なモデルを選択できます。これらのモデルは、 Azure Databricks だけでなく、 Databricks on AWS でも利用できます。

独自のデータを使用して Llama 3.1 を拡張し、品質を向上

Databricks を利用する企業はすでに Mosaic AI モデルトレーニングを使用して、独自のデータで Llama モデルをカスタマイズし、特定のビジネス コンテキストとスキルに特化して、より高品質のモデルを構築しています。顧客は、拡張されたコンテキスト長と 8B および 70B モデルの基本品質の向上を利用して新しいモデルをカスタマイズすることで、アプリケーション全体の品質を向上させ、新しいユース ケースを開拓できるようになりました。

モデル トレーニングでは、Llama 3.1 405B もサポートされるようになり、企業は主要な AI モデルと同等の推論と機能を備えたオープン モデルをカスタマイズできるようになりました。 これらのアップグレードは、容量がオンラインになると、リージョン全体に展開されます。

Llama 3.1 でインテリジェント エージェントと RAG アプリを展開

RAG アプリケーションとエージェントは、当社のプラットフォーム上で最も人気のある GenAI アプリケーションであり、Meta Llama 3.1 の新しいツール使用機能に期待しています。

新しく導入されたMosaic AI Agent Framework と Evaluationにより、企業は Meta Llama 3.1 を使用して最高品質の AI システムを構築し、 Mosaic AI Vector Search を使用して独自のデータでシステムを拡張できます。当社は、データプラットフォームに緊密に統合された唯一の機械学習ソリューションを提供しており、すべての下流アプリケーションが単一のガバナンスレイヤーである Unity Catalog を介して安全に統制および管理されることを保証します。

さらに、顧客はすでに関数呼び出しに Llama モデルを使用でき、新しいアップデートによりこれらのワークフローの品質がさらに向上します。

これらの機能を組み合わせることで、開発者はカスタムエージェントを作成し、新しいエージェントの動作を単一のプラットフォームで探索し、より広範なユースケースを解き放つことができます。

合成データ生成によるモデルのトレーニングと評価の高速化

Llama 3.1 の許容ライセンスと Llama 3.1-405B-Instruct モデルの優れた品質により、企業は初めて、高品質の合成データでデータ フライホイールを強化できるようになりました。 つまり、モデルトレーニングを使用してモデルをカスタマイズするときに、データセットのサンプルをより大きなモデルに自動的に表示し、同様のデータを生成するように要求できます。

Databricks は、基盤モデル API および基盤モデル トレーニング サービスとの統合により、このワークフローを容易にします。これにより、データ インテリジェンス プラットフォームの安全な境界内で Unity Catalog データセットをすべて拡張できます。 これにより、カスタマイズの品質が変わり、エンタープライズの GenAI アプリケーションが強化されると考えています。

顧客は Databricks とオープン モデルで革新を実現

Databricks の多くの顧客はすでに Llama 3 モデルを活用して GenAI イニシアチブを推進しています。 私たちは皆、Llama 3.1 で何が行われるのか楽しみにしています。

• 「Databricksでは、LLM を使用して 1 日あたり 100 万件以上のファイルを処理し、物件記録から取引データとエンティティ データを抽出することで、面倒な手作業を自動化できました。Meta Llama3 8b をファインチューニングすることで精度の目標を超え、Mosaic AI Model Serving を使用することで、大規模で高価な GPU フリートを管理する必要なく、この操作を大幅に拡張できました」 - Prabhu Narsina 氏、VP Data and AI、First American
• 「Databricks のおかげで、Llama モデルをすばやく微調整して安全に展開し、カウンセラーのトレーニング用の会話シミュレーターや応答品質を維持するためのフェーズ分類器など、複数の GenAI ユースケースを構築できました。これらのイノベーションにより、リアルタイムの危機介入が改善され、より迅速に拡張し、危機に瀕している人々に重要なメンタルヘルス サポートを提供できるようになりました」 - Matthew Vanderzee 氏、Crisis Text Line の CTO
• 「Databricks の統合データおよび AI プラットフォームと Meta Llama 3 などのオープン モデルにより、サイロが排除され、導入が簡素化され、GenAI システムを本番運用に 20 倍速く導入できるようになりました。これにより、GenAI を製品面全体でより深く統合できるようになり、製品、運用、全体的な効率が向上しました」 - Ian Cadieu 氏、CTO、Altana
• 「Databricks で、記録的な速さでアイデアを本番運用に移すことができます。 Llama のような小型の最先端のオープン モデルを使用し、データでカスタマイズすることで、高品質でコスト効率の高い GenAI ソリューションを作成しました。驚くべきことに、これはたった 1 人によって開発されたもので、すでに社内チームの生産性が向上しています」 - Thibault Camper 氏、シニア データ サイエンティスト、Locala
• 「Mosaic AI と Llama 3 のような最先端のオープン モデルにより、独自のデータとビジネス ルールに基づいてカスタム モデルを作成し、安全に展開できるようになりました。これにより、新しい GenAI 機能を構築し、タスクの 63% を自動化し、開発チームが手動プロセスではなくイノベーションに集中できるようになりました」 - Orizon のデータおよびアナリティクス責任者、Guilherme Guisse 氏

Databricks Mosaic AI で Llama 3.1 を使い始める

AI Playground にアクセスして、ワークスペースから直接 Llama 3.1 をすぐに試してください。詳細については、次のリソースを参照してください。

• Llama 3.1 のリリースに関するブログ記事を読む
• 基盤モデルの入門ガイドをご覧ください
• AI機能 を使用して大量のデータに LLM を適用する
• エージェント フレームワークと評価を使用して本番運用品質のエージェント アプリと RAG アプリを構築する
• 価格ページを見る

これらの機能は、コンピュートの可用性に基づいて、サポートされている地域全体に展開されます。