Databricks + MosaicML

翻訳：Junichi Maruyama.  -  Original Blog Link

本日、私たちはMosaicMLの買収を完了したことをお伝えできることを嬉しく思います。MosaicMLは、企業向けにジェネレーティブAIモデルを作成し、カスタマイズするための先進的なプラットフォームです。Databricksの創業以来、私たちのミッションは、あらゆる企業のためにデータとAIを民主化することでした。MosaicMLと共に、ジェネレーティブAIアプリケーションのトレーニング、カスタマイズ、デプロイのためのクラス最高のエクスペリエンスを提供する予定です。

私たちはMosaicMLチームと協力し、ジェネレーティブAIを企業の主流にするために必要な3つの最も重要な開発を加速させます：

モデル能力の迅速な民主化：私たちは、すべての企業がモデルを広く利用できる未来を確信しています。あらゆるテクノロジーの民主化には、価格の引き下げとアクセスの向上が必要です。MosaicMLチームは、大規模な言語モデルのトレーニングとカスタマイズの価格を劇的に下げるために、ハードウェアとソフトウェアの効率改善にレーザーフォーカスしてきました。私たちは、より多くの市場に高品質なモデリング機能を提供するために、トレーニングやサービスのコストを下げる努力を続けていきます。民主化には技術へのアクセスも必要です。私たちはMosaicMLの研究チームと協力し、人気の高いMPT-7BやMPT-30BのベースLLMを支えたようなモデリング・アーキテクチャの革新をオープンな場で続けていきます。現在、MPT-7Bは300万回以上ダウンロードされており、オープンLLMの中で最もダウンロードされています。

ジェネレーティブAIモデルを企業向けに機能させる： 私たちは皆、汎用チャットボットに慣れ親しんできた。消費者向けチャットボットと同様に、企業向けAIアプリケーションも推論能力と言語ベースのインターフェースから恩恵を受ける。しかし、一般的なチャットボットとは異なり、企業向けアプリケーションには多くの追加要件がある。ビジネス・プロセス、顧客、アカウント、注文、またはビジネスのその他の側面に関する情報など、大量のカスタム・データを取り込む必要がある。また、ユーザーとそのデータのプライバシーと安全性を確保しなければならない。また、エンタープライズ・アプリケーションは、幻覚や不正確なレスポンスに対してほとんど寛容ではありません。DatabricksとMosaicMLを組み合わせることで、企業は安全でセキュアで効果的なAIアプリケーションを展開するために、自社のデータを組み込むことが非常に容易になります。

AIとデータスタックの統合： モデル開発ライフサイクルのあらゆる部分で、優れたデータが必要となる。企業は、より優れたモデルとよりインテリジェントなアプリケーションを作成できる独自のデータを使用することで、競合他社との差別化を図ることができます。MosaicMLによって、DatabricksはデータをAI開発の中心に据え続けます。これには、モデルで使用するためのデータのクリーニング、フィーチャライゼーション、埋め込みといった上流のデータ準備が含まれる。また、生成されたデータからモデルのパフォーマンスを学習したり、事前に生成された結果に基づいてモデルを教えたりすることで、正の強化ループの中でモデルをより良くするためにデータを使用することも含まれます。機械学習のライフサイクルのどの段階においても、最適なアプリケーションを構築するために、データとモデルは共同で管理されなければならない。これは、品質と安全性が優れたトレーニングデータに大きく依存する生成モデルにとっては、さらに重要なことです。

MosaicMLの製品は、企業が自社のデータとビジネスプロセスに基づいて大規模なAIモデルを効率的に構築できるようにするもので、今後も直接購入が可能です。今後は、MosaicMLをLakehouse AI Platformと緊密に統合し、トレーニングスタックをLakehouse AIの顧客データやその他の機能に近づけていきます。 

私たちはDatabricksとMosaicMLの将来、そしてお客様のジェネレーティブAIへの野望をどのようにサポートできるか、とても楽しみにしています。

MosaicMLに関するアップデートを含む、Databricksの最新のAIイノベーションに関する最新情報はこちらからご登録ください。