私たちが顧客から頻繁に聞くのは、生成AIアプリケーションをパイロットから本番環境に移行する際の課題の1つが、既製の大規模言語モデル（LLM）が生成する結果の正確性であるということです。この正確性のギャップを埋めるために、企業が取り組んでいる方法の1つが、Retrieval Augmented Generation（RAG）アーキテクチャを含む「複合AIシステム」を構築することです。RAGアーキテクチャや複合AIシステムでは、企業や特定分野のデータをプロンプトや応答の一部として取り入れることで、既製のLLMの応答の質を向上させます。Databricksでは 、これをLLMの「一般知能」から「データ知能」へのシフトと捉えており、わずかなリトリーバルの質や効率の向上でも、ユーザー体験に大きな影響を与えることができると考えています。
高品質な埋め込みモデルは、正確なRAGシステムの礎です。今年、DatabricksのMosaic AI上で開発されたRAGアプリケーションが急増している中、Databricksが業界トップクラスの埋め込みおよびリランクモデルを提供できることが重要です。そのため、Databricks Venturesは深層学習の先駆者であるCEO Tengyu Ma氏が共同設立したスタートアップ、Voyage AIのシリーズA資金調達に出資しました。
さらに、Databricksの顧客向けに、Voyageのリランクおよび埋め込みモデルをDatabricks Model Servingに提供する新たなパートナーシップも発表しています。Voyage AIとの協業により、データインテリジェンスと高品質な本番AIシステムの構築を支援していきます。
なぜVoyage AIなのか
Voyage AIは、現在利用可能な世界最高クラスの埋め込みモデルを提供しています。高品質な埋め込みとリランクモデルにより、企業はRAGの検索・リトリーバルの正確性と効率を向上させ、より正確なRAGソリューションや複合AIシステムを実現できます。また、Voyage AIのモデルは特定分野に最適化され、企業のデータに合わせて調整されているため、多くの大手AI企業が一流のユーザー体験を提供するために利用しています。
Databricks 101: 実践入門
Voyage AIとDatabricksの次のステップは？
Voyage AIの最新世代の埋め込みおよびリランクモデルを、Databricks Model Servingソリューション内にネイティブに提供する予定です。このモデルをネイティブで提供することで、Databricksの顧客は、安全でコスト効果の高い本番品質のRAGアプリケーションを構築でき、Databricksがエンタープライズに必要な長期的なサポートと安定性を提供することで、安心して利用できます。
今後数か月以内に、Mosaic AIとのVoyage AIモデルの統合を発表する予定です。お楽しみに！