メインコンテンツへジャンプ

ファウンデーションモデル機能でGenAIアプリをより速く構築する方法

Databricks Model ServingによるあらゆるFoundationモデルへのアクセス、管理、監視
Share this post

先週発表したRAG(Retrieval Augmented Generation)に続き、Model Servingのメジャーアップデートを発表できることを嬉しく思います。Databricks Model Servingは統一されたインターフェイスを提供するようになり、すべてのクラウドとプロバイダで基盤モデルの実験、カスタマイズ、プロダクション化が容易になりました。これは、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して高品質のGenAIアプリを作成できることを意味します。

新しい統一インターフェースにより、Databricks上であろうと外部でホストされていようと、すべてのモデルを一箇所で管理し、単一のAPIでクエリすることができます。さらに、Llama2 や MPT モデルなどの一般的な大規模言語モデル (LLM) に Databricks 内から直接アクセスできる Foundation Model API をリリースします。これらのAPIには、トークンごとの支払いやスループットのプロビジョニングなど、オンデマンドの価格オプションが用意されており、コストの削減と柔軟性の向上を実現しています。

今すぐGenAIアプリを作り始めよう Databricks AI Playgroundにアクセスして、ワークスペースから直接、生成AIモデルを素早く試すことができます。

ファウンデーション・モデルの構築における課題

ソフトウェアはあらゆる産業に革命をもたらしましたが、AIは近い将来、既存のソフトウェアをよりインテリジェントなものに変えていくと考えています。その影響は大きく、カスタマーサポートから医療、教育まで、あらゆる分野に影響を及ぼします。私たちのお客様の多くは、すでにAIを製品に統合し始めていますが、本格的な生産への成長には、まだいくつかの課題があります:

  • モデル間での実験: モデル間の実験:各ユースケースは、複数のオープンおよびプロプライエタリな選択肢の中から最適なモデルを特定するための実験を必要とします。企業は、異なるモデル・プロバイダの認証情報、レート制限、権限、クエリ構文を管理することを含め、モデル間で迅速に実験を行う必要があります。
  • エンタープライズ・コンテキストの欠如:  ファウンデーションモデルは幅広い知識を持っていますが、内部的な知識やドメインの専門知識が不足しています。そのまま使用すると、固有のビジネス要件を完全に満たすことができません。
  • モデルの運用: 品質、デバッグ、および安全性のために、リクエストとモデルの応答を一貫して監視する必要があります。モデル間のインターフェイスが異なるため、それらを管理および統合することが難しい。

Databricks Model Serving:あらゆるファウンデーションモデルに対応する統合サービング

Databricks Model Servingは、大規模な言語モデルやビジョンアプリケーションを含む幅広いユースケースで、すでに数百社の企業で実運用されています。最新のアップデートにより、あらゆるFoundationモデルのクエリ、管理、および監視が大幅に簡素化されました。

シングルUI

"Databricks Model Servingを利用することで、ジェネレーティブAIを当社のプロセスに統合し、カスタマーエクスペリエンスを向上させ、業務効率を高めることができます。Model Servingにより、データとモデルを完全に制御しながらLLMモデルを展開することができます。"
- Ben Dias, Director of Data Science and Analytics at easyJet

ファウンデーション・モデルにアクセスする

Databricks Model Servingは、完全なカスタムモデル、Databricksが管理するモデル、サードパーティのFoundation Modelなど、あらゆるFoundation Modelをサポートします。この柔軟性により、適切な作業に適切なモデルを選択することができ、利用可能なモデルの範囲における将来の進歩に先んじることができます。このビジョンを実現するために、本日 2 つの新機能を紹介します:

  • Foundation Model API:ファウンデーションモデルAPIは、Databricks上の一般的なファウンデーションモデルへの即時アクセスを提供します。これらのAPIは、Databricksのセキュリティ境界内でデータの安全性を確保しながら、基盤モデルのホスティングとデプロイの手間を完全に取り除きます。基礎モデルAPIはトークン単位で利用できるため、運用コストを大幅に削減できます。また、きめ細かいモデルやパフォーマンス保証が必要なワークロードの場合は、Provisioned Throughput(旧称Optimized LLM Serving)に切り替えることもできます。APIは現在、チャット(llama-2-70b-chat)、補完(mpt-30B-instruct & mpt-7B-instruct)、エンベッディング・モデル(bge-large-en-v1.5)など、さまざまなモデルをサポートしています。今後、提供モデルを拡大していく予定です。
  • 外部モデル: 外部モデル(旧AI Gateway)では、Azure OpenAI GPTモデル、Anthropic Claudeモデル、AWS Bedrockモデルなど、Databricksの外部でホストされているモデルにアクセスするためのエンドポイントを追加することができます。一度追加すると、これらのモデルはDatabricks内から管理することができます。

さらに、データおよびAI資産のためのオープンマーケットプレイスであるDatabricks Marketplaceに、厳選されたファウンデーション(基盤)モデルのリストを追加しました。

スクリーンショット

"DatabricksのFoundation Model APIを利用することで、ボタンを押すだけで最先端のオープンモデルをクエリできるようになりました。このプラットフォーム上で複数のモデルを使用していますが、これまでのところ、安定性と信頼性、そして問題が発生したときにいつでも受けられるサポートに感銘を受けています"
- Sidd Seethepalli, CTO & Founder, Vellum

 

"DatabricksのFoundation Model API製品は、セットアップが非常に簡単で、すぐに使用できるため、RAGワークフローが簡単になりました。私たちはこの製品のパフォーマンス、スループット、価格設定に興奮しています。IT'のおかげでどれだけ時間を節約できたか、とても気に入っています"
- Ben Hills, CEO, HeyIris.AI

統一されたインターフェイスによるクエリーモデル

Databricks Model Servingは、Foundationモデルを簡単にクエリできるOpenAI互換の統一APIとSDKを提供します。また、AI Functionsを通じてSQLからモデルに直接クエリを実行することもでき、分析ワークフローへのAIの統合を簡素化します。標準的なインターフェイスにより、実験と比較が容易になります。例えば、DatabricksのAI生成ドキュメントで実証されているように、専有モデルから始めて、より低いレイテンシーとコストのために微調整されたオープンモデルに切り替えることができます。

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")
inputs = {
    "messages": [
        {
            "role": "user", 
            "content": "Hello!"
        },
        {
            "role": "assistant", 
            "content": "Hello! How can I assist you today?"
        },
        {
            "role": "user", 
            "content": (
                "List 3 reasons why you should train an AI model on "
                "domain specific data sets? No explanations required.")
        }
    ],
    "max_tokens": 64,
    "temperature": 0
}

response = client.predict(endpoint="databricks-llama-2-70b-chat", inputs=inputs)
print(response["choices"][0]['message']['content'])
#"\n1. Improved accuracy\n2. Better generalization\n3. Increased relevance"
SELECT ai_query(
    'databricks-llama-2-70b-chat',
    'Describe Databricks SQL in 30 words.'
  ) AS chat

全モデルの管理と監視

新しい Databricks Model Serving の UI とアーキテクチャにより、外部でホストされたものを含むすべてのモデルエンドポイントを一箇所で管理できるようになりました。これには、パーミッションの管理、使用制限の追跡、あらゆる種類のモデルの品質の監視が含まれます。例えば、管理者は外部モデルを設定し、チームやアプリケーションにアクセスを許可することで、認証情報を公開することなく、標準的なインターフェイスを介してモデルを照会することができます。このアプローチは、必要なガードレールを提供しながら、組織内で強力なSaaSやオープンLLMへのアクセスを民主化します。

 

"Databricks Model Serving は、Databricks 上または Databricks 外でホストされているモデルを含む、複数の SaaS モデルおよびオープンモデルへのセキュアなアクセスと管理を容易にすることで、当社の AI 主導プロジェクトを加速しています。一元化されたアプローチにより、セキュリティとコスト管理が簡素化され、当社のデータチームはイノベーションにより集中し、管理オーバーヘッドを削減することができます"
- Greg Rokita, AVP, Technology at Edmunds.com

個人データを使ってモデルを安全にカスタマイズ

データインテリジェンスプラットフォーム上に構築されたDatabricks Model Servingでは、検索拡張生成(RAG)、パラメータ効率的ファインチューニング(PEFT)、標準ファインチューニングなどのテクニックを使用して、基盤モデルのパワーを簡単に拡張することができます。独自のデータで基盤モデルを微調整し、Model Serving上で簡単に展開することができます。新しくリリースされたDatabricks Vector Searchは、Model Servingとシームレスに統合され、最新かつコンテキストに関連した応答を生成することができます。

"Databricks Model Serving を使用することで、Stardog Voicebox 用に微調整された GenAI モデルを迅速にデプロイすることができました。Databricks Model Servingが提供する使いやすさ、柔軟なデプロイメントオプション、LLM最適化により、我々のデプロイメントプロセスは加速され、我々のチームはインフラストラクチャを管理するよりも、イノベーションに専念できるようになりました"
 - Evren Sirin, CTO and Co-founder at Stardog

Databricks AI Playgroundで今すぐ始めよう

今すぐAIプレイグラウンドにアクセスして、強力な基礎モデルとの対話をすぐに始めましょう。AIプレイグラウンドでは、システムプロンプトや推論パラメータなどの設定をプロンプトや比較、調整することができます。

マーケットプレイス

さらに詳しい情報はこちら:

Databricks 無料トライアル

関連記事

Databricksで高品質のRAGアプリケーションを作成する

RAG(Retrieval-Augmented-Generation )は、独自のリアルタイムデータを LLM(Large Language Model) アプリケーションに組み込む強力な方法として、急速に台頭してきた。 本日Databricksユーザーが企業データを使用して高品質な本番LLMアプリケーションを構築するためのRAGツール群を発表できることを嬉しく思う。 LLMは、新しいアプリケーションを迅速にプロトタイプ化する能力において、大きなブレークスルーをもたらした。 しかし、RAGアプリケーションを構築している何千もの企業と仕事をした結果、彼らの最大の課題は、これらのアプリケーションを 本番で用いることができる品質にすること であることがわかった。 顧客向けアプリケーションに要求される品質基準を満たすためには、AIの出力は正確で、最新で、そして企業のコンテキストを認識し、安全でなければならない。 高品質なRAGアプリケーションを構築するためには、開発者はデータとモデル出力の品質を理解するための豊富なツール

Databricks Vector Search パブリックプレビューのご紹介

昨日 発表した RAG(Retrieval Augmented Generation )に続き、本日、Databricks Vector Searchのパブリックプレビューを発表します。6月に開催されたData + AI Summitでは、限られたお客様を対象としたプライベートプレビューを発表しましたが、今回はすべてのお客様にご利用いただけるようになりました。Databricks Vector Searchは、PDF、Officeドキュメント、Wikiなどの非構造化ドキュメントに対する類似検索を通じて、開発者がRAG(Retrieval Augmented Generation)や生成AIアプリケーションの精度を向上させることを可能にします。Vector Search は Databricks Data Intelligence Platform の一部であり、RAG およびジェネレーティブ...

Databricks Model Servingを使用したプライベートLLMのデプロイ

翻訳:Saki Kitaoka. - Original Blog Link Databricks Model ServingのGPUおよびLLM最適化サポートのパブリックプレビューを発表できることを嬉しく思います!この発表により、LLMやVisionモデルを含む、あらゆるタイプのオープンソースまたは独自のカスタムAIモデルをLakehouseプラットフォーム上にデプロイできるようになります。Databricks Model Servingは、LLM Serving用にモデルを自動的に最適化し、設定なしでクラス最高のパフォーマンスを提供します。 Databricks Model Servingは、統合データおよびAIプラットフォーム上で開発された初のサーバーレスGPUサービング製品です。これにより、データの取り込みから微調整、モデルのデプロイ、モニタリングに至るまで、GenAIアプリケーションの構築とデプロイをすべて単一のプラットフォーム上で行うことができます。 Azure上のユーザーは、Model Serving
エンジニアリングのブログ一覧へ