メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                  • 導入事例一覧へ
                  • パートナー
                    • クラウドプロバイダ
                      Databricks on AWS、Azure、GCP
                      • コンサルティング・SI
                        Databricks の構築・デプロイ、Databricks への移行のエキスパート
                        • 技術パートナー
                          既存のツールをレイクハウスに接続
                          • C&SI パートナー
                            レイクハウスの構築・デプロイメント、レイクハウスへの移行
                            • データパートナー
                              データコンシューマーのエコシステムにアクセス
                              • パートナーソリューション
                                業界・移行のニーズに応じたカスタムソリューション
                                • Databricks で構築
                                  ビジネスの創造・マーケティング・成長
                                • Databricks プラットフォーム
                                  • プラットフォームの概要
                                    データ・分析・AI のための統合プラットフォーム
                                    • データ管理
                                      データの信頼性・セキュリティ・パフォーマンス
                                      • 共有
                                        オープン、セキュア、ゼロコピーでのデータ共有
                                        • データウェアハウジング
                                          バッチ、ストリーミングデータのための ETL とオーケストレーション
                                          • ガバナンス
                                            データ・分析・AI のための統合ガバナンス
                                            • リアルタイム分析
                                              リアルタイム分析、AI、アプリケーションをシンプルに
                                              • 人工知能(AI)
                                                ML と生成 AI アプリケーションの構築とデプロイメント
                                                • データエンジニアリング
                                                  バッチ、ストリーミングデータのための ETL とオーケストレーション
                                                  • BI
                                                    実世界データのインテリジェント分析
                                                    • データサイエンス
                                                      データサイエンスの大規模な連携
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • 学習の概要
                                                                                              トレーニング、認定、イベントなどのハブ
                                                                                              • トレーニング概要
                                                                                                ニーズに合わせたカリキュラムを探す
                                                                                                • Databricks アカデミー
                                                                                                  Databricks ラーニングプラットフォームにサインインする
                                                                                                  • 認定
                                                                                                    スキル・認定で差別化を図る
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                              • 企業概要
                                                                                                                                • Databricks について
                                                                                                                                  • 経営陣
                                                                                                                                    • Databricks Ventures
                                                                                                                                      • ご相談・お問い合わせ
                                                                                                                                      • 採用情報
                                                                                                                                        • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          • プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              • セキュリティと信頼
                                                                                                                                                • セキュリティと信頼
                                                                                                                                            • 是非ご検討ください!
                                                                                                                                            • デモを見る
                                                                                                                                            • ログイン
                                                                                                                                            • Databricks 無料トライアル
                                                                                                                                            1. ブログ
                                                                                                                                            2. /
                                                                                                                                              データサイエンス・ML
                                                                                                                                            3. /
                                                                                                                                              記事

                                                                                                                                            MLflow AI GatewayとLlama 2を使ってジェネレーティブAIアプリを構築する

                                                                                                                                            独自のデータでRAG(Retrieval Augmented Generation)を使用して、より高い精度を達成する

                                                                                                                                            Data Intelligence Platforms

                                                                                                                                            Published: August 24, 2023

                                                                                                                                            データサイエンス・ML2分で読めます

                                                                                                                                            Kasey Uhlenhuth、Xiangrui Meng、ハゲイ・ルペスコ、ショーン・オーウェン、コーリー・ズマール、リャン・チャン、イナ・コレワ、Vladimir Kolovski、Arpit Jasapara による投稿

                                                                                                                                            この投稿を共有する

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            翻訳:Junichi Maruyama.  -  Original Blog Link

                                                                                                                                            顧客サポートボット、社内ナレッジグラフ、またはQ&Aシステムを構築するために、顧客は多くの場合、事前に訓練されたモデルを独自のデータと一緒に活用するRAG(Retrieval Augmented Generation)アプリケーションを使用します。しかし、安全なクレデンシャル管理と不正使用防止のためのガードレールがないため、お客様はこれらのアプリケーションへのアクセスと開発を民主化することができません。私たちは最近、MLflow AI Gatewayを発表しました。これは拡張性の高いエンタープライズグレードのAPIゲートウェイで、組織がLLMを管理し、実験や生産に利用できるようにします。本日、AI Gatewayを拡張し、RAGアプリケーションをより良くサポートすることを発表できることを嬉しく思います。組織は、プライベートホスティングモデルAPI(Databricks Model Serving経由)、プロプライエタリAPI(OpenAI、Co:here、Anthropic)、そして今回MosaicML経由のオープンモデルAPIのガバナンスを一元化し、安心してRAGアプリケーションを開発・展開できるようになりました。

                                                                                                                                            このブログポストでは、MosaicMLの Starter Tier Inference APIsを通じてホストされ最適化された、テキスト生成用のLlama2-70B-Chat modelとテキスト埋め込み用の Instructor-XLモデルを使って、Databricks Lakehouse AIプラットフォーム上でRAGアプリケーションを構築しデプロイする方法を説明します。ホストされたモデルを使うことで、私たちはすぐに始めることができ、低いスループットで実験するための費用対効果の高い方法を手に入れることができます。

                                                                                                                                            このブログで構築しているRAGアプリケーションは、ガーデニングの質問に答え、植物の手入れ方法を推奨します。

                                                                                                                                            What is RAG?

                                                                                                                                            RAGは、顧客が自身のデータを活用することで、モデルのパフォーマンスを向上させることができる一般的なアーキテクチャである。これは、関連するデータやドキュメントを取得し、LLMのコンテキストとして提供することで実現される。RAGは、最新の情報を維持したり、ドメイン固有の知識にアクセスしたりする必要があるチャットボットやQ&Aシステムで成功を収めている。

                                                                                                                                            AI Gatewayを使用して、モデルAPIを呼び出すためのガードレールを設置する

                                                                                                                                            最近発表されたMLflow AI Gatewayは、組織がRouteと呼ばれるオブジェクトを介して、SaaS LLMを含むモデルAPIのガバナンス、クレデンシャル管理、レート制限を一元化することを可能にします。Routeを配布することで、組織はLLMへのアクセスを民主化すると同時に、ユーザーの行動がシステムを悪用したりダウンさせたりしないようにすることができます。AIゲートウェイはまた、LLMをクエリするための標準インターフェースを提供し、新しい最先端のモデルがリリースされたときに、Routeの背後にあるモデルを簡単にアップグレードできるようにします。

                                                                                                                                            私たちは通常、組織がユースケースごとにRouteを作成し、多くのRouteが同じモデルAPIエンドポイントを指し、それが十分に活用されていることを確認するのを見ます。

                                                                                                                                            このRAGアプリケーションでは、2つのAI Gateway Routesを作成したいと思います。1つは埋め込みモデル用、もう1つはテキスト生成モデル用です。ベンダーロックインを避けるために、将来的にファインチューニングやプライベートホスティングのためにサポートされる経路を持ちたいからです。そのためにMosaicMLの推論APIを使います。これらのAPIは、迅速な実験とトークン・ベースの価格設定のために、最先端のオープンソース・モデルへの迅速で簡単なアクセスを提供します。MosaicMLはテキスト補完にMPT と Llama2 モデル、テキスト埋め込みにInstructorモデルをサポートしています。この例では、2兆個のトークンで学習され、Metaによって対話、安全性、有用性をファインチューニングされたLlama2-70b-Chatと、HKUNLPによって1.2Bパラメータ命令でファインチューニングされた埋め込みモデルのInstructor-XLを使います。

                                                                                                                                            AIゲートウェイのMosaicML推論APIの新しいサポートを使って、Llama2-70B-Chatのルートを簡単に作成できます:

                                                                                                                                            上記で設定したテキスト補完ルートと同様に、MosaicML Inference APIで利用可能なInstructor-XL用の別のルートを作成することができます。

                                                                                                                                            MosaicMLホストモデルのAPIキーを取得するには、こちらからサインアップしてください。

                                                                                                                                            LangChainを使ってレトリーバーとテキスト生成を組み合わせる

                                                                                                                                            ここで、ドキュメントの類似度をリアルタイムで検索できるように、ドキュメントの埋め込みからベクトル・インデックスを構築する必要があります。LangChainを使い、AI Gateway Routeに埋め込みモデルを指定します:

                                                                                                                                            次に、プロンプト・テンプレートとテキスト生成モデルをつなぎ合わせる必要がある:

                                                                                                                                            RetrievalQAチェーンは、ベクトルデータベースから検索された文書がテキスト要約モデルのコンテキストとなるように、2つのコンポーネントを連鎖させる:

                                                                                                                                            MLflow LangChain flavorを使用してチェーンを記録し、DatabricksのCPU Model Servingエンドポイントにデプロイすることができます。MLflowを使用することで、モデルのバージョニングが自動的に行われ、本番プロセスに厳密性が加わります。

                                                                                                                                            POCの完了後、品質向上のための実験を行う

                                                                                                                                            要件に応じて、アプリケーションを本番稼動させるための適切な最適化を見つけるために実行できる多くの実験があります。MLflow のトラッキングおよび評価 API を使用すると、すべてのパラメータ、ベースモデル、パフォーマン ス指標、およびモデル出力をログに記録し、比較することができます。MLflow の新しい評価 UI を使用すると、モデル出力を並べて簡単に比較することができ、MLflow の追跡および評価データはすべて、さらなる分析のためにクエリ可能な形式で保存されます。よく見られる実験

                                                                                                                                            1. Latency - レイテンシーとコストを削減するため、小型モデルを試す
                                                                                                                                            2. Quality - オープンソースモデルを独自のデータで微調整してみてください。これは、ドメイン固有の知識や、望ましい応答形式を遵守するのに役立ちます
                                                                                                                                            3. Privacy - Databricks LLM-Optimized GPU Model Serving上でモデルをプライベートホスティングし、AI Gatewayを使用して、ユースケース全体でエンドポイントをフル活用してみてください

                                                                                                                                            MosaicMLとLakehouse AIでRAGアプリケーションの開発を始めよう

                                                                                                                                            Databricks Lakehouse AIプラットフォームにより、開発者は安心してGenerative AIアプリケーションを迅速に構築・展開することができます。上記のチャットアプリケーションをあなたの組織で再現するには、以下のものが必要です:

                                                                                                                                            1. テキスト埋め込みモデルやllama2-70b-chatに素早く簡単にアクセスできるMosaicML APIキー。アクセスするにはここからサインアップしてください。here
                                                                                                                                            2. MLflow AI Gateway Previewに参加してモデルAPIへのアクセスを管理する

                                                                                                                                            RAGアプリケーションをさらに探求し、強化する:

                                                                                                                                            • Databricks GPU Model Serving Previewに参加すると、最先端のオープンソースまたはカスタマイズされたモデルをプライベートホストできます。
                                                                                                                                            • Databricks Vector Search Previewに参加すると、サーバーレスでスケーラブルなベクトル類似性検索がLakehouse AIと緊密に統合されます。
                                                                                                                                            • Databricks AutoML Embeddings Previewでは、エンベッディングをドメイン固有のプライベートデータにカスタマイズできます。
                                                                                                                                            • MosaicMLであなたのLLMを独自のFine-tune または事前学習 して、IPを所有しましょう。

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            関連記事

                                                                                                                                            この投稿を共有する

                                                                                                                                            Databricksの投稿を見逃さないようにしましょう

                                                                                                                                            興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                            Sign up

                                                                                                                                            次は何ですか?

                                                                                                                                            Harnessing the Power of Databricks Mosaic AI for Rolls-Royce

                                                                                                                                            製造

                                                                                                                                            August 7, 2024/1分未満

                                                                                                                                            ロールスロイスの画像生成に Databricks Mosaic AI のパワーを活用する

                                                                                                                                            Turbocharging GPU Inference at Logically AI

                                                                                                                                            メディア・エンターテイメント

                                                                                                                                            October 22, 2024/1分未満

                                                                                                                                            Logically AIでGPU推論をターボチャージ!

                                                                                                                                            databricks logo
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            製品
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            オープンソース
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            ソリューション
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            データの移行
                                                                                                                                            プロフェッショナルサービス
                                                                                                                                            ソリューションアクセラレータ
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            リソース
                                                                                                                                            ドキュメント
                                                                                                                                            カスタマーサポート
                                                                                                                                            コミュニティ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            企業情報
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            セキュリティと信頼
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            databricks logo

                                                                                                                                            Databricks Inc.
                                                                                                                                            160 Spear Street, 15th Floor
                                                                                                                                            San Francisco, CA 94105
                                                                                                                                            1-866-330-0121

                                                                                                                                            採用情報

                                                                                                                                            © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                            • プライバシー通知
                                                                                                                                            • |利用規約
                                                                                                                                            • |現代奴隷法に関する声明
                                                                                                                                            • |カリフォルニア州のプライバシー権利
                                                                                                                                            • |プライバシー設定