DatabricksがNVIDIA AIと高速コンピューティングでエンタープライズにAI革命を！ 🚀

人工知能（AI）とデータ分析の世界は、DatabricksとNVIDIAの協力により大きな推進力を得ることになります。この作業は、DatabricksのDatabricksプラットフォームとNVIDIA AIの最先端の機能を組み合わせ、組織が大規模なAIとデータのワークフローを変革することを可能にします。

Databricksの可能性を解き放つ

Databricksは、組織がデータレイクハウス上に高品質なエージェントシステムを構築し、デプロイすることを可能にします。これにより、エンタープライズデータを用いたモデルの安全なカスタマイズが可能となり、ドメイン固有の正確な結果を提供します。Databricksは、オープンソースまたは商用モデルとシームレスに接続し、出力を評価し最適化するためのツールを提供し、迅速な開発ワークフローを実現します。データとAIモデル全体にわたる堅牢なガバナンスにより、顧客はAIアプリケーションとその出力に対する完全な可視性と制御を得ることができます。

NVIDIA Blackwellプラットフォームによる新たな可能性

Blackwellプラットフォームの主な進歩の一つは、FP4およびFP6精度形式の導入であり、これによりAIモデルの提供パフォーマンスが大幅に向上し、品質が維持されます。FP4精度を使用すると、モデルの精度を損なうことなく、FP8と比較してパフォーマンスを2倍にする可能性があります。大規模言語モデル（LLM）の推論については、NVIDIA BlackwellGPUsは、前世代のNVIDIA Hopper GPUsと比較して、言語モデルのパフォーマンスが最大30倍高速になります。

Databricksは、NVIDIA Blackwellプラットフォームを活用する最初のAIプラットフォームの一つになると予想しています。

「NVIDIA Blackwellプラットフォームを使用することで、次世代アーキテクチャに固有の利点、つまり、推論性能と精度を向上させる第二世代のTransformer Engineや、高帯域幅のメモリ圧縮エンジンを活用する予定です。「私たちはNVIDIAと緊密に協力して、プラットフォーム上の新しいAI機能を加速し、お客様にとって興奮する機能とパフォーマンスの向上をもたらします」と、DatabricksのAI担当副社長であるNaveen Raoは述べています。

DatabricksのDatabricksプラットフォームと組み合わせることで、この強力なハードウェアは、企業がより高度なAIの課題に、より速く、効率的に取り組むことが可能になります。NVIDIA Blackwellプラットフォームの計算とDatabricksデータインテリジェンスプラットフォームを使用すると、データサイエンティストとエンジニアは、より正確な予測モデルの開発から、より魅力的で反応の良い生成AIアプリケーションの作成まで、AIの可能性を追求することができます。

AIとデータ分析による産業の変革

DatabricksとNVIDIAの協力は、主要な業界の課題に対処します。NVIDIAの高速化コンピューティングでDatabricksを動かすことにより、組織は次のことができます：

• データ処理の加速： DatabricksはNVIDIAの高速化コンピューティングを利用してデータ処理、クリーニング、キュレーションを高速化します。この組み合わせにより、大規模なデータセットをモデル訓練のために準備し変換する時間が短縮されます。
• モデルの訓練をより速く: DatabricksのNVIDIA加速コンピューティングとの統合により、モデルの訓練がより速くなり、データチームがモデルをより迅速に反復処理し、改良することが可能になります。Databricksを使用すると、チームは取得強化生成（RAG）のような技術を通じてAIモデルの精度と信頼性を向上させることもできます。
• データパイプラインの最適化: Databricksの自動データパイプライン最適化機能は、データチームがボトルネックを特定し、排除するのに役立ち、データが効率的かつ効果的にパイプラインを通過することを確保します。

この協力は、ヘルスケア、金融、小売など、AIとデータ分析が成功の鍵となるセクターを再定義する可能性があります。ワークフローの各段階を最適化することで、データの取り込みからAIモデルの訓練とデプロイまで、顧客は最先端の技術を活用して新たな洞察を得る、意思決定を強化する、そしてイノベーションを促進することができます。

DatabricksとNVIDIAのオープンソースの協力

Databricksはまた、NVIDIAと協力して、Databricksノートブックを通じて、モデル開発とカスタマイズのためのNVIDIA NeMo、サイバーセキュリティAIワークフローのためのNVIDIA Morpheus、NVIDIA Triton推論サーバー、そしてNVIDIA TensorRT-LLM for AI推論最適化など、多くのオープンソースソフトウェアツールをサポートしています。これらはすべてNVIDIA AI Enterpriseソフトウェアプラットフォームの一部です。NVIDIA AI Enterpriseは、エンタープライズグレードのセキュリティ、安定性、サポートを提供し、AIのパイロットから本番へのシームレスな移行を支援します。

主な利点は次のとおりです：

• シームレスな統合: Databricksノートブックの力を活用します。
• スケーラブルなAIモデル開発：DatabricksとNVIDIAの協力により、データチームはAIモデルの開発をスケールアップすることができます。これは小規模な実験から大規模な生産環境まで対応します。
• 市場投入までの時間の短縮：データチームはAIモデルをより迅速に開発し、デプロイすることができ、新たなAIパワード製品やサービスを市場に投入するまでの時間を短縮することができます。

企業向けの主な利点と機能

シームレスなデプロイメントとスケーラビリティ

Databricksを使用すれば、企業は大量のデータとトラフィックを処理するように設計されたプラットフォームであることを知って、自信を持ってAIモデルをデプロイし、スケールアップすることができます。DatabricksとNVIDIAの技術を組み合わせることで、エンタープライズは以下のことが可能になります：

• Lakehouse Monitoringを使用してモデルのパフォーマンスを監視し、デバッグし、自動生成されたメトリクスとダッシュボード、異常検出、自動ルート原因分析を提供します
• DatabricksのFeature StoreとAI Searchを活用して、特徴量とエンベディングをモデルに簡単に統合する
• MLflow、つまり、主要なオープンソースのMLOpsフレームワークを使用して、GenAIアプリケーションやシステムの実験、構築、評価、デプロイを行う

統合セキュリティとコンプライアンス

Databricksでは、セキュリティとコンプライアンスを重視し、高いコンプライアンス要件を持つ業界の顧客と密接に協力しています。当社のプラットフォームは、以下のようなセキュリティ機能の範囲を提供します：

• アクセス制御、監査、暗号化などのエンタープライズグレードのセキュリティとガバナンス機能
• HIPAA、PCI-DSS、GDPRなどの業界固有のコンプライアンス基準のサポート
• Unity Catalogによるデータガバナンスは、データとAIアセットのための中央集権的なメタデータ管理システムを提供します。
• AI Gatewayは、標準的なクエリインターフェースを提供し、レート制限を中央で管理し、使用状況を追跡し、ガードレールを強制し、モデルAPIのデータ監査を行います。
• Lakehouse Monitoringは、フィーチャーテーブルからAI基盤モデルまで、すべてのデータとAI資産の監視とデバッグ機能を提供します

実世界の使用事例と業界の応用

DatabricksとNVIDIAの協力が、カスタマーサービスのユースケースにどのように適用できるか、実際の例を見てみましょう。

例：カスタマーサービスエージェント

企業は、大量の顧客からの問い合わせを処理できるカスタマーサービスエージェントを構築したいと考えています。エージェントは顧客の意図を理解し、パーソナライズされた応答を提供し、複雑な問題を人間のカスタマーサポートエージェントにエスカレートする必要があります。また、エスカレーションやハンドオフのプロセス中に以前の会話を要約し、AIエージェントを通じてすべての対話をログに記録する必要があります。このチャットボットを構築するために、企業はDatabricksを使用して、顧客とのインタラクションから学び、変化する顧客のニーズに適応できるAIエージェントを開発し、訓練します。

応答の質を向上させるために、AIエージェントは企業固有のデータのさまざまな種類で微調整することができます。Databricksモデルトレーニングを使用すると、企業は同じツールセットで継続的な事前トレーニングと指示の微調整方法を行うことができます。継続的な事前訓練は、モデルに製品の提供、ウェブサイトのコンテンツ、用語集、よくある質問などの情報を含む関連する用語と概念を教えることができます。また、指示の微調整は、以前の通話のトランスクリプトから派生した顧客の入力とエージェントの応答のフォーマットされた例を使用して、エージェントの応答を改善します。多くの企業は、微調整がRAGアーキテクチャの必要性を回避し、モデルのデプロイメントを簡素化することを発見しています。AIエージェントはまた、企業のカスタマーサービスプラットフォームと統合することができ、パーソナライズされた応答を提供し、エージェントのワークフローを介してインタラクションを記録するために顧客データと履歴にアクセスすることができます。

AIエージェントが訓練されると、企業はDatabricks Model Servingを使用して、数ステップで製品環境にデプロイします。AIエージェントは、大量の顧客からの問い合わせをリアルタイムで処理し、顧客の質問や懸念に対して迅速かつ正確な回答を提供することができます。

このソリューションの利点には以下のようなものがあります：

• 顧客満足度の向上: エージェントは顧客の問い合わせに迅速かつ正確に応答することができ、顧客満足度を向上させ、人間のカスタマーサポートの必要性を減らします。
• 効率の向上：エージェントは大量の顧客からの問い合わせを処理することができ、人間のカスタマーサポートエージェントは共感や人間の判断が必要なより複雑な問題に集中することができます。
• コスト削減: エージェントは人間のカスタマーサポートエージェントの必要性を減らすことができ、コストを削減し、利益を改善します。
• 顧客体験の強化: AIエージェントはパーソナライズされた応答と推奨を提供することができ、顧客体験を強化し、顧客のロイヤリティを増加させます。

DatabricksとNVIDIA AIを使用してAIエージェントを開発し、デプロイすることで、企業はより効率的で効果的な、パーソナライズされたカスタマーサービスのチャットボットを作成することができ、これにより顧客満足度とロイヤルティが向上します。Allianz、Chevron Phillips、Experian、Kubrick、Santalucía Seguros、UK Power Networksなどの業界リーダーは、Databricksを活用して、革新的な生成AIソリューションで顧客体験を向上させています。

企業向けAIソリューション

DatabricksのDatabricksとNVIDIAの加速コンピューティングの組み合わせた能力により、組織は新たな洞察を得ることができ、意思決定を改善し、ビジネスイノベーションを推進し、AIシステムを確信を持って本番環境に移行することができます。この協力により、ユーザーは新たな機能や機能性、NVIDIAの加速コンピューティングに対するサポートの拡大を期待することができます。

Databricks（ブース1820）とNVIDIA（ブース1620）に参加し、AWS re:Invent 2024でDatabricksとNVIDIAの技術をどのように活用してビジネスを変革することができるかを学びましょう。12月3日（火）の夜、ベネチアン・グランド・ラックス・カフェで、NVIDIAがスポンサーとなるDatabricksのネットワーキングレセプションにご参加ください。時間は午後6時から10時までです。こちらからご登録ください。