サーバーレス・バッチ推論のご紹介

生成AIは、組織がデータとどのように対話するかを変革しており、バッチLLM処理は迅速にDatabricksの最も人気のあるユースケースの一つとなっています。昨年、私たちはAI Functionsの初版をリリースし、企業がデータ移動やガバナンスの妥協なしでLLMをプライベートデータに適用できるようにしました。それ以来、数千の組織が分類、要約、構造化抽出、エージェント駆動のワークフローなどのバッチパイプラインを実行しています。生成AIのワークロードが本番環境に移行する中で、速度、スケーラビリティ、シンプルさが重要な要素となっています。

そのため、私たちは「エージェント週間」イニシアチブの一環として、AI Functionsの大規模なアップデートを展開し、エンタープライズデータで本番環境対応のバッチワークフローを実現できるようにしました。AI Functionsは、汎用的（柔軟なプロンプト用のai_query()）でも、タスク特化型（ai_classify()、ai_translate()）でも、完全にサーバーレスかつ本番環境対応となり、設定不要で10倍以上速いパフォーマンスを提供します。さらに、これらはDatabricks Data Intelligence Platformに深く統合され、ノートブック、Lakeflow Pipelines、Databricks SQL、さらにはDatabricks AI/BIから直接アクセス可能になっています。

新機能のご紹介

• 完全サーバーレス – エンドポイントの設定やインフラ管理は不要。クエリを実行するだけです。
• 高速なバッチ処理 – 本番環境対応のMosaic AI Foundation Model API Batchバックエンドにより、10倍以上の速度向上を実現。
• 構造化されたインサイトの抽出が簡単に – AI Functionsの構造化出力機能を使用することで、Foundation Model APIは指定した構造でインサイトを抽出します。もう「モデルに出力形式を合わせてもらう」必要はありません！
• リアルタイムの可視性 – クエリのパフォーマンスを追跡し、エラーハンドリングを自動化。
• データインテリジェンスプラットフォーム向けに最適化 – SQL、ノートブック、ワークフロー、DLT、Spark Streaming、AI/BIダッシュボード、さらにはAI/BI GenieでAI Functionsをシームレスに使用可能。

Databricksのバッチ推論へのアプローチ

多くのAIプラットフォームでは、バッチ推論が後回しにされ、手動でのデータエクスポートやエンドポイント管理が必要になり、その結果、ワークフローが断片化されてしまいます。しかし、Databricks SQLでは、簡単なLIMIT句を使って数行のデータでクエリをテストできます。もし列でフィルタリングしたいことに気づいた場合、WHERE句を簡単に追加できます。そして、LIMITを削除するだけでスケールで実行できます。SQLを書くことに慣れている方にとっては当然のことかもしれませんが、ほとんどの他のGenAIプラットフォームでは、複数のファイルエクスポートやカスタムフィルタリングコードが必要だったことでしょう！

クエリのテストが完了したら、それをデータパイプラインの一部として実行するのは、ワークフローにタスクを追加するだけで簡単に行え、Lakeflowを使えばインクリメンタル処理も容易です。そして、もし別のユーザーがこのクエリを実行した場合、そのユーザーがUnity Catalogでアクセスできる行の結果のみが表示されます。これが、製品がData Intelligence Platform内で直接実行されるということの具体的な意味です。データはそのまま管理され、ガバナンスが簡素化され、複数のツールを管理する手間が省けます。

SQLとPythonの両方を使ってAI Functionsを活用できるため、バッチAIはアナリストとデータサイエンティストの両方にとってアクセス可能です。既に多くの顧客がAI Functionsで成功を収めています。

「AI FunctionsによるバッチAIは、私たちのAIワークフローを効率化しています。大規模なAI推論をシンプルなSQLクエリで統合でき、インフラ管理も不要です。これにより、パイプラインへの直接統合が可能となり、コスト削減と設定負担の軽減が実現します。導入後、従来のETLやデータパイプラインとAI推論ワークロードを組み合わせることで、開発者の生産性が劇的に向上しました。」

— Ian Cadieu, CTO, Altana

顧客サポートのトランスクリプトでAIを実行するのは、これほど簡単です：

顧客サポートのトランスクリプトでAIを実行するのは、これほど簡単です：

最新の改善点を徹底解説！

1. 即時、サーバーレスのバッチAI

これまで、ほとんどのAI Functionsはスループット制限があったり、専用のエンドポイント設定が必要だったため、高スケールでの利用が制限されたり、エンドポイントの管理や運用に追加の負担がかかっていました。

今日から、AI Functionsは完全にサーバーレスになり、どんなスケールでもエンドポイントの設定は不要です！単にai_queryやai_classify、ai_translateのようなタスクベースの関数を呼び出すだけで、テーブルサイズに関係なく即座に推論が実行されます。Foundation Model APIのバッチ推論サービスは、バックグラウンドでリソースのプロビジョニングを自動的に管理し、高いスループットを必要とするジョブのスケーリングを行いながら、予測可能なジョブ完了時間を提供します。

さらにコントロールが必要な場合、ai_query()では特定のLlamaやGTE埋め込みモデルを選択でき、追加モデルのサポートも近日中に提供予定です。その他のモデル、例えばファインチューニングされたLLMや外部LLM（AnthropicやOpenAIなど）、および従来型のAIモデルも、Mosaic AI Model Servingにデプロイすることでai_query()で引き続き使用できます。

2. 10倍速くなったバッチ推論

私たちは、バッチ推論のシステムをすべての層で最適化しました。Foundation Model APIは、はるかに高いスループットを提供し、より速いジョブ完了時間と、Llamaモデルの推論における業界をリードするTCO（総所有コスト）を実現しています。さらに、長時間実行されるバッチ推論ジョブは、システムがジョブに対してインテリジェントにリソースを割り当てることにより、劇的に速くなりました。AI Functionsは、バックエンドのトラフィックを適応的にスケールアップできるため、本番環境での信頼性が確保されています。

これにより、AI Functionsは>10倍速く実行され、場合によっては最大100倍速くなり、処理時間が数時間から数分に短縮されました。これらの最適化は、汎用（ai_query）およびタスク特化型（ai_classify、ai_translate）関数全体に適用され、バッチAIを大規模なワークロードにおいて実用的にしています。

3. 構造化出力で簡単に構造化インサイトを抽出

生成AIモデルは、大量の非構造化データを分析するのに素晴らしい可能性を示しています。私たちは、データの抽出したい部分に対してスキーマを指定できることで多くの企業が利益を得ていることを確認しています。しかし、これまでは、脆弱なプロンプトエンジニアリング技術や、正しい構造の最終的な答えに辿り着くために繰り返しクエリを実行することが一般的でした。

この問題を解決するために、AI Functionsは現在、構造化出力をサポートしており、クエリ内で直接スキーマを定義でき、推論層の技術を使ってモデルの出力がスキーマに準拠するようにしています。この機能により、構造化生成タスクのパフォーマンスが劇的に向上し、企業はそれを本番の消費者向けアプリに導入できるようになりました。一貫したスキーマを使用することで、ユーザーはレスポンスの一貫性を確保し、下流のワークフローへの統合を簡素化できます。

例：研究論文から構造化されたメタデータを抽出する

4. リアルタイムの可視性と信頼性

バッチ推論ジョブの進捗状況を追跡するのが今やずっと簡単になりました。推論の失敗に関するライブ統計を表示し、パフォーマンスの問題や無効なデータを追跡できるようにしました。これらのデータはすべて、クエリプロファイルUIに表示され、リアルタイムの実行状況、処理時間、エラーの可視性を提供します。AI Functionsでは、一時的な失敗を処理する自動リトライ機能を組み込み、fail_on_errorフラグをfalseに設定することで、1つの不正な行がジョブ全体の失敗を引き起こさないようにできます。

5. データインテリジェンスプラットフォーム向けに最適化

AI Functionsは、Databricks Intelligence Platform全体でネイティブに動作します。これには、SQL、ノートブック、DBSQL、AI/BIダッシュボード、AI/BI Genieが含まれ、あらゆるユーザーに、どこでもインテリジェンスを提供します。

Spark Structured StreamingとDelta Live Tables（近日提供予定）を使えば、AI Functionsをカスタムの前処理、後処理ロジック、その他のAI Functionsと統合し、エンドツーエンドのAIバッチパイプラインを構築することができます。

今すぐAI Functionsでバッチ推論を使い始めましょう

バッチAIは今、より簡単で速く、完全に統合されています。今日から試して、AIを活用したエンタープライズ規模のバッチ推論を実現しましょう。

• ドキュメントを参照して、AI関数がDatabricks内のバッチ推論をどのように簡素化するかを確認してください。
• デモを見て、大規模なLLM推論をバッチで実行する手順を確認してください。
• デプロイ方法を学び、大規模なバッチAIパイプラインを本番環境にデプロイする方法を学びます。
• AIエージェントのコンパクトガイドをチェックして、GenAIのROIを最大化する方法を学びましょう。