DatabricksのSQLでオープンなJevを実行する

週末にかけて、Jevなどの「システム1」意思決定モデルがリリースされました。これらは、離散的な選択肢のセットから適切に調整された意思決定を下すことができる、成長中の基盤モデルのクラスです。これらのモデルは通常、非常に高速かつ安価であり、大規模なデータに対する幅広いアプリケーションを可能にします。潜在的なユースケースは、カスタマーサポートのトランスクリプトの分析から、データ全体にわたる複雑な意思決定の大規模な適用まで多岐にわたります。

オープンソースコミュニティも、Smelf-open-jevからLaya、Kevに至るまで、これらの意思決定モデルのオープンウェイト版のリリースで賑わっています。しかし、これらのモデルの真の力は、大量のデータにアクセスできて初めて発揮されます。本日、Databricks上でオープンウェイトの意思決定モデルをサービングし、ガバナンスされたデータ上で直接実行する方法をご紹介できることを嬉しく思います。これらのモデルには、SQLコンソールや、Lakeflow内の本番ジョブから、ai_queryを介して直接アクセスすることも可能です。さらに、AI Runtimeなどの製品を使用すると、これらのモデルをカスタマイズまたは事後学習させて、特定の企業のコンテキストに適合させることができます。

この投稿では、このようなモデルである SemIf-OpenJevをDatabricksで直接使用して、ホテルのレビューを「良い」か「悪い」かに分類する方法を紹介します。

ノートブックからエンドポイントへ

このワークフローを、インポート可能なDatabricksノートブックにパッケージ化しました。

開始するには、次の3つのステップを実行します。

1. モデル名/スキーマを選択する
2. Serverless GPUを選択する
3. Run Allをクリックする

このノートブックはDatabricks AI Runtimeを使用して、GPUインフラストラクチャのセットアップや管理を必要とせずに、サーバーレスでオンデマンドのGPUコンピューティングを提供します。

そこから、以下の処理が行われます。

• SemIf-OpenJevのモデルファイルをダウンロードします。
• Express Deploymentsを使用してモデルを記録および登録します。
• GPU Model Servingエンドポイントを自動的に作成します。

この時点で、オープンソースの分類器がマネージドエンドポイントの背後で実行され、アプリケーションから、またはSQLから直接呼び出すことができるようになります。

ai_queryを使用してSQLからモデルを呼び出す

このセットアップの便利な点の1つは、エンドポイントが標準的なchat-completionsインターフェースを公開する必要がないことです。

Databricksの ai_queryは任意のカスタムモデルAPIをサポートしているため、SemIfの構造化されたリクエスト形式をSQLから直接送信できます。

例えば：

これで、Databricksにすでに保存されているレビューにモデルを適用し、選択された分類と選択肢の確率を構造化された列として取得できます。

始めましょう

意思決定モデルは急速に進化しており、SemIf-OpenJevのようなオープンソースの実装により、このパターンを自身で簡単に試すことができます。

ノートブックをDatabricksワークスペースに直接インポートし、Serverless GPUを選択して、Run Allをクリックして開始します。そこから、ご自身のデータで試したり、独自の意思決定基準に入れ替えたりして、このパターンがアプリケーションのどこに適しているかを確認してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事