ゼロからGenAIヒーローへ：HuggingFaceとDatabricksでGenAIアプリを簡単に構築

Databricksは昨年、Databricks Appsを導入し、ユーザーが直接Databricksプラットフォーム上でアプリケーションを作成・デプロイできるツールの組み合わせを完成させました。Databricks Appsを使用すると、開発者はデータとAIのアプリケーションをより迅速に、より安全に、そしてDatabricks Data Intelligence Platformへのシームレスな統合を実現して構築し、起動することができます。人気のフレームワーク、サーバーレスデプロイ、組み込みのガバナンスをサポートするDatabricks Appsは、影響力のあるAIソリューションの開発を簡素化し、加速するように設計されています。

このガイドでは、GenAIとUnity Catalogの力を活用して、ビジネスを変革するカスタムAIアプリケーションを構築し、デプロイする方法をご紹介します。Hugging Faceのモデル、Unity Catalog、Model Serving、Databricks Appsを使用して、プロダクションレディなGenAIアプリケーションを作成し、デプロイするプロセスを順を追って説明します。高度なWebアプリ開発の経験は必要ありません。このチュートリアルの終わりまでには、Unity Catalogのデータの可能性を引き出し、複雑なAIモデルを実用的でビジネス対応のアプリケーションに変換する方法を学ぶことができます。これにより、生産性とイノベーションを推進します。

例として、写真とテキストプロンプトの2つの入力を組み合わせたGenAIアプリケーションを作成しました。生成型AIの力により、アプリケーションはプロンプトに基づいて元の画像を変換し、ユニークでカスタマイズされた視覚的な出力を生成しました。

以下のセクションでは、プロセスをステップバイステップでガイドします：

• Unity Catalog管理のボリュームに画像をロードする
• MLflowを使用してUnity CatalogにHugging Faceモデルを登録する
• モデルをModel Servingでデプロイする
• Databricksアプリの開発とモデルの埋め込み

注意：Databricks Appsは現在パブリックプレビュー中で、まだあなたの地域で利用できないかもしれません。利用可能性については、ここをご覧ください。

例の画像をボリュームにロードします：

Databricksでは、ボリュームはUnity Catalogオブジェクトで、非表形式のデータ（ファイル、画像、ドキュメントなど）の管理されたストレージを提供します。これにより、組織は中央集権的なガバナンスとコントロールを維持しながら、さまざまな種類のデータを安全に保存、アクセス、共有することができます。

例として、Hugging Faceから画像をダウンロードし、画像を操作するので、それをDatabricksのボリュームに保存します：

以下に例の画像を示します：

HuggingFaceからのモデルをUnity CatalogにMLflowで登録します：

まず、プロンプトと入力画像に基づいて画像を生成できるHuggingFaceからモデルを選択する必要があります。Kandinsky 2-2デコーダーモデルを選びましょう (https://huggingface.co/docs/diffusers/en/using-diffusers/img2img#image-to-image)。

次に、MLflowを使用してUnity Catalogにモデルを登録することができます。MLflowのpyfuncフレーバーを使用してカスタムクラスを作成します。これが私たちのモデルラッパーとなります：

私たちは、画像をエンコードおよびデコードするための2つの関数（image_to_base64およびbase64_to_image）をクラスに追加しました。これは、デプロイされたモデルに入力を提出するためにJSONでPIL画像を解析できないため必要です。

私たちのクラスを準備した後、Unityカタログにモデルをログインして登録します。モデルは、パラメータ、プロンプト、画像を含むDataFrameを入力として期待します。以前にアップロードした画像を使用して、ボリュームに入力例を作成しました。

私たちはすでにモデルをUnityカタログに登録しているので、Model Servingを通じた重要なデプロイメントステップに取り組む準備が整いました。次のセクションでは、モデルをリアルタイムの予測リクエストをスケールで処理できる本番環境用のサービスに変換する方法を説明します。

モデルサービングを使用してモデルをデプロイします：

Databricksでのモデルサービングは、マシンラーニングモデルをREST APIとしてデプロイできる完全に管理されたサービスです。これにより、基盤となるインフラストラクチャやスケーリングについて心配することなく、リアルタイムの予測に簡単にアクセスすることができます。詳しくは、このリンクで利用可能なリソースをご覧ください。

Unity Catalogに登録されたモデルをModel Servingでデプロイします：

• 手動で、UIを使用して：Unityカタログでモデルに移動し、「このモデルを提供する」をクリックします
• または、以下のコードに示すようにAPIを介して行うこともできます

モデルサービングエンドポイントのビルドプロセスが開始されます。立ち上がったら、「モデルサービング」セクションに移動し、エンドポイントをクリックして接続詳細を取得します。

次に、Databricks Appsの作成を開始できます。

Databricks Apps development

Databricks Appsは、Databricks Platform内でのウェブアプリケーションの作成とデプロイを簡素化するために設計された新機能です（ドキュメンテーションはこちらをご覧ください）。Databricks Appsを使用すると、実践者はDatabricksに既に存在するデータ、モデル、ガバナンスを活用したアプリケーションを構築でき、別途インフラを管理する必要がありません。Databricks Appsは柔軟性を提供し、Dash、Shiny、Gradio、Streamlit、またはFlaskなど、選択したフレームワークでアプリのフロントエンドを構築できます。

このページに基づいて、Databricksプラットフォームでアプリを作成するには：

1. Databricks PlatformでCompute > Appsに移動します。
2. "アプリを作成"をクリックします。今のところ、詳細設定は空のままにしておきます。このセクションで後ほど入力します。

次に、アプリの環境を設定します：

1. ユーザープロファイルに移動し、アプリの新しいフォルダを作成します。
   • このフォルダには、アプリのコードと追加の依存関係が含まれます。
2. このフォルダに作成します：
   • main.pyという名前のファイル:
     • main.pyで、モデルの提供エンドポイントにアクセスするために、パーソナルアクセストークン（PAT）を使用し、それをDatabricks CLIを通じて作成された"シークレットスコープ"から安全に取得します。これは、それを直接表示するのではなく、安全に取得します。
     • Databricks CLIを使用してシークレットを登録する方法の指示を見つけるには、ここをクリックしてください。
   • A file name requirements.txt:
     • このファイルには、コードが正しく機能するために必要な外部ライブラリやパッケージがリストアップされています。
     • それについての詳細情報は、このリンクで見つけることができます

設定が完了したので、WebAppのコードを作成する作業に進みます。

それでは、アプリケーションの重要なコンポーネントについて詳しく見ていきましょう:

バックエンド：Unityカタログボリュームとのインタラクションの処理

次のコードは、query_image_from_volume()という関数を定義しています。これは、Databricks Volumeから画像ファイルを取得します。これはDatabricks SDKを使用して認証し、画像ファイルをダウンロードし、それをPIL（Python Imaging Library）を使用して開き、RGB形式に変換します。この関数は、認証のためのシークレットトークンを含む必要な環境変数を設定し、画像を取得して処理します。

モデルエンドポイントの統合：AIモデルに予測を問い合わせる

以下では、query_model_endpointという関数を定義しています。この関数は、画像生成のためのモデルエンドポイント（以前にModel Servingでデプロイした）へのリクエストを準備し、送信します。入力画像を取り込み、base64に変換します（なぜなら、PIL画像はJSONで直接シリアライズできないからです）、画像とプロンプトを含むさまざまなパラメータでDataFrameを構築し、このデータをJSONペイロードとしてモデルエンドポイントURLに送信します。最後に、返されたbase64画像データをRGB画像オブジェクトに変換してレスポンスを処理し、アプリで結果を視覚化できるようにします。

モデルのURLは、デプロイされたモデルをクリックすることでModel Serving UIで見つけることができます。

フロントエンド開発：バックエンドの機能とモデルのクエリをユーザーインターフェースに組み込む

このセクションでは、ユーザーの入力に基づいて画像を変換するGenAIアプリのGradioインターフェースを作成します。ロゴ、タイトル、キャラクターの説明のための入力テキストボックス、変換前後の2つの画像表示、変換を実行し入力をクリアするボタンを含むレイアウトを設定します。このインターフェースは、ユーザーの入力を先に定義した関数query_model_endpointに接続し、入力を処理し結果を生成します。これらの結果は、「After」画像コンポーネントに表示されます。

WebAppに画像やログを追加したい場合は、同じディレクトリ内に別のフォルダ（上記のコードでは"static"と呼ばれています）を作成して、画像を保存できます（ここではstatic/DatabricksLogo_full3.pngとして行っています）。

デプロイメント：アプリを起動して動作させる

このコードスニペットは通常、Gradioアプリケーションスクリプトの最後に使用されます。スクリプトが直接実行されているかどうか（モジュールとしてインポートされていない）を確認するために、if __name__ == "__main__": の条件を使用します。trueであれば、demoオブジェクトで定義されたGradioインターフェースを起動します。アプリケーションは最初にローカルホストでデプロイされます。公開URLを通じてアクセス可能にしたい場合は、launch()にshare=Trueを追加する必要があります。

私たちのDatabricksアプリが開発され、デプロイメントの準備が整いました。これにより、私たちのGenAIモデルのための強力でインタラクティブなインターフェースを成功裏に作成しました。しかし、その潜在能力を引き出す前に、重要なアプリ管理の側面である権限を解決する必要があります。

次のセクションでは、Databricksアプリの背後にあるサービスプリンシパルに必要な権限を付与する方法を探ります。これにより、その機能を安全かつ効果的に実行するための適切なアクセスレベルが確保されます。

Databricksアプリの権限:

サービスプリンシパルの名前は、アプリUIの「アプリリソース」セクションで見つけることができます。識別されたら、次の権限をサービスプリンシパルに付与してください：

• パーソナルアクセストークン
  • サービスプリンシパルが登録トークンにアクセスできるように、読み取り可能の権限を付与します
  • このリンクの指示に従って、UIに直接アクセスを許可することができます：
    • 編集をクリックし、詳細設定、リソースタイプ「Secret」、そしてトークンを登録したスコープとシークレットキーを選択します。
    • アプリコードでシークレットを参照するには、名前フィールドの値（この例ではTOKEN）を使用して設定されたキー値を参照し、保存します。
• ボリュームアクセス：
  • READ_VOLUMEの権限を割り当てて、ボリュームに保存された画像へのアクセスを可能にします。
  • Volume UIを通じて:
    • ボリューム上で、Permissionsをクリックし、Grantを選択します
• モデルサービングエンドポイント
  • モデルサービングで以前にデプロイされたモデルにCAN USEの権限を付与します。
  • モデルサービングUIを通じて：
    • モデルのページで、Permissionsをクリックします

WebAppをデプロイするには、WebApp UIに移動してDeployをクリックします。次に、main.pyが格納されているフォルダを選択します。これにより、コードは孤立したコンテナでデプロイされます。アプリケーションの初回デプロイメントには数分かかる場合があります。プロセスが終了し、ステータスインジケーターが「Running」と表示されると、アプリケーションは完全にデプロイされ、操作可能になります。

デプロイが成功すると、Kandinskyモデルを利用したWebアプリケーション内の完全に機能するインタラクティブなユーザーインターフェースにアクセスできます。アプリケーションを起動するには：

1. DatabricksワークスペースのComputeセクションに移動します
2. Locate and click your application name
3. 「Running」ステータスインジケーターを探します
4. 隣のリンクをクリックしてアプリケーションを開きます

これが私たちのDatabricks Appでの例の結果です：

Databricks Appsの開始

示されたように、手順は明確で簡単です。ほとんどの作業はDatabricks Intelligence Platform内で行われ、複雑さと開発時間が大幅に削減されます。このアプローチにより、伝統的なインフラストラクチャ管理の障壁を乗り越えて、モデルをサーバーレスのWebアプリケーションに迅速かつ簡単にデプロイすることができます。

この旅を終えるにあたり、この役立つチュートリアルを見つけていただけたことを願っています。これらの機能をさらに探求し、AIの取り組みをどのように加速できるかを見てみることをお勧めします。このブログの助けを借りて、モデルを微調整することでアプリを次のレベルに引き上げ、さらに特定の要件を満たすためにアプリをパーソナライズすることができます。このカスタマイズにより、組織のニーズに真に合わせたAIソリューションを作成することができ、ビジネスプロセスを革新し、イノベーションを推進する可能性があります。

あなた自身のGenAIウェブアプリの構築に成功を祈り、あなたが作成する素晴らしいGenAIウェブアプリを楽しみにしています！