Unity CatalogのPythonユーザー定義関数（UC Python UDF）は、現代のデータウェアハウスにおいてますます活用されており、毎日何百万ものクエリが世界中の数千の組織 で実行されています。これらの関数を使うことで、クラスター、SQLウェアハウス、DLTなど、Unity Catalog対応のあらゆるコンピュート環境からPythonの力を最大限に活用できます。
このたび、UC Python UDFの機能がさらに強化され、以下の新機能がAWS、Azure、GCP上のPublic Previewとして利用可能になりました。対象は、Databricks Runtime 16.3を使用するUnity Catalogクラスター、バージョン2025.15のSQLウェアハウス、サーバレスのノートブックおよびワークフローです：
-
Unity Catalog Volumesや外部ソースからインストール可能なカスタムPython依存パッケージのサポート
-
柔軟性とパフォーマンスを向上させるバッチ入力モード
-
Unity Catalogのサービスクレデンシャルを用いた外部クラウドサービスへのセキュアなアクセス
これらの機能により、SQLから直接データや外部システムと連携する新たな可能性が開かれます。以下では、それぞれの機能について詳細と具体例をご紹介します。
UC Python UDFでのカスタム依存関係の使用
ユーザーは、UC Python UDF内でカスタムのPython依存パッケージをインストールして利用できるようになりました。PyPI、Unity Catalog Volumes、Blobストレージなどからパッケージを取得可能です。
以下の例では、PyPIから pycryptodome をインストールし、SHA3-256ハッシュを返す関数を定義しています。
この機能を使用すると、安定したPython環境を定義し、定型的なコードを避け、UC Python UDFの機能をセッションベースのPySpark UDFに近づけることができます。Databricks Runtime 16.3から、SQLウェアハウス、サーバーレスのノートブックとワークフローで依存関係のインストールが可能になりました。
バッチ対応 UC Python UDF のご紹介
UC Python UDFでは、関数がデータのバッチ単位で処理できるようになりました。これは、PySparkのベクトル化されたPython UDFと同様の仕組みです。新しい関数インターフェースにより、柔軟性が高まり、以下のような利点があります：
-
バッチ 実行により柔軟性が向上：UDFはバッチ間で状態を保持できるため、初期化のような高コストの処理を一度だけ実行できます
-
pandasシリーズ上でのベクトル化処理を活用することで、1行ずつ処理する従来の方式と比べてパフォーマンスが向上
-
クラウドサービスへのAPIコールも効率化：以下の例のように、データをまとめて送信することで、1行ごとの呼び出しよりもコスト効率が良くなります
バッチ対応のUC Python UDFは、AWS、Azure、GCP上で利用可能で、「Pandas UDF」あるいは「ベクトル化Python UDF」とも呼ばれます。これらは、PARAMETER STYLE PANDAS を指定し、呼び出す関数名を HANDLER として定義することで使用できます。
ハンドラー関数は、pandasのSeriesのイテレータを受け取るPython関数で、各Seriesがひとつのバッチを表します。このハンドラー関数は pandas_udf APIと互換性があります。
以下の例では、起動時にダウンロードしたJSON形式のマッピングを使い、州ごとの人口を計算するUDFを示しています。
Unity Catalog Service Credentialのアクセス
ユーザーは、バッチ対応のUC Python UDF で Unity Catalogサービスの資格情報を活用し、外部クラウドサービスへ効率的かつ安全にアクセスできるようになりました。これにより、SQLから直接クラウドサービスとやり取りすることが可能になります。
UCサービスクレデンシャル はUnity Catalogで管理されるオブジェクトであり、キーバリューストア、鍵管理サービス、クラウド関数など、あらゆるクラウドサービスへのアクセスを提供できます。主要なクラウド（AWS、Azure、GCP）で利用可能で、現在はバッチ対応UC Python UDFからアクセス可能です。通常のUC Python UDFでの対応も今後予定されています。
サービスクレデンシャルは、UDF定義時に CREDENTIALS 句を指定することで、バッチ対応UC Python UDFで使用できます（AWS、Azure、GCP対応）
例：バッチ対応 UC Python UDF からクラウド関数を呼び出す
以下の例では、バッチ対応UC Python UDFからクラウド関数を呼び出します。この仕組みにより、既存の関数とシームレスに統合でき、どんなベースコンテナやプログラミング言語、実行環境でも利用可能です。
Unity Catalog を使うことで、サービスクレデンシャルおよびUDFオブジェクトの両方に対して効果的なガバナンスを実現できます。
上の図では、Alice がUDFの所有者かつ定義者です。AliceはこのUDFに対して、BobにEXECUTE権限を付与できます。BobがUDFを呼び出した際、Unity Catalog LakeguardがUDFをAliceのサービスクレデンシャルの権限で実行しますが、Bobがそのクレデンシャルに直接アクセスすることはできません。つまり、UDFは定義者の権限でクレデンシャルにアクセスする仕組みです。
主要な3つのクラウドすべてに対応していますが、この例ではAWSを対象に説明します。以下では、Lambda関数を作成して呼び出す手順を紹介します。
UCサービスクレデンシャルの作成
前提として、Lambda関数を実行するための適切な権限を持つUCサービスクレデンシャルを作成する必要があります。ここでは mycredential というサービスクレデンシャルを作成する手順に従います。
また、作成したロールに対して AWSLambdaRoleポリシーを付与し、Lambda関数の実行を許可します。
Lambda関数の作成
次に、AWSのUIからLambda関数を作成します。今回の例では、HashValuesFunctionNode という関数を Node.js 20.x ランタイムで実行し、入力データのハッシュを計算します。
バッチ対応 UC Python UDF から Lambda を呼び出す
3つ目のステップでは、Lambda 関数を呼び出すバッチ対応 UC Python UDF を作成します。
以下のUDFでは、CREDENTIALS 句でサービスクレデンシャルを指定することで、関数内でそれを利用できるようにしています。このUDFは、各バッチに対して Lambda 関数を呼び出します。データを1行ずつではなくバッチ単位でクラウド関数に渡すことで、コスト効率が向上する場合があります。
また、この例では Sparkの TaskContext から実行ユーザーの名前を取得してLambdaに渡す方法 も示しています。これにより、実行者の追跡（アトリビューション）などに活用できます。
さっそく始めましょう
Unity Catalogで提供される拡張版Python UDFのパブリックプレビューをぜひお試しください。
カスタム依存パッケージのインストール、バッチ入力モードの活用、UCサービスクレデンシャルの利用など、強化された機能を体験できます！
また、6月9日〜12日にサンフランシスコのモスコーニセンターで開催される Data + AI Summit にて、UC ComputeおよびSparkのプロダクト・エンジニアリングチームが登壇予定です。
データとAIのガバナンス・セキュリティに関する最新イノベーションを、いち早くご覧いただけます。
今すぐ登録して、参加の機会をお見逃しなく！
