Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
Unity CatalogのPythonユーザー定義関数（UC Python UDF）は、現代のデータウェアハウスにおいてますます活用されており、毎日何百万ものクエリが世界中の数千の組織で実行されています。これらの関数を使うことで、クラスター、SQLウェアハウス、DLTなど、Unity Catalog対応のあらゆるコンピュート環境からPythonの力を最大限に活用できます。
このたび、UC Python UDFの機能がさらに強化され、以下の新機能がAWS、Azure、GCP上のPublic Previewとして利用可能になりました。対象は、Databricks Runtime 16.3を使用するUnity Catalogクラスター、バージョン2025.15 のSQLウェアハウス、サーバレスのノートブックおよびワークフローです：
Unity Catalog Volumesや外部ソースからインストール可能なカスタムPython依存パッケージのサポート
柔軟性とパフォーマンスを向上させるバッチ入力モード
Unity Catalogのサービスクレデンシャルを用いた外部クラウドサービスへのセキュアなアクセス
これらの機能により、SQLから直接データや外部システムと連携する新たな可能性が開かれます。以下では、それぞれの機能について詳細と具体例をご紹介します。
UC Python UDFでのカスタム依存関係の使用 ユーザーは、UC Python UDF内でカスタムのPython依存パッケージをインストールして利用できるようになりました。PyPI、Unity Catalog Volumes 、Blobストレージなどからパッケージを取得可能です。
以下の例では、PyPIから pycryptodome をインストールし、SHA3-256ハッシュを返す関数を定義しています。
この機能を使用すると、安定したPython環境を定義し、定型的なコードを避け、UC Python UDFの機能をセッションベースのPySpark UDFに近づけることができます。Databricks Runtime 16.3から、SQLウェアハウス、サーバーレスのノートブックとワークフローで依存関係のインストールが可能になりました。
バッチ対応 UC Python UDF のご紹介 UC Python UDFでは、関数がデータのバッチ単位で処理できるようになりました。これは、PySparkのベクトル化されたPython UDF と同様の仕組みです。新しい関数インターフェースにより、柔軟性が高まり、以下のような利点があります：
バッチ実行により柔軟性が向上 ：UDFはバッチ間で状態を保持できるため、初期化のような高コストの処理を一度だけ実行できます
pandasシリーズ上でのベクトル化処理 を活用することで、1行ずつ処理する従来の方式と比べてパフォーマンスが向上
クラウドサービスへのAPIコールも効率化 ：以下の例のように、データをまとめて送信することで、1行ごとの呼び出しよりもコスト効率が良くなります
バッチ対応のUC Python UDFは、AWS 、Azure 、GCP 上で利用可能で、「Pandas UDF」あるいは「ベクトル化Python UDF」とも呼ばれます。これらは、PARAMETER STYLE PANDAS を指定し、呼び出す関数名を HANDLER として定義することで使用できます。
ハンドラー関数は、pandasのSeriesのイテレータを受け取るPython関数で、各Seriesがひとつのバッチを表します。このハンドラー関数は pandas_udf APIと互換性があります。
以下の例では、起動時にダウンロードしたJSON形式のマッピングを使い、州ごとの人口を計算するUDFを示しています。
Unity Catalog Service Credentialのアクセス ユーザーは、バッチ対応のUC Python UDF で Unity Catalogサービスの資格情報 を活用し、外部クラウドサービスへ効率的かつ安全にアクセスできるようになりました。これにより、SQLから直接クラウドサービスとやり取りすることが可能になります。
UCサービスクレデンシャル はUnity Catalogで管理されるオブジェクトであり、キーバリューストア、鍵管理サービス、クラウド関数など、あらゆるクラウドサービスへのアクセスを提供できます。主要なクラウド（AWS、Azure、GCP）で利用可能で、現在はバッチ対応UC Python UDF からアクセス可能です。通常のUC Python UDFでの対応も今後予定されています。
サービスクレデンシャルは、UDF定義時に CREDENTIALS 句を指定することで、バッチ対応UC Python UDFで使用できます（AWS 、Azure 、GCP 対応）
例：バッチ対応 UC Python UDF からクラウド関数を呼び出す 以下の例では、バッチ対応UC Python UDFからクラウド関数を呼び出します。この仕組みにより、既存の関数とシームレスに統合でき、どんなベースコンテナやプログラミング言語、実行環境でも利用可能です。
Unity Catalog を使うことで、サービスクレデンシャル およびUDFオブジェクト の両方に対して効果的なガバナンスを実現できます。
上の図では、Alice がUDFの所有者かつ定義者です。AliceはこのUDFに対して、BobにEXECUTE権限 を付与できます。BobがUDFを呼び出した際、Unity Catalog Lakeguard がUDFをAliceのサービスクレデンシャルの権限で実行しますが、Bobがそのクレデンシャルに直接アクセスすることはできません 。つまり、UDFは定義者の権限 でクレデンシャルにアクセスする仕組みです。
主要な3つのクラウドすべてに対応していますが、この例ではAWS を対象に説明します。以下では、Lambda関数を作成して呼び出す手順を紹介します。
UCサービスクレデンシャルの作成 前提として、Lambda関数を実行するための適切な権限を持つUC サービス クレデンシャル を作成する必要があります。ここでは mycredential というサービスクレデンシャルを作成する手順に従います。
また、作成したロールに対して AWSLambdaRoleポリシー を付与し、Lambda関数の実行を許可します。
Lambda関数の作成 次に、AWSのUIからLambda関数 を作成します。今回の例では、HashValuesFunctionNode という関数を Node.js 20.x ランタイムで実行し、入力データのハッシュを計算します。
バッチ対応 UC Python UDF から Lambda を呼び出す 3つ目のステップでは、Lambda 関数を呼び出すバッチ対応 UC Python UDF を作成します。
以下のUDFでは、CREDENTIALS 句でサービスクレデンシャルを指定することで、関数内でそれを利用できるようにしています。このUDFは、各バッチに対して Lambda 関数を呼び出します。データを1行ずつではなくバッチ単位でクラウド関数に渡すことで、コスト効率が向上する 場合があります。
また、この例では Sparkの TaskContext から実行ユーザーの名前を取得してLambdaに渡す方法 も示しています。これにより、実行者の追跡（アトリビューション）などに活用できます。
さっそく始めましょう Unity Catalogで提供される拡張版Python UDFのパブリックプレビュー をぜひお試しください。
また、6月9日〜12日にサンフランシスコのモスコーニセンターで開催される Data + AI Summit にて、UC ComputeおよびSparkのプロダクト・エンジニアリングチーム が登壇予定です。
今すぐ登録 して、参加の機会をお見逃しなく！
