Unity Catalog Python UDF新機能のサポートを発表

Unity Catalog Pythonユーザー定義関数（UC Python UDF）は、現代のデータウェアハウスでますます使用され、毎日何百万ものクエリが数千の組織で実行されています。ユーザーは、これらの関数を用いて、Unity Catalogが有効になっている任意のコンピュート（クラスタ、SQLウェアハウス、DLTを含む）からPythonの全機能を活用できます。

UC Python UDFのいくつかの強化機能を発表できることを嬉しく思います。これらは現在、AWS、Azure、GCPでパブリックプレビューのステータスで、Databricks Runtime 16.3、SQLウェアハウス（2025.15）、サーバーレスのノートブックとワークフローで利用可能です。

• Unity Catalog Volumesまたは外部ソースからインストールされたカスタムPython依存関係のサポート
• バッチ入力モードを提供し、柔軟性とパフォーマンスを向上
• Unity Catalog Service Credentialsを使用して、外部のクラウドサービスへの安全なアクセスを確保

これらの機能は、SQLから直接データや外部システムを操作する新たな可能性を開きます。以下では、詳細と例を説明します。

UC Python UDFでカスタム依存関係を使用する

ユーザーは、UC Python UDFでカスタムPython依存関係をインストールして使用することができるようになりました。これらのパッケージはPyPI、Unity Catalog Volumes、およびBlobストレージからインストールできます。以下の例の関数は、PyPIからpycryptodomeをインストールしてSHA3-256ハッシュを返します：

この機能を使用すると、安定したPython環境を定義し、定型的なコードを避け、UC Python UDFの機能をセッションベースのPySpark UDFに近づけることができます。Databricks Runtime 16.3から、SQLウェアハウス、サーバーレスのノートブックとワークフローで依存関係のインストールが可能になりました。

バッチUC Python UDFの紹介

UC Python UDFは、PySparkのベクトル化されたPython UDFと同様に、データのバッチで操作することができるようになりました。新しい関数インターフェースは柔軟性を向上させ、いくつかの利点を提供します：

• バッチ実行は、ユーザーにより柔軟性を提供します：UDFはバッチ間で状態を保持でき、つまり、起動時に一度だけ高価な初期化作業を実行できます。
• pandasシリーズ上のベクトル化された操作を活用するUDFは、行ごとの実行と比較してパフォーマンスを向上させることができます。
• 下記のクラウド関数呼び出しの例に示すように、バッチデータをクラウドサービスに送信する方が、一行ずつ呼び出すよりもコスト効率が良い場合があります。

バッチUC Python UDFは、AWS、Azure、GCPで利用可能で、Pandas UDFまたはVectorized Python UDFとも呼ばれます。これらは、UC Python UDFにPARAMETER STYLE PANDASをマークし、名前で呼び出されるHANDLER関数を指定することで導入されます。ハンドラ関数は、Python関数で、各pandas Seriesが1つのバッチに対応するpandas Seriesのイテレータを受け取ります。ハンドラ関数は、pandas_udf APIと互換性があります。

例として、起動時にダウンロードしたJSONオブジェクトマッピングに基づいて、州ごとの人口を計算する以下のUDFを考えてみましょう:

Unity Catalog Service Credentialのアクセス

ユーザーは現在、Unity Catalogサービスの資格情報をBatch UC Python UDFで効率的かつ安全に外部クラウドサービスにアクセスするために活用できます。この機能により、ユーザーはSQLから直接クラウドサービスと対話することができます。

UCサービスの資格情報はUnity Catalog内で管理されるオブジェクトです。キーバリューストア、キーマネジメントサービス、クラウド関数など、任意のクラウドサービスへのアクセスを提供できます。UCサービスクレデンシャルは、すべての主要なクラウドで利用可能で、現在はBatch UC Python UDFからアクセスできます。通常のUC Python UDFのサポートは将来的に追加される予定です。

サービスクレデンシャルは、UDF定義のCREDENTIALS節を使用してBatch UC Python UDFに利用可能です(AWS、Azure、GCP)。

例：Batch UC Python UDFからクラウド関数を呼び出す

私たちの例では、Batch UC Python UDFからクラウド関数を呼び出します。この機能により、既存の関数とのシームレスな統合が可能になり、任意のベースコンテナ、プログラミング言語、環境を使用できます。

Unity Catalogを使用すると、Service CredentialとUDFオブジェクトの両方の効果的なガバナンスを実装することができます。上の図では、AliceがUDFの所有者および定義者です。AliceはUDFのEXECUTE権限をBobに付与することができます。BobがUDFを呼び出すと、Unity Catalog LakeguardはAliceのサービスクレデンシャルの権限でUDFを実行し、Bobが直接サービスクレデンシャルにアクセスできないようにします。UDFは、定義ユーザーの権限を使用してクレデンシャルにアクセスします。

3つの主要なクラウドすべてがサポートされていますが、この例ではAWSに焦点を当てます。次に、Lambda関数を作成し、呼び出す手順を説明します。

UCサービスクレデンシャルの作成

前提条件として、Lambda関数を実行するための適切な権限を持つUCサービス資格情報を設定する必要があります。これには、サービス資格情報を設定するための指示に従い、mycredentialという名前のサービス資格情報を作成します。さらに、AWSLambdaRoleポリシーを添付して、ロールが関数を呼び出すことを許可します。

Lambda関数の作成

二つ目のステップでは、AWS UIを通じてAWS Lambda関数を作成します。私たちの例であるLambda HashValuesFunctionNodeはnodejs20.xで実行されます。そして、その入力データのハッシュを計算します：

Batch UC Python UDFからLambdaを呼び出す

三つ目のステップでは、Lambda関数を呼び出すBatch UC Python UDFを書くことができます。下記のUDFでは、CREDENTIALS節でサービスクレデンシャルを指定することで利用可能にしています。UDFは、各入力バッチごとにLambda関数を呼び出し、一括データのクラウド関数を呼び出すことは、行ごとに呼び出すよりもコスト効率が良い場合があります。この例では、SparkのTaskContextからLambda関数に呼び出しユーザーの名前を転送する方法も示しています。これは、帰属のために役立つ可能性があります：

無料トライアル

Unity CatalogのEnhanced Python UDFのパブリックプレビューを試してみてください - 依存関係をインストールする、バッチ入力モードを活用する、またはUCサービス資格情報を使用するために！

UC ComputeとSpark製品およびエンジニアリングチームに参加し、6月9日から12日までサンフランシスコのMoscone Centerで開催されるData + AI Summitに参加しましょう！データとAIガバナンス、セキュリティの最新の革新を一足先にご覧ください。今すぐ登録してスポットを確保しましょう！