Pythonのユーザー定義テーブル関数(UDTFs)とは何か？
によって アリソン・ワン, Daniel Tenedorio, 植品拓也 、 アラン・フォルティング による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
Apache Spark™ 3.5とDatabricks Runtime 14.0は、エキサイティングな機能をもたらした：Pythonのユーザー定義テーブル関数（UDTFs）です。 このブログでは、UDTFとは何か、なぜUDTFは強力なのか、そしてどのようにUDTFを使うことができるのかについて説明する。
Pythonのユーザー定義テーブル関数（UDTF）は、単一のスカラー値ではなく、テーブル（複数行・列）を返す新しい種類の関数です。 一度登録されると、SQL クエリのFROM句に登場させることができる。
各Python UDTFは0個以上の引数を受け入れ、各引数は整数や文字列のような定数スカラー値である。 関数本体は、これらの引数の値を調べて、どのデータを返すべきかを決定することができる。
要するに、複数の行や列を生成する関数が必要で、Pythonの豊富なエコシステムを活用したいのであれば、Python UDTFが適しているということです。
SparkのPython UDFは、それぞれ0個以上のスカラー値を入力として受け入れ、単一の値を出力として返すように設計されているが、UDTFはより柔軟性がある。 これらは複数の行や列を返すことができ、UDFの機能を拡張する。
SQLのUDTFは効率的で汎用性が高いが、Pythonはより豊富なライブラリとツールを提供している。 高度な技術を必要とする変換や計算（統計関数や機械学習の推論など）には、Pythonが際立っている。
基本的なPythonのUDTFを見てみよう：
上のコードでは、入力として2つの整数を受け取り、出力として2つの列（元の数とその2乗）を生成する単純なUDTFを作成した。
UDTFを実装する最初のステップは、クラスを定義することである。
次に、UDTFのevalメソッドを実装する必要がある。 これは計算を行い行を返すメソッドで、関数の入力引数を定義する。
Python UDTFでは、結果が正しく処理されるように、戻り値の型はタプルか行オブジェクトである必要があります。
最後に、クラスを UDTF としてマークするには、@udtfデコレーターを使用して UDTF の戻り値の型を定義します。 戻り値の型は、ブロック書式を持つStructTypeか、Sparkでブロック書式を持つStructTypeを表すDDL文字列でなければならないことに注意してください。
クラス名を使ってUDTFを直接呼び出すことができる。
まず、Python UDTFを登録する：
そして、SQLでクエリのFROM句の中でテーブル値関数として使うことができる：
Apache Arrowは、JavaとPythonのプロセス間で効率的なデータ転送を可能にする、インメモリーのカラム型データフォーマットである。 UDTFが多くの行を出力する場合、パフォーマンスを大幅に向上させることができる。 矢印の最適化はuseArrow=Trueで有効にできます。
上記の例は基本的なものだと感じるかもしれない。 PythonのUDTFとLangChainを統合する楽しい例で、さらに深く掘り下げてみよう。
これでUDTFを呼び出すことができる：
複 雑なデータ変換やデータセットの拡充、新しい分析方法の探索などにおいて、Python UDTFはツールキットに加える価値のある機能です。 このノートブックを試してみて ください。
この機能はPython UDTFプラットフォームの始まりに過ぎない。 Apache Sparkでは現在、さらに多くの機能が開発中で、将来のリリースで利用可能になる予定だ。 例えば、「サポート」が可能になる：
ブログを購読して、最新の投稿を受信トレイにお届けします。