Apache Spark 4.0は、Spark分析エンジンの進化における重要な節目となるリリースです。このバージョンでは、SQLの言語機能強化から接続性の拡大、新しいPython機能、ストリーミング処理の改善、使いやすさの向上まで、幅広い分野で大きな進歩がありました。Spark 4.0は、既存のSparkワークロードとの互換性を維持しながら、これまで以上に強力でANSI準拠、そしてユーザーフレンドリーになるように設計されています。この記事では、Spark 4.0で導入された主な機能と改善点、そしてそれらがビッグデータ処理体験をどのように向上させるかを説明します。

Spark 4.0の主な特徴：

SQLの言語機能強化：セッション変数やフロー制御を使ったSQLスクリプティング、再利用可能なSQLユーザー定義関数（UDF）、複雑な分析ワークフローを効率化し簡素化する直感的なPIPE構文など、新しい機能が追加されました。

Spark Connectの強化：Sparkの新しいクライアント・サーバーアーキテクチャであるSpark ConnectはSpark 4.0で従来のSpark Classicとほぼ同等の機能を実現しました。このリリースでは、PythonとScalaの互換性向上、複数言語のサポート（Go, Swift, Rust向けの新クライアント）、新しいspark.api.mode設定による簡単な移行パスが追加されています。開発者はSpark ClassicからSpark Connectへシームレスに切り替えて、より柔軟でスケーラブルなアーキテクチャの利点を活用できます。

信頼性と生産性の向上：デフォルトで有効になったANSI SQLモードにより、より厳格なデータ整合性と相互運用性が確保されます。また、半構造化JSONデータを効率的に処理するためのVARIANTデータ型や、監視性向上とトラブルシューティングを容易にする構造化JSONログ機能も追加されました。

Python APIの進化：PySpark DataFrameで直接使えるPlotlyベースのネイティブ描画機能、カスタムPythonバッチ＆ストリーミングコネクタを可能にするPythonデータソースAPI、動的スキーマをサポートする多形式Python UDTFによる柔軟性の向上が実現しました。

構造化ストリーミングの進化：Scala、Java、Pythonで利用可能な新しい任意状態処理API「transformWithState」により、堅牢で耐障害性のあるカスタム状態処理ロジックが実現。また、状態ストアの使いやすさ改善や、デバッグと監視を向上させる新しい状態ストアデータソースも追加されました。

以下のセクションでは、これらの魅力的な機能についてさらに詳しく説明し、最後に関連するJIRAの取り組みや詳細なブログ記事へのリンクを提供します。Spark 4.0は、Sparkの使い慣れた特性と現代のデータエンジニアリングニーズに対応する新機能を組み合わせた、堅牢で将来を見据えた大規模データ処理プラットフォームを表しています。

Spark Connectの大幅な改善

Spark 4.0における最も注目すべき更新の一つは、Spark Connect全体の改善、特にScalaクライアントの強化です。Spark 4では、すべてのSpark SQL機能において、Spark ConnectとClassic実行モードの間でほぼ完全な互換性が実現し、わずかな違いしか残っていません。Spark Connectは、ユーザーアプリケーションをSparkクラスターから切り離す新しいクライアント・サーバーアーキテクチャであり、4.0ではこれまで以上に強力になりました：

互換性の向上：Spark 4におけるSpark Connectの大きな成果は、PythonとScala APIの互換性が向上したことで、Spark ClassicとSpark Connectの間の切り替えがシームレスになったことです。これは、ほとんどのユースケースでは、アプリケーションでSpark Connectを有効にするために必要なのは、spark.api.modeをconnectに設定するだけということを意味します。Sparkの強力なクエリ最適化と実行エンジンの恩恵を最大限に受けるために、新しいジョブやアプリケーションの開発を始める際には、Spark Connectを有効にすることをお勧めします。

多言語サポート：Spark 4.0のSpark Connectは、幅広い言語と環境をサポートしています。PythonとScalaのクライアントは完全にサポートされており、また、Go、Swift、Rustのための新しいコミュニティサポートのコネクトクライアントも利用可能です。この多言語サポートにより、開発者はConnect APIを通じて、JVMエコシステムの外でも、自分の選択した言語でSparkを使用できるようになりました。例えば、Rustのデータエンジニアリングアプリケーションや、Goのサービスが、直接Sparkクラスターに接続してDataFrameクエリを実行できるようになり、Sparkの活用範囲が従来のユーザーベースを超えて拡大しています。

SQL 言語の新機能

Spark 4.0はデータ分析を簡素化するための新機能を追加しています：

SQLユーザー定義関数（UDF） – Spark 4.0ではSQL UDFが導入され、ユーザーが再利用可能なカスタム関数を直接SQLで定義できるようになりました。これらの関数は複雑なロジックを簡素化し、保守性を向上させ、Sparkのクエリオプティマイザーとシームレスに連携することで、従来のコードベースUDFと比較してクエリパフォーマンスを向上させます。SQL UDFは一時的および永続的な定義をサポートしており、チームが複数のクエリやアプリケーション間で共通のロジックを共有することが容易になります。[Read the blog post]

SQL PIPE構文 – Spark 4.0では新しいPIPE構文が導入され、ユーザーは|>演算子を使ってSQL操作を連鎖させることができます。この関数型スタイルのアプローチにより、変換の流れを直線的に表現できるため、クエリの読みやすさと保守性が向上します。PIPE構文は既存のSQLと完全に互換性があり、現在のワークフローへの段階的な導入と統合が可能です。[Read the blog post]

言語、アクセント、大文字小文字を考慮した照合 - Spark 4.0では、STRING型に対する新しいCOLLATEプロパティが導入されました。多くの言語や地域に対応した照合順序から選択して、Sparkが順序や比較をどのように決定するかを制御できます。また、照合が大文字小文字、アクセント、末尾の空白に対して区別するかどうかも設定できます。[Read the blog post]

セッション変数 - Spark 4.0ではセッションローカル変数が導入され、ホスト言語の変数を使わずにセッション内で状態を保持・管理できるようになりました。[Read the blog post]

パラメーターマーカー - Spark 4.0では、名前付き（":var"）と名前なし（"?"）スタイルのパラメーターマーカーが導入されました。この機能によりクエリをパラメーター化し、spark.sql() APIを通じて安全に値を渡すことができます。これによりSQLインジェクションのリスクが軽減されます。[See documentation]

SQLスクリプティング - Spark 4.0では、新しいSQLスクリプティング機能のおかげで、複数ステップのSQLワークフローの作成が容易になりました。ローカル変数やフロー制御などの機能を持つ複数文のSQLスクリプトを実行できるようになりました。この強化により、データエンジニアはETLロジックの一部を純粋なSQLに移行でき、Spark 4.0では以前は外部言語やストアドプロシージャでしか実現できなかった構造がサポートされています。この機能は今後、エラー条件処理によってさらに改善される予定です。[Read the blog post

データの整合性と開発者の生産性

Spark 4.0では、プラットフォームをより信頼性が高く、標準に準拠し、使いやすくする複数の更新が導入されています。これらの改善点は開発と本番環境のワークフローの両方を効率化し、より高いデータ品質と迅速なトラブルシューティングを実現します。

ANSI SQLモード：Spark 4.0における最も重要な変更の一つは、デフォルトでANSI SQLモードを有効にしたことです。これによりSparkが標準的なSQLの意味論により近づきました。この変更により、数値オーバーフローやゼロ除算など、以前は静かに切り捨てられたりnullになったりしていた操作に対して、明示的なエラーメッセージを提供することで、より厳格なデータ処理が保証されます。さらに、ANSI SQL標準に準拠することで相互運用性が大幅に向上し、他のシステムからのSQLワークロードの移行が簡素化され、広範なクエリの書き直しやチームの再トレーニングの必要性が減少します。全体として、この進歩はより明確で信頼性が高く、移植可能なデータワークフローを促進します。[See documentation]

新しいVARIANTデータ型：Apache Spark 4.0では、半構造化データ専用の新しいVARIANTデータ型が導入されました。これにより、複雑なJSONやマップのような構造を単一の列内に格納しながら、ネストされたフィールドを効率的にクエリする能力を維持できます。この強力な機能は大幅なスキーマの柔軟性を提供し、事前定義されたスキーマに準拠しないデータの取り込みと管理を容易にします。さらに、SparkのJSONフィールドの組み込みインデックス作成と解析により、クエリのパフォーマンスが向上し、高速な検索と変換が容易になります。繰り返しのスキーマ進化ステップの必要性を最小限に抑えることで、VARIANTはETLパイプラインを簡素化し、より合理化されたデータ処理ワークフローをもたらします。[Read the blog post]

構造化ログ記録：Spark 4.0は、デバッグとモニタリングを簡素化する新しい構造化ログ記録フレームワークを導入しています。spark.log.structuredLogging.enabled=trueを有効にすることで、Sparkはタイムスタンプ、ログレベル、メッセージ、完全なマップド診断コンテキスト（MDC）コンテキストなどの構造化フィールドを含む各エントリをJSON行として書き込みます。この現代的な形式により、Spark SQL、ELK、Splunkなどの監視ツールとの統合が簡素化され、ログの解析、検索、分析が格段に容易になります。 [Learn more]

Python APIの進化

Python利用者はSpark 4.0で多くの喜ばしい進化を体験できます。このリリースはSparkをよりPythonらしくし、PySparkワークロードのパフォーマンスを向上させています：

ネイティブプロット機能：PySparkでのデータ探索がより簡単になりました – Spark 4.0はPySparkデータフレームにネイティブのグラフ描画機能を追加しました。データをpandasに手動で集める必要なく、データフレームで.plot()メソッドを呼び出したり、関連APIを使用したりして、Sparkデータから直接チャートを生成できるようになりました。内部では、SparkはデフォルトのビジュアライゼーションバックエンドとしてPlotlyを使用してチャートを描画します。これにより、ヒストグラムや散布図などの一般的なグラフタイプがPySparkデータフレームで1行のコードで作成でき、Sparkがノートブックやグラフィカルインターフェースでプロットするためのデータのサンプルや集計を処理します。ネイティブプロット機能をサポートすることで、Spark 4.0は探索的データ分析を効率化します – Sparkのコンテキストを離れたり、別途matplotlib/plotlyコードを書いたりすることなく、データセットの分布やトレンドを視覚化できます。この機能は、PySparkを使用してEDA（探索的データ分析）を行うデータサイエンティストにとって生産性の大きな向上をもたらします。

Pythonデータソース API：Spark 4.0は、開発者がバッチ処理とストリーミング用のカスタムデータソースを完全にPythonで実装できる新しいPythonデータソースAPIを導入しています。以前は、新しいファイル形式、データベース、またはデータストリーム用のコネクタを書くには、Java/Scalaの知識が必要でした。今では、Pythonでリーダーとライターを作成できるため、Sparkはより広い開発者コミュニティに開かれています。例えば、カスタムデータ形式やPythonクライアントのみを持つAPIがある場合、このAPIを使用してSparkデータフレームのソース/シンクとしてラップできます。この機能は、バッチとストリーミングの両方のコンテキストでPySparkの拡張性を大幅に向上させます。Pythonで簡単なカスタムデータソースを実装する例についてはPySparkの詳細な記事を参照するか、サンプル例をこちらでチェックしてください。[Read the blog post]

多形式Python UDTF：SQL UDTF機能をベースに、PySparkは入力に応じて異なるスキーマ形状を返すことができる多形式UDTFを含む、PythonでのUser-Defined Table Functions（ユーザー定義テーブル関数）をサポートするようになりました。デコレータを使用してPythonクラスをUDTFとして作成し、出力行のイテレータを生成し、Spark SQLまたはデータフレームAPIから呼び出せるように登録できます。強力な側面は動的スキーマUDTFです – UDTFは入力パラメータに基づいてその場でスキーマを生成するanalyze()メソッドを定義でき、例えば設定ファイルを読み取って出力列を決定するなどができます。この多形式の動作により、UDTFは非常に柔軟になり、変化するJSONスキーマの処理や入力を可変セットの出力に分割するなどのシナリオが可能になります。PySpark UDTFは効果的に、Spark実行エンジン内でPythonロジックが呼び出しごとに完全なテーブル結果を出力できるようにします。 [See documentation]

ストリーミング機能の強化

Apache Spark 4.0では、構造化ストリーミングのパフォーマンス、使いやすさ、観測性を向上させるための改良が続けられています：

任意状態処理 v2：Spark 4.0では、transformWithStateという新しい任意状態処理オペレーターが導入されました。TransformWithStateを使用すると、オブジェクト指向のロジック定義、複合型、タイマーとTTL（有効期限）のサポート、初期状態の処理、状態スキーマの進化など、多くの機能をサポートする複雑な処理パイプラインを構築できます。この新しいAPIはScala、Java、Pythonで利用可能で、状態データソースリーダーやオペレーターメタデータ処理などの他の重要な機能とネイティブに連携します。[Read the blog post]

状態データソース - リーダー：Spark 4.0では、ストリーミング状態をテーブルとして照会する機能が追加されました。この新しい状態ストアデータソースは、状態を持つストリーミング集計（カウンター、セッションウィンドウなど）や結合などで使用される内部状態を読み取り可能なDataFrameとして公開します。追加オプションを使用すると、更新ごとの状態変更を詳細に追跡することもできます。この機能は、ストリーミングジョブがどのような状態を処理しているかを理解するのに役立ち、ストリームの状態ロジックのトラブルシューティングと監視、および基礎となるデータ破損や不変条件違反の検出をさらに支援します。[Read the blog post]

ステートストアの強化：Spark 4.0では、静的ソートテーブル（SST）ファイルの再利用管理の改善、スナップショットとメンテナンス管理の向上、状態チェックポイント形式の刷新、その他のパフォーマンス改善など、多くの状態ストアの改良が追加されています。これに加えて、より簡単な監視とデバッグを可能にするための改善されたログ記録とエラー分類に関する多くの変更が加えられています。

謝辞

Spark 4.0は、コア機能の改善から豊富なAPIまで、あらゆる層に及ぶ最適化と新機能を備えた、Apache Sparkプロジェクトの大きな前進です。このリリースでは、コミュニティが5000以上のJIRA課題を解決し、個人開発者からDatabricks、Apple、LinkedIn、Intel、OpenAI、eBay、Netease、Baiduなどの組織まで、約400人の個別の貢献者がこれらの改良を推進してきました。

チケットを提出した方、コードをレビューした方、ドキュメントを改善した方、メーリングリストでフィードバックを共有した方など、すべての貢献者に心から感謝します。注目のSQL、Python、ストリーミングの改善に加えて、Spark 4.0はJava 21のサポート、Spark Kubernetes演算子、XMLコネクタ、Connect上のSpark MLサポート、PySpark UDF統合プロファイリングも提供しています。変更の完全なリストとその他のエンジンレベルの改良については、公式のSpark 4.0リリースノートをご参照ください。

Spark 4.0の入手： Spark 4.0は完全にオープンソースです—spark.apache.orgからダウンロードできます。その多くの機能はすでにDatabricks Runtime 15.xと16.xで利用可能でしたが、現在はRuntime 17.0に標準で搭載されています。管理された環境でSpark 4.0を試すには、無料のCommunity Editionにサインアップするか、トライアルを開始し、クラスターを起動する際に「17.0」を選択してください。数分でSpark 4.0を実行できるようになります。

これらの機能について議論したSpark 4.0のミートアップを見逃した方は、こちらで録画を見ることができます。また、今後開催予定のSpark 4.0の機能に関する詳細なミートアップにもご期待ください。