Apache Spark 4.0 のご紹介

Free Edition has replaced Community Edition, offering enhanced features at no cost. Start using Free Edition today.
 

Apache Spark 4.0 marks a major milestone in the evolution of the Spark analytics engine. This release brings significant advancements across the board – from SQL language enhancements and expanded connectivity, to new Python capabilities, streaming improvements, and better usability. Spark 4.0 is designed to be more powerful, ANSI-compliant, and user-friendly than ever, while maintaining compatibility with existing Spark workloads. In this post, we explain the key features and improvements introduced in Spark 4.0 and how they elevate your big data processing experience.

Key Highlights in Spark 4.0 include:

• SQL Language Enhancements: New capabilities including SQL scripting with session variables and control flow, reusable SQL User-Defined Functions (UDFs), and intuitive PIPE syntax to streamline and simplify complex analytics workflows.
• Spark Connect Enhancements: Spark Connect—Spark’s new client-server architecture—now achieves high feature parity with Spark Classic in Spark 4.0. This release adds enhanced compatibility between Python and Scala, multi-language support (with new clients for Go, Swift, and Rust), and a simpler migration path via the new spark.api.mode setting. Developers can seamlessly switch from Spark Classic to Spark Connect to benefit from a more modular, scalable, and flexible architecture.
• Reliability & Productivity Enhancements: ANSI SQL mode enabled by default ensures stricter data integrity and better interoperability, complemented by the VARIANT data type for efficient handling of semi-structured JSON data and structured JSON logging for improved observability and easier troubleshooting.
• Python API Advances: Native Plotly-based plotting directly on PySpark DataFrames, a Python Data Source API enabling custom Python batch & streaming connectors, and polymorphic Python UDTFs for dynamic schema support and greater flexibility.
• Structured Streaming Advances: New Arbitrary Stateful Processing API called transformWithState in Scala, Java & Python for robust and fault-tolerant custom stateful logic, state store usability improvements, and a new State Store Data Source for improved debuggability and observability.

In the sections below, we share more details on these exciting features, and at the end, we provide links to the relevant JIRA efforts and deep-dive blog posts for those who want to learn more. Spark 4.0 represents a robust, future-ready platform for large-scale data processing, combining the familiarity of Spark with new capabilities that meet modern data engineering needs.

Major Spark Connect Improvements

One of the most exciting updates in Spark 4.0 is the overall improvement of Spark Connect, in particular the Scala client. With Spark 4, all Spark SQL features offer near-complete compatibility between Spark Connect and Classic execution mode, with only minor differences remaining. Spark Connect is the new client-server architecture for Spark that decouples the user application from the Spark cluster, and in 4.0, it’s more capable than ever:

• Improved Compatibility: A major achievement for Spark Connect in Spark 4 is the improved compatibility of the Python and Scala APIs, which makes switching between using Spark Classic and Spark Connect seamless. This means that for most use cases, all you have to do is enable Spark Connect for your applications by setting spark.api.mode to connect. We recommend starting to develop new jobs and applications with Spark Connect enabled so that you can benefit most from Spark's powerful query optimization and execution engine.
• Multi-Language Support: Spark Connect in 4.0 supports a broad range of languages and environments. Python and Scala clients are fully supported, and new community-supported connect clients for Go, Swift, and Rust are available. This polyglot support means developers can use Spark in the language of their choice, even outside the JVM ecosystem, via the Connect API. For example, a Rust data engineering application or a Go service can now directly connect to a Spark cluster and run DataFrame queries, expanding Spark’s reach beyond its traditional user base.

SQL Language Features

Spark 4.0 adds new capabilities to simplify data analytics:

• SQL User-Defined Functions (UDFs) – Spark 4.0 introduces SQL UDFs, enabling users to define reusable custom functions directly in SQL. These functions simplify complex logic, improve maintainability, and integrate seamlessly with Spark’s query optimizer, enhancing query performance compared to traditional code-based UDFs. SQL UDFs support temporary and permanent definitions, making it easy for teams to share common logic across multiple queries and applications. [Read the blog post]
• SQL PIPE Syntax – Spark 4.0 introduces a new PIPE syntax, allowing users to chain SQL operations using the |> operator. This functional-style approach enhances query readability and maintainability by enabling a linear flow of transformations. The PIPE syntax is fully compatible with existing SQL, allowing for gradual adoption and integration into current workflows. [Read the blog post]
• Language, accent, and case-aware collations - Spark 4.0 introduces a new COLLATE property for STRING types. You can choose from many language and region-aware collations to control how Spark determines order and comparisons. You can also decide whether collations should be case, accent, and trailing blank insensitive. [Read the blog post]
• Session variables - Spark 4.0 introduces session local variables, which can be used to keep and manage state within a session without using host language variables. [Read the blog post]
• Parameter markers - Spark 4.0 introduces named (":var") and unnamed ("?") style parameter markers. This feature allows you to parameterize queries and safely pass in values through the spark.sql() api. This mitigates the risk of SQL injection. [See documentation]
• SQL Scripting: Writing multi-step SQL workflows is easier in Spark 4.0 thanks to new SQL scripting capabilities. You can now execute multi-statement SQL scripts with features like local variables and control flow. This enhancement lets data engineers move parts of ETL logic into pure SQL, with Spark 4.0 supporting constructs that were previously only possible via external languages or stored procedures​. This feature will soon be further improved by error condition handling. [Read the blog post]

Data Integrity and Developer Productivity

Spark 4.0 introduces several updates that make the platform more reliable, standards-compliant, and user-friendly. These enhancements streamline both development and production workflows, ensuring higher data quality and faster troubleshooting.

• ANSI SQL Mode: One of the most significant shifts in Spark 4.0 is enabling ANSI SQL mode by default, aligning Spark more closely with standard SQL semantics. This change ensures stricter data handling by providing explicit error messages for operations that previously resulted in silent truncations or nulls, such as numeric overflows or division by zero. Additionally, adhering to ANSI SQL standards greatly improves interoperability, simplifying the migration of SQL workloads from other systems and reducing the need for extensive query rewrites and team retraining. Overall, this advancement promotes clearer, more reliable, and portable data workflows. [See documentation]
• 新しいVARIANTデータ型: Apache Spark 4.0 では、半構造化データ専用に設計された新しいVARIANTデータ型が導入されました。これにより、単一の列内に複雑なJSONやマップのような構造を格納しながら、ネストされたフィールドを効率的にクエリできます。この強力な機能は、定義済みのスキーマに準拠しないデータの取り込みと管理を容易にする、大幅なスキーマの柔軟性を提供します。さらに、Spark の組み込みインデックス作成とJSONフィールドの解析により、クエリパフォーマンスが向上し、高速なルックアップと変換が容易になります。繰り返しスキーマ進化の手順の必要性を最小限に抑えることで、VARIANTはETLパイプラインを簡素化し、より合理化されたデータ処理ワークフローを実現します。 [ブログ記事を読む]
• 構造化ロギング: Spark 4.0 では、デバッグと監視を簡素化する新しい構造化ロギングフレームワークが導入されました。spark.log.structuredLogging.enabled=true を有効にすると、Spark はログを JSON 行として書き込みます。各エントリには、タイムスタンプ、ログレベル、メッセージ、および完全な Mapped Diagnostic Context (MDC) コンテキストなどの構造化フィールドが含まれます。この最新の形式は、Spark SQL、ELK、Splunk などのオブザーバビリティツールとの統合を簡素化し、ログの解析、検索、分析をはるかに容易にします。 [詳細はこちら]

Python API の進化

Python ユーザーは Spark 4.0 で多くの恩恵を受けることができます。このリリースにより、Spark はより Pythonic になり、PySpark ワークロードのパフォーマンスが向上します。

• ネイティブプロットサポート: PySpark でのデータ探索がさらに簡単になりました。Spark 4.0 は、PySpark DataFrame にネイティブプロット機能を追加します。DataFrame で .plot() メソッドを呼び出すか、関連する API を使用して、データを手動で pandas に収集することなく、Spark データから直接グラフを生成できるようになりました。内部的には、Spark は Plotly をデフォルトの可視化バックエンドとして使用してグラフをレンダリングします。これは、ヒストグラムや散布図などの一般的なプロットタイプを PySpark DataFrame で 1 行のコードで作成できることを意味し、Spark はノートブックまたは GUI でプロットするデータのサンプルまたは集計を取得します。ネイティブプロットをサポートすることで、Spark 4.0 は探索的データ分析を合理化します。Spark コンテキストを離れることなく、または個別の matplotlib/plotly コードを記述することなく、データセットの分布と傾向を視覚化できます。この機能は、EDA に PySpark を使用するデータサイエンティストにとって生産性を向上させます。
• Python データソース API: Spark 4.0 では、開発者がバッチおよびストリーミングのカスタムデータソースを完全に Python で実装できる新しい Python DataSource API が導入されました。以前は、新しいファイル形式、データベース、またはデータストリームのコネクタを作成するには、Java/Scala の知識が必要でした。これで、Python でリーダーとライターを作成できるようになり、Spark がより広範な開発者コミュニティに開かれました。たとえば、カスタムデータ形式や Python クライアントしか持たない API がある場合、この API を使用して Spark DataFrame ソース/シンクとしてラップできます。この機能は、バッチとストリーミングの両方のコンテキストで PySpark の拡張性を大幅に向上させます。Python で単純なカスタムデータソースを実装する例については、PySpark の詳細なブログ記事を参照するか、ここにある例のサンプルを確認してください。 [ブログ記事を読む]
• ポリモーフィック Python UDTF: SQL UDTF 機能に基づいて、PySpark は、入力に応じて異なるスキーマ形状を返すことができるポリモーフィック UDTF を含む、Python でのユーザー定義テーブル関数をサポートするようになりました。デコレータを使用して UDTF として Python クラスを作成し、出力行のイテレータを生成し、Spark SQL または DataFrame API から呼び出せるように登録できます。強力な側面は動的スキーマ UDTF です。UDTF は、パラメータに基づいてオンザフライでスキーマを生成する analyze() メソッドを定義できます。たとえば、設定ファイルを読み取って出力列を決定します。このポリモーフィックな動作により、UDTF は非常に柔軟になり、可変 JSON スキーマの処理や、入力の可変セットへの分割などのシナリオが可能になります。PySpark UDTF は、Python ロジックが Spark 実行エンジン内で、呼び出しごとに完全なテーブル結果を出力できるようにします。 [ドキュメントを表示]

ストリーミングの強化

Apache Spark 4.0 は、パフォーマンス、ユーザビリティ、オブザーバビリティを向上させるために Structured Streaming を引き続き改善しています。

• 任意のステートフル処理 v2: Spark 4.0 では、transformWithState という新しい任意のステートフル処理演算子が導入されました。TransformWithState は、オブジェクト指向ロジック定義、複合型、タイマーと TTL のサポート、初期状態の処理のサポート、状態スキーマの進化、およびその他の多くの機能のサポートを備えた複雑な運用パイプラインの構築を可能にします。この新しい API は Scala、Java、および Python で利用可能であり、状態データソースリーダー、演算子メタデータ処理などの他の重要な機能とのネイティブ統合を提供します。 [ブログ記事を読む]
• 状態データソース - リーダー: Spark 4.0 では、ストリーミング状態をテーブルとしてクエリできるようになりました。この新しいステートストアデータソースは、ステートフルストリーミング集計（カウンター、セッションウィンドウなど）、結合などで使用される内部状態を、読み取り可能な DataFrame として公開します。追加のオプションにより、この機能は、ユーザーが更新ごとに状態変更を追跡して、きめ細かな可視性を実現することもできます。この機能は、ストリーミングジョブが処理している状態を理解するのに役立ち、ストリームの状態ロジックのトラブルシューティングと監視、および基盤となる破損や不変条件の違反の検出をさらに支援します。 [ブログ記事を読む]
• ステートストアの強化: Spark 4.0 では、静的ソートテーブル (SST) ファイルの再利用管理の改善、スナップショットとメンテナンス管理の改善、状態チェックポイント形式の刷新、およびその他のパフォーマンス改善など、多数のステートストアの改善も追加されています。これに加えて、監視とデバッグの容易さのために、ログ記録とエラー分類の改善に関する多数の変更が追加されています。

謝辞

Spark 4.0 は、コアの改善からより豊富な API に至るまで、すべてのレイヤーに影響を与える最適化と新機能を備えた Apache Spark プロジェクトにとって大きな前進です。このリリースでは、コミュニティは 5000 を超える JIRA の問題を解決し、Databricks、Apple、Linkedin、Intel、OpenAI、eBay、Netease、Baidu などの組織から独立した開発者まで、約 400 人の個々の貢献者がこれらの強化を推進しました。

チケットを提出したり、コードをレビューしたり、ドキュメントを改善したり、メーリングリストでフィードバックを共有したりしたすべての貢献者に心から感謝いたします。注目の SQL、Python、ストリーミングの改善に加えて、Spark 4.0 は Java 21 サポート、Spark K8S オペレーター、XML コネクタ、Connect 上の Spark ML サポート、および PySpark UDF 統合プロファイリングも提供します。変更の完全なリストおよびその他のすべてのエンジンレベルの改善については、公式の Spark 4.0 リリースノートを参照してください。

Spark 4.0 の入手方法: Spark 4.0 は完全にオープンソースです。spark.apache.org からダウンロードしてください。その機能の多くは Databricks Runtime 15.x および 16.x で既に利用可能でしたが、Runtime 17.0 では標準で提供されるようになりました。管理環境で Spark 4.0 を試すには、コミュニティエディションにサインアップするか、トライアルを開始し、クラスターを起動するときに「17.0」を選択すると、数分で Spark 4.0 を実行できます。

これらの機能について話し合った Spark 4.0 ミートアップを見逃した場合は、ここから録画を視聴できます。また、これらの Spark 4.0 機能に関する今後の詳細なミートアップにもご期待ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事