Apache Spark 4.2のご紹介

はじめに

Apache Spark 4.2では、最新のデータおよびAIスタックのより多くの機能がエンジン自体に組み込まれました。Spark 4.xをベースとするこのリリースでは、管理されたメトリクス、ベクトルおよびtop-Kプリミティブ、よりArrowファーストなPythonパス、第一級の変更データキャプチャ、そしてより強固なストリーミングおよび運用基盤が追加されています。

これにより、SparkはAIアプリケーションの双方の側面でより有用になります。AIエージェントに提供されるデータの品質と最新性が向上し、アプリケーションやエージェントがリモート実行サービスとしてSparkを呼び出しやすくなります。AIにおけるストーリーは具体的です。信頼できるセマンティクス、ネイティブな検索プリミティブ、最新の変更データ、およびSparkスケールの計算へのオープンなインターフェースが提供されます。

Spark 4.2のメリットは、主に次の4点に集約されます。

• 真実の定義を1回に： メトリクスビューにより、管理されたビジネスメトリクスがSparkに配置され、SQL、BIツール、アプリケーション、AIシステムがすべて同じ定義を使用できるようになります。
• あらゆる場所からSparkにアクセス： Spark Connect、PySpark、Arrow、およびPythonデータソースの改善により、サービスやPythonエコシステムからSparkをより簡単に呼び出せるようになります。
• SQLでAIネイティブな分析を実行： ベクトル関数、NEAREST BY、スケッチ、ランキング、地理空間タイプにより、より多くの分析ビルディングブロックがSpark SQLに直接組み込まれます。
• 変化するデータを安全に移動： Auto CDC、CHANGESサーフェス、Data Source V2、リアルタイムストリーミングにより、絶えず変化するデータをより簡単かつ正確に処理できるようになります。

これらの変更を組み合わせることで、企業は1つのオープンなエンジンを使用して、データの準備、ビジネス上の意味の定義、関連するコンテキストの検索を行い、分析およびAIアプリケーションを常に最新の状態に保つことができます。

メトリクスとセマンティックモデリング：真実の定義を1回に

Spark 4.2ではメトリクスビューが導入され、Spark SQLにネイティブなセマンティックレイヤーがもたらされます。チームはビジネスメトリクスを一度定義すれば、ダッシュボード、レポート、アプリケーション、AIツール全体で一貫して使用できます。

これは、多くの重要なメトリクスが単純に加算できないため重要です。比率、ユニークカウント、維持率、および同様の指標は、すべての利用者が異なる粒度で数式を書き直すと、誤った結果を生み出す可能性があります。メトリクスビューは、ディメンションとメジャーをSparkが理解する第一級オブジェクトにすることで、エンジンが意図された集計セマンティクスを維持できるようにします。

一度メトリクスビューが定義されると、ユーザーは異なるディメンションから同じ管理されたメジャーをクエリできます。

AIアプリケーションにとって、これは特に重要です。エージェントがダッシュボードとは異なる方法で収益を計算したり、ユーザーが要求するグループ化を変更したときに異なる回答を返したりするべきではありません。管理されたメトリクスビューは、SQL、BI、AIに単一の真実のソースを提供し、Sparkの分析、カタログ解決、および権限が一貫して適用されます。

Spark ConnectとPySpark：あらゆる場所からSparkにアクセス

サービスAPIとしてのSpark

Spark Connectは、gRPCとArrowに基づくプロトコルを介して、クライアントをSparkサーバーから分離します。クライアントが論理計画を構築し、サーバーがそれを分析および実行して、結果がArrowバッチとして返されます。クライアントは、完全なSparkランタイムやコロケートされたJVMを必要としません。

これにより、Sparkをノートブック、サービス、開発者ツール、AIアプリケーションに簡単に組み込むことができるようになります。エージェントやアプリケーションは独自のランタイムからSparkを呼び出すことができ、Sparkは分析、最適化、実行、ガバナンスをサーバー側で維持します。

Spark 4.2は、Spark Classicとの互換性のギャップを縮め続けています。改善点には、より優れたRDD API互換性、spark.read.*およびSparkSession.emptyDataFrameへのDataFrame入力、デバッグ容易性の向上、エラー伝播、ステータスレポート、およびYARNクラスターモードのサポートが含まれます。これらの変更を組み合わせることで、PySparkとSpark Connectはより高速で互換性が高くなり、大規模かつリモートでの運用が容易になります。

よりArrowファーストなPythonパス

Pythonは、ユーザーがSparkを使用してデータおよびAIワークロードを構築する主要な方法の1つであり続けています。Spark 4.2では、Arrowに最適化されたPython UDF実行がデフォルトで有効になっているため、既存のUDFはコードを書き直すことなく、より高速なカラムナパスを使用できます。また、Pandas 3のサポートにより、Sparkと並行してPython環境をアップグレードしやすくなります。

より詳細な制御が必要なコードの場合、Arrow UDFはデータをPyArrow配列に保持し、不要なPandasへの変換を回避します。また、SparkはPython実行のプロファイリングとデバッグ機能を拡張しており、Pythonデータソースの時間およびメモリプロファイリング、ワーカー診断の改善、データとしてクエリ可能なロギングなどが含まれます。

Spark 4.2は、Arrow C Data InterfaceとPyCapsuleプロトコルを通じて相互運用性も向上させています。双方がこれをサポートしている場合、Spark DataFrameは、基になるデータをコピーまたはシリアル化することなく、PolarsやDuckDBなどのArrowネイティブなツールに移動できます。これにより、Sparkスケールの処理と、より広範なPythonおよびAIエコシステムとの間の連携のオーバーヘッドが削減されます。

Pythonデータソースは、統合の摩擦をさらに軽減します。チームはPythonでバッチまたはストリーミングのリーダーおよびライターを構築し、一度登録すれば、標準のSparkデータソースインターフェースを介して使用できます。4.2では、プロファイリングにより、これらのコネクタをブラックボックスとして扱うのではなく、チューニングや運用を容易に行うことができます。

Spark SQL：エンジンにおけるAIネイティブな分析

ベクトルスコアリングとtop-K検索

Spark 4.2では、ベクトル類似性検索、ランキング、および時系列分析のための新しいSQLプリミティブが追加されています。このリリースでは、ベクトルの距離および類似性関数、ベクトルの正規化、ベクトルの集計、そして距離に基づくマッチングのためのtop-Kランキング結合であるNEAREST BYが導入されています。これらのプリミティブにより、大規模な検索、レコメンデーション、エンティティ解決、および候補生成が可能になります。

ネイティブな地理空間分析

組み込みのGEOMETRYおよびGEOGRAPHYタイプと、ST_*関数により、外部の空間拡張機能を使用せずに位置情報を考慮した分析が可能になります。Spark 4.2では、Parquet、WKT/WKB、SRIDの保持、およびPython変換のサポートも追加されています。

完全修飾された組み込み関数と一時ビュー

Spark 4.2では、Sparkが提供する関数をSYSTEM.BUILTINで修飾することで、曖昧さなく呼び出すことができます。セッション変数の前例に従い、一時ビューをSYSTEM.SESSIONで完全修飾することもできます。これは、ユーザー定義関数や永続化されたリレーションとの曖昧さを排除し、インジェクションを防止するのに役立ちます。

SQL検索パス

Spark 4.2では、SET PATHによるSQL検索パスのサポートが追加され、パスにスキーマを追加するだけで、ネームスペースをまたいだテーブル、関数、変数の解決や、オブジェクトのライブラリへの解決が容易になります。

Sparkは、予測可能な名前解決のために、ビューおよびSQL関数内にSQLパスを永続化します。

Spark 4.2以降、SQLスクリプトでカーソルをDECLARE、OPEN、FETCH、およびCLOSEできるようになります。これにより、結果セットの行ごとの処理をより詳細に制御できるようになります。従来、これを行うにはSQLの外部に出てDataFrameを使用する必要がありました。

また、Spark SQLには、Tupleスケッチ、時系列分析用のtime_bucket、ファイル形式全体におけるより広範なTIMEタイプのサポート、ウィンドウ結果をフィルタリングするためのQUALIFY、Top-Kのmax_byおよびmin_by、そして一般的な集計関数に対するIGNORE NULLSおよびRESPECT NULLSのサポートが追加されています。

これらの追加機能により、Spark SQLは最新の分析アプリケーションに対してより表現力豊かなものになります。

Spark Declarative PipelinesとAuto CDC：変化するデータを安全に移動

Spark 4.2では、Spark Declarative Pipelines（SDP）でAuto CDCサポートが導入され、第一級のSCD（Slow Changing Dimensions：緩やかに変化する次元）Type 1処理がSparkにもたらされます。Auto CDCが登場する前は、変更フィードを消費してターゲットテーブルに適用するために、削除や順序の狂った変更イベントの処理などにより、複雑でエラーが発生しやすくなりがちなマージロジックを手書きする必要がありました。Auto CDCを使用すると、ユーザーはCDCイベントがターゲットテーブルをどのように更新すべきかを設定するだけで、複雑な処理をSparkに任せることができます。

Auto CDCは、SCD Type 1ターゲットテーブルに変更を適用するためのPython APIを提供します。これは、顧客プロファイル、製品カタログ、アカウントレコード、運用の参照データなど、各レコードの最新バージョンを高い信頼性で維持する必要がある、一般的な取り込みおよびレプリケーションのワークロード向けに設計されています。

たとえば、Auto CDCフローは次のように宣言的に表現できるようになりました。

Auto CDCに加えて、Spark Declarative Pipelinesでも重要なプラットフォームの堅牢化が行われています。これには、即時解析（eager analysis）に対するより安全なサーバー側での処理や、フローの構造化識別子などが含まれます。これらの変更により、宣言型パイプラインの開発の信頼性が向上し、Sparkにおけるより高度なデータエンジニアリングパターンの基盤が構築されます。

Structured Streamingのリアルタイムモード：より新しい運用データ

Structured Streamingのリアルタイムモード（RTM）により、ストリーミングクエリはミリ秒単位のエンドツーエンドのレイテンシでデータを処理できます。これにより、Sparkはまったく新しいクラスのユースケースを開拓できるようになり、不正検知、パーソナライズ、オブザーバビリティ、リアルタイムの特徴量エンジニアリングなどの運用データアプリケーションの基盤になりつつあります。

Spark 4.2では、RTMをPySparkに拡張しました。これにより、リアルタイムモードで（Python UDFを使用しない）ステートレスなストリーミングクエリを実行できるようになります。Pythonはその使いやすさからデータサイエンティストやエンジニアの間で広く普及しており、今回の対応により、RTMの低レイテンシ処理をより多くのユーザーが利用できるようになります。

今後のSpark 4.xリリースに向けて、RTMへのステートフルなサポートの導入を進めており、すでに開発が始まっています。この取り組みはSPARK-54699で追跡されており、主に以下の3つのコンポーネントで構成されています。

• ステージの完了を待つことなく、準備ができ次第アップストリームステージからダウンストリームにデータを転送する、新しいストリーミングシャッフル（SPARK-56664）
• 複数のステージを同時に実行できるようにする、ステージの並行スケジューリング（SPARK-57000）
• transformWithStateをはじめとする、ステートフル演算子のサポート（SPARK-57228）

ステートフルサポートに加えて、RTMでのPython UDF（SPARK-57237）の有効化にも取り組んでいます。

今後のアップデートにご期待ください。皆様からのフィードバックや貢献をお待ちしています！

Data Source V2：進化するデータソースのための統一されたインターフェース

Spark 4.2は、Data Source V2にとってさらなる大きな一歩となります。DSv2は、Sparkを介して読み取り、書き込み、行レベルの操作、スキーマエボリューション、変更データ、操作メトリクス、およびトランザクションを公開するコネクタの標準的な基盤になりつつあります。

DSv2におけるCDC

Spark 4.2では、DSv2にファーストクラスの変更データキャプチャ（CDC）サポートが追加されました。コネクタは標準APIを介して変更ストリームを公開でき、ユーザーは新しいCHANGES SQL句、DataFrame API、およびPySparkバインディングを使用してこれらをクエリできます。また、Sparkは、コピーオンライト（Copy-on-Write）によるキャリーオーバーのドロップ、更新の検出、行ごとの純変更の計算など、エンジン内での一般的な後処理も処理します。同じクエリが、CDCをサポートするすべてのDSv2コネクタで一貫して動作します。

行レベルの操作、スキーマエボリューション、およびトランザクション

Spark 4.2では、Data Source V2（DSv2）コネクタにおける行レベルのDML操作のサポートがさらに強化されています。MERGE INTOには、ホールステージコード生成を含む追加のパフォーマンス向上が施されているほか、Spark 4.1で導入されたスキーマエボリューション機能もさらに強化されています。

スキーマエボリューションは、名前ベースおよび位置ベースの列解決の両方でINSERT INTO操作でもサポートされるようになり、進化するテーブルへの書き込み時の摩擦が軽減されます。さらに、UPDATEおよびDELETEの操作サマリーが利用可能になり、Spark 4.1で追加されたMERGE INTOサマリーを補完します。MERGE INTOのメトリクスも拡張および洗練されました。

Spark 4.2では、本番環境グレードのDSv2コネクタやレイクハウステーブルフォーマット向けの追加のビルディングブロックが導入されています。主な追加機能には、トランザクションAPIの基盤、強化されたパーティション統計フィルタリング、ストレージパーティション化された結合の改善、DSv1コマンドとDSv2コマンドおよび動作の緊密な連携などがあります。これらの機能強化を組み合わせることで、DSv2は、レイクハウスコネクタ、トランザクションテーブルフォーマット、およびその他の大規模データシステムを実装するためのより完全なプラットフォームになります。

主な改善点と謝辞

Spark 4.2には、Sparkの運用、デバッグ、セキュリティ、およびスケーリングを容易にするいくつかのプラットフォーム改善が含まれています。Spark Web UIは、Bootstrap 5、ダークモード、SQLプランの可視化の向上、クエリタイムラインの改善、サーバー側のページネーションにより、大幅にモダン化されました。Kubernetesのサポートは、異種エグゼキュータ管理、安定したリソースマネージャAPI、およびコントロールプレーンのオーバーヘッド削減によって向上しています。また、Spark 4.2ではJDK 25のサポートが追加され、Webセキュリティが向上し、Spark History Serverがスケールアップされ、Scala、Parquet、ORC、Arrow、Netty、Hadoopなどの主要な依存関係がアップグレードされています。

Spark 4.2は、260人以上のコントリビューターによる1,900以上のコミットという、Apache Sparkコミュニティの強さを反映しています。このリリースの実現に向けて、コード、レビュー、テスト、ドキュメント、フィードバックを提供してくださったすべての方々に感謝いたします。

Spark 4.2を始めましょう

spark.apache.org/downloadsからApache Spark 4.2をダウンロードし、変更点の完全なリストについては、Apache Spark 4.2の完全なリリースノートを参照してください。また、Apache Spark 4.2はDatabricks Runtime 19 Betaでも利用可能になる予定です。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事