Pandas API on Upcoming Apache Spark™ 3.2

Community Edition に代わって Free Edition が登場しました。追加費用なしで強化された機能を提供します。今すぐFree Edition のご利用を開始しましょう。
 

We’re thrilled to announce that the pandas API will be part of the upcoming Apache Spark™ 3.2 release.pandas は強力で柔軟なライブラリで、急速に成長して標準的なデータサイエンス ライブラリの1つになりました。pandas ユーザーは、既存の Spark クラスターで pandas API を活用できるようになります。

数年前、私たちは Spark 上で pandas DataFrame API を実装するオープンソースプロジェクトである Koalas を立ち上げました。これは data scientists の間で広く採用されるようになりました。最近、Koalas は Project Zen の一環として SPIP: Support pandas API layer on PySpark によって PySpark に正式にマージされました (Data + AI Summit 2021 の Project Zen: Making Data Science Easier in PySpark もご参照ください)。

pandas ユーザーは、今後の Spark 3.2 リリースで、わずか 1 行のコードを変更するだけでワークロードをスケールできるようになります。

このブログ記事では、Spark 3.2 での pandas API のサポートをまとめ、注目すべき機能、変更点、ロードマップを紹介します。

単一マシンを超えるスケーラビリティ

pandas の既知の制限の 1 つは、単一マシンで処理するため、データ量に比例して直線的にスケールしないことです。例えば、単一マシンで利用可能なメモリよりも大きなデータセットを読み込もうとすると、pandas はメモリ不足で失敗します。

pandas API on Spark はこの制限を克服し、Spark を活用することでユーザーが大規模なデータセットを扱えるようにします。

Spark 上の pandas API は、大規模なノードクラスターにもうまくスケールします。以下のグラフは、さまざまなサイズのクラスターで 15TB の Parquet データセットを分析する際のパフォーマンスを示しています。クラスター内の各マシンには、8個のvCPUと61GiBのメモリがあります。

このテストでは、Spark 上の pandas API の分散実行はほぼ線形にスケールします。クラスター内のマシン数が2倍になると、経過時間は半分に減少します。単一のマシンと比較して、速度も大幅に向上します。例えば、標準偏差ベンチマークでは、256台のマシンからなるクラスタは、単一のマシンに比べてほぼ同じ時間で約250倍のデータを処理できます（各マシンは8 vCPU、61 GiBのメモリを搭載）:

最適化された単一マシンのパフォーマンス

pandas API on Spark は、Spark エンジンの最適化のおかげで、単一のマシンでも pandas を上回るパフォーマンスを発揮することがよくあります。下のグラフは、130GB の CSV データセットに対して、Spark 上の pandas API と、マシン（96 vCPU、384 GiB メモリ）上の pandas を比較したものです：

マルチスレッディングと Spark SQL の Catalyst オプティマイザーの両方が、パフォーマンスの最適化に貢献します。たとえば、Join count 演算は、whole-stage code generation を使用すると約4倍高速になります。コード生成なしの場合は 5.9 秒、コード生成ありの場合は 1.6 秒です。

Sparkは、オペレーションの連鎖において特に大きな利点があります。Catalyst クエリー オプティマイザーは、フィルタを認識してデータを賢くスキップし、ディスクベースの結合を適用できますが、pandas はステップごとにすべてのデータをメモリにロードする傾向があります。

2つのフィルター処理されたフレームを結合し、結合されたフレームの平均をコンピュートするクエリーを考えてみましょう。pandas API on Spark は 4.5 秒以内に成功しますが、pandas は以下のように OOM (メモリ不足) エラーが原因で失敗します:

インタラクティブなデータ可視化

pandas はデフォルトで matplotlib を使用し、静的なプロット チャートを提供します。たとえば、以下のコードは静的なグラフを生成します。

対照的に、pandas API on Spark はデフォルトで plotly バックエンドを使用し、インタラクティブなグラフを提供します。例えば、ユーザーはインタラクティブにズームイン、ズームアウトができます。pandas API on Spark は、プロットの種類に基づいて、インタラクティブなグラフを生成する際に内部で計算を実行する最適な方法を自動的に決定します。

Spark の unified analytics 機能を活用する

pandas はバッチ処理を伴う Python データサイエンス向けに設計されていますが、Spark は SQL、ストリーミング処理、機械学習などの unified analytics 向けに設計されています。両者のギャップを埋めるために、pandas API on Spark は、上級ユーザーが Spark エンジンを活用するためのさまざまな方法を提供しています。次に例を示します。

• 以下に示すように、ユーザーは Spark の最適化された SQL エンジンを使用して、SQL でデータを直接クエリーできます。

• また、Python オブジェクトと自然にやり取りするための文字列補間構文もサポートしています。

• pandas API on Sparkはストリーミング処理もサポートしています:

• ユーザーは、Spark のスケーラブルな機械学習ライブラリを簡単に呼び出すことができます：

PySpark と pandas API on Spark の間の相互運用性に関するブログ記事もご覧ください。

次のステップ

次期 Spark リリースのロードマップでは、以下に焦点を当てています。

• 型ヒントの追加
Spark 上の pandas API のコードは現在部分的に型付けされていますが、それでも静的解析と自動補完は可能です。将来的には、すべてのコードが完全に型付けされる予定です。

• パフォーマンスの向上
Spark 上の pandas API には、エンジンや SQL オプティマイザとより密接に連携することで、パフォーマンスをさらに向上できる点がいくつかあります。

• 安定化
特に NaN や NA などの欠損値には、動作が異なるコーナーケースがあり、修正すべき点がいくつかあります。

さらに、このような場合、Spark 上の pandas API は pandas の最新バージョンにその動作を合わせます。

• API カバレッジの拡大
Spark 上の pandas API は pandas API の 83% のカバレッジを達成しており、この数値は増加し続けています。現在の目標は 90% です。

バグや不足している機能がございましたら、issue を登録してください。また、コミュニティからのコントリビューションもいつでも歓迎しています。

まずはここから

Databricks Runtime 10.0 Beta（次期 Apache Spark 3.2）で pandas API on Spark をお試しになりたい場合は、Databricks Community Edition または Databricks Trial に無料でサインアップして、数分で利用を開始してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事