Photon 一般プレビューの発表：Databricks レイクハウスプラットフォーム上の次世代クエリエンジン

本日、Photon のパブリックプレビューが利用可能になったことをお知らせします。Photon は、クエリーのパフォーマンスを劇的に向上させるために C++ で開発されたネイティブのベクトル化エンジンです。Photon によるメリットを享受するには、電源をオンにするだけです。Photon は、作業とリソースをシームレスに調整し、SQL と Spark クエリの一部を透過的に高速化します。チューニングやユーザーの介入は必要ありません。

 データウェアハウスの父であるビル・インモンと一緒に、<a href="https://www.databricks.com/resources/ebook/rise-data-lakehouse?itm_data=photonpublicpreviewengine-blog-riselakehousebook" target="_blank">レイクハウスがなぜ未来のデータアーキテクチャなのかを探りましょう</a>。</p><hr><p>新しいエンジンは最終的にすべてのワークロードを高速化するように設計されていますが、プレビュー期間中、Photon は SQL ワークロードをより高速に実行し、ワークロードあたりの総コストを削減することに重点を置いています。Photon には、2 つのメリットがあります：</p><ul><li><a href="https://www.databricks.com/product/databricks-sql" rel="noopener" target="_blank">Databricks SQL</a>のデフォルトクエリーエンジンとして、追加費用なしでご利用いただけます</li><li>Databricksクラスター上の新しい高性能<a href="https://docs.databricks.com/runtime/index.html" rel="noopener" target="_blank">ランタイム</a>の一部であり、Photon以外のランタイムを実行している同一のインスタンスタイプとは<a href="https://www.databricks.com/product/aws-pricing/instance-types" rel="noopener" target="_blank">異なるレートでDBUを消費します</a>。</li></ul><p>このブログでは、Photonを構築した動機、Photonが内部でどのように機能するのか、そしてDatabricks SQLと従来のDatabricks Data Science &amp; データエンジニアリングクラスターの両方からPhotonでのクエリー実行を監視する方法について解説します。</p><h2>Photon で高速化</h2><p>なぜ新しいクエリーエンジンを構築するのか、疑問に思うかもしれません。棒グラフは千の言葉に値すると言われていますので、データにストーリーを語らせましょう。</p><figure><a href="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-1.png" data-lightbox><img class="size-full wp-image-159095" style="width:1600px;" src="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-1.png" alt="TPC-DS 1TB を使用した、バージョン 2.1 に対する Photon 搭載 Databricks Runtime の相対的な高速化" height="803"></a><figcaption>図 1: TPC-DS 1TB を使用した、バージョン 2.1 と比較した Databricks Runtime の相対的な高速化</figcaption></figure><p>TPC-DSベンチマーク（スケールファクター1TB）のPower Testを使用したDatabricks Runtimeのパフォーマンスを示したこのグラフからわかるように、パフォーマンスは長年にわたって着実に向上してきました。しかし、Photonの導入により、クエリーのパフォーマンスは飛躍的に向上しました。PhotonはDatabricks Runtime 8.0と比較して最大2倍高速です。そのため、私たちは Photon の可能性に大きな期待を寄せています。これはまだ始まりにすぎません — Photon のロードマップには、カバレッジの拡大とさらなる最適化の計画が含まれています。</p><p>早期プライベート プレビューの顧客は、次のような SQL ワークロードで Photon を使用した結果、平均 2～4 倍の高速化を観測しています:</p><ul><li><strong>SQLベースのジョブ</strong> - SQLおよびSpark DataFrame上の大規模な本番運用ジョブを高速化します。</li><li><strong>IoT ユースケース</strong> - Spark や従来の Databricks Runtime と比較して、Photon を使用した時系列分析がより高速に。</li><li><strong>データのプライバシーとコンプライアンス</strong> - Delta Lake、本番ジョブ、Photonを使用して、データを複製することなくペタバイト規模のデータセットにクエリーを実行し、レコードの特定と削除が可能です。</li><li><strong>Delta と Parquet へのデータのロード</strong> - Photon のベクトル化 I/O は、Delta テーブルと Parquet テーブルへのデータロードを高速化し、データエンジニアリング ジョブの全体的なランタイムとコストを削減します。</li></ul><h2>Photonの仕組み</h2><p>Photon は C++ で記述されていますが、Databricks Runtime や Spark に直接統合されています。つまり、Photon を使用するためにコードを変更する必要はありません。Photon がどのように組み込まれるかを理解していただくために、簡単な「クエリーのライフサイクル」を順を追ってご説明します。</p><figure><a href="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-2.png" data-lightbox><img class="size-full wp-image-159097" style="width:1280px;" src="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-2.png" alt="図 2 - Photon クエリーのライフサイクル" height="720"></a><figcaption>画像 2: Photon クエリーのライフサイクル</figcaption></figure><p>クライアントが特定のクエリーやコマンドをSparkドライバーに送信すると、それが解析され、<a href="https://www.databricks.com/glossary/catalyst-optimizer" rel="noopener" target="_blank">Catalystオプティマイザ</a>がPhotonが関与していない場合とまったく同様に、分析、計画、最適化を実行します。唯一の違いは、Photonではランタイムエンジンが物理プランを検証し、どの部分をPhotonで実行できるかを判断する点です。例えばソートマージ結合をハッシュ結合に変更するなど、Photon用にプランにマイナーな変更が加えられることがありますが、結合順序を含むプランの全体的な構造は同じままです。PhotonはまだSparkのすべての機能をサポートしているわけではないため、1つのクエリーが部分的にPhotonで実行され、部分的にSparkで実行されることがあります。このハイブリッド実行モデルは、ユーザーからは完全に透過的です。</p><p>クエリープランは、分散実行の最小単位であるタスクに分割されます。タスクはワーカーノード上のスレッドで実行され、データの特定のパーティションを処理します。Photon エンジンが動作するのは、このレベルです。これは、Spark のホールステージコードジェンをネイティブエンジンの実装に置き換えるものと考えることができます。Photon ライブラリは JVM にロードされ、Spark と Photon は <a href="https://en.wikipedia.org/wiki/Java_Native_Interface" rel="noopener" target="_blank">JNI</a> を介して通信し、データポインタをオフヒープメモリに渡します。Photon は、混合プランでの協調的なスピリングのために、Spark のメモリマネージャーとも統合します。Spark と Photon の両方が、オフヒープメモリを使用し、メモリプレッシャー下で協調するように設定されています。</p><p>パブリックプレビューリリースでは、Photonは、すべてではありませんが、多くのデータ型、演算子、式をサポートしています。詳細については、ドキュメントの<a href="https://docs.databricks.com/runtime/photon.html" rel="noopener" target="_blank">Photonの概要</a>を参照してください。</p><h2>Photon実行分析</h2><p>現時点ではすべてのワークロードとオペレーターがサポートされているわけではないため、Photonの恩恵を受けられるワークロードの選択方法や、実行プランにおけるPhotonの存在を検出する方法について、疑問に思われるかもしれません。要するに、Photon の実行はボトムアップです。テーブルスキャンオペレーターから始まり、サポートされていないオペレーションに到達するまで DAG (有向非巡回グラフ) を上に進み続けます。その時点で、実行は Photon から離れ、残りのオペレーションは Photon なしで実行されます。</p><ol><li><p>Databricks SQL で Photon を使用している場合、クエリーのどのくらいの部分が Photon を使用して実行されたかを簡単に確認できます。</p><p>&nbsp;</p></li><li>サイドバーの<strong>クエリー履歴</strong>アイコンをクリックしてください。</li><li>分析したいクエリーを含む行をクリックしてください。</li><li>「クエリーの詳細」ポップアップで、<strong>「実行の詳細」</strong>をクリックします。</li><li>下部にある<strong>Photonでのタスク時間</strong>メトリクスを確認してください。</li></ol><p>一般的に、Photonでのタスク時間の割合が大きいほど、Photonによるパフォーマンス上のメリットも大きくなります。</p><figure><a href="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-3.jpg" data-lightbox><img class="size-full wp-image-159098" style="width:1200px;" src="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-3.jpg" alt="Databricks SQL クエリー履歴の実行詳細" height="773"></a><figcaption>図3：Databricks SQLクエリー履歴の実行詳細</figcaption></figure><p>Databricks クラスターで Photon を使用している場合、Spark UI で Photon のアクションを表示できます。次のスクリーンショットは、クエリー詳細の DAG を示しています。DAG には Photon の表示が 2 つあります。まず、Photon オペレーターは、PhotonGroupingAgg のように、Photon で始まります。次に、DAG では、Photon オペレーターとステージはピーチ色で表示され、Photon 以外は青色で表示されます。</p><figure><a href="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-4-rev.png" data-lightbox><img class="size-medium wp-image-159280" style="width:103px;" src="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-4-rev-103x300.png" alt="Spark UIクエリー詳細DAG" height="300"></a><figcaption>画像4：Spark UIのクエリー詳細DAG</figcaption></figure><h2>NYC タクシーデータに関する実用的な例の使用開始</h2><p>前述のとおり、Photonを使用するには2つの方法があります。</p><ol><li>すべてのDatabricks SQL Endpointで、Photonはデフォルトで有効になっています。<a href="https://docs.databricks.com/sql/admin/sql-endpoints.html" rel="noopener" target="_blank">SQLエンドポイントをプロビジョニング</a>してクエリーを実行し、上記の方法を使ってPhotonがパフォーマンスに与える影響を確認するだけです。</li><li>DatabricksクラスターでPhotonを実行するには（パブリックプレビュー期間中はAWSのみ）、<a href="https://docs.databricks.com/clusters/configure.html#databricks-runtime" rel="noopener" target="_blank">新しいクラスターをプロビジョニングする際にPhotonランタイムを選択してください</a>。新しいPhotonインスタンスタイプは、Photon以外のランタイムを実行している同じ<a href="https://www.databricks.com/product/aws-pricing/instance-types" rel="noopener" target="_blank">インスタンスタイプ</a>とは異なるレートでDBUを消費します。PhotonインスタンスとDBU消費の詳細については、<a href="https://www.databricks.com/product/aws-pricing/instance-types" rel="noopener" target="_blank">AWS向けのDatabricks価格ページ</a>をご参照ください。</li></ol><p>Photonが有効なSQLエンドポイントまたはクラスターを作成したら、Databricks SQLエディタまたはノートブックから<a href="https://www1.nyc.gov/site/tlc/about/tlc-trip-record-data.page" rel="noopener" target="_blank">NYC Taxiデータセット</a>に対して、いくつかのクエリーを実行してみることができます。抜粋を事前に読み込み、<a href="https://docs.databricks.com/data/databricks-datasets.html" rel="noopener" target="_blank">Databricks データセット</a>の一部としてアクセスできるようにしました。</p><p>まず、次の SQL スニペットを使用して、既存のデータを指す新しいテーブルを作成します。</p><pre>&lt;code class="language-plaintext"&gt; CREATE DATABASE IF NOT EXISTS photon_demo; CREATE TABLE photon_demo.nyctaxi_yellowcab_tableUSING DELTA OPTIONS ( path "/databricks-データセット/nyctaxi/tables/nyctaxi_yellow/" ); &lt;/code&gt;</pre><p>このクエリーを試して、Photon の速さを体感してください！</p><pre>&lt;code class="language-plaintext"&gt; SELECT vendor_id, SUM(trip_distance) as SumTripDistance, AVG(trip_distance) as AvgTripDistance FROM photon_demo.nyctaxi_yellowcab_tableWHERE passenger_count IN (1, 2, 4) GROUP BY vendor_id ORDER BY vendor_id; &lt;/code&gt;</pre><p>2つの i3.2xlarge エグゼキューターと1つの i3.2xlarge ドライバーを備えたウォームアップ済みの AWS クラスター上で、Photon と従来の Databricks Runtime を使用して上記クエリーの応答時間を測定しました。こちらが結果です。</p><figure><a href="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-5.png" data-lightbox><img class="size-full wp-image-159101" style="width:1356px;" src="https://www.databricks.com/wp-content/uploads/2021/06/photon-pr-blog-img-5.png" alt=" NYC taxiのサンプルクエリーにおけるPhotonとDatabricks Runtimeの比較" height="772"></a><figcaption>図 5: NYC タクシーのサンプルクエリーにおける Photon と Databricks Runtime の比較</figcaption></figure><p>Photonについてさらに詳しく知りたい場合は、Data and AI Summitのセッション<a href="https://www.databricks.com/session_na21/radical-speed-for-sql-queries-on-databricks-photon-under-the-hood" rel="noopener" target="_blank">Radical speed for SQL Queries Photon Under the Hood</a>もご覧いただけます。お読みいただきありがとうございます。皆様からのフィードバックをお待ちしております！</p>