Databricks at SIGMOD 2026

Databricksは、データとAIの分野で可能なことの限界を常に押し広げ、エンジニアリングイノベーションの道をリードし続けています。Spark Declarative Pipelinesに関する私たちの取り組みがSIGMOD 2026で発表されること、そしてカンファレンスで名誉ある特別賞を受賞したことを発表できることを嬉しく思います。私たちは、プラチナスポンサーとして、来る6月1日から5日までSIGMODに参加します。SIGMODはインドのバンガロールで開催されますが、そこはDatabricksの主要なR&Dハブでもあります。

データエンジニアリングに関する私たちの今後の論文は、Databricksがいかに顧客のために増分処理を簡素化したかを示しています。Spark Declarative Pipelines（SDP）で増分プログラムを作成するには2つの方法があり、顧客はパイプライン内でこれらを組み合わせて使用できます。

• データエンジニアは、マテリアライズドビューを変換に指定できます。Enzymeエンジンは、新しいデータが到着するにつれてそれらを増分的に維持します。増分処理のすべての複雑さは、マテリアライズドビューの作成者から完全に隠蔽されます。SIGMOD 2026の論文 「Enzyme: Data Engineeringのための増分ビューメンテナンス」は、これらのアイデアの一部を議論しています。
• ストリーム処理に精通したデータエンジニアは、代わりにSDPのストリーミングエンジンを使用してデータを増分的に処理できます。ストリーミングAPIは、ステートフル演算子からウォーターマークまで、さまざまな構成要素を提供し、カスタム集計のような複雑なビジネスロジックを簡単に表現できます。私たちのストリーミング製品の主要なアイデアは、VLDB 2026の論文 「Apache Spark Structured Streamingの10年：実世界のニーズを満たすためにアーキテクチャをどのように進化させたか」に登場します。

Enzyme論文とチームが取り組んできたことの簡単な紹介はこちらです。

SIGMOD 2026でのEnzyme

増分ビューメンテナンス

あなたが会社の分析担当者で、ある地域で販売された注文の総数を分析したいとしましょう。以下に示されるマテリアライズドビューがその答えを提供します。

CREATE MATERIALIZED VIEW order_report as

SELECT region, sum(orders)

FROM customer_and_order_table

GROUP by region

新しい注文が追加されるにつれて、マテリアライズドビューは最新の状態に保たれると期待されます。このデータメンテナンスは、基本的に増分ビューメンテナンスの問題です。上記の簡単なMVを最新の状態に保つことは簡単に見えますが、MVが複数のテーブルにまたがるデータを結合する必要がある場合や、ウィンドウ関数が含まれている場合、またはLLM関数を呼び出す必要がある場合を想像してみてください。

Enzymeのイノベーション

マテリアライズドビュー（MV）は、データウェアハウスにあるデータを高速化するクエリアクセラレーションで人気があります。Spark Declarative Pipelinesを作成する際に、クエリアクセラレーションを超えて、マテリアライズドビューを抽出-変換-ロード（ETL）ユースケースに適用することにしました。私たちの主な観察は、MVを効率的かつ増分的に維持できれば、複雑なカスタムコードの記述を必要とするETLワークロードを大幅に簡素化できるということです。

Enzymeは、マテリアライズドビューの増分メンテナンスに関する豊富な文献に追加され、これらの技術を本番ワークロードにどのようにスケーリングできるかを示しています。チームが取り組んだイノベーションの一部は次のとおりです。

• 広範なMVパターンをサポート： Enzymeは、結合、ウィンドウ関数、集計、およびそれらの組み合わせを含む、本番環境での複雑なMVを増分的に維持します。他の業界ソリューションとは異なり、Enzymeはcurrent_date()やAI固有の関数などの非決定性関数もサポートしています。
• 多言語サポート：ほとんどの業界ソリューションはSQLに焦点を当てていますが、EnzymeはPythonで指定されたMVもサポートしています。Pythonは現在、ほとんどのデータエンジニアリングおよびAIワークロードの選択言語です。Enzymeは、MV定義の変更を正確に検出するなど、多言語サポートが伴う多くの興味深い課題を解決します。
• パフォーマンス最適化： Enzymeには、処理する必要のあるデータ量を削減するための複数の最適化が含まれています。これには、パーティションレベルではなく行レベルで更新を適用するかどうかを自動的に決定する技術が含まれており、書き換えのオーバーヘッドを削減します。IOコストを削減するために中間結果を選択的にキャッシュします。プラン情報と過去の実行を活用して最も効率的な増分化戦略を決定するコストモデルを使用します。

図1：Enzymeは、別の競合する業界ソリューション（ライセンス上の制限によりCV-IVMと匿名化）よりも大幅に優れたパフォーマンスを発揮します。

さらに詳しく知りたいですか？ 論文をチェックして、SIGMODに参加する場合は、詳細について私たちの 講演にご参加ください。

SIGMODでお会いしましょう：

私たちのブースに立ち寄って、チームに会い、Databricksで起こっているイノベーションについて詳しく学びましょう。さらに、Ritwik YadavがSIGMODで講演する際に、彼から直接話を聞くチャンスをお見逃しなく！

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事