Apache Iceberg v3 × Databricksで進化するレイクハウス

Databricks はデータインテリジェンスプラットフォームで Apache Iceberg v3 をサポートし、クラス最高のパフォーマンス、相互運用性、ガバナンスを備えた統合されたオープンなデータレイヤーを顧客に提供します。

このリリースにより、Iceberg のワークロードを実行している Databricks の顧客は、削除ベクトル、行レベルのリネージ、Variant データ型などの v3 の機能をご利用いただけるようになりました。これらの機能により、チームは最新のワークロードをプラットフォーム間で効率的かつ一貫してランできます。また、これらの機能は Delta テーブルと Iceberg テーブルの両方でシームレスに機能し、データを書き換えることなく相互運用性を実現します。

このリリースは、Databricks のオープンスタンダードへのコミットメントを強化し、顧客が完全なガバナンスと柔軟性を備えた Delta Lake、Apache Iceberg、Apache Parquet、Apache Spark の lakehouse 基盤上に構築できるよう支援します。

このブログでは、以下についてご紹介します。

• Iceberg v3 による統合データレイヤー
• Databricks 上での Iceberg v3 ワークロードの効率化
• オープンテーブルフォーマットの進化

Iceberg v3 による統合データレイヤー

Delta Lake と Apache Iceberg は、最新のlakehouseの基盤となっており、それぞれが信頼性、ガバナンス、スケーラブルなデータマネジメントにおいて強力な機能を持っています。両方ともメタデータ ファイルを使用して、Parquet データファイルと行レベルの削除を追跡します。しかし、これらのデータファイルと削除ファイルのフォーマット間にわずかな違いがあるため、組織は多くの場合、使用するデータプラットフォームに基づいて特定のフォーマットとその機能を選択する必要がありました。ペタバイト単位のデータを書き換えることは非現実的であるため、この選択は多くの場合、元に戻すことができませんでした。

Iceberg v3 はこのギャップを埋めるものです。Delta や、Parquet や Spark などのより広範なオープンエコシステムと密接に連携する機能が導入されており、チームはフォーマット間で一貫した動作とパフォーマンスを保ちながら、単一のデータコピーを使用できます。

Databricks は、レイクハウスの未来は断片化のない選択性にあると長年考えてきました。Iceberg v3 への私たちの貢献は、そのコミットメントを反映したものです。中核となるテーブルの動作を統一することで、顧客は Unity Catalog ですべてを一貫して管理しながら、好みのエンジンやツールを使用できるようになります。

Databricks 上での Iceberg v3 ワークロードの効率化

Iceberg v3 により、Databricks は Data Intelligence Platform の機能をすべての Unity Catalog マネージドテーブルで利用可能にします。

削除ベクトルによる更新の高速化

削除ベクトルを使用すると、Parquet ファイルを書き換えることなく行を削除または更新できます。代わりに、削除は別のファイルとして保存され、読み取り時にMergeされます。ほとんどのデータエンジニアリング ワークロードでは一度に数行しか変更されないため、これは効率的な書き込みにとって重要な機能です。

Databricks のクラス最高の ETL 価格性能を活用して、削除ベクトルを使用する Iceberg ワークロードをランできるようになりました。通常の MERGE ステートメントと比較して、削除ベクトルは更新を最大 10 倍高速化できます。Iceberg エンジンは、Unity Catalog の Iceberg REST Catalog APIs を使用して、マネージド Iceberg テーブルの読み取りと書き込みができます。Geodis は次のように述べています。

「削除ベクトル が Iceberg に導入されたことで、任意のエンジンを活用し、クラス最高のパフォーマンスを維持しながら、Iceberg のデータ資産を Unity Catalog に一元化できるようになりました。」  — デリオ・アマト氏、Geodis、チーフアーキテクト兼データオフィサー

行レベルの同時実行性のための行リネージ

行リネージは各行に一意の ID を付与するため、経時的な変更を簡単に追跡できます。行リネージは、すべての Iceberg v3 テーブルで必須です。

削除ベクトルと行リネージにより、Databricks の顧客は行レベルの同時実行性を使用して、行レベルで書き込みの競合を検出できるようになりました。これにより、同時実行性を確保するために複雑なデータLayoutを設計したり、ワークロードを調整したりする必要がなくなります。Databricks は、この機能をオープンテーブルフォーマットにもたらす唯一のlakehouseエンジンであり続けています。

柔軟な取り込みを実現する Variant データ型

最新のデータは、行と列にきれいに収まることはめったにありません。Logs、イベント、アプリケーションデータは、多くの場合 JSON 形式で提供されます。Variant データ型は半構造化データを直接保存し、複雑なスキーマや脆弱なパイプラインを必要とせずに優れたパフォーマンスを提供します。

Databricks で Variant データ型を使用すると、取り込み関数を使用して、生データをlakehouseテーブルに直接取り込むことができます。これらの関数は、JSON、CSV、XML データの読み込みをサポートしています。Variant は シュレッディングをサポートしており、これは共通フィールドを個別のチャンクに抽出して、列指向と同様のパフォーマンスを提供します。これにより、低レイテンシの BI、ダッシュボード、アラートパイプラインのクエリーが高速化されます。

Variant は Delta と Iceberg の両方で機能します。さまざまなエンジンを使用しているチームは、データを複製することなく、Variant 列を含む同じテーブルをクエリーできます。

「単純なスカラーデータのみを扱う時代は終わりました。特にセキュリティlogsやアプリケーションlogsを必要とするユースケースでは、その傾向が顕著です。Unity Catalog と Iceberg v3 は、Variant によって半構造化データの可能性を最大限に引き出します。これにより、相互運用性とコスト効率に優れたペタバイト規模のlogs収集が実現します。」  —  Russell Leighton 氏、チーフアーキテクト、Panther 

オープンテーブルフォーマットの進化

Iceberg v3 は、データレイヤー全体でオープンテーブルフォーマットを統合するための大きなステップとなります。次のフロンティアは、フォーマットが大規模なメタデータを管理および同期する方法を改善することです。Iceberg Summitで初めて導入された適応型メタデータツリーなどのコミュニティの取り組みは、メタデータのオーバーヘッドを削減し、大規模なテーブル操作を高速化できます。

これらのアイデアが成熟するにつれて、より高速なcommit、効率的なメタデータ管理、スケーラブルなマルチテーブル操作という共通の目標のもと、DeltaとIcebergのコミュニティはより緊密に連携していきます。Databricks はこの進化に貢献し続け、顧客がフォーマットレベルの違いに制約されることなく、最高のパフォーマンスと相互運用性を得られるように支援します。

今すぐ Databricks で Iceberg v3 をお試しください

これらの Iceberg v3 機能は現在 Databricks で利用可能であり、Unity Catalog のガバナンスに裏打ちされた、最も将来性のある標準の実装を顧客に提供します。Iceberg v3 を使用すると、Databricks の顧客は、Delta と Iceberg のテーブルにまたがる最高の機能を活用できます。Iceberg v3 を使用して Unity Catalog のマネージドテーブルを作成するのは簡単です。

Unity Catalog と Iceberg v3 の使用を開始 し、今後開催される Open Lakehouse + AI イベントに参加して、オープンエコシステム全体にわたる私たちの取り組みについて詳しく学びましょう。