2023年8月14日

Delta UniForm: レイクハウスの相互運用性を実現するユニバーサルフォーマット

によってビラル・オベイダット（Bilal Obeidat）, Sirui Sun, Adam Wasserman, スーザン・ピアス, Fred Liu, Ryan Johnson 、 Himanshu Raja による投稿

更新情報: BigQueryはBigLakeを通じてDelta Lakeのネイティブサポートを提供するようになりました。詳細については、ドキュメントをご確認ください。

組織がオープンデータレイクハウスを採用する際に直面する主要な課題の1つは、データに最適なフォーマットを選択することです。利用可能なオプションの中では、Linux Foundation Delta Lake、Apache Iceberg、およびApache Hudiはすべて、データの民主化と相互運用性を可能にする優れたストレージフォーマットです。これらのどのフォーマットも、データをプロプライエタリなフォーマットに入れるよりも優れています。しかし、標準化する単一のストレージフォーマットを選択することは、困難な作業であり、意思決定疲れや不可逆的な結果への恐れにつながる可能性があります。

Delta UniForm（Delta Lake Universal Formatの略）は、追加のデータコピーやサイロを作成することなく、シンプルで実装が容易な、テーブルフォーマットのシームレスな統合を提供します。このブログでは、以下の内容について説明します。

Delta UniFormの概要とその利点
Delta UniFormをIcebergテーブルとして読み取る方法
- Icebergメタデータパス
- Iceberg REST Catalog API

複数のフォーマット、単一のデータコピー

Delta UniFormは、Delta Lake、Iceberg、HudiがすべてApache Parquetデータファイル上に構築されているという事実を利用しています。これらのフォーマット間の主な違いはメタデータ層にあり、その違いも微妙です。3つのフォーマットすべてのメタデータは同じ目的を果たし、重複する情報セットを含んでいます。

Delta UniFormのリリース前は、オープンテーブルフォーマットを切り替える方法はコピーベースまたは変換ベースであり、データの特定時点のビューしか提供していませんでした。対照的に、Delta UniFormは、フォーマットに関係なくすべてのリーダーにデータのライブビューを提供することで、相互運用性のニーズをよりエレガントに解決します。

内部的には、Delta UniFormは、Parquetデータの単一コピーに対して、Delta Lakeと並行してIcebergおよびHudiのメタデータを自動的に生成することで機能します。その結果、チームは各データワークロードに最適なツールを使用でき、すべて単一のデータソースで動作し、3つの異なるエコシステム間で完璧な相互運用性を実現できます。

迅速なセットアップ、最小限のオーバーヘッド

Delta UniFormは非常に簡単にセットアップでき、一度有効にするとシームレスかつ自動的に機能します。

まず、Icebergメタデータを生成するためにDelta UniFormテーブルを作成しましょう。

Delta UniFormテーブルでは、追加フォーマットのメタデータはテーブル作成時に自動的に作成され、テーブルが変更されるたびに更新されます。これにより、手動での更新コマンドや、テーブルフォーマットを変換するための不要なコンピューティングを実行する必要がなくなります。例えば、このテーブルに1行書き込んでみましょう。

このコマンドはDelta Lakeコミットをトリガーし、その後、このテーブルのIcebergメタデータを自動的かつ非同期的に生成します。これにより、Delta UniFormはデータパイプラインが中断されないようにし、すべてのリーダーが最新の情報にシームレスにアクセスできるようにします。

Delta UniFormは、パフォーマンスとリソースのオーバーヘッドが無視できるレベルであり、計算リソースの最適な利用を保証します。ペタバイト規模のテーブルであっても、メタデータは通常、データファイルサイズのほんの一部です。さらに、Delta UniFormは、前回のコミット以降の変更のみにスコープを限定してメタデータを増分的に生成できます。

Delta UniFormをIcebergとして読み取る

Delta UniFormはApache Iceberg仕様に従ってIcebergメタデータを生成します。これは、データがDelta UniFormテーブルに書き込まれると、オープンソースのIceberg仕様に準拠するIcebergエコシステム内の任意のクライアントによって、そのテーブルがIcebergとして読み取れることを意味します。

Iceberg仕様によれば、リーダークライアントは、どのIcebergメタデータがIcebergテーブルの最新バージョンを表しているかを特定する必要があります。Icebergエコシステム全体で、クライアントがこれに対して2つの異なるアプローチを取っているのを見てきましたが、その両方がUniFormによってサポートされています。ここではその違いを説明し、次のセクションで例を示します。

一部のIcebergリーダーは、ユーザーがIcebergテーブルの最新スナップショットを表すメタデータファイルへのパスを提供することを要求します。このアプローチは、テーブルが変更されるたびに更新されたメタデータファイルパスをユーザーが提供する必要があるため、顧客にとって煩雑になる可能性があります。

代替案として、IcebergコミュニティはRESTカタログAPIの使用を推奨しています。クライアントはカタログと通信してテーブルの最新状態を取得し、ユーザーは手動での更新やメタデータパスを気にすることなく、Icebergテーブルの最新状態を読み取ることができます。

Unity Catalogは現在、Apache Iceberg仕様に準拠したオープンなIceberg Catalog REST APIを実装しています。これは、オープンAPIをサポートするというUnity Catalogのコミットメントと一致しており、Unity CatalogのHMS APIサポートの勢いに乗っています。Unity Catalog Iceberg REST APIは、Databricksコンピューティングの料金なしでIcebergフォーマットのUniFormテーブルへのオープンアクセスを提供し、最新データへのアクセスに対する相互運用性と自動更新サポートを可能にします。その副産物として、これにより他のカタログがUnity Catalogにフェデレートし、Delta UniFormテーブルをサポートできるようになるはずです。

Apache Icebergクライアントライブラリには、Iceberg REST API Catalogと連携する機能がプリパッケージされています。これは、Apache Iceberg標準を完全に実装し、カタログエンドポイントの設定をサポートする任意のクライアントが、Unity Catalog Iceberg REST API Catalogに簡単にアクセスし、テーブルの最新メタデータを取得できることを意味します。これにより、テーブルメタデータの管理作業が不要になります。

次のセクションでは、Delta UniFormがメタデータパスとIceberg REST Catalog APIの両方のアプローチをサポートしている例を詳しく説明します。

例: メタデータロケーションを指定してBigQueryでDelta LakeをIcebergとして読み取る

既存のカタログでIcebergを読み取る際、BigQueryは最新のIcebergスナップショットを表すJSONファイルへのポインタを提供することを要求します（BigQueryドキュメント）。以下に示すようにです。

BigQueryの場合:

Unity CatalogとDelta UniFormを使用すると、必要なIcebergメタデータファイルパスを簡単に見つけることができます。Unity Catalogは、このパスを含むいくつかのDelta Lakeテーブルプロパティを公開しています。UIまたはAPIを介して、Delta UniFormテーブルのメタデータロケーションを取得できます。

UIを介してDelta UniForm Icebergメタデータパスを取得する:

Databricks Data ExplorerでDelta UniFormテーブルに移動し、「詳細」タブをクリックします。ここに、メタデータパスを含むDelta UniForm Icebergの行が表示されます。

Databricksの場合:

APIを介してDelta UniForm Icebergメタデータロケーションを取得する:

選択したツールから、以下のGETリクエストを送信して、Delta UniFormテーブルのIcebergメタデータロケーションを取得します。

レスポンスのdelta_uniform_iceberg.metadata_locationフィールドには、最新のIcebergスナップショットのメタデータロケーションが含まれています。

UIまたはAPIメソッドから取得した場所を上記のBigQueryコマンドに貼り付けるだけで、BigQueryはスナップショットをIcebergとして読み取ります。

テーブルが更新された場合、最新のデータを読み取るために、更新されたメタデータロケーションをBigQueryに提供する必要があります。本番環境のユースケースでは、Delta UniFormテーブルに書き込むたびに、最新のIcebergメタデータパスでBigQueryを更新するステップをインジェストパイプラインに追加する必要があります。メタデータパスの更新が必要となるのは、このアプローチにおける一般的な制限であり、UniFormに固有のものではありません。

例: REST Catalog APIを介してTrinoでDelta LakeをIcebergとして読み取る

では、先ほど作成した同じDelta UniFormテーブルを、Unity CatalogのIceberg REST Catalog APIを使用してTrinoで読み取ってみましょう。

注: TrinoはDeltaテーブルを直接サポートしているため、TrinoでDeltaテーブルを読み取るためにUniFormは必須ではありません。これは、UniFormがいかにオープンソースエコシステムにおける相互運用性をさらに拡大するかを示すためのものです。

Trinoをセットアップした後、etc/catalog/iceberg.propertiesファイルを更新してIcebergプロパティを調整し、TrinoがUnity CatalogのIceberg REST API Catalogエンドポイントを使用するように構成できます。

ここで:

UNITY_CATALOG_ICEBERG_URL - Unity CatalogのIceberg REST APIエンドポイントへのURL - 形式は次のとおりです: https://{DATABRICKS_WORKSPACE_URL}/api/2.1/unity-catalog/iceberg
- DATABRICKS_WORKSPACE_URL - DatabricksワークスペースのURL。WebブラウザでDatabricksワークスペースに移動すると見つけることができます。形式は次のとおりです: mydatabricksworkspace.cloud.databricks.com/?o=1231231231231231
PERSONAL_ACCESS_TOKEN - これらの手順に従ってDatabricksワークスペースで生成できるDatabricksパーソナルアクセストークン

プロパティファイルが構成されたら、Trino CLIを実行し、Delta UniFormテーブルに対してIcebergクエリを発行できます。

TrinoはApache Iceberg REST Catalog APIを実装しているため、外部テーブルを作成する必要も、最新のIcebergメタデータファイルへのパスを提供する必要もありませんでした。TrinoはUCから最新のIcebergメタデータを自動的にフェッチし、Delta UniFormテーブル内の最新データを読み取ります。

Trinoの観点からは、ここでDelta UniFormに特有のことは何も起こっていないことに注意することが重要です。仕様に従ってメタデータが生成されたIcebergテーブルを読み取り、Icebergカタログへの標準的なREST API呼び出しでそのメタデータを取得しています。

これがDelta UniFormのシンプルさです。Delta Lakeの書き込み者と読み取り者にとって、Delta UniFormテーブルはDelta Lakeテーブルです。Icebergの読み取り者にとって、Delta UniFormテーブルはIcebergテーブルであり、データとテーブルの不要なコピーなしに、単一のデータファイルセット上にすべて存在します。

Delta UniFormの影響

プレビュー期間中、私たちはすでに多くの顧客がDelta UniFormを使用してオープンデータレイクハウスの相互運用性を加速するのを支援してきました。組織はDelta Lakeに一度書き込むだけで、このデータにあらゆる方法でアクセスでき、ETL、BI、AIなどのさまざまなワークロードで最適なパフォーマンス、費用対効果、データ柔軟性を実現できます。これらすべてを、高価で複雑な移行の負担なしに行うことができます。

「Instacartでは、すべてのコンピューティングプラットフォームと相互運用可能な単一のデータコピーを持つオープンデータレイクハウスを持つことをビジョンとしています。Delta UniFormはその目標にとって不可欠です。Delta UniFormを使用すると、Delta LakeまたはIcebergとして読み取ることができるテーブルを迅速かつ簡単に生成でき、エコシステム内のすべてのツールとの相互運用性を実現できます。」 — InstacartのシニアスタッフソフトウェアエンジニアであるDoug Hyde氏がDelta UniFormでの経験を共有しました

Databricksのミッションは、データチームが世界で最も困難な問題を解決できるよう支援することであり、それはデータのコピーを作成することなく、適切なタスクに適切なツールを使用できることから始まります。私たちはDelta UniFormがもたらす相互運用性の向上に興奮しており、今後もこの分野への投資を継続していきます。

Delta UniFormは、Delta Lake 3.0のプレビューリリース候補の一部として利用可能です。Databricksのお客様は、Databricks Runtimeバージョン13.2またはDatabricks SQL 2023.35プレビューチャネルでDelta UniFormをプレビューすることもできます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事