Databricks 上の Apache Iceberg の進化: Iceberg v3 GA、オープン共有、統合ガバナンス

オープンレイクハウスの次のフェーズは、カタログによって定義されます。オープンテーブルフォーマットにより、多くのエンジンが同じデータ上で動作できるようになりましたが、カタログは、そのデータがシステム間で一貫してガバナンス、最適化、共有できるかどうかを決定します。AIやエージェント型アプリケーションを含む多くのワークロードが、複数のシステムにわたるガバナンスされたデータアクセスに依存するようになるにつれて、企業は相互運用性、優れたパフォーマンス、エンタープライズグレードのガバナンスを提供できるIcebergカタログを必要としています。

だからこそ本日、あらゆるレイクハウスカタログで利用可能な、最も包括的なIceberg機能セットを発表します。この記事では、Unity CatalogにおけるIcebergサポートの新しい強化機能について説明し、Unity Catalogを今日の市場で最も相互運用性の高いIcebergカタログにしている5つの理由を解説します。

新機能：Iceberg機能の概要

DatabricksとUnity Catalog全体で広範なIceberg機能セットを一般提供（GA）およびプレビューでリリースし、すべてのエンジン、すべてのカタログ、すべてのチームがシームレスに連携できるようにしました。

• マネージドIceberg（GA）：Predictive OptimizationとLiquid Clusteringにより、テーブルのパフォーマンス維持に必要な手作業を排除し、Unity Catalog内で直接Icebergテーブルを作成、読み取り、書き込み、最適化、ガバナンス、共有できます。
• Iceberg v3（GA）：マネージドテーブル、外部テーブル、UniForm対応テーブル全体で、削除ベクトル、行追跡、新しいVARIANT型に対するネイティブサポート。
• 外部Iceberg（GA）＆nbsp;外部Icebergの資格情報ベンディング（GA）： 外部カタログで管理されているIcebergテーブルを登録、ガバナンス、安全にクエリできます。
• Icebergクライアントへの外部共有（GA）：オープンなDeltaSharingプロトコルを使用して、任意のIceberg REST互換クライアントとライブデータを共有できます。
• 外部Icebergテーブルの外部共有（パブリックプレビュー）：Databricks外で管理されているIcebergテーブルを、DatabricksおよびDelta Sharingエコシステム全体でネイティブに共有できます。
• Iceberg互換の具象化ビュー（Gated Public Preview）：Databricksで高性能な具象化ビューを作成し、ダウンストリームにネイティブIcebergテーブルとして公開できます。
• クロスエンジン属性ベースアクセス制御（ベータ）：Iceberg REST Catalog Scan APIを通じて、外部Icebergエンジンに対してきめ細かなガバナンスポリシーを適用します。
• 新しいカタログフェデレーションコネクタ（プレビュー）： Unity Catalogのカタログフェデレーションサポートを、AWS Glue、Snowflake Horizon、Hive Metastore、Salesforce Data Cloudを超えて、Google Cloud LakehouseおよびPalantirまで拡張し、Unity Catalogを単一のガラスパネルにします。

Unity Catalogを最も相互運用性の高いIcebergカタログにしている5つの理由

完全にオープンなレイクハウスを提供するには、Icebergカタログは基本的なメタデータ追跡を超えていく必要があります。多様なエンジン、ベンダー、ガバナンスモデルにわたる絶対的な柔軟性を提供する必要があります。オープンなIcebergカタログの評価は、5つの基本的な運用要件にどれだけうまく対応できるかにかかっています：オープンAPIの提供、外部エステート全体でのフェデレーション、クロスエンジンガバナンスの強制、安全でオープンな共有の有効化、そして継続的なパフォーマンスとフォーマットのイノベーションです。

Unity Catalogは、これら5つの要件すべてを満たす唯一のカタログです。

1. オープンAPIと資格情報ベンディング

顧客は、データをコピーしたり、すべてのエンジンに広範なストレージ権限を与えたりすることなく、Spark、Trino、Flink、Snowflake、DuckDB、pandas、またはその他のIceberg互換クライアントなど、ワークロードに最適なエンジンを使用できるはずです。

DatabricksでマネージドIcebergが一般提供されたことにより、顧客はUCのIceberg REST Catalog APIを使用して、任意のエンジンからUnity Catalog内のIcebergテーブルを作成、読み取り、書き込みできるようになりました。

UCのIceberg REST Catalog APIは、マネージドIcebergテーブルを超えて拡張されました。UCは、外部カタログで管理されているテーブルに対しても、オープンAPIを介した安全なアクセスを提供する、フェデレーションされたIcebergテーブルの資格情報も提供します。現在Gated Public Previewでは、顧客はDatabricksで具象化ビューを作成し、ダウンストリームコンシューマーにIcebergテーブルとして公開できます。数週間以内に一般提供が開始される予定で、顧客はCREATE MATERIALIZED VIEW my_mv USING ICEBERGを使用して、Iceberg互換の具象化ビューを直接作成できるようになります。

2. カタログフェデレーション：Icebergエステート全体を1つのビューで

多くの大企業は、レイクハウス内に複数のカタログを持っています。例えば、Unity Catalog、AWS Glue、Snowflake Horizon、Hive Metastoreにデータが分散している場合があります。外部Icebergが一般提供されたことにより、Unity Catalogは他のカタログで管理されているIcebergテーブルをガバナンスできるようになりました。顧客は、Databricksを通じて外部Icebergテーブルを発見、保護、クエリ、共有できます。データとソースカタログはそのまま保持されます。

Unity Catalogは現在、AWS Glue、Google Cloud Lakehouse Runtime Catalog、Snowflake Horizon、Palantir、Salesforce、Workdayを含む、広範で成長中のIcebergカタログ統合セットをサポートしています。これらの統合により、企業はデータが他の場所で生成または管理されている場合でも、Unity CatalogをIcebergエステートの単一のガラスパネルとして扱うことができます。

3. クロスエンジン属性ベースアクセス制御

歴史的に、行レベルおよび列レベルの制御は単一のエンジン内で強制されていました。オープンレイクハウスでは、同じテーブルに複数のエンジンからアクセスできます。これにより、データにアクセスできるすべての場所でガバナンスが機能する必要があるという困難な問題が生じました。

現在、クロスエンジン属性ベースのアクセス制御（ABAC）がベータ版になったことで、Unity CatalogはIcebergクライアントに属性ベースのアクセス制御を拡張し、Iceberg REST Catalog Scan APIを使用します。

仕組み：管理者は、列マスク、行フィルター、タグベースのポリシーを含むポリシーをUCで一度定義します。外部Icebergエンジンがアクセスを要求すると、UCはサーバーサイドスキャン計画中に適用可能なポリシーを評価します。その後、UCはフィルター処理されたスキャン計画を返すため、エンジンはクエリの処理中に承認されたデータのみを読み取ります。

これにより、オープンスタンダードを使用した外部Icebergエンジンにきめ細かなガバナンスがもたらされます。Iceberg RESTカタログスキャン計画クライアント（Iceberg 1.11リリースで追加）を実装しているApache SparkやDuckDBなどの任意のエンジンは、ABACが強制された状態でデータにアクセスできます。顧客は、レイクハウス全体で1つのガバナンスモデルを維持しながら、各ワークロードに最適なエンジンを使用できます。

Unity CatalogとマネージドIcebergは、AIおよびMLパイプラインのネイティブパフォーマンスと、すべてのダウンストリームコンシューマー向けのオープンな相互運用性という、両方の長所を提供します。1つの書き込みパス、重複なし、そしてすべてのエンジンが尊重するガバナンスレイヤー。これには、RipplingのData Cloud向けに構築しているAI駆動製品も含まれます。— Tae Lee、スタッフエンジニア、データプラットフォーム、Rippling

4. 外部およびクロスドメインコラボレーションのためのゼロコピーセキュア共有

クロスドメイン共有では、データプロバイダーはしばしば悪いトレードオフを強いられます。別のプラットフォームにデータをコピーする、複雑な外部認証メカニズムを構築する、またはすべての受信者に同じベンダーエコシステムを使用させる必要があります。Databricksは、DataおよびAI共有で最も広く採用されているオープンソースプロトコルであるDelta Sharingで、セキュアなオープンデータ共有を先駆けてきました。これは、Databricks間およびDatabricksからオープンへの共有の両方をサポートします。

Databricks DeltaSharingでIcebergがソースフォーマットとしても宛先としてもファーストクラスの市民になったことを発表できることを嬉しく思います。現在一般公開されているIcebergクライアントへの共有により、Databricks顧客は、Iceberg REST Catalog APIをサポートする任意の受信者と外部でライブデータを共有できます。受信者は、手動での取り込みやコピーなしで、Snowflake、Trino、Flink、SparkなどのIceberg互換クライアントから共有データをクエリできます。プロバイダーは、Unity Catalogを通じてアクセス、監査、ガバナンスを引き続き管理します。

また、外部Iceberg共有のパブリックプレビューも発表します。顧客は、Databricksの外部で管理またはカタログ化されているが、Unity Catalogに登録および管理されているIcebergテーブルを共有できます。これは、UCがマネージドおよび外部Icebergテーブルの共有レイヤーとして機能し、データを所定の位置に保持し、ガバナンスを一元化できることを意味します。

5. パフォーマンスとフォーマットのイノベーション：手動チューニングなしで高速なオープンテーブル

オープンな相互運用性は、テーブルが本番スケールでパフォーマンスを発揮する場合にのみ機能します。Unity Catalogは、AIを使用してテーブルを最適化し、クエリを高速化し、運用オーバーヘッドを削減する唯一のカタログです。Predictive Optimizationは、どのテーブルにメンテナンスが必要か、どの最適化を実行するか、どのくらいの頻度で実行するかを決定し、ワークロードパターンに基づいてテーブルのデータレイアウトを適応させます。これにより、使用状況が変化してもIcebergテーブルを高速かつコスト効率よく維持するために必要な運用作業が削減され、これらの最適化はすべてのエンジンにメリットをもたらします。たとえば、データレイアウト最適化技術は、Apache SparkなどのDatabricks外で実行されるクエリのデータスキッピングを改善します。 私たちは顧客体験のイノベーションを継続しており、最適なパフォーマンスのためにクラスタリングキーをインテリジェントに選択したり、過去のアクセスパターンに基づいてオープンテーブルを最新のイノベーションで自動的にアップグレードしたりできる唯一のカタログです。

Databricksは、Iceberg標準自体も推進しています。Databricksで一般公開されているIceberg v3により、顧客はマネージドIcebergテーブル、外部Icebergテーブル、およびUniForm対応マネージドテーブル全体で、削除ベクトル、行追跡、VARIANTのサポートを利用できます。これらの機能は、パフォーマンスと相互運用性の間の重要なギャップを埋めます。削除ベクトルは、更新、マージ、削除を高速化します。行追跡は、より効率的な増分処理をサポートします。VARIANTは、半構造化データに標準的な表現を提供します。これらの機能は、DeltaテーブルとIcebergテーブルの両方でシームレスに機能し、データを書き換えることなく相互運用性を実現します。

これらの投資はすべて同じ目標に向けられています。それは、顧客がエコシステムの相互運用性と本番ワークロードに必要なパフォーマンス機能のどちらかを選択することを強制しないオープンテーブルです。

Unity Catalogは、チームやシステム全体でデータをガバナンスするための1つの場所を提供し、マネージドIcebergは、当社の規模で必要なパフォーマンスを提供します。— Kayvon Raphael、データエンジニアリング責任者、Magnite

これらを合わせると、これらの5つの機能により、Unity CatalogはApache Icebergに最適なカタログになります。UCは、顧客にIcebergテーブルへのオープンアクセス、カタログ間の統合ビュー、エンジン全体でのきめ細かなガバナンス、ドメイン間のセキュアな共有、および本番ワークロードの自動最適化を提供します。

次のフロンティア：Iceberg v4

Iceberg v4では、パフォーマンス、スケーラビリティ、相互運用性を向上させるために、コアメタデータ構造をゼロから再考しています。私たちの目標は、パフォーマンスと機能イノベーションの基準を継続的に引き上げ、IcebergとDelta Lakeをより近づける方法で行うことです。だからこそ、Deltaの次のバージョンであるDelta 5.0がアダプティブメタデータツリー構造を採用することを提案しています。

結果はシンプルです。すべてのマネージドテーブルはUnity Catalogで自動的に最適化され、オープンAPIを通じて管理され、任意のエンジンで利用できます。他のプラットフォームでは、相互運用性と高度なパフォーマンスおよび機能のどちらかを選択する必要があります。Unity Catalogを使用すると、両方を得ることができます。

Data + AI Summitで詳細をご覧ください

Data + AI Summitにご参加いただき、Apache Iceberg、Unity Catalog、オープン共有、フェデレーション、そしてDeltaおよびIcebergフォーマットの統合の次のフェーズについて詳しくご覧ください。

• フォーマットの共進化：Iceberg v4とDelta 5.0はどのように統一されたメタデータを共有するか Iceberg v4のアダプティブメタデータツリーと、Delta 5.0が同じコンテンツメタデータ構造を採用して、統一されたエコシステムでパフォーマンスと相互運用性を向上させる方法について詳しく説明します。
• オープンテーブルフォーマットガイド：Delta、Iceberg、ベストプラクティス、そしてこれから Delta LakeとApache Icebergの最新情報、今日のフォーマット間の作業のベストプラクティス、およびAI/MLワークロードをより良くサポートするための今後のロードマップの早期プレビューについて学びます。
• Magniteのペタバイト級Icebergデータでの相互運用性のジャーニー MagniteがUnity Catalogでアクセスを一元化し、Apache Spark、DuckDB、Snowflakeなどのエンジン全体でパフォーマンスを向上させた方法をご覧ください。
• Lakehouse Federationを使用してAWS Glue、Snowflake、BigQuery、Fabric全体でデータに安全にアクセスする方法 Unity Catalogが、データをコピーせずに外部システム全体でデータをガバナンス、保護、クエリするためのカタログのカタログとしてどのように機能するかをご覧ください。
• Apache Icebergの相互運用性：Databricks Delta Sharingでのファーストクラスのオープンサポート
  Delta SharingでのファーストクラスのIcebergサポート、およびFoot LockerがクロスプラットフォームのIceberg相互運用性でDatabricksオープン共有をどのように使用しているかをご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事