Databricks での Apache Iceberg™ の完全サポートを発表

Databricks での Apache IcebergTM サポートのパブリックプレビューを発表いたします。これにより、Unity Catalog を使用して Apache Iceberg と Delta Lake のエコシステム全体が利用できるようになります。このプレビューでは、Unity Catalog に 2 つの新機能が導入されます。まず、Unity Catalog の Iceberg REST Catalog API を介して、Databricks または外部 Iceberg エンジンを使用して、マネージド Iceberg テーブルの読み取りと書き込みができるようになりました。予測最適化を利用することで、これらのテーブルは Liquid Clustering を含む高度なテーブル操作を自動的に実行し、すぐに使える高速なクエリパフォーマンスとストレージ効率を実現します。マネージド Iceberg テーブルは、DBSQL、Mosaic AI、Delta Sharing、MV など、Databricks プラットフォーム全体の高度な機能とも統合されています。次に、Lakehouse Federation の一環として、Unity Catalog を使用して、AWS Glue、Hive Metastore、Snowflake Horizon Catalog などの外部カタログで管理されている Iceberg テーブルにシームレスにアクセスして管理できるようになりました。

これらの新機能により、任意のエンジンから Unity Catalog に接続し、カタログや形式に関係なく、すべてのデータにアクセスして、データのサイロを解消し、エコシステムの非互換性を解決できます。このブログでは、以下について説明します。

• 新しいデータのサイロの特定
• 完全にオープンな Iceberg カタログとしての Unity Catalog の使用
• UC ガバナンスを Lakehouse 全体に拡張
• オープンテーブル形式の将来に関する当社のビジョン

新しいデータのサイロ

Lakehouse の 2 つの基本的なコンポーネント (オープンテーブル形式とデータカタログ) に沿って、新しいデータのサイロが出現しています。オープンテーブル形式により、オブジェクトストレージに保存されたデータに対する ACID トランザクションが可能になります。主要な 2 つのオープンテーブル形式である Delta Lake と Apache Iceberg は、幅広いオープンソースフレームワークと商用プラットフォームにわたるコネクタエコシステムを開発しました。ただし、最も一般的なプラットフォームは 2 つの標準のいずれか 1 つしか採用しておらず、形式を選択する際にエンジンを選択する必要がありました。

カタログは、さらなる課題をもたらします。カタログの主な役割は、ライターとリーダーの間でテーブルの現在のメタデータファイルを管理することです。ただし、一部のカタログでは、書き込みを許可されるエンジンが制限されています。すべてのエンジンでサポートされている形式ですべてのデータを保存できたとしても、選択したエンジンがカタログに接続できないため、そのエンジンを使用できない場合があります。このベンダーロックインにより、顧客は異種のカタログ間でデータ検出とガバナンスを断片化せざるを得なくなります。

次の 2 つのセクションでは、Unity Catalog がオープン標準とカタログフェデレーションを使用して、形式とカタログの非互換性をどのように解決するかについて説明します。

完全にオープンな Iceberg カタログ

Unity Catalog は、オープン標準を通じて形式のサイロを解消します。現在パブリックプレビューでは、Databricks と外部エンジンを使用して、Unity Catalog で管理される Iceberg テーブルを書き込むことができます。マネージド Iceberg テーブルは、Iceberg REST Catalog API の Unity Catalog の実装を介して、Iceberg エコシステム全体に完全に公開されています。REST Catalog は、Iceberg テーブルとの対話のための標準インターフェイスを提供するオープンAPI仕様です。Unity Catalog は REST Catalog の早期採用者であり、2023 年に最初にサポートを開始しました。このプレビューはその基盤の上に構築されています。現在、Apache Spark™、Apache Flink、Trino など、REST 仕様と互換性のある事実上すべての Iceberg クライアントが Unity Catalog に対して読み取りおよび書き込みを行うことができます。

当社はすべてのデータをオープン形式で保存し、使用するすべてのツールに接続できる単一のカタログを求めています。Unity Catalog を使用すると、任意の Iceberg クライアントに完全に公開されている Iceberg テーブルを書き込むことができ、Lakehouse エコシステム全体を解放し、アーキテクチャの将来性を保証できます。 — Hen Ben-Hemo、データプラットフォームアーキテクト

マネージド Iceberg を使用すると、承認をネイティブにサポートしていない PyIceberg のような OSS ツール間でも、Unity Catalog ガバナンスを Iceberg エコシステムに導入できます。Unity Catalog を使用すると、Lakehouse エコシステム全体にまたがるデータパイプラインを作成できます。たとえば、Apache Iceberg は、Kafka から Iceberg テーブルに書き込むための一般的なシンクコネクタを提供しています。Kafka Connect を使用して Iceberg テーブルを Unity Catalog に書き込み、ダウンストリームで Databricks のクラス最高の価格性能を ETL、データウェアハウジング、機械学習機能に利用できます。

すべてのマネージドテーブルは、予測最適化を使用して、クラス最高の読み取りパフォーマンスとストレージ最適化を自動的に実現します。予測最適化は、古いスナップショットを自動的に期限切れにし、参照されていないファイルを削除し、Liquid Clustering を使用してデータを段階的にクラスタリングします。Kafka を使用した当社の例では、これにより、小さなファイルの増殖によって一般的に引き起こされるパフォーマンスの低下を防ぎます。テーブルのメンテナンスを手動で管理する手間をかけずに、Iceberg テーブルを健全でパフォーマンスの高い状態に保つことができます。

マネージド Iceberg テーブルは Databricks プラットフォームと統合されており、DBSQL、Mosaic AI、Delta Sharing、MV などの高度なプラットフォーム機能でこれらのテーブルを活用できます。Databricks に加えて、Unity Catalog はパートナーエコシステムをサポートし、外部ツールを使用して Iceberg にデータを安全に配置します。たとえば、Redpanda は、Unity Catalog の Iceberg REST Catalog API を介して Kafka トピックに生成されたストリーミングデータを取り込みます。

Unity Catalog Managed Iceberg Tables と Iceberg REST Catalog により、Redpanda は最大かつ最も要求の厳しい Kafka ワークロードを、Unity Catalog によって最適化された Iceberg テーブルに直接ストリーミングできるようになり、すぐに使える検出可能性と、任意のストリームでの高速なクエリパフォーマンスを実現します。プッシュボタン構成により、すべてのリアルタイムストリーミングデータが Iceberg エコシステムで完全に利用できるようになったため、顧客はスタックがどのように進化しても、アーキテクチャが長持ちするように構築されていると確信できます。 — Matthew Schumpert、製品プラットフォーム責任者

Atlan、Buf、CelerData、Clickhouse、dbt Labs、dltHub、Fivetran、Informatica、PuppyGraph、Redpanda、RisingWave、StreamNative などのローンチパートナーにご参加いただけたことを嬉しく思います。

Lakehouse カタログ

Unity Catalog を使用すると、テーブル形式だけでなく、カタログ全体で相互運用できます。現在パブリックプレビューでは、AWS Glue、Hive Metastore、Snowflake Horizon Catalog などの外部カタログで管理されている Iceberg テーブルをシームレスにクエリおよび管理できます。Hive Metastore と AWS Glue Federation を拡張することで、これらのコネクタを使用すると、Unity Catalog 内にカタログ全体をマウントし、データ検出とガバナンスのための統合インターフェイスを作成できます。

フェデレーションは、外部カタログで管理されている Iceberg テーブルで Unity Catalog の高度な機能を活用するためのシームレスな統合を提供します。カタログや形式に関係なく、すべてのデータに対して Databricks のきめ細かいアクセス制御、リネージ、監査を使用できます。

Unity Catalog を使用すると、Rippling ML エンジニアとデータサイエンティストは、既存の OLAP データウェアハウス内の Iceberg テーブルにゼロコピーでシームレスにアクセスできます。これにより、コストを削減し、一貫性のある信頼できる情報源を作成し、データ更新のレイテンシを短縮できます。同時に、データライフサイクル全体でデータアクセスとプライバシーに関する高い基準を維持します。 — Albert Strasheim、最高技術責任者

フェデレーションにより、Unity Catalog は、すべてのテーブル、AI モデル、ファイル、ノートブック、ダッシュボードなど、Lakehouse 全体を管理できます。

テーブル形式の将来

Unity Catalog は、業界をオープンデータレイクハウスのシンプルさ、柔軟性、低コストの実現に近づけています。Databricks では、単一の統合されたオープンテーブル形式で、業界をさらに発展させることができると考えています。Delta Lake と Apache Iceberg は設計の多くを共有していますが、わずかな違いが顧客に大きな非互換性を引き起こします。これらの共通の問題を解決するために、Delta と Apache Iceberg のコミュニティは概念と貢献を調整し、Lakehouse エコシステムを統合しています。

Iceberg v3 は、このビジョンに向けた大きな一歩です。Iceberg v3 には、削除ベクター、バリアントデータ型、行 ID、地理空間データ型などの主要な機能が含まれており、Delta Lake で同一の実装を共有しています。これらの改善により、ペタバイト単位のデータを書き換えることなく、形式間でデータを移動したり、ファイルを簡単に削除したりできます。

将来の Delta Lake および Apache Iceberg リリースでは、Delta および Iceberg クライアントが同じメタデータを使用できるように、この基盤を構築し、テーブルを直接共有できるようにしたいと考えています。これらの投資により、顧客はオープンデータレイクハウスの本来の目標 (単一のデータコピー上のデータと AI のための完全に統合されたプラットフォーム) を実現できます。

マネージドおよび外部 Iceberg テーブルは、現在パブリックプレビューで利用できます。開始するには、ドキュメントをご覧ください。6 月 9 ～ 12 日のData and AI Summit で発表を再生して、最新の Iceberg 機能とオープンテーブル形式の将来について詳しく学んでください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事