Databricks における Apache Iceberg™ サポートのパブリックプレビュー 開始をお知らせします！
これにより、Unity Catalog 経由で Apache Iceberg と Delta Lake のエコシステムを完全に統合できるようになります。
今回のプレビューでは、Unity Catalog に 2 つの新機能が追加されています。
1. Managed Iceberg テーブルの読み書きが可能に
Databricks からだけでなく、外部の Iceberg エンジンからも、Unity Catalog の Iceberg REST Catalog API を通じて Managed Iceberg テーブル を読み書きできます。
予測最適化 により、これらのテーブルは Liquid Clustering を含む高度なテーブル操作を自動で実行し、高速なクエリ性能と高いストレージ効率を実現します。
また、Managed Iceberg テーブルは以下の Databricks の各種機能とネイティブに統合されています：
-
DBSQL
-
Mosaic AI
-
Delta Sharing
-
マテリアライズド・ビュー（MVs）
Unity Catalog は AWS Glue、Hive Metastore、Snowflake Horizon Catalog などの 外部カタログが管理する Iceberg テーブル へのシームレスなアクセスとガバナンスをサポートします。
これらの新機能により、あらゆるエンジンから Unity Catalog に接続し、カタログやフォーマットを問わず全データにアクセスできるようになります。
つまり、データのサイロを解消し、エコシステム間の非互換性を克服できるのです。
本ブログでは以下の内容を取り上げます：
新たなデータサイロの登場
Lakehouse を構成する 2 つの基盤要素、オープンテーブルフォーマットとデータカタログの間で、新たなデータサイロが生まれています。
オープンテーブルフォーマットの壁
オブジェクトストレージ上のデータに対して ACID トランザクションを実現するために、オープンテーブルフォーマットが登場しました。
中でも代表的な存在が Delta Lake と Apache Iceberg であり、これらは幅広い OSS フレームワークや商用プラットフォーム向けにコネクタエコシステムを構築してきました。
しかし、多くのプラットフォームはこの 2 つのうち どちらか一方しか対応しておらず、ユーザーは フォーマットを選ぶ＝エンジンを選ぶ というジレンマに直面しています。
カタログの壁
さらに問題を複雑にしているのが データカタログの制約です。
カタログの本来の役割は、テーブルのメタデータファイルを複数のリーダー／ライター間で正しく管理することです。
しかし、多くのカタログは 特定のエンジンしか書き込みを許可しないという制限を設けており、
たとえデータを全エンジンが対応するフォーマットで保存していても、そのエンジンがカタログと接続できない限り使えないという事態が起こり得ます。このようなベンダーロックインにより、データの発見やガバナンスが分断され、複数の異なるカタログにまたがって管理しなければならないという新たな課題が生じているのです。
このあと2つのセクションでは、Unity Catalog がどのようにオープンスタンダードとカタログフェデレーションを活用し、フォーマットやカタログ間の非互換性を解消しているかをご紹介します。
完全にオープンな Iceberg カタログ
Unity Catalog は オープンスタンダードを採用することで、フォーマットのサイロ（分断）を解消しています。
現在パブリックプレビュー中のこの機能により、Databricks や外部エンジンから Unity Catalog が管理する Iceberg テーブルへの書き込みが可能になりました。
これらの Managed Iceberg テーブル は、Unity Catalog が実装する Iceberg REST Catalog API を通じて、Iceberg エコシステム全体に対して 完全にオープンに公開されます。
REST Catalog とは、Iceberg テーブルとやり取りするための 標準化されたオープンAPI仕様です。
Unity Catalog はこの REST Catalog の 初期採用者のひとつであり、2023年にいち早くサポートを開始しました。
今回のプレビューでは、その基盤をさらに拡張しています。
今では、Apache Spark™、Apache Flink、Trino など、REST 仕様に準拠するほぼすべての Iceberg クライアントから、Unity Catalog に対して 読み書きが可能となっています。
私たちはすべてのデータをオープンな形式で保存し、私たちが使用するすべてのツールに接続できる単一のカタログを求めています。Unity Catalogを使用すると、すべてのIcebergクライアントに完全に開放されたIcebergテーブルを書き込むことができ、Lakehouseエコシステム全体を解放し、アーキテクチャを未来に備えることができます。
— ヘン・ベン・ヘモ、データプラットフォームアーキテクト
マネージドアイスバーグを使用すると、PyIcebergのようなネイティブで認証をサポートしていないOSSツールでも、ユニティカタログのガバナンスをアイスバーグエコシステムに導入することができます。Unity Catalogを使用すると、Lakehouseエコシステム全体にわたるデータパイプラインを作成することができます。例えば、Apache Icebergは、KafkaからIcebergテーブルへの書き込みのための人気のあるシンクコネクタを提供しています。Kafka Connectを使用してIcebergテーブルをUnity Catalogに書き込み、ダウンストリームではDatabricksの最高クラスの価格パフォーマンスをETL、データウェアハウジング、および機械学習機能に利用できます。
すべてのマネージドテーブルは、予測最適化を使用して最高水準の読み取りパフォーマンスとストレージ最適化を自動的に提供します。予測最適化は、古いスナップショットを自動的に期限切れにし、参照されていないファイルを削除し、Liquid Clusteringを使用してデータを増分的にクラスタリングします。たとえば、Kafkaを使用した場合、これにより小さなファイルの増加によく引き起こされるパフォーマンスの低下を防ぐことができます。手動でテーブルメンテナンスを管理する手間を省き、Icebergテーブルを健康でパフォーマンスの高い状態に保つことができます。
Managed IcebergテーブルはDatabricksプラットフォームと統合されており、DBSQL、Mosaic AI、Delta Sharing、MVsなどの高度なプラットフォーム機能をこれらのテーブルで活用することができます。Databricksを超えて、Unity Catalogはパートナーエコシステムをサポートし、外部ツールを使用してIcebergに安全にデータを蓄積します。例えば、RedpandaはUnityカタログのIceberg REST Catalog APIを通じてKafkaトピックに生成されたストリーミングデータを取り込みます：
Unity Catalog Managed Iceberg TablesとIceberg REST Catalogを使用すると、Redpandaは最大で最も要求の厳しいKafkaワークロードを直接、Unity Catalogで最適化されたIcebergテーブルにストリームできるようになりました。これにより、ボックスからの発見可能性と任意のストリーム上の高速なクエリパフォーマンスが解放されます。ボタン一つで設定できるため、すべてのリアルタイムストリーミングデータがIcebergエコシステムに完全に利用可能になり、顧客は自分たちのスタックがどのように進化しても、そのアーキテクチャが持続可能であると確信できます。
— Matthew Schumpert, プロダクトヘッド、プラットフォーム
次のローンチパートナー を迎えることを楽しみにしています：Atlan、Buf、CelerData、Clickhouse、dbt Labs、dltHub、Fivetran、Informatica、PuppyGraph、Redpanda、RisingWave、StreamNativeなど。
Lakehouse Catalog
Unity Catalogを使用すると、テーブルフォーマット間だけでなく、カタログ間でも相互運用性を実現できます。また、パブリックプレビューでも、AWS Glue、Hive Metastores、Snowflake Horizon Catalogなどの外部カタログによって管理されるIcebergテーブルをシームレスにクエリし、ガバナンスを行うことができます。Hive MetastoreとAWS Glue Federationを拡張し、これらのコネクタを使用して、Unity Catalog内に全カタログをマウントし、データの発見とガバナンスのための統一されたインターフェースを作成することができます。
Federationは、外部カタログが管理するIcebergテーブルにUnity Catalogの高度な機能を活用するためのシームレスな統合を提供します。Databricksの細かいアクセス制御、系統、監査を、カタログ全体、形式に関係なくすべてのデータに使用できます。
Unity Catalogを使用すると、RipplingのMLエンジニアやデータサイエンティストは、既存のOLAPウェアハウス内のIcebergテーブルにゼロコピーでシームレスにアクセスできます。これにより、コストを削減し、一貫した真実の源を作り出し、データのリフレッシュ の遅延を減らすことができます -- すべて、データライフサイクル全体でのデータアクセスとプライバシーに対する高い基準を維持しながらです。
— Albert Strasheim、最高技術責任者
フェデレーションを使用すると、Unity CatalogはLakehouse全体 – すべてのテーブル、AIモデル、ファイル、ノートブック、ダッシュボードを統治することができます。
テーブルフォーマットの未来
Unity Catalogは、オープンデータレイクハウスのシンプルさ、柔軟性、低コストを実現する業界を一歩前進させています。Databricksでは、一つの統一されたオープンテーブルフォーマットで業界をさらに進化させることができると信じています。Delta LakeとApache Icebergは、設計の多くを共有していますが、微妙な違いが顧客に大きな非互換性を引き起こします。これらの共有問題を解決するために、デルタとアパッチアイスバーグのコミュニティは、概念と貢献を整理し、レイクハウスエコシステムを統一しています。
Iceberg v3はこのビジョンに向けた大きな一歩です。Iceberg v3には、Deletion Vectors、Variant data type、Row IDs、およびgeospatial data typesなどの主要な機能が含まれており、これらはDelta Lakeでの実装と完全に一致しています。これらの改善により、ペタバイトのデータを書き換えることなく、データを移動させたり、ファイルを簡単にフォーマット間で削除することが可能になります。
今後のDelta LakeとApache Icebergのリリースでは、この基盤を基にして、DeltaとIcebergのクライアントが同じメタデータを使用し、したがって、テーブルを直接共有できるようにしたいと考えています。これらの投資により、顧客はオープンデータレイクハウスの元々の目標 – データとAIのための完全に統合されたプラットフォームを実現することができます。
管理されたIcebergテーブルと外部のIcebergテーブルが現在パブリックプレビューで利用可能です。当社のドキュメンテーションをチェックして始めてみてください！2025年6月9日から12日までのData and AI Summitでの発表を再生して、私たちの最新のIceberg機能やオープンテーブルフォーマットの未来について詳しく学びましょう。
