Unity Catalogの管理テーブルがレイクハウスに相互運用性、パフォーマンス、統合ガバナンスをもたらす仕組み

Unity Catalogは、大規模な相互運用性を想定して設計されています。企業は、ガバナンスを中央で一元的に適用しながら、単一のデータコピー上で任意のエンジンを柔軟に実行できます。

本日、私たちは相互運用性をさらに一歩進めます。Unity Catalog（UC）管理下のDeltaテーブルへの外部アクセスがパブリックプレビューになったことをお知らせします。

過去1年間で、Apache SparkやFlinkから、現在のStarburstやDuckDBに至るまで、対応するエンジンのリストが増え続け、UC管理下のDeltaテーブルと統合されてきました。そして、このエコシステムは拡大を続けています。企業は、UC管理テーブルの優れた費用対効果と、各ワークロードに適したエンジンを使用できる柔軟性という、両方のメリットを享受できます。Unity Catalogは引き続き中央ガバナンスレイヤーとして機能し、アクセスポリシーがすべてのエンジンにわたって一貫して適用されるようにします。

これまで、マルチエンジンアクセスを必要とするチームは外部テーブルを使用していましたが、これにはパフォーマンスの最適化やガバナンスの保証が欠けていました。外部アクセスがパブリックプレビューになったことで、そのトレードオフは解消されます。UC管理テーブルは、価格、パフォーマンス、相互運用性のすべてにおいて、レイクハウスにとって明白な選択肢です。

チームがUnity Catalog管理テーブルを選ぶ理由

UC管理テーブルは、Delta LakeとApache Icebergの相互運用性に加え、クエリパフォーマンスの向上、ストレージコストの削減、長期にわたるテーブルの健全性維持を実現する自動の組み込み機能を備えています。また、これらは災害復旧やZerobusインジェスチョンなどのプラットフォーム機能の基盤でもあります。

Databricksは、予測最適化（Predictive Optimization）を通じて管理テーブルを自動的にチューニングします。予測最適化は、ストレージをクリーンアップし、クエリ統計を収集し、Liquidクラスタリング列を自動的に選択して、クエリパターンの変化に合わせてテーブルレイアウトを進化させます。これらのメリットを組み合わせることで、データチームが手動でテーブルをチューニングする必要をなくしながら、最大50%のストレージコスト削減と20倍高速なクエリを実現できます。

私たちは先日、Unity CatalogをUC管理テーブルのコミットコーディネーターとするカタログコミットの一般提供（GA）を発表しました。外部クライアントがクラウドストレージに対して直接コミットするのではなく、UC管理下のDeltaテーブルへの書き込みはカタログを介して調整されます。これにより、Unity Catalogがテーブル状態の信頼できる唯一の情報源（Source of Truth）となり、安全な外部書き込み、マルチステートメントトランザクション、外部操作の監査などの重要なメリットが解放されます。

外部エンジンからの作成、読み取り、書き込み

パブリックプレビューとなった現在、外部エンジンは以下を実行できます。

• Apache Spark（バッチおよびストリーミング）、Apache Flink、Starburst、DuckDB、Streamnativeから、カタログコミットを使用してUC管理下のDeltaテーブルを作成、読み取り、書き込みできます。
• すべてのエンジンにわたって、ガバナンスをUnity Catalogに一元化できます。
• すべてのエンジンにおいて、コストを削減しパフォーマンスを向上させる予測最適化（Predictive Optimization）のメリットを享受できます。

外部アクセスは、メタデータ、認証情報の自動払い出し（Credential Vending）、コミット調整のためのオープンAPIに基づいています。認証情報の自動払い出しは、UCの権限に基づいて有効期限の短いスコープ付きの認証情報を発行し、Unity Catalog Delta APIはDeltaエンジンに作成、読み取り、書き込み操作のバージョン管理された契約を提供します。これらのAPIはオープンであり、Unity Catalog OSSプロジェクトに実装されているため、どのエンジンでも作成、読み取り、書き込みのサポートを統合できます。その結果、Databricks UCおよびUC OSS内の同じ管理されたデータコピー上で動作するエンジンのエコシステムが拡大しています。

パートナー企業はすでに、さまざまな方法でこれらのAPIを中心とした構築を進めています。たとえば、StarburstはUnity CatalogおよびDelta Lakeと統合し、UC管理下のDeltaテーブルへの作成、読み取り、書き込みをサポートしています。

「Starburstは、データエコシステム全体におけるオープン性と相互運用性というDatabricksのビジョンを共有しています。Unity Catalog管理テーブルと統合することで、お客様がすべてのデータの信頼できる唯一の情報源（Source of Truth）を構築できるようにし、一元化されたガバナンスと、好みのツールを活用できる柔軟性を提供します。」 —Justin Borgman氏（Starburst Data社 CEO）

Delta Kernelによるエコシステムの拡大

UC管理テーブルへの外部アクセスは、Delta LakeおよびUnity Catalog OSSエコシステムへのより広範な投資の一部です。その目標は、DeltaをIcebergが先駆けて導入したカタログ管理モデルに適合させ、企業が任意のエンジンとの相互運用性を維持しながら、カタログのパフォーマンスと一貫性の保証の恩恵を受けられるようにすることです。

私たちは、プロトコルをゼロから再実装することなくDeltaテーブルへの読み取り、書き込み、コミットを行うためのライブラリを提供するDelta Kernelによって、Deltaエコシステムを拡大しています。UC OSSのUC Delta APIと組み合わせることで、Delta Kernelを使用するエンジンは、Databricks管理のカタログやセルフホスト型のUC OSSデプロイメントとシームレスに統合できます。

たとえば、DuckDBはDeltaおよびUnity Catalog OSSの拡張機能をDelta Kernel上に構築しました。DuckDB v1.5.1以降、UC管理下のDeltaテーブルを直接読み書きできるようになりました。これは、オープンで相互運用可能なエコシステムに対する当社のコミットメントを反映しています。Deltaプロトコルが進化するにつれて、Kernel上に構築されたエンジンは最新の機能を自動的に継承するため、お客様はどのエンジンを選択しても、常に最新かつ最高の機能にアクセスできます。

「DuckDBのユーザーは、軽量な分析エンジンからオープンなレイクハウスデータと直接連携できることを重視しています。Delta LakeとUnity Catalogの統合は、あるエンジンを介して書き込まれたデータを別のエンジンで一貫して読み取ることができるワークフローを含め、その体験を管理されたエンタープライズテーブルにもたらすのに役立ちます。」 —Hannes Mühleisen氏（DuckDB Labs社 CEO）

私たちは引き続きコミュニティと協力し、UC管理下のDeltaテーブルとのKernelベースの統合をさらに開発していきます。たとえば、新しいKernelベースのFlinkコネクタにより、FlinkストリーミングワークロードをUC管理テーブルに導入するための大きな一歩を踏み出しています。

一元化されたガバナンス

マルチエンジンパイプラインにおいて、一元化されたガバナンスは不可欠です。ストリーミングアプリケーションが管理テーブルにデータを書き込み、Sparkがそれを変換し、StarburstやDuckDBがそれをクエリするかもしれません。クエリの背後にあるエンジンやアイデンティティに関係なく、アクセス制御が尊重される必要があります。

Unity Catalogは、すべてのエンジンにわたる単一のガバナンスレイヤーです。プラットフォームチームは、UCの権限を通じて、どのプリンシパルが外部からテーブルにアクセスできるか、および何を実行できるかを制御します。クロスエンジンABACはこれをさらに拡張し、Unity Catalogが外部エンジンからの読み取り時に行をフィルタリングしたり、列をマスクしたりできるようにします。きめ細かなアクセス制御は、カスタムの回避策を必要とせず、UC管理テーブルに対して一元的に適用されます。

今すぐUC管理テーブルの使用を開始しましょう

オープンレイクハウスを構築するチームにとって、UC管理テーブルは利用可能な最も強力な基盤です。予測最適化（Predictive Optimization）は、データレイアウトを自動的にチューニングしてテーブルのメンテナンスを実行し、手動の作業なしで最高の費用対効果を提供します。相互運用性も組み込まれています。管理テーブルはDeltaまたはIceberg形式で保存され、任意のエンジンからアクセスできるため、チームがパフォーマンスと柔軟性のどちらかを選択する必要はありません。

外部テーブルを使用しているチームは、ALTER TABLE SET MANAGEDを使用して既存のテーブルをその場でアップグレードできるため、すでに依存しているオープンなマルチエンジンアクセスを維持しながら、予測最適化（Predictive Optimization）とカタログコミットのメリットを得ることができます。

私たちのビジョンは明確です。お客様は、最高の費用対効果と統合されたガバナンスを備えたUnity Catalog内の1つのデータコピーを維持しながら、各ワークロードに最適なエンジンを使用できるべきであるということです。

開始方法

UC管理下のDeltaテーブルへの外部アクセスはパブリックプレビュー中であり、外部クライアントからの作成、読み取り、書き込み操作のサポートが含まれています。

開始するには：

1. Unity Catalogメタストアで外部データアクセスを有効にします。
2. 外部エンジンにアクセスさせたいUC管理下のDeltaテーブルを含むスキーマに対して、EXTERNAL USE SCHEMAを付与します。
3. Unity Catalog 0.5.1クライアントを搭載したDelta 4.3を使用してエンジンを接続します。外部アクセスのドキュメントを参照してください。
4. 外部エンジンからカタログコミットを有効にした状態で、UC管理下のDeltaテーブルへの作成、読み取り、書き込みをテストします（または、既存の外部テーブルを管理テーブルに変換します）。

Deltaコネクタに関する詳細情報は以下をご覧ください：

• Apache Spark - Databricksドキュメントおよびコミュニティブログをご覧ください
• Apache Flink - GitHubおよびコミュニティブログをご覧ください
• StreamNative - StreamNativeブログをご覧ください
• Starburst – Starburstドキュメントをご覧ください
• DuckDB - DuckDBドキュメントおよびDuckDBブログをご覧ください

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事