Unity Catalog Open APIによる相互運用性の向上

Unity Catalogは、オープンレイクハウスのために設計されました。以前は、データチームはサイロに閉じ込められ、望むツールを使用するためにデータをプラットフォーム間で重複させることを余儀なくされることがよくありました。新しいプラットフォームやツールが登場するたびに、データセットをコピーし、アクセスポリシーをゼロから再構築し、すべてを同期させ続ける必要がありました。その結果、冗長なストレージによるコストの増加、同期から外れたポリシー、そしてデータアクセスと検出の断片化が生じました。

Unity Catalogをオープンソース化し、Open APIをローンチしたことで、これまで顧客をロックインしていたサイロを打破しました。企業はついに、データのコピーを1つだけ保持し、任意のコンピューティングエンジンを使用し、すべてを1か所からガバナンスできるようになりました。UCエコシステムはそれ以来、繁栄しています。現在、数千もの顧客がUnity Catalogを使用してDelta LakeおよびApache Icebergテーブルをガバナンスおよびアクセスしており、Apache SparkやTrinoからDuckDB、Confluent Tableflowに至るまで、成長中のUnity Catalogエコシステムには数十の統合があります。

マネージドテーブルへの外部アクセス、ベータ版提供開始

UCマネージドテーブルは、オープン性とパフォーマンスが出会う場所です。これらの高度なテーブルは、Predictive OptimizationとLiquid Clusteringを使用してデータレイアウトを自動的に調整し、コンパクションとバキュームを実行し、統計情報を最新の状態に保ちます。これにより、クエリが最大20倍高速になり、ストレージコストが50%削減され、オープンAPIを通じて完全にアクセス可能になります。

現在ベータ版では、Apache Spark、Apache Flink、DuckDBなどの外部エンジンが、中央集権的なガバナンスと自動最適化を備えたUCマネージドDeltaテーブルを作成および書き込みできるようになりました。

ベータ版では、外部エンジンは次のことが可能です。

• マネージドテーブルの作成 — 外部エンジンから直接新しいUCマネージドテーブルをセットアップします。
• バッチ読み書き — 完全なトランザクション安全性でマネージドテーブルを読み書きします。
• マネージドテーブルとのストリーミング送受信 — マネージドテーブルをストリーミングソースとシンクの両方として使用し、Apache Spark上でエンドツーエンドのリアルタイムパイプラインを可能にします。

すべての操作はUCマネージドテーブル（catalog commits上に構築）を通じて行われるため、ログの破損を防ぐシリアライズされたコミットと、すべての読み書きの完全な監査可能性が得られます。Predictive Optimizationは、外部エンジンからアクセスされるテーブルでも、シームレスに実行され続けます。Catalog commitsは、中央集権的なコミットコーディネーターを必要とする複数ステートメント、複数テーブルトランザクションのような機能の基盤も築きます。

活況を呈するUCエコシステムは、エンジンがマネージドテーブルへの外部アクセスサポートを拡大するにつれて成長を続けています。Delta Kernel — Deltaテーブルの読み書きおよびコミットのためのオープンソースJavaおよびRustライブラリ — は、コネクタ開発者がDeltaの実装ではなくUC統合に集中できるように、低レベルのプロトコル詳細を抽象化します。Apache Spark、Apache Flink、DuckDB用のDeltaコネクタはすべてDelta Kernelを活用してUCマネージドテーブルへの外部書き込みをサポートし、カタログ管理コミットと統合されており、エコシステムは成長を続けています。Delta Kernelは低レベルのプロトコル複雑性に対処することで、どのエンジンでもUnity Catalogとの統合を容易にし、コネクタのエコシステムの成長に貢献します。

資格情報ベンディングによるセキュアな外部アクセス

外部エンジンがUCのデータにアクセスするには、広範な静的権限や特定のアカウントに紐付けられた資格情報を必要とせずに、クラウドストレージへのスコープ付きアクセスを取得し、認証するためのセキュアな方法が必要です。Unity Catalogは、現在一般提供（GA）されている資格情報ベンディングを通じてこれを処理します。UCは、アクセスポリシーが中央で強制されるオンデマンドで、外部エンジンに短命でスコープ付きの資格情報を発行します。

数千もの顧客がUC Open APIを利用しており、2つの追加機能によりエンタープライズ規模で本番稼働に対応できるようになりました。外部エンジンは現在、パーソナルアクセストークン（PAT）に依存しない、ユーザーごとで長命でローテーションが難しいトークンに依存しない、エンタープライズセキュリティ要件を満たす機械間（M2M）OAuthを使用してUCに認証できます。また、資格情報はUC資格情報ベンディングAPIによってエンジンによって自動的に更新されるため、数時間実行されるパイプラインは、トークンがジョブの途中で期限切れになることなく確実に完了します。

資格情報ベンディングを使用すると、企業は任意の互換性のあるエンジンまたはツールからUnity Catalog内のマネージドテーブルおよび外部テーブルを読み書きおよび作成できます。これらの資格情報は短命で、要求されたリソースにスコープされ、UC権限によってガバナンスされます。これは、プラットフォームチームが外部からデータにアクセスできるプリンシパルと、それらに対して何ができるかを完全に制御できることを意味します。

Unity CatalogのOpen APIにより、ガバナンスとデータの一貫性を維持しながら、チームが好みのツールを使用できるようになりました。複数のコンピューティングエンジンにわたる真に相互運用可能なデータおよびAIプラットフォーム内で、マネージドテーブルのメリットを活用できます。—Sudipta Das、PepsiCoエンタープライズデータオペレーションディレクター

ボリューム用の資格情報ベンディング

資格情報ベンディングは、テーブルだけでなく非構造化データにも拡張されます。ボリューム資格情報ベンディングは現在パブリックプレビュー版で提供されており、外部クライアントは、Unity Catalogのガバナンスにより、ボリュームに保存されている画像、PDF、ビデオにアクセスするための、一時的でスコープ付きの資格情報を要求できます。テーブルをクエリする場合でも、外部で生のビデオファイルを処理する場合でも、同じアクセス制御モデル、監査証跡、およびスコープ付き資格情報が適用されます。

今後の展開

外部アクセスをより高機能にするための投資を続けています。現在の資格情報ベンディングは、外部エンジンに対して粗粒度のアクセス制御をガバナンスします。また、外部読み取り用の属性ベースのアクセス制御（ABAC）を強制する機能も開発しました。これにより、UCマネージドテーブルが外部エンジンから読み取られる際に、行レベルおよび列レベルのABACポリシーを強制することが可能になります。

今すぐ開始

資格情報ベンディングを開始するには、ドキュメントを参照してください。マネージドDeltaテーブルへの外部アクセスベータ版を使用するには：

1. Databricksプレビューポータルで「External Access to Unity Catalog Managed Delta Table」に登録します（Databricksプレビューの管理を参照）。
2. メタストアで外部データアクセスを有効にし、アクセスしたいテーブルが含まれるスキーマにEXTERNAL_USE_SCHEMAを付与します。
3. 新しいUCマネージドテーブルを作成します。既存のデータを移動するには、外部テーブルをマネージドに変換するための移行ガイドを参照してください。
4. Delta-Spark 4.2とUnity Catalog 0.4.1を使用して、外部コンピューティングからマネージドテーブルを作成、読み取り、書き込みします。外部アクセスドキュメントを参照してください。

Data and AI Summit 2026にご参加ください

Data and AI Summit 2026が間もなく開催されます！2026年6月15日から18日までカリフォルニア州サンフランシスコのモスコーニセンターで開催されるこのイベントに参加して、主要な組織がUnity Catalogを使用してエンジン全体でデータとAIをどのようにガバナンスしているかを学びましょう。オープンで統合されたガバナンスの今後の展開をいち早く知るには、今すぐ登録してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事