クロスエンジンABACのご紹介

12月には、レイクハウスを完成させるためのビジョンとして、オープンストレージ、オープンアクセス、統合ガバナンスについて共有しました。組織がUnity Catalogで一度だけきめ細かなアクセス ポリシーを定義し、それをすべてのエンジン、すべてのテーブル、すべてのユーザーに対して強制できる世界を描きました。本日、そのビジョンを拡張します。

クロスエンジンABACのベータ版を発表します。これにより、企業はIceberg REST Catalog APIを使用して外部エンジンで属性ベースのアクセス制御（ABAC）を強制できるようになります。クロスエンジンABACにより、Unity CatalogはクロスエンジンABAC強制を提供する最初で唯一のカタログとなり、タグベースの行フィルターと列マスクをすべてのエンジンから強制できるようになります。

なぜこれが重要なのか

Databricksが先駆けてきたオープンレイクハウスは、相互運用性を可能にしました。Delta LakeやApache Icebergのようなオープンテーブルフォーマットは、組織をロックインから解放しました。どのエンジンでも、データを複製したり別の形式に変換したりすることなく、同じデータコピーを読み取ることができました。しかし、ガバナンスはそれに追随しませんでした。行レベルおよび列レベルのポリシーは、個々のエンジンのランタイム内にサイロ化されたままでした。

これにより、セキュリティチームは、すべてのエンジンにわたってポリシーを手動で複製して同期を維持することを期待するか、異なるコンシューマーのために個別のテーブルコピーを維持するか、意図したよりも広範なアクセスを許可してリスクを受け入れるかという、痛みを伴うトレードオフに直面していました。

クロスエンジンABACは、そのトレードオフを解消します。

クロスエンジンABACが提供するもの

このベータ版では、Unity Catalogは外部エンジンによって読み取られるデータに対して、きめ細かなアクセス制御ポリシーを強制します。これには以下が含まれます。

• 行フィルターと列マスク — タグベースのルール、条件付きロジック、SQL UDFを含む、Unity Catalogポリシーの完全な表現力
• マルチエンジンサポート — ポリシー強制はIceberg REST CatalogスキャンAPIを通じて実行されるため、任意のIceberg RESTクライアントがサポートされます。クロスエンジンABACは設計上オープンであり、特定のコネクタに依存しません。現在、Apache SparkはIceberg-SparkおよびDelta-Sparkコネクタを介して使用できます。近日中にStarburstやDuckDBなどの追加エンジン統合が登場します。

ABACポリシーをUnity Catalogで一度定義し、DatabricksまたはIceberg REST Catalogと統合された任意のエンジンで、どこでも強制されるようにします。

仕組み

クロスエンジンABACは、Iceberg REST CatalogスキャンAPI上に構築されています。これは、任意のエンジンがポリシー強制をカタログに委任するために採用できるオープン仕様です。クロスエンジンABACでは、カタログがポリシー強制を処理し、エンジンがクエリを処理します。組織は、クエリの実行場所の柔軟性を犠牲にすることなく、きめ細かなセキュリティを得ることができます。

ユーザーが外部エンジンからきめ細かなアクセス制御ポリシーを持つテーブルをクエリする場合：

1. エンジンはIceberg REST CatalogスキャンAPIを介してUnity Catalogにスキャン要求を送信します。
2. Unity Catalogは、ユーザーの権限とすべての適用可能なポリシーを評価します。
3. Unity Catalogは、ユーザーがアクセスを許可されているデータにスコープされたフィルター付きスキャン計画を返します。
4. エンジンは、スキャン計画内のフィルター付きファイルに対してクエリを完了します。

強制はカタログレイヤーで行われ、データがエンジンに到達する前に行われます。エンジンはポリシーロジックを理解または実装する必要はありません。受信したデータのみを処理します。これは、クロスエンジンABACが、ネイティブガバナンスランタイムを持たないエンジンでも機能することを意味します。

今後の展望

クロスエンジンABACは、中央集権的な強制を通じて統合ガバナンスを提供します。カタログがポリシーを評価し、ユーザーがアクセスを許可されているデータのみを返します。これは、「信頼できない」エンジンにとって最適なアプローチであり、ネイティブガバナンスランタイムを持たないエンジンでも機能し、Iceberg REST CatalogスキャンAPIを採用する任意のエンジンで即座に機能します。

業界はまた、ポリシーとメタデータの交換のためのスケーラブルなアプローチを必要としています。カタログがガバナンスメタデータを共有し、ポリシーが外部エンジンでネイティブに強制できるようにするアプローチです。

Apache Icebergコミュニティでは、カタログがガバナンスとセマンティックコンテキストを伝えるラベルを交換するための提案を通じて、この議論に貢献しています。共有ラベルにより、レイクハウス全体のエンジンは、データがどこで読み取られても、同じガバナンスとビジネスコンテキストに基づいて動作できます。

中央集権的な強制とメタデータ交換は補完的です。Unity Catalogは、データエコシステムが進化するにつれて、両方をサポートします。

はじめに

クロスエンジンABACは現在ベータ版で利用可能です。試すには：

1. プレビューを有効にする：「クロスエンジンABAC」をDatabricksプレビューポータルで有効にします（Databricksプレビューの管理を参照）。
2. ABACポリシーを定義する：Unity Catalogテーブルでタグベースの行フィルターと列マスクを作成します（ABACドキュメントを参照）。
3. 外部エンジンからクエリする：Iceberg-SparkまたはDelta-Sparkコネクタを介してApache Sparkを接続し、ポリシーが読み取り時に強制されていることを確認します。

完全なセットアップ手順と構成の詳細は、クロスエンジンABACドキュメントで入手できます。

Unity Catalogを初めて使用しますか？AWS、Azure、またはGCPの開始ガイドに従ってください。

Data and AI Summit 2026にご参加ください

Data and AI Summit 2026が間もなく開催されます！2026年6月15日から18日までカリフォルニア州サンフランシスコのモスコーニセンターで開催されるこのイベントに参加して、主要な組織がUnity Catalogを使用してエンジン全体でデータとAIをどのように管理しているかを学びましょう。本日登録して、オープンで統合されたガバナンスの今後の機能の概要をいち早く入手してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事