Unity Catalogにおいて、ABACの行フィルタリングと列マスクポリシー、ガバナンス対象タグ、およびデータ分類が一般提供開始されました。

Unity Catalogの自動化されたガバナンスでデータ保護をスケール

データ資産が拡大するにつれて、大規模な機密データを管理するすべての組織が同じ課題に直面しています。それは、PII、財務記録、健康データ、その他コンプライアンス要件の対象となるデータが含まれているかどうかにかかわらず、すべてのテーブルで機密データが一貫して保護されていることをどのように保証すればよいか、という点です。

AIはこの問題をさらに深刻にしています。ユーザーは、Genie、エージェント、APIなどを通じて、以前よりも多様な方法でデータにアクセスできるようになりました。データ保護はデータへの需要に対応する必要があります。さもないと、アクセス制御がテクノロジーによってもたらされる可能性を制限することになってしまいます。

その解決策は、テーブルごとの手動設定ではありません。ガバナンスチームがルールを一度定義すれば、データが作成・分類されると同時に、データ資産全体で保護が自動的にデータに適用されるシステムである必要があります。そうすることで、ユーザーやエージェントにプラットフォームへの広範なアクセス権を付与しつつ、機密データへの広範なアクセスは制限することができます。

本日、これを可能にするUnity Catalogの3つの補完的な機能の一般提供（GA）を発表できることを嬉しく思います。それは、行フィルタリングと列マスキングのための属性ベースのアクセス制御（ABAC）ポリシー、Governed Tags、そして自動化されたData Classificationです。

手動のデータガバナンスとアクセス制御がスケールしない理由

大規模な機密データ保護の妨げとなる3つの課題があります。

1. オブジェクトごとに設定されたアクセスルールは重複が多く、不整合が生じやすい。すべてのテーブルに独自の行フィルターや列マスクが必要になると、同じ列タイプに対して異なるマスキングロジックが適用されたり、古いテーブルのルールが更新されなかったり、チーム間で定義が矛盾したりといった、わずかな差異が生じやすくなります。
2. オブジェクト所有者との調整に依存する適用プロセスは、セキュリティギャップを生み出します。データの作成者はデータの作成については専門家ですが、すべての列が分類され、機密データが漏れないようにするには、大きなオーバーヘッドが伴います。適用手順が見落とされたり、他の業務を抱える担当者のところで滞ったりすることがあり、そのギャップは監査やコンプライアンスチェックの際になって初めて明らかになります。
3. 手動による機密データの特定は、データの増加スピードに追いつきません。新しいテーブルやデータレコードは絶えず追加され、ビジネス側はそれらをすぐに活用したいと考えます。もし検出を人手や、流入するデータタイプごとに個別のパイプラインに手動でコーディングされた検出ロジックに依存している場合、データの増加と需要の両方に遅れをとることになります。

これらの課題を解決するには、手動のオブジェクトごとのガバナンスからの脱却が必要です。

Unity CatalogがABAC、タグ、分類によって効果的なデータガバナンスを実現する方法

アクセスルールは属性に基づいて動的に適用される必要があり、機密データは発生と同時に検出される必要があり、特定の個人がボトルネックにならないよう、責任を専門の役割に分散させる必要があります。Unity Catalogは、職務分掌を可能にする権限モデルと組み合わせた3つの補完的な機能（属性ベースのアクセス制御（ABAC）ポリシー、Governed Tags、およびエージェント型データ分類）を通じて、これらを統合します。

• ABACポリシーは、Unity Catalogの動的なアクセス制御モデルです。データの属性に基づいてアクセスを制御するため、個別に設定する代わりに、1つのポリシーで多くの一致するテーブルをカバーできます。ABACポリシーはタグベースの条件を評価し、ユーザーが表示できる行を制御する行フィルターと、特定の列に対してユーザーが表示できる値を制御する列マスクを、カタログおよびスキーマ全体の一致するすべてのオブジェクトに自動的に適用します。ガバナンス管理者がポリシーを一度定義すれば、適切なタグが付与されると同時に、新しいデータに保護が適用されます。
• Governed Tagsは、ABACポリシーが構築される属性の基盤です。これは、アカウント全体でデータの記述方法を標準化する、アカウントレベルのキーと値の語彙であり、どのオブジェクトにどのタグを誰が適用できるかを制御する権限を備えています。タグは、カタログ、スキーマ、テーブル、列に付与されるキーまたはキーと値のペア（sensitivity:confidentialや pii:ssnなど）であり、親オブジェクトから子オブジェクトへと継承されます。
• エージェント型データ分類は、ガバナンスとコンプライアンスのために機密データ（PII、PHIなど）を自動的に識別します。組み込みの分類器はGDPRやHIPAAなどの標準をカバーしており、カスタム分類器は、すでにタグ付けされた列から学習したビジネス固有のパターンに検出を拡張します。実証済みのパターン認識、メタデータ、大規模言語モデル（LLM）を使用することで、手動ツールや正規表現のみのツールよりも高い精度を実現します。新しいデータは自動的にスキャンされ、導入された機密データが確実に検出されます。一致するタグを持つデータを保護するABACポリシーと組み合わせることで、これらの機能は機密データの自動的かつスケーラブルな保護を確実にします。

これら3つの機能が合わさることで、職務分掌をサポートするガバナンスモデルが可能になります。ガバナンスは、単一の人物や単一の役割に依存すべきではありません。代わりに、その分野の専門家である専門グループに責任を分散させることができ、他のグループに依存することなく業務を遂行できます。Unity Catalogは、これら3つの機能すべてにわたって適切な権限と境界を設定することでこれをサポートし、各グループが自らの責任範囲のアクションのみを実行できるようにします。

実践における職務分掌

これら3つの機能は、連携して動作するように設計されています。ポリシー、タグタクソノミー、権限、分類はすべてUnity Catalog内で動作するため、システム間の引き継ぎや、検出から保護までの手動ステップは不要です。

実際のワークフローは次のようになります。

1. タクソノミーの定義： ガバナンスチームは、組み込みの分類器（GDPR、HIPAA、PCIなどの標準に準拠）、繰り返し発生するパターンのためのカスタム分類器、およびドメインや機密レベルなどのビジネスコンテキスト用のメタデータタグを組み合わせて、Governed Tagsのタクソノミーを確立します。
2. ABACポリシーの作成： ガバナンス管理者は、これらのタグを参照するポリシーを定義し、データの属性に基づいてアクセスを制御します。
3. データの自動分類と保護： 分類は継続的に実行され、新しいデータが到着すると自動的にタグ付けされます。スチュワードは必要に応じてタグを適用でき、システムは時間の経過とともにそれらを学習して手動の作業を削減します。その結果、新しくタグ付けされたデータは即座に保護されます。
4. 管理されたデータアクセスの有効化： データ作成者は管理されたスコープ内でテーブルを作成し、データ利用者は結果をクエリして、アクセスが許可されている行と列のみを表示します。

「Atlassianでは、従来のロールベースのモデルにおいて、何千人ものユーザーとデータセットにわたるデータアクセスとコンプライアンスの管理がますます複雑になっていました。Unity CatalogのABACにより、データの属性に基づいたきめ細かなアクセスポリシーを定義できるようになり、大規模な権限管理の運用オーバーヘッドが大幅に削減されました。以前は膨大な手動の権限管理が必要だった作業が、今では動的に行われるようになり、私たちのチームはアクセスの管理ではなく、インサイトの提供に集中できるようになりました。」 — Gerald Nakhle氏（Software Engineer、Atlassian）

新機能：ABACポリシー、Governed Tags、Data Classificationの一般提供（GA）

これら3つの機能はすべて一般提供（GA）が開始され、お客様から最も多く寄せられたフィードバックに対応する改善が施されています。

ABACポリシーのGA：データ資産全体にわたる属性ベースのアクセス制御

GAに伴い、ABACは最大規模のエンタープライズデータ資産に対応するようスケールし、ポリシーの評価と作成の機能が強化されました。GAの主なハイライトは以下の通りです。

• エンタープライズ規模のデプロイ向けに構築： すべてのスコープでポリシーの上限が10倍に拡大され、メタストアあたり10,000件以上、カタログおよびスキーマあたり100件以上のポリシーをサポートします。
• ビューと関数におけるセッションIDの評価。ABACポリシーは、クエリを実行するユーザーのIDに基づいて評価されるようになりました。ユーザーがビューや関数を介してクエリを実行する場合でも、自身の権限で許可されているデータのみが正確に表示されます。
• 複数の列タイプに対応する単一のマスキング関数。 VARIANTを受け取って返す単一のUDFで、INT、DOUBLE、DECIMALなどの複数の数値タイプを一度にマスキングでき、同じアプローチをSTRUCT列にも拡張できます。これにより、組織が維持管理する必要のあるポリシーの数を削減できます。

「ポリシーの削減、コストの低下、そして極めて高い精度。ABACは、Udemyのデータガバナンスを力任せな手法からエレガントなものへと変革しました。」 — Rajit Saha | Udemy、Data & AI Platform担当ディレクター

ガバナンス対象タグのGA：タグによるデータ分類の標準化

GAに伴い、ガバナンス対象タグはSQL、API、UIにわたる完全なライフサイクル管理を追加し、より強力な管理者コントロールと明確な可視性を提供します。GAの主なハイライトは以下の通りです：

• SQL、API、UIによる完全なライフサイクル管理。管理者は、UI、REST API、Terraformに加えて、SQL（CREATE、ALTER、DROP、SHOW、DESCRIBE GOVERNED TAG）を使用してタグを作成、変更、検査できます。これにより、既存のワークフローへの容易な自動化と統合が可能になります。
• ワークスペース管理者のコントロール。ワークスペース管理者にはデフォルトでCREATE権限が与えられ（設定可能）、アカウント管理者にはMANAGEおよびCREATE権限が与えられるため、タグガバナンスを柔軟に制御できます。
• タグの適用範囲と継承に関する可視性の向上：UIとAPIにより、タグがどのように適用され継承されるかがより明確に把握できるようになり、チームが適用範囲を追跡し、分類の決定をトレースし、変更を監査するのに役立ちます。

エージェント型データ分類のGA：大規模なデータの自動検出とタグ付け

GAに伴い、データ分類はコンプライアンスの適用範囲を拡大し、精度コントロールを追加し、ビジネス固有のパターンに対応するカスタム分類器を利用可能にします。その 現在の機能に加えて、GAの主なハイライトは以下の通りです：

• 機密データの一元的な可視化： ワークスペース全体で検出されたすべての分類を表示し、それらがどこで見つかったか、誰がアクセス権を持っているか、保護のためにどこにABACポリシーを作成する必要があるかをドリルダウンして確認できます。
• 検出精度を継続的に向上させるヒューマンインザループによる検証。お客様からのフィードバックと品質評価により、検出精度がさらに向上しました。さらに、ユーザーは誤検出をタグ付けから除外できるため、今後のスキャンの精度が継続的に向上します。
• コンプライアンス適用範囲の拡大。新しい分類器は、GDPR、HIPAA、GLBA、DPDPA、PCIをカバーし、UK、ドイツ、オーストラリア、ブラジルにおける地域サポートも提供します。インドとカナダ向けの追加の分類器は今月提供される予定です。完全なリストは こちらでご確認いただけます。
• カスタム分類器（ベータ版）。ビジネス固有のカテゴリがサポートされるようになりました。データ分類に任意のガバナンス対象タグを付与すると、システムが一致する列を自動的に識別します。検出パターンは、既存のタグ付き列と周囲の Unity Catalog メタデータから学習され、データに自動的に適合します。

「会社の成長に伴い、データの特定と保護に対する手動のアプローチを維持することはますます困難になっています。 Databricksのエージェント型データ分類は、手動のオーバーヘッドを自動化された高品質な結果に置き換え、価値に見合ったコスト効率の高いスケールを実現します。 データ分類は、環境全体で重要なデータがどこに存在するかを継続的に可視化するのに役立ちます。カスタム分類器は特定のデータパターンに適応できるため、アクセスとコンプライアンスの管理を合理化できます。属性ベースのアクセス制御（ABAC）ポリシーにより、手動のオーバーヘッドを削減しながら、分類を通じてコンプライアンスへの取り組みをスケールさせることができます。」 — Nan Wu | Superhuman、ソフトウェアエンジニア

Unity CatalogにおけるABAC、ガバナンス対象タグ、データ分類の開始方法

ABACポリシー、ガバナンス対象タグ、データ分類は、本日より Unity Catalog でご利用いただけます。

• ABACドキュメント：行フィルター、列マスク、一般的なポリシーパターンの定義方法について説明します
• ガバナンス対象タグのドキュメント：タグの定義と権限の作成および管理
• データ分類のドキュメント：コンプライアンス体制を強化するために、すべてのカタログにわたって分類と機密データを自動的に検出します。

これら3つの機能は、Unity Catalogにおけるスケーラブルなデータガバナンスの基盤となります。データ資産が拡大するにつれて、「整理・検出・保護」のパイプラインも共に成長します。

Data + AI Summitで詳細を見る

2026年6月15〜18日にサンフランシスコで開催されるData + AI Summitに参加し、属性ベース of アクセス制御とデータガバナンスの未来がどのように形作られているかをご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事