Unity Catalogのデータ分類で、機密データを大規模に発見

センシティブデータが見逃される理由

組織がデータプラットフォームを拡張するにつれて、機密情報が目に見える場所に隠れていることがよくあります。毎日新しいテーブルが作成され、規制環境はますます複雑になり、かつてないほどリスクが高まっています。GDPR Enforcement Tracker Report によると、2025年にはGDPRの罰金だけで56億ユーロを超え、2024年から11億7,000万ユーロ増加しました。

手動による検出方法では、単純にスケールしません。数百のテーブルでうまくいった方法も、数千規模になると通用しなくなります。結果コンプライアンスの死角、高コストな監査、停滞するデータの民主化。根本的な問題は、見つけられないものは保護できないという点にあります。

Agentic データ分類のご紹介

本日、AWS、Azure Databricks、GCP で Databricks Data Classification のパブリックプレビューが利用可能になったことをお知らせします。

Data Classification は、エージェント型 AI システムを使用して、すべてのカタログにわたるセンシティブデータを自動的に検出し、タグ付けします。PII (個人を特定できる情報) がどこに存在するかを継続的に可視化し、データが増加し続けても、コンプライアンスの遵守、保護の自動化、チーム間での自信を持ったデータ共有を可能にします。

Data Classification は、拡大する当社のデータ環境全体にわたって包括的かつ自動化された PII 検出を提供し、 機密情報を明確に識別して一貫した保護を可能にします。 このアプローチは、機密資産を保護するだけでなく、手作業の負担も軽減します。この機能がより広範に展開されることで、チームがより価値の高いイニシアチブに集中できるようになることを楽しみにしています。—  Gregg Rinsler、FanDuel、データガバナンス担当シニアディレクター

手動監査を継続的な可視性へ

自動分類を導入することで、チームは手作業による分類から戦略的なガバナンスへと移行できます：

• 監査対応: 完全なログをプルして、PII の保管場所と、それにアクセスできるユーザーおよびグループを正確に表示します。
• 完全なリネージ:PIIがいつ存在し、下流のどこに流れるかを正確に追跡します。PIIが誤って下流のデータセットにコピーされた箇所を見逃すリスクをなくします。
• データ削除リクエスト: すべてのテーブルからユーザーデータの全インスタンスを特定し、クリーンアップします。

すべてのデータチームにとって信頼は通貨のようなものであり、それは「時間をかけた一貫性」によってもたらされます。Data Classification は、データエステートから PII をスキャンし、修正ワークフローを自動化することで、その信頼の提供を支援します。その結果が、チームが自信を持って信頼できる、検証済みでコンプライアンスに準拠したデータなのです。 — Sam Shah、Databricks データチーム、エンジニアリング担当 VP

データ分類の仕組み

データ分類は、お客様のすべてのデータを対象に、エージェントを活用した自動分類を実現するように設計されています。その仕組みは次のとおりです: 

エージェント AI による高精度な分類：実績のあるパターン認識、メタデータ、大規模言語モデルを組み合わせることで、regex のみを使用するツールと比較して最大 60% 高い精度を実現します。お客様のデータは、Databricks AI のセキュリティ管理基準（AWS | Azure | GCP）に準拠しており、お客様の環境から外部に出ることはありません。

エンタープライズ規模に対応する効率的でインテリジェントなスキャン: カタログ全体を一度スキャンした後は、新規または変更されたテーブルとカラムのみを再スキャンします。Unity Catalog のリネージ機能により、重要なデータセットは増分スキャンされ、PII が出現した時点で確実に検出されます。最初のベータ版のリリース以来、検出速度が大幅に向上し、スキャンコストも最大 75% 削減されました。このシステムは、データプラットフォームの成長に合わせて高いパフォーマンスを発揮できるよう、実環境で十分にテストされています。

レビューと検証: PIIを含む列と、そのデータに現在誰がアクセスしているかを完全に可視化します。専用のレビューUIは、信頼度の高い検出結果をサンプルデータとともに表示し、タグの一括適用を容易にします。完全な結果はシステムテーブルに保存され、カスタムレポートやタグ付けに使用できます。 

データ分類機能は、PII の検出を自動化することで、当社のコンプライアンスへのアプローチを大きく変えています。分類結果と Databricks Apps による承認ワークフローを組み合わせて使用し、ジャストインタイム方式のアクセス制御を実現しています。これにより、必要な場合にのみ機密データにアクセスできるようにしています。このための手作業をなくし、代わりに Databricks プラットフォーム上にある全データに対して、検出と保護を自動化しました。— Abhijit Joshi 氏、スタッフデータエンジニア、Oportun

スケーラブルなアクセス制御を構築

機密データがどこにあるかがわかれば、保護が容易になり、アクセスを安全に拡張できます。

• 機密性階層の自動化: データセットの機密性に基づいてユーザーが承認される既存のアクセスリクエスト ワークフローを自動化します。たとえば、データ分類タグを使用して、組織の機密レベル (例: 極秘、制限付き、社内、公開) ごとにテーブルを自動的に分類します。 

• ABAC ポリシーでガバナンスを拡張: 属性ベースのアクセス制御 (ABAC) ポリシーは、機密性の高いカラムを自動的にマスクまたは暗号化します。たとえば、セキュリティチームを除くすべてのユーザーに対して、[class.name]、[class.email_address]、[class.phone_number] としてタグ付けされたすべてのカラムをマスクするポリシーを設定します。一度設定すれば、このポリシーは機密としてタグ付けされたデータに自動的に適用され、ビジネスの拡大に合わせて一貫したデータ保護が保証されます。

  

• ABAC を使用して安全にアクセスを開放: 上記の例にある顧客の取引テーブルを考えてみましょう。このテーブルには、センシティブな列 (例: customer_name、email、phone) と非センシティブな列 (例: transaction_id や customer_id 列) の両方が含まれている場合があります。ABAC ポリシーは、非センシティブなフィールドは開いたまま、センシティブな列のみをマスクします。テーブル全体をブロックしたり、複雑なビューロジックを維持したりする必要はありません。

  

次のステップ

今後のロードマップ：

• API と Terraform のサポート *パブリックプレビューで近日公開予定*
• PHI や PCI などの地域およびドメイン固有の組み込み分類子 *パブリックプレビューで近日公開予定*
• カスタム分類ルール: ビジネス固有のデータパターンに対応します。エージェント型 AI システムを使用して、お客様の企業データに固有のパターンを開発します。 *プライベートプレビュー版* 

パブリックプレビューを今すぐ開始

手作業のプロセスを、自動化された Data Classification へと変革する準備はできましたか？以下のリソースから始めましょう:

• 製品ドキュメントを読む (AWS | Azure | GCP)
• この製品は HIPAA に準拠しており、Databricks AI 機能の信頼と安全性の基準に従っています。詳細については、こちらのセキュリティに関する FAQ をご覧ください (AWS | Azure | GCP)。
• カスタム分類子のプライベートプレビューへのお申し込みについては、貴社のアカウント担当者にお問い合わせください。
• 今すぐ利用を開始し、いずれかの [カタログ詳細] タブから Data Classification を有効にしてください