PIIの列レベル暗号化と重複排除の実施

 
個人を特定できる情報（PII）の保護は、データ侵害や機密情報が漏洩するインシデントが日々増加傾向にあるため、非常に重要です。このような被害に遭わないため、また、ユーザーをID盗難や詐欺から守るために、データと情報のセキュリティを多層的に組み込む必要があります。

Databricksプラットフォームを使用するにあたり、機密情報へのアクセスを適切なユーザーのみに許可するようにする必要があります。Northwestern Mutualでは、Fernet暗号化ライブラリ、ユーザー定義関数（UDF）、Databricks Secretsを組み合わせて、PII情報を暗号化し、ビジネス上の必要性があるユーザーのみが復号できるようにするプロセスを開発しました。これにより、データリーダーに追加の手順は不要になります。

PII保護の必要性

今日、顧客データを管理する際には、ほぼ確実にPIIの保護が求められます。これは、あらゆる規模の組織にとって大きなリスクとなります。例えば、Capital Oneのデータ侵害のような事例では、単純な設定ミスにより、数百万件もの機密性の高い顧客記録が盗難されました。ストレージデバイスの暗号化やテーブルレベルでの列マスキングは効果的なセキュリティ対策ですが、内部からの不正アクセスは依然として大きな脅威です。そのため、Databricks内でファイルやテーブルへのアクセス権を持つ通常のユーザーが機密情報を取得できないようにするソリューションが必要です。

しかし、ビジネス上の必要性から機密情報を読み取る必要があるユーザーが、それを読み取れるようにすることも重要です。ユーザーの種類によってテーブルの読み取り方法に違いが生じることは望ましくありません。通常の読み取りと復号された読み取りは、データ分析やレポート作成のためのクエリ構築を簡素化するために、同じDelta Lakeオブジェクトに対して行われるべきです。

列レベル暗号化のプロセス構築

これらのセキュリティ要件を踏まえ、安全で、目立たず、管理しやすいプロセスを作成することを目指しました。以下の図は、このプロセスに必要なコンポーネントの概要を示しています。

Fernetを使用した保護されたPIIの書き込み

このプロセスの最初のステップは、データを暗号化して保護することです。可能な解決策の1つは、Fernet Pythonライブラリです。Fernetは対称暗号化を使用しており、いくつかの標準的な暗号プリミティブで構築されています。このライブラリは、データフレーム内の任意の列を暗号化できる暗号化UDF内で使用されます。暗号化キーを保存するために、Databricks Secretsを使用し、アクセス制御を設定して、データ取り込みプロセスのみがアクセスできるようにします。データがDelta Lakeテーブルに書き込まれると、社会保障番号、電話番号、クレジットカード番号などの識別子を含むPII列は、権限のないユーザーが読み取ることができなくなります。

カスタムUDFを使用した保護されたデータからの読み取り

機密データが書き込まれ保護されたら、権限のあるユーザーがその機密データを読み取るための方法が必要です。最初に行うべきことは、Databricksで実行されているHiveインスタンスに追加するための永続的なUDFを作成することです。UDFを永続化するには、Scalaで記述する必要があります。幸いなことに、FernetにはScala実装もあり、これを復号読み取りに活用できます。このUDFは、暗号化書き込みで使用したのと同じシークレットにアクセスして復号を実行します。この場合、クラスターのSpark構成に追加されます。これにより、キーへのアクセスを制御するために、権限のあるユーザーと権限のないユーザーのクラスターアクセス制御を追加する必要があります。UDFが作成されたら、権限のあるユーザーが復号されたデータを表示できるように、ビュー定義内で使用できます。

現在、単一のデータセットに対して2つのビューオブジェクトがあり、それぞれ権限のあるユーザー用と権限のないユーザー用です。権限のないユーザー用のビューにはUDFが含まれていないため、PII値は暗号化された値として表示されます。権限のあるユーザー用のもう一方のビューにはUDFが含まれているため、ビジネスニーズに合わせて復号された値をプレーンテキストで表示できます。これらのビューへのアクセスも、Databricksが提供するテーブルアクセス制御によって制御されます。

近い将来、Databricksの新しい機能である動的ビュー関数を活用したいと考えています。これらの動的ビュー関数により、単一のビューを使用し、Databricksグループのメンバーシップに基づいて暗号化または復号された値を簡単に返すことができるようになります。これにより、Delta Lakeで作成するオブジェクトの数が減り、テーブルアクセス制御ルールが簡素化されます。

どちらの実装でも、ユーザーは復号が必要かどうかを気にすることなく開発や分析を行うことができ、ビジネス上の必要性があるユーザーのみにアクセスが許可されます。

この列レベル暗号化手法の利点

要約すると、このプロセスを使用する利点は以下のとおりです。

• 既存のPythonまたはScalaライブラリを使用して暗号化を実行できます
• 機密性の高いPIIデータは、Delta Lakeに保存される際にセキュリティが強化されます
• すべてのアクセスレベルのユーザーが同じDelta Lakeオブジェクトを使用します
• アナリストは、PIIを読み取る権限があるかどうかにかかわらず、妨げられません

この例がどのようなものになるかについては、以下のノートブックが参考になるかもしれません。

• ノートブックのダウンロード

追加リソース：

Fernetライブラリ

• Python
• Scala

永続的なUDFの作成

• 関数の作成

動的ビュー関数

• ビュー関数

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事