AWS上のDatabricks Lakehouse Platformによるデータ漏洩対策

AWS 上の安全な Databricks アーキテクチャをセットアップしてデータ漏洩を防ぐ方法を学びましょう。

Updated: 2025年9月22日

公開日: 2021年2月2日

製品2 min read

によって Andrew Weaver、バヴィン・クカディア、マイケル・ソルツマンによる投稿

このガイドには価値のあるクラウド固有の技術的な詳細が含まれていますが、現在では、AWS、Azure、およびGCP全体にわたる包括的なフレームワークと、優先順位付けされた制御および実装ガイダンスを提供する、Databricks上のデータ漏洩保護のための統合アプローチを推奨しています。

Databricks Lakehouse Platformは、エンタープライズグレードのデータソリューションを大規模に構築、デプロイ、共有、および維持するための統合されたツールのセットを提供します。Databricksは、お客様のクラウドアカウント内のクラウドストレージおよびセキュリティと統合し、お客様に代わってクラウドインフラストラクチャを管理およびデプロイします。

この記事の全体的な目標は、次のリスクを軽減することです。

Databricks Webアプリケーションを使用した、インターネットまたは不正なネットワーク上のブラウザからのデータアクセス。
Databricks APIを使用した、インターネットまたは不正なネットワーク上のクライアントからのデータアクセス。
クラウドストレージ（S3）を使用した、インターネットまたは不正なネットワーク上のクライアントからのデータアクセス。
Databricksクラスター上の侵害されたワークロードが、AWSまたはインターネット上の不正なストレージリソースにデータを書き込むこと。

DatabricksのAWSネイティブツールによる転送中および保存中のデータの保護

Databricksは、転送中および保存中のデータを保護するのに役立ついくつかのAWSネイティブツールおよびサービスをサポートしています。

セキュリティグループ

セキュリティグループは、EC2インスタンスにアタッチされたステートフルな仮想ファイアウォールです。これにより、許可されるインバウンドおよびアウトバウンドトラフィックを定義できます。エグレス（アウトバウンド）ルールを狭めることで、EC2インスタンスが不正なIPアドレスまたはパブリックインターネットにデータを送信することを制限し、意図しないデータ漏洩を効果的にブロックします。

防止するもの：Databricksコンピューティングリソースからの不正なアウトバウンド接続。

VPCエンドポイントポリシー

VPCエンドポイントポリシーは、VPCエンドポイントを介したAWSサービスへのアクセスを制御します。特定のAWSリソース（S3バケットなど）に対する必要な操作のみを許可することにより、Databricksワークスペースが他のAWSアカウントまたはサービスにデータを漏洩させることを防ぐことができます。

防止するもの：Databricksが不正なAWSサービスまたはリソースにデータを送信すること。

VPCエンドポイント

VPCエンドポイントは、パブリックインターネットを経由せずに、VPCと他のAWSサービスとの間にプライベート接続を確立します。これにより、機密データが外部ネットワークに公開されることがなくなり、インターネット経由でのデータ漏洩リスクが軽減されます。

防止するもの：サービス通信中のパブリックインターネットへのトラフィックの公開。
ドキュメント：AWS VPCエンドポイント

IAMロール

IAMロールを使用すると、DatabricksがアクセスできるAWSリソースと実行できるアクションを制御できます。信頼ポリシーと権限ポリシーを慎重に使用することで、Databricksユーザーとクラスターが明示的に承認されたリソースのみと対話できるようにし、不正なS3バケットまたは外部サービスの不正使用をブロックします。

防止するもの：侵害された、または過剰な権限を持つ認証情報を使用した、不正なAWSリソースへのデータ書き込み。

ルートテーブル

ルートテーブルは、VPC内のネットワークトラフィックフローを決定します。インターネットへのアウトバウンドルートを防止する（または必要な宛先のみを許可する）ことにより、データがどこに移動できるかを制御し、データが安全でない場所にルーティングされるリスクを軽減します。

防止するもの：パブリックインターネットまたは不正なネットワークへのネットワークパス。

AWS PrivateLink

AWS PrivateLinkは、暗号化された専用ネットワークインターフェイスを介して、VPCとAWSサービス間のプライベート接続を可能にし、パブリックインターネットへの公開を排除します。これにより、Databricksの制御プレーンとデータプレーンに安全なパスが提供され、データがAWS外に漏洩することが困難になります。

防止するもの：パブリックネットワークを介したデータの傍受または漏洩。

プライベートサブネット

プライベートサブネットはインターネットへの直接ルートを持たないため、内部のリソースはインターネットへのアウトバウンド接続を開始できません。このアーキテクチャ上の障壁により、クラスターやノードがAWS外に直接データを送信することがブロックされます。

防止するもの：コンピューティングリソースからのあらゆるアウトバウンドインターネット通信。

KMSキー

AWS Key Management Service（KMS）を使用すると、S3バケットを含む保存中のデータを暗号化できます。データにアクセスできたとしても、攻撃者が暗号化キーにもアクセスできない限り、データは保護されたままです。

防止するもの：キーマテリアルを侵害せずに、使用可能なデータ漏洩。

S3バケットポリシー

これらのリソースポリシーは、特定S3バケットへのアクセスを許可または拒否します。承認されたソース（Databricks VPCや特定のIAMロールなど）からのアクセスのみに制限することにより、漏洩を試みた場合でも、機密データを制御されたバケット外に書き込んだりコピーしたりできないようにします。

防止するもの：不要なS3ロケーションからの書き込み/読み取り。

これらの各制御は、個別に、または組み合わせて、データ漏洩に対する多層防御アプローチを強制し、データが保護された環境を離れる前に複数のチェックポイントを確保します。

暗号化は、データ保護のもう1つの重要なコンポーネントです。Databricksは、顧客管理の暗号化キー、キーローテーション、保存中および転送中の暗号化を含む、いくつかの暗号化オプションをサポートしています。Databricks管理の暗号化キーはデフォルトで使用され、すぐに有効になります。顧客は独自の暗号化キーを持ち込むこともできます。

監査ログ

監査ログは、基盤となるセキュリティおよびコンプライアンス機能であり、組織がDatabricks環境全体でユーザーアクティビティ、管理者アクション、およびシステムイベントを追跡できるようにします。データ漏洩のコンテキストでは、監査ログは、潜在的な脅威または不適切な動作の検出、調査、および対応を可能にする上で重要な役割を果たします。

監査ログは、次のような基本的な質問に答えるのに役立ちます。

誰がいつどのデータにアクセスしましたか？
どの操作（読み取り、書き込み、変更、削除）が実行されましたか？
ポリシー外の機密データへのアクセスまたはエクスポートの試行がありましたか？

これらのイベントを追跡することにより、監査ログはセキュリティ監視とコンプライアンスレポートの両方をサポートします。

Databricks監査ログ機能

Databricksは、ワークスペースレベルとアカウントレベルの両方で堅牢な監査ログ機能を提供します。主な機能は次のとおりです。

ワークスペースレベルの監査ログ：Databricksワークスペース内のユーザーおよびシステムのアクションをキャプチャします。
アカウントレベルの監査ログ：アカウント内のすべてのワークスペースにわたるアクションを追跡します。
詳細監査ログ：より深い可視性のためのオプションの、より詳細なイベントキャプチャ。
Unity Catalogシステムテーブルとの統合：データガバナンスおよび調査ワークフローの一部として、アクセス、コンピューティング、クエリ、サービング、およびストレージログを表示します。

監査ログは、ほぼリアルタイムで顧客指定のAmazon S3バケットに配信できます。これらは、継続的な監視とアラートのためにSIEMまたはセキュリティ分析システムと直接統合できます。

Databricksアーキテクチャ

始める前に、Databricksのデプロイメントアーキテクチャをこちらで簡単に確認しましょう。

Databricksは、バックエンドサービスの大部分をDatabricksが管理しながら、安全な部門横断的なチームコラボレーションを可能にするように構造化されているため、データサイエンス、データ分析、およびデータエンジニアリングタスクに集中できます。

Databricksは、コントロールプレーンとコンピューティングプレーンから運用されます。

コントロールプレーンには、Databricksが独自のAWSクラウドアカウントで管理するバックエンドサービスが含まれています。ノートブックコマンドおよびその他の多くのワークスペース構成は、コントロールプレーンに保存され、保存時に暗号化されます。
データが処理されるコンピューティングプレーンは、使用する特定のコンピューティングに応じて異なるタイプがあります。これらのコンピューティングタイプに関する詳細情報を確認できます。
- サーバーレスコンピューティングの場合、サーバーレスコンピューティングリソースはDatabricksアカウントのサーバーレスコンピューティングプレーンで実行されます。
- クラシックDatabricksコンピューティングの場合、コンピューティングリソースはお客様のAWSクラウドアカウントにあります。

ハイレベルアーキテクチャ

ネットワーク通信パス

実装を目指すセキュリティ対策を理解するために、以下に示すように、ユーザーとアプリケーションがDatabricksと対話するさまざまな方法を調べましょう。

Databricks ワークスペースのデプロイには、保護できる以下のネットワークパスが含まれます。

ユーザーまたはアプリケーションから Databricks Web アプリケーション（ワークスペース）または Databricks REST API への接続。
Databricks クラシックコンピュートプレーン VPC ネットワークから Databricks コントロールプレーンサービスへの接続。これには、セキュアクラスター接続リレーと、REST API エンドポイントのワークスペース接続が含まれます。
クラシックコンピュートプレーンからストレージサービス（例: S3、Kinesis など）への接続。
サーバーレスコンピュートプレーンからストレージサービス（例: S3、Kinesis など）への接続。
ネットワークポリシー（エグレスファイアウォール）を介したサーバーレスコンピュートプレーンからのセキュアなエグレス接続。例として、pypi や maven のようなパッケージリポジトリなどの外部データソースへの接続があります。
エグレスファイアウォールを介したクラシックコンピュートプレーンからのセキュアなエグレス接続。例として、pypi や maven のようなパッケージリポジトリなどの外部データソースへの接続があります。

エンドユーザーの観点からは、1 はイングレス制御、2、3、4、5、6 はエグレス制御が必要です。

この記事では、Databricks ワークロードからのエグレストラフィックの保護に焦点を当て、提案されたデプロイメントアーキテクチャに関する具体的なガイダンスを読者に提供します。また、イングレス（ユーザー/クライアントから Databricks へ）トラフィックの保護に関するベストプラクティスも共有します。

提案デプロイメントアーキテクチャ - AWS セキュリティリファレンスアーキテクチャ

AWS 上で Databricks を安全にデプロイすることは複雑に感じられるかもしれません。VPC、IAM ロール、プライベートネットワーキング、Unity Catalog、そしてエンタープライズセキュリティに準拠したガードレールが必要です。Databricks Security Reference Architecture (SRA) for AWS は、これらのベストプラクティスをすぐに使える Terraform テンプレートにパッケージ化しており、チームに本番環境デプロイメントのための堅牢な出発点を提供します。

概要

AWS 上のセキュアな Databricks のための、意見に基づいた Terraform モジュール。
ネットワーキング、IAM、Unity Catalog、ポリシーを標準でカバー。
導入を加速するための、セキュリティファーストのブループリントとして機能。

重要性

スピード: インフラストラクチャとワークスペースのセットアップを数分で自動化。
セキュリティ: 事前に構築された VPC、プライベートネットワーキング、監査ログ。
スケーラビリティ: アカウント/ワークスペース全体で再利用可能なパターン。

リポジトリの概要構造

aws/ → AWS インフラストラクチャ + ワークスペース作成。
/modules/databricks_account/unity_catalog_metastore_creation/ → メタストア作成
aws/tf/modules/sra/credential.tf → 外部 ID を使用したクロスアカウントロール
template.tfvars.example → 変数を入力

提供されるもの

AWS VPC、サブネット、IAM ロール。
Unity Catalog に接続された Databricks ワークスペース。
堅牢なオプション: エグレス制限、ロギング、モニタリング。

使用方法

リポジトリをクローンします。
template.tfvars.example で変数を入力します。
必要に応じて VPC、サブネット、名前のパラメータを変更します。
反復可能なエンタープライズデプロイメントのために CI/CD に拡張します。

注意点

時点のスナップショットです。アップグレード前にレビューしてください。
「マネージド」ではありません。チームがテストと適応を担当します。
Terraform + AWS + Databricks プロバイダーの知識が必要です。

pypi や maven のインターネットアクセスが必要な場合は、VPC から流出するトラフィックをスキャンして、送信トラフィックをすべてスキャンできるように、以下のアーキテクチャをお勧めします。多くの AWS サービスを使用して、VPC への送信トラフィックをスキャンできます。例えば、AWS Network Firewall や Gateway Load Balancer です。AWS Network Firewall のセットアップを開始するには、例えばこちらの AWS ドキュメントに従うことをお勧めします。

Databricks データ漏洩防止コントロール

送信トラフィックの監視に加えて、データ漏洩から Databricks 環境を保護するために以下のコントロールを実装してください。プライベートリンクなどの一部の機能は、Databricks Enterprise エディションでのみサポートされていることに注意してください。

SCIM プロビジョニング

IdP から Databricks へのユーザーとグループのライフサイクル管理を自動化します。
SCIM プロビジョニングガイド

シングルサインオン (SSO)

ID プロバイダー（SAML または OIDC）を介した集中認証を要求します。
SSO 設定

多要素認証 (MFA)

ログインセキュリティの追加レイヤーとして、IdP レベルで MFA を強制します。
多要素認証

アカウントコンソール IP アクセス制御リスト (ACL)

許可された IP 範囲を定義して、Databricks アカウントコンソールへのアクセスを制限します。
IP アクセスリスト

ネットワーク接続設定におけるプライベートエンドポイント

ワークスペーストラフィックがプライベートエンドポイントのみを通過するようにします（パブリックインターネットなし）。
ネットワーク接続設定

サーバーレスエグレス制御

Databricks サーバーレスコンピューティングからの外部宛先を制限するための制限を適用します。
サーバーレスコンピューティングセキュリティ

DBFS への本番データ保存の回避

機密データセットを DBFS に永続化せず、セキュアなストレージ（例: S3、ADLS）を使用してください。
DBFS の概要

Delta Sharing 受信者トークンの有効期間

漏洩した場合の露出を減らすために、Delta Sharing のトークン有効期間を短縮します。
Delta Sharing セキュリティ

機密ワークロードを異なるネットワークに分離する

ワークロードを論理的および物理的に分離するために、個別の VPC/サブネットを使用します。

機密ワークロードを異なるワークスペースに分離する

環境分離を強制するために、複数のワークスペース（本番、開発、テスト）をデプロイします。
マルチワークスペース戦略

CI/CD 用の OIDC トークンフェデレーション

CI/CD パイプラインが Databricks とやり取りする際に、短命トークンを安全に交換するために OIDC フェデレーションを使用します。
OIDC トークンフェデレーション

これらのコントロールを組み合わせることで、多層防御が実現され、偶発的または悪意のあるデータ漏洩のリスクが最小限に抑えられます。

強化されたセキュリティコンプライアンスと監視のアドオン:
組織が HIPAA、PCI、または同様に厳格な基準のサポートが必要な場合など、セキュリティ要件が強化されている場合は、Databricks ワークロードで Enhanced Security Monitoring を有効にすることを検討してください。

この高度な機能は、Databricks のコアセキュリティ機能に基づいており、従来のコンピューティング環境とサーバーレスコンピューティング環境の両方に対して、より深い可視性、プロアクティブな脅威検出、および追加の強化を提供します。強化されたセキュリティ監視は、CIS Level 1 ハードニングを備えた Canonical Ubuntu、継続的な行動ベースのマルウェアおよびファイル整合性監視、包括的なマルウェアおよびアンチウイルススキャン、ホストオペレーティングシステムの詳細な脆弱性レポートなどのメリットを提供します。

この機能が有効になっている場合（コンプライアンスセキュリティプロファイル経由）、権限昇格、疑わしいインタラクティブシェル、不正なアウトバウンド接続、予期しないシステムファイル変更、または潜在的な情報漏洩の試みに関するアラートを含むセキュリティイベントログが自動的に記録されます。これらのログは、標準の Databricks 監査ログと並行して配信され、組織の SIEM または Databricks 内に豊富なコンテキスト情報を提供します。これにより、セキュリティアナリストは、詳細な調査を必要とせずに、異常またはリスクの高い動作を迅速に追跡および対応できるようになり、即時の検出と迅速なインシデント対応をサポートします。

結論と次のステップ

Databricks on AWS に対する強力なデータ漏洩対策は、一度設定すれば終わりではなく、継続的な改善が必要です。アーキテクチャコントロールを展開することに加えて、継続的な監視、厳格な監査、およびプロアクティブな変更管理をセキュリティプラクティスの中核に据えてください。監査ログを定期的にレビューし、アクセスポリシーとネットワークポリシーを更新し、セキュリティおよびコンプライアンスチームと協力することで、新たな脅威に対抗するために保護機能を進化させることができます。戦略をさらに深めるために、クラウド監視のベストプラクティスおよび Databricks での監査ログについてさらに詳しくに関する信頼できるリソースを確認してください。これらの参照資料は、データ環境とリスクが増大するにつれて、警戒と回復力を維持するのに役立ちます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事