Databricks on Google Cloudの新しいプラットフォームセキュリティ制御でワークスペースを保護する

Databricks on Google Cloudのいくつかの主要なセキュリティ機能の一般提供（GA）を発表できることを嬉しく思います：

• プライベート・サービス・コネクト（PSC）によるプライベート接続
• 顧客が管理する暗号化キー
• アカウント・コンソールおよびAPIアクセス用のIPアクセス・リスト

Databricks では、データはお客様の最も貴重な資産であると認識しています。 これらの重要なセキュリティ機能のGAを使用することで、Databricks Lakehouse Platform上で静止状態のデータを保護し、データを非公開に保ち、データ流出のリスクを軽減することができます。

このブログでは、よくあるセキュリティの質問を取り上げ、Google Cloudで利用できるようになった新しいセキュリティ機能と機能を説明します。

プライベート・サービス・コネクトによるエンド・ツー・エンドのプライベート・ワークスペース

ほとんどの企業顧客は、ユーザーとワークロードがプライベートクラウド環境でセキュリティデータを処理できることを望んでいます。Databricksを使用すれば、ネットワーク境界を守り、顧客管理のプライベートクラウドとPSCを用いてエンドツーエンド接続を構成できます。 これには以下が含まれています：

1. クライアントから Databricks ウェブアプリケーションおよび API にプライベート接続する機能。 Databricksは、ワークスペースへのアクセスを許可されたVPCエンドポイントとパブリックIPアドレスのみに制限する機能。
2. 顧客が管理するVPC内のDatabricksコンピュートリソース（データプレーン）とDatabricksワークスペースコアサービス（コントロールプレーン）をプライベート接続する機能。

Private Service ConnectはGA機能として提供され、Databricksワークスペースでプライベートクラウド接続を構成できます。PSC対応のワークスペースは、漏洩情報を使った不正アクセスやインターネット上でのデータ露出を防ぎ、プライベートクラウドにおける安全性を高めます。

最近のDatabricks on Google Cloud Security Best Practices ブログでは、顧客管理 VPC、Private Service Connect、IP ACL などの機能を使用して Databricks 環境を分離し、データを保護する方法について説明しています。

顧客管理キーで静止データを保護

Databricksはマネージドサービスでデータを暗号化しますが、企業はCloud KMSによる独自キーでプライベートクラウドデータを保護できます。これによりプライベートクラウド内での制御と可視性が高まり、セキュリティが強化されます。

Databricks のカスタマー・マネージド・キーによる暗号化機能は、Databricks のマネージド・サービスおよびワークスペース・ストレージに保存されているデータを保護するために、独自の暗号化キーを持ち込むことができます：

• マネージド・サービス用の顧客管理鍵：Databricksのコントロールプレーンにあるマネージドサービスのデータは、静止時に暗号化されます。 マネージド・サービス用の顧客管理キーを追加することで、以下のタイプの暗号化データへのアクセスを保護および制御することができます：

  • コントロールプレーンに保存されるノートブックのソースファイル
  • コントロールプレーンに保存されているノートブックの結果
  • シークレットマネージャーAPIによって保存されたシークレット
  • DatabricksのSQLクエリとクエリ履歴
  • Git と Databricks Repos との統合を設定するために使用される個人アクセストークンまたはその他の認証情報

• ワークスペース・ストレージ用の顧客管理キー：Databricksは、ワークスペース・ストレージ用の顧客管理キーの設定もサポートしており、データの保護とアクセス制御を支援します。 ワークスペースの作成時に指定したGoogle Cloudプロジェクトに関連付けられたGCSバケット上のデータを暗号化するために、独自のキーを設定することができます。 同じキーは、クラスタのGCE永続ディスクの暗号化にも使用されます。

IPアクセスリストでネットワーク境界を保護

IPアクセスリストを使えば、Databricksリソースへのアクセスを制御し、プライベートクラウド環境の境界を守れます。IP ACLは不正アクセスを防ぎ、規制要件に沿ったプライベートクラウド運用を実現します。

現在Google Cloudで一般的に利用できるDatabricksのIP ACLには2種類あります：

• ワークスペースの IP アクセスリストを使用すると、ユーザやクライアントが承認された企業ネットワークまたは承認された IP アドレスのセットからのみサービスに接続できるように Databricks ワークスペースを設定できます。
• アカウントコンソールのIPアクセスリストにより、アカウント所有者とアカウント管理者は、安全な境界と承認されたIPアドレスのセットを持つ既存の企業ネットワークを通じてのみ、アカウントコンソールUIとアカウントAPIなどのアカウントレベルのREST APIに接続することができます。 アカウント所有者と管理者は、アカウントコンソールUIまたはREST APIを使用して、許可およびブロックされたIPアドレスとサブネットを設定できます。

Google Cloud上のDatabricksでPrivate Service Connect、CMK、IP ACLを使い始める

Google CloudのPremium Tierでは、Private Service Connect、顧客管理キー、IP ACLを利用できます。 Databricks ワークスペースにこれらの機能を設定するためのステップバイステップの手順については、ドキュメント(Private Service Connect|CMK|IP ACLs) を参照してください。 Private Service Connect (PSC) を使用した Databricks のプライベート接続のサポートは、GA レベルの機能で限定的な提供となっています。 Databricksの担当者までご連絡ください。

Databricksのセキュリティ対策とお客様向け機能の詳細については、セキュリティ＆トラストセンターをご覧ください。