Azure DatabricksのAzure Confidential Computingサポートに関するパブリックプレビューのお知らせ

Original : Announcing the Public Preview of Azure Databricks support for Azure confidential computing

翻訳： junichi.maruyama 

私たちは、Azure Databricks がAzure confidential computing(ACC）をサポートすることをプレビューで発表できることを嬉しく思います！この発表により、お客様はAzure DatabricksのワークロードをAzureコンフィデンシャル仮想マシン（VM）上で実行できるようになります。ACCのサポートにより、お客様は、使用中のデータを暗号化することで機密性とプライバシーを高めたエンドツーエンドのデータプラットフォームをDatabricks Lakehouse上で構築することができます。これは、静止状態のデータを暗号化するカスタマー・マネージド・キー（CMK）のサポートに基づくものです。

このブログ記事では、機密コンピューティングとそのユースケース、Azure DatabricksをAzure機密コンピューティング（ACC）で使用することによるセキュリティ上のメリット、およびマイクロソフトとの提携について説明します。

Confidential Computingとは何か、Databricksを使ったお客様の潜在的なユースケースは何か。

コンフィデンシャル・コンピューティングは、コンフィデンシャル・コンピューティング・コンソーシアム（CCC）によって定義された業界用語です。CCC は Linux Foundation のコミュニティで、機密コンピューティングを定義し、その採用を促進することを目的としています。CCCは、コンフィデンシャル・コンピューティングを次のように定義しています： ハードウェアベースで認証されたTrusted Execution Environment（TEE）で計算を実行することにより、使用中のデータを保護すること。

コンフィデンシャル・コンピューティングを必要とする組織は、通常、厳格なプライバシー法や規制要件の対象となる非常に機密性の高いデータを扱い、生産する規制産業の企業です。また、秘密にしておきたい非常に貴重な知的財産を持つ企業も、コンフィデンシャル・コンピューティングに魅力を感じています。

コンフィデンシャル・コンピューティングの高度なセキュリティを活用することで、お客様は最も機密性の高いデータもクラウド上で処理することができ、AIの可能性を最大限に引き出すことができるようになります。今回の発表により、Databricks Lakehouseプラットフォームは、お客様のデータ、アナリティクス、AIのニーズに対する包括的なソリューションを提供します。機密コンピューティングを必要とする可能性のある代表的なユースケースは以下の通りです：

• マネーロンダリング対策: デジタルバンキングへの急速な移行により、機密性の高い銀行取引は膨大な量となり、拡大するマネーロンダリングに対抗するため、機密コンピューティングなどのデータ保護対策強化が急務となっています。Databricks Lakehouseプラットフォームは、データレイクとデータウェアハウスを組み合わせることで、拡張性のあるアンチ・マネー・ロンダリング（AML）ソリューションの導入を可能にし、AMLプロセスの効率的な管理とコラボレーションを促進します。
• 不正行為の防止： 機密性の高いデータの保護、不正検知プロセスにおけるセキュリティの強化、不正アクセスや改ざんを防止することによる信頼の醸成など、不正防止には機密性の高いコンピューティングが欠かせません。Databricks Lakehouseを使用すると、金融機関は機械学習による不正検出データパイプラインを作成し、大規模データセットからモジュラー機能を構築するフレームワークを活用してデータをリアルタイムで可視化できます。
• 有害医薬品イベントの検出: 有害医薬品検出データには、機密性の高いコンピューティングが不可欠です。機密性の高い患者情報の安全な処理と分析を保証し、プライバシーを守り、潜在的な薬物有害反応の正確な特定を促進します。Databricks Lakehouseは、医療機関がこの検出を効果的に行うために、科学的に厳密でほぼリアルタイムの洞察を提供できる、モダンでスケーラブルなデータおよびAIプラットフォームを提供します。

Confidential Computingによるセキュリティ強化で、機密データセットのデータ・AI戦略を構築する

お客様は、Databricks Lakehouseプラットフォームを最も機密性の高い規制対象データに使用する権限を得ることができるようになりました。Azure Databricks on Azure confidential computingは、以下のセキュリティとプライバシーのメリットを提供します：

• 使用中のデータを保護: データを処理する前に、基盤となるクラウド環境を検証するインメモリ暗号化により、データを保護します。この種のデータ保護は、静止状態のデータには顧客管理の鍵、転送中のデータにはTLSやHTTPSなどの安全なプロトコルによるプライベートリンクなど、既存のセキュリティ管理を補完するものです。
• Databricksの他のセキュリティ、コンプライアンス、プライバシーを強化する製品を活用:
  • Unity Catalog は、あらゆるクラウド上のレイクハウスにあるファイル、テーブル、ダッシュボード、機械学習モデルなど、すべてのデータ、アナリティクス、AI資産に対する統一されたガバナンスを提供します。アクセス許可と監査制御を管理するための単一ペインを作成し、データのマッピング、セキュア化、監査を実現します.
  • Delta Sharing は、レイクハウスからあらゆるコンピューティングプラットフォームにライブデータを安全に共有するオープンなソリューションを提供します。セキュリティとコンプライアンスのニーズを満たしながら、サプライヤーやパートナーと自信を持ってデータ資産を共有し、より良いビジネスのコーディネートを実現します。
  • 今夏、Azureで提供されるEnhanced Security and Compliance（以下、ESC）は、Databricks環境のハードニングを強化し、特に最も機密性の高いデータを保護し、クラウド対応のHIPAA、PCI-DSS、FedRAMP Moderateワークロードを実行する手段を提供するために設計されています。

コンフィデンシャル・コンピューティングにおける強力なコラボレーション

" DatabricksとMicrosoftは、Lakehouseワークロードの実現に向けて協業してきました。我々は、DatabricksのユーザーがAMD SEV-SNP機密VM上でクラスタを実行し、メモリ上で使用中のこのデータの保護を可能にすることにより、クラウド上で最も機密性の高いデータを分析できる最初のクラウドプロバイダーになれたことを嬉しく思っています。" - マイクロソフト Azure Databricks担当ジェネラルマネージャー Lindsey Allen氏

我々は、マイクロソフトとの協業により、Azure DatabricksをAzureコンフィデンシャル・コンピューティングに導入できることを嬉しく思っています。マイクロソフトは、長らくコンフィデンシャル・コンピューティングの分野でオピニオンリーダーとして活躍してきました。Azureがクラウドに「コンフィデンシャル・コンピューティング」を導入した際、顧客が最も機密性の高いワークロードをTrusted Execution Environments（TEEs）内で実行できるように、コンフィデンシャル・コンピューティング仮想マシンとKubernetesのコンフィデンシャルコンテナサポートを提供した最初のクラウドプロバイダとなった。

DatabricksとAzureは、機密コンピューティングのための堅牢で安全なデータプラットフォームを提供します。ACCで使用される機密VMは、AMD SEV-SNPテクノロジーによるメモリ暗号化でデータを保護しながら、高性能コンピューティングを含むさまざまなワークロードを実行できるように設計されたAMD EPYC^TM processorsを搭載しています。これらのプロセッサは、コンフィデンシャル・コンピューティング上で機械学習やAIのさまざまなワークロードを強力かつコスト効率よく提供します。

Azure DatabricksをAzureの機密コンピューティングで始める

これらのVMは、今後数日間に渡ってAzure Databricksユーザー向けにロールアウトされ、利用可能になります。 ドキュメントをご覧になるか、以下のデモをご覧になって、ワークロードに適したACC VMを選択するだけで、いかに簡単に素早く稼働できるかをご確認ください。

今週はMicrosoft Buildにチャンネルを合わせて、Azure機密コンピューティングによる最近のイノベーションについて詳しくご紹介します。2023年6月26日～29日にサンフランシスコで開催されるデータ・AIサミットでお会いできることを楽しみにしています。今すぐご登録ください！