強化されたDelta Sharing！セキュリティのためのOIDCトークン連携の発表

私たちは、 強化されたDelta SharingセキュリティのためのOIDCトークン連携 という、非Databricks受信者との共有時に大きなセキュリティと使いやすさの向上を公開プレビューとして紹介することを嬉しく思います。このリリースにより、データプロバイダーは、Azure Entra IDやOktaなどのカスタムIdentity Provider (IdP)を使用して認証を行いたいと考える、非Databricksの任意のコンピューティングプラットフォーム上のユーザーと安全にデータを共有することができます。これにより、静的な資格情報の必要性がなくなり、セキュリティが強化され、細かいアクセス制御が可能になります。これにより、共有データへのアクセスが適切なユーザーやマシンだけに制限されます。

セキュアなOpenID Connectトークン連携の5つの利点

Delta Sharingは、データ、分析、AIを跨いでデータを共有する業界初のオープンソースアプローチです。これは、特定のベンダーやプラットフォームに縛られることがないことを意味します。DatabricksからのDelta Sharingは、非Databricks受信者との共有とDatabricks受信者との共有（D2D Sharingとも呼ばれます）の2種類の共有を可能にします。これら2種類の共有についての詳細は、ブログ「Delta Sharingがどのようにセキュアなエンドツーエンドのコラボレーションを可能にするか」をご覧ください。もし、他のDatabricksの顧客とそのDatabricksのアカウントでデータを共有している場合、すでにD2D Sharingを使用することができ、Databricksのエコシステム内でシームレスで統合された体験を提供します。

一方、Databricksに参加していない外部ユーザーと安全に共有する際、Delta Sharingは常にベアラートークンを使用してデータを共有する簡単で速い方法を提供してきました。しかし、強化されたセキュリティを優先する非Databricksユーザーにとって、OIDCトークン連携による強化セキュリティは、より堅牢で柔軟な認証メカニズムを提供します。このアプローチは、露出リスクを最小限に抑え、安全なコラボレーションを確保します。

任意のコンピューティングプラットフォーム上の非Databricksユーザーと共有する際のOIDCトークン連携の主な利点：

1. IdP管理のアイデンティティ: 顧客は現在のIdentity Providers（Entra IDやOktaなど）を使用して認証を行うことができ、新たなシステムやプロセスの設定を避けることができます。
2. 細かいユーザーアクセス制御: 顧客は、誰がデータにアクセスできるかを正確に制御し、適切な人々またはシステムのみが権限を持つことを確認します。
3. 多要素認証（MFA）のサポート： Identity Providerが多要素認証（MFA）をサポートしている場合、それは追加の保護層を追加し、共有データへのアクセスを許可されたユーザーのみに制限します。
4. セキュリティリスクの軽減： 短期間のトークンは自動的に期限切れとなり、手動での介入を必要とせずに不正アクセスの可能性を最小限に抑えます。
5. 共有秘密のない状態： Databricks、プロバイダー、受信者間で静的な資格情報を配布する必要性を排除します。

非Databricks受信者と共有する際のOIDCトークン連携はどのように機能しますか？

非Databricks受信者と共有する際のOIDCトークン連携では、各Delta Sharing受信者は連携ポリシーで設定され、共有データにアクセスできるのは許可されたユーザーやマシンのみとなります。以下にその仕組みを説明します：

1. 非Databricks受信者へのアクセス設定

• データプロバイダ（Databricksユーザー）は、受信者のためにOIDCトークン連携ポリシーを設定し、その外部IdP（例：Entra ID、Okta）を指定します。
• ポリシーは、受信者のアイデンティティシステムからどのユーザー、アプリケーション、またはシステムが共有データにアクセスできるかを定義します。

2. 短期間のトークンによるセキュアな認証

1. 受信者が共有データにアクセスしようとすると、Delta Sharing Connectorは、設定されたIdP（例：Entra IDやOkta）に対して受信者の代わりに認証します。
2. 認証が成功すると、アイデンティティシステムは一時的なデジタルパス、つまりJSON Web Token（JWT）を作成します。これには、誰であるかについての情報が含まれています。これはDelta Sharing コネクタと共有されます。
3. Delta Sharing Connectorは、IdPから発行されたJWTトークンとDelta Sharingリクエストを組み合わせて、Databricks Delta Sharing Serverに送信します。
4. Databricks Delta Sharingは、受信者のポリシーに対してJWTを検証し、データプロバイダーが設定したルールと一致させます。これには、誰が発行したか、誰のためのものか、誰がアクセスを要求しているかを確認することが含まれます。
5. 認証が成功すると、Databricks Delta Sharingサーバーは要求されたデータを共有します。
6. デルタ共有クライアントは、それを受信者のワークフローに返します。

このアプローチは共有秘密の必要性を排除します。代わりに、すぐに期限切れとなる一時的な認証トークンを使用し、データにアクセスできるのは誰か、または何（特定のユーザーまたはマシン）を正確に制御します。

サポートされる認証シナリオは3つ

OIDCトークンフェデレーションアプローチは、ユーザーからマシンへ（U2M）とマシンからマシンへ（M2M）の認証フローの両方をサポートし、幅広いユースケースを可能にします。

1. ユーザーからマシンへの（U2M）認証

• 受信者組織の人間のユーザーは、自分のIdPを通じて認証します。
• 受信者またはプロバイダーのIdPで多要素認証（MFA）が有効になっている場合、それが強制されます。
• ユーザーは、Power BIやTableauのようなツールを使用して、共有データに簡単にアクセスし、分析することができます。
• データプロバイダは、特定の人々やグループだけにアクセスを許可するルールを設定でき、誰がアクセスを得るかについての厳格なコントロールを確保できます。

このデモでは、EntraID認証を使用してDatabricksからPower BIにデータを安全に共有する方法を示しています。

2. マシン間（M2M）認証

Delta Sharingは現在、非Databricks受信者のマシンが自動的に認証するための2つの安全な方法をサポートしています：

シナリオ1：OAuthクライアント資格情報付与フロー

• 受信者または提供者の組織は、IdPにService Principalを登録します。Service Principalは、アプリケーションや自動化システムの「ユーザーID」のようなもので、人間がログインすることなく安全にリソースにアクセスすることを可能にします。
• Databricks、プロバイダー、受信者の間で外部に資格情報が共有されず、シークレット管理はローカルで行われます - すべてが各組織内で安全に保たれます。
• Python Delta Sharing ClientとSpark Delta Sharing Clientのサポートにより、受信者はスクリプト/自動化を通じて共有データにアクセスすることができます。

このデモでは、OAuthクライアント資格情報付与を使用して、DatabricksからPython Delta Sharing Clientへデータを安全に共有する方法を示しています

シナリオ2：Managed Identity認証（近日公開）

• クラウド環境（例：Azure VM）で動作するワークロードの場合、認証は自動的に管理されたアイデンティティを使用して行われます。
• 秘密情報や手動の資格情報管理は必要ありません。
• 初期のサポートはAzure Computeに焦点を当て、他のクラウドプロバイダーへの拡大も可能です。

このデモでは、Cloud provider Managed Identityを使用してDatabricksからPython Delta Sharing Clientにデータを安全に共有する方法を示しています。

身元確認プロバイダーの選択：

顧客は、External Identity Provider（受信者管理）またはInternal Identity Provider（提供者管理）を使用して認証することを選択できます。

• External Identity Provider（受信者管理）： 受信者のアイデンティティシステム（Entra IDやOktaなど）が使用されます。提供者はそれを共有ポリシーに設定するので、受信者は自分の組織から誰がデータにアクセスできるかを制御します。
• 内部アイデンティティプロバイダー（プロバイダー管理）: プロバイダーのアイデンティティシステムが使用されます。プロバイダは、自身のアイデンティティシステム内で外部の受信者をゲストとして追加することで認証を管理します。これにより、プロバイダーのシステムが受信者に代わってアクセスを処理することができます。

次のステップ

私たちは、Entra IDやOktaのような人気のあるアイデンティティプロバイダーに合わせて調整された一般的なOIDC連携ポリシーのための事前構築テンプレートを使用して、セキュアなデータ共有の設定を容易にします。さらに、近日中にサポートされる予定のManaged Identity認証により、クラウドベースのワークロード（例：Azure VMs）がパスワードや秘密情報を必要とせずに認証することが可能となり、Databricks Delta Sharingエンドポイントへのシームレスで安全な接続が実現します。

無料トライアル

非Databricks受信者と共有する際のOIDCトークン連携による強化セキュリティは、本日からAWS、GCP、Azureの顧客に公開プレビューで利用可能です。Delta Sharingが、セキュリティを妥協することなく、任意のコンピューティングプラットフォーム上の非Databricksユーザーとデータを安全に共有するために、組織にとってどれほど簡単かを学びましょう。