향상된 델타 공유 보안을 위한 OIDC 토큰 연합 발표

우리는 델타 공유 보안을 향상시키기 위한 OIDC 토큰 연합 의 공개 미리보기를 소개하게 되어 기쁩니다. 이것은 데이터브릭스를 사용하지 않는 수신자와 공유할 때 의 주요 보안 및 사용성 향상입니다. 이번 릴리스를 통해, 데이터 제공자 는 사용자 정의 신원 제공자(IdP) 를 사용하여 인증을 선호하는 데이터브릭스를 사용하지 않는 사용자 와 안전하게 데이터를 공유할 수 있습니다. 예를 들어, Azure Entra ID 또는 Okta 와 같은 것들입니다. 이것은 정적 자격 증명의 필요성을 제거하고, 보안을 강화하며, 세분화된 접근 제어를 가능하게 합니다 - 공유된 데이터에 접근할 수 있는 것은 오직 적절한 사용자나 기계만이라는 것을 보장합니다.

안전한 OpenID Connect 토큰 연합의 5가지 이점

델타 공유 는 데이터, 분석, AI 간의 데이터 공유에 대한 업계 최초의 오픈 소스 접근 방식입니다. 이것은 특정 공급자나 플랫폼에 국한되지 않는다는 것을 의미합니다. 데이터브릭스에서의 델타 공유는 두 가지 유형의 공유를 허용합니다: 데이터브릭스를 사용하지 않는 수신자와의 공유와 데이터브릭스 수신자와의 공유(또는 D2D 공유라고도 알려져 있음). 이 두 가지 공유 유형에 대한 자세한 내용은 블로그 "델타 공유가 어떻게 안전한 엔드-투-엔드 협업을 가능하게 하는가" 를 확인해보세요. 다른 데이터브릭스 고객과 데이터를 공유하고 그들의 데이터브릭스 계정으로 공유하고 있다면, 이미 D2D 공유를 사용할 수 있으며, 이는 데이터브릭스 생태계 내에서 원활하고 통합된 경험을 제공합니다.

반면에, Databricks에 없는 외부 사용자와 안전하게 공유할 때, Delta Sharing은 항상 베어러 토큰을 사용하여 데이터를 공유하는 간단하고 빠른 방법을 제공했습니다. 그러나 강화된 보안을 우선시하는 비-Databricks 사용자들을 위해, OIDC 토큰 연합을 통한 강화된 보안 은 더욱 강력하고 유연한 인증 메커니즘을 제공합니다. 이 접근 방식은 노출 위험을 최소화하고 안전한 협업을 보장합니다.

OIDC 토큰 연합을 사용하여 비-Databricks 사용자와 모든 컴퓨팅 플랫폼에서 공유할 때의 주요 이점:

1. IdP 관리 아이덴티티: 고객은 현재의 아이덴티티 제공자(Entra ID나 Okta 같은)를 인증에 사용할 수 있어, 새로운 시스템이나 프로세스를 설정할 필요가 없습니다.
2. 세분화된 사용자 접근 제어: 고객은 데이터에 접근할 수 있는 사람이나 시스템을 정확하게 제어하여, 적절한 사람이나 시스템만이 권한을 가지도록 합니다.
3. 다중 요소 인증(MFA) 지원: Identity Provider가 다중 요소 인증(MFA)를 지원하면, 추가 보호층이 추가되어 공유된 데이터에 대한 접근이 인증된 사용자에게만 허용됩니다.
4. 보안 위험 감소: 단기 토큰은 자동으로 만료되어, 수동 개입 없이 무단 접근 가능성을 최소화합니다.
5. 공유 비밀 없음: Databricks, 제공자, 수신자 간에 정적 자격 증명을 배포할 필요를 없앱니다.

OIDC 토큰 연합이 Databricks가 아닌 수신자와 공유할 때 어떻게 작동하나요?

Databricks가 아닌 수신자와 공유할 때 OIDC 토큰 연합을 사용하면, 각 Delta 공유 수신자는 연합 정책으로 설정되어, 인증된 사용자나 기계만이 공유된 데이터에 접근할 수 있습니다. 진행 방식은 다음과 같습니다.

1. Databricks가 아닌 수신자에 대한 접근 설정

• 데이터 제공자(Databricks 사용자)는 수신자를 위해 OIDC 토큰 연합 정책 을 구성하고, 그들의 외부 IdP(예: Entra ID, Okta)를 지정합니다.
• 정책은 수신자의 신원 시스템에서 어떤 사용자, 응용 프로그램, 또는 시스템 이 공유된 데이터에 접근할 수 있는지를 정의합니다.

2. 단기 토큰을 이용한 안전한 인증

1. 수신자가 공유된 데이터에 접근을 시도하면, Delta Sharing Connector가 그들의 IdP(예: Entra ID 또는 Okta)에 대해 그들을 대신하여 인증합니다.
2. 인증이 성공하면, 신원 시스템은 임시 디지털 패스인 JSON 웹 토큰(JWT)을 생성하며, 이는 그들이 누구인지에 대한 정보를 포함합니다. 이는 Delta Sharing Connector와 공유됩니다.
3. Delta Sharing Connector는 IdP에 의해 발행된 JWT 토큰을 Delta Sharing 요청과 함께 결합하고, 이를 Databricks Delta Sharing 서버로 전송합니다.
4. Databricks Delta Sharing은 JWT를 수신자의 정책에 대해 검증하고, 데이터 제공자가 설정한 규칙과 일치시킵니다. 예를 들어, 누가 발행했는지, 누구를 위한 것인지, 누가 접근을 요청하는지를 확인합니다.
5. 성공적인 인증 후에, Databricks Delta Sharing 서버는 요청된 데이터를 공유합니다.
6. 델타 공유 클라이언트는 차례로 이를 수신자 워크플로우로 반환합니다.

이 접근 방식은 공유된 비밀의 필요성을 제거합니다. 대신, 이는 빠르게 만료되는 임시 인증 토큰을 사용하며, 누가 또는 무엇(특정 사용자 또는 기계)이 데이터에 접근할 수 있는지에 대한 정확한 제어를 허용합니다.

지원되는 세 가지 인증 시나리오

OIDC 토큰 연합 접근 방식은 사용자-기계(U2M) 및 기계-기계(M2M) 인증 흐름을 모두 지원하여, 다양한 사용 사례를 가능하게 합니다.

1. 사용자-기계(U2M) 인증

• 수신자 조직의 인간 사용자는 그들의 IdP를 통해 인증합니다.
• 만약 수신자 또는 제공자의 IdP에서 다중 요소 인증(MFA)이 활성화되어 있다면, 이는 강제될 것입니다.
• 사용자는 그런 다음 Power BI나 Tableau와 같은 도구를 사용하여 공유된 데이터에 쉽게 접근하고 분석할 수 있습니다.
• 데이터 제공자는 특정 사람이나 그룹에만 접근을 허용하는 규칙을 설정할 수 있어, 누가 접근을 받는지에 대한 엄격한 제어가 가능합니다.

이 데모는 EntraID 인증을 사용하여 데이터브릭스에서 Power BI로 데이터를 안전하게 공유하는 방법을 보여줍니다.

2. 기계 대 기계(M2M) 인증

Delta Sharing은 이제 Databricks가 아닌 수신자 기계가 자동으로 인증할 수 있는 두 가지 안전한 방법을 지원합니다:

시나리오 1: OAuth 클라이언트 자격 증명 부여 흐름

• 수신자 또는 제공자 조직은 그들의 IdP에 서비스 주체 를 등록합니다. 서비스 주체는 애플리케이션 또는 자동화된 시스템을 위한 "사용자 신원"과 같으며, 이를 통해 사람이 로그인하지 않고도 안전하게 리소스에 접근할 수 있습니다.
• Databricks, 제공자 또는 수신자 간에 외부로 자격 증명이 공유되지 않으며, 비밀 관리는 로컬에서 이루어집니다—모든 것이 각 조직 내에서 안전하게 유지됩니다.
• 파이썬 델타 공유 클라이언트 및 스파크 델타 공유 클라이언트의 지원은 수신자가 스크립트/자동화를 통해 공유된 데이터에 접근할 수 있도록 보장합니다.

이 데모는 OAuth 클라이언트 자격증명 부여를 사용하여 Databricks에서 Python Delta Sharing Client로 데이터를 안전하게 공유하는 방법을 보여줍니다.

시나리오 2: 관리된 신원 인증(곧 출시 예정)

• 클라우드 환경(예: Azure VMs)에서 실행되는 워크로드의 경우, 관리되는 신원 을 사용하여 인증이 자동적으로발생합니다.
• 비밀 정보나 수동적인 자격 증명 관리는 필요하지 않습니다.
• 초기 지원은 Azure Compute에 초점을 맞추며, 다른 클라우드 제공업체로 확장될 가능성이 있습니다.

이 데모는 Cloud provider Managed Identity를 사용하여 Databricks에서 Python Delta Sharing Client로 데이터를 안전하게 공유하는 방법을 보여줍니다.

신원 제공자 선택:

고객은 외부 Identity Provider (수신자 관리) 또는 내부 Identity Provider (제공자 관리)를 사용하여 인증을 선택할 수 있습니다.

• 외부 Identity Provider (수신자 관리): 수신자의 신원 시스템(예: Entra ID 또는 Okta)이 사용됩니다. 제공자는 이를 공유 정책에 설정하므로, 수신자는 자신의 조직에서 누가 데이터에 접근할 수 있는지를 제어합니다.
• 내부 신원 제공자(제공자 관리): 제공자의 신원 시스템이 사용됩니다. 제공자는 외부 수신자를 자신의 신원 시스템에 게스트로 추가함으로써 인증을 관리합니다. 이를 통해 제공자의 시스템이 수신자를 대신하여 접근을 처리할 수 있습니다.

다음은 무엇인가요?

우리는 Entra ID와 Okta와 같은 인기 있는 신원 제공자를 위해 맞춤형 OIDC 연합 정책에 대한 공통 템플릿을 미리 만들어 안전한 데이터 공유 설정을 더 쉽게 할 것입니다. 또한, 관리되는 신원 인증에 대한 다가오는 지원은 클라우드 기반 작업(예: Azure VMs)이 비밀번호나 비밀 없이 인증할 수 있게 하여 Databricks Delta Sharing 엔드포인트에 대한 원활하고 안전한 연결을 가능하게 할 것입니다.

시작하기

Databricks가 아닌 수신자와 공유할 때 향상된 보안을 위한 OIDC 토큰 연합 은 오늘 AWS, GCP 및 Azure 고객에게 공개 미리보기로 제공됩니다. Delta Sharing이 조직이 Databricks 사용자가 아닌 사용자와 어떤 컴퓨팅 플랫폼에서든 데이터를 안전하게 공유하는 것을 어떻게 쉽게 만드는지알아보세요.

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)