Databricks Clean Rooms의 새로운 기능

Databricks Clean Rooms는 고객과 파트너가 각자의 데이터를 결합하여 분석할 수 있게 해주며, 이 과정에서 민감한 원시 데이터를 서로에게 공개하지 않습니다. 2025년 2월 AWS와 Azure에서 일반 공개(GA) 이후로, 광고, 금융 서비스, 건강 관리 등 많은 산업에서 많은 고객들이 클린 룸을 채택하였습니다. 이 블로그 게시물에서는 주요 신원 파트너들이 클린 룸을 어떻게 활용하여 개인정보 보호를 위한 신원 확인을 진행하고 있으며, 고객들이 요청한 새로운 협업 및 개인정보 기능에 대해 강조하고 있습니다.

Clean Rooms에서의 신원 확인

우리는 신분 확인의 발전을 소개하게 되어 기쁩니다: Databricks 클린 룸에서의 안전하고 클라우드 네이티브 신분 확인입니다. 이 혁신은 파트너와 마케터가 원시 PII를 노출시키거나 플랫폼 외부로 데이터를 이동시키지 않고도 공통 식별자를 사용하여 데이터셋을 안전하게 일치시키고 풍부하게 만드는 데 도움이 됩니다.

이 기능을 활성화하기 위해, 우리는 Epsilon, Deloitte, LiveRamp, 그리고 Acxiom 을 포함한 업계 리더들과 파트너십을 맺게 되어 매우 기쁩니다. 함께하면 조직이 파편화된 기록을 통합하고, 관련 데이터를 연결하고, 보다 풍부한 통찰력을 얻는 것이 더 쉬워집니다. 모두 개인정보 중심의 환경 내에서 이루어집니다.

이커머스 브랜드가 주요 신원 제공자와 협력하여 해시된 고객 이메일, 우편 데이터, 디바이스 터치포인트를 개인 또는 가정 기반의 신원으로 해결하는 것을 생각해보세요. 이 새로운 기능을 통해, 양측 모두 데이터를 클린 룸에 가져와 현장에서 안전하고 효율적으로 신원 확인을 수행할 수 있습니다.

이 접근법은 데이터 협업의 새로운 시대를 표시합니다: 민감한 데이터가 플랫폼을 떠나지 않고, 신원 일치가 원활하게 이루어지며, 통찰력이 타협 없이 생성됩니다. Databricks는 이러한 변화를 주도하며, 클린룸 협업과 신원 확인에 대한 가능성을 재정의하는 확장 가능한 환경을 제공합니다.

Google Cloud Platform (GCP)에서의 Clean Rooms

Clean Rooms는 이제 Google Cloud에서 일반적으로 사용 가능하며, 완전한 유연성을 가진 원활한 크로스 클라우드 협업을 가능하게 합니다. 오늘부터 고객들은 GCP 에서 중앙 클린룸 환경을 만들고 AWS, Azure 또는 다른 데이터 플랫폼을 통해 파트너와 협업할 수 있습니다. 이것은 우리의 "어떤 클라우드, 어떤 플랫폼" 철학과 일치합니다: "클라우드, 지역 및 데이터 플랫폼 간에 데이터 이동을 필요로 하지 않는 개인정보 중심의 환경에서 협업하십시오".

예를 들어, GCP에서 대형 소매업체와 AWS에서 소비자 브랜드가 공동 마케팅 노력의 효과를 분석하려고 합니다. 이제 소매업체는 GCP에서 클린 룸을 생성하고 브랜드에게 최근 캠페인 데이터의 참여 메트릭을 안전하게 제공하도록 초대할 수 있습니다. 이를 소매업체의 고객 구매 데이터와 결합함으로써, 양측은 추세를 공동으로 파악하고 프로모션의 영향을 측정할 수 있습니다—원시 데이터를 서로에게 공유하거나 노출시키지 않고.

다른 클린룸 제공자들은 그들의 클라우드나 플랫폼에서만 협업하도록 제한합니다. Databricks Clean Rooms를 사용하면 클라우드 사일로와 공급 업체 잠금을 피하고 데이터는 Delta Sharing을 통해 그대로 유지되며, 익명화된 출력만 공유합니다.

다자간 협업

Clean Rooms는 이제 하나의 방에서 여러 협업자 를 지원합니다. 이전에는 각 클린 룸이 사실상 두 당사자만을 위한 것이었지만, 이제는 최대 9개의 다른 조직 (즉, 총 10개)을 초대할 수 있습니다. 이런 협업자들은 다른 클라우드, 지역, 또는 데이터 플랫폼에 있을 수 있지만, 하나의 중앙 환경에서 함께 작업할 수 있습니다. 이는 “어떤 규모든, 어떤 신뢰 수준이든”을 가능하게 하며, 세밀한 접근 제어와 오케스트레이션을 통해 다대다 협업을 지원합니다.

소매 마케팅 시나리오를 고려해 보세요: 소매업체, 광고 브랜드, 시장 조사 회사가 공동 고객 통찰력 모델을 구축하려고 합니다. 세 파티 모두 독점적인 데이터와 코드를 제공합니다. 다자간 클린 룸을 사용하면, 소매업체는 두 파트너 모두를 하나의 클린 룸에 초대하고, 필요한 테이블을 공유하고, 공동 분석을 실행할 수 있습니다. 예를 들어, 소매업체의 전자상거래 데이터, 브랜드의 고객 데이터, 그리고 연구자의 설문조사 데이터를 결합하고 함께 분석할 수 있습니다, 이 과정에서 어느 당사자도 다른 당사자의 원시 테이블을 볼 수 없습니다.

세밀한 거버넌스를 통한 다자간 협업 을 가능하게 함으로써, 두 개 이상의 조직이 필요한 더 풍부한 통찰력을 얻을 수 있습니다.

유연한 개인정보 승인

클린 룸은 이제 안전한 자체 실행을 지원하며, 협력자들이 다른 클린 룸 참가자들의 명시적인 승인을 받아 자신의 노트북을 업로드하고 실행할 수 있습니다. 이전에는 노트북은 실행 버튼을 클릭함으로써 승인이 내포된 상태에서 다른 측에 의해서만 실행될 수 있었습니다.

예를 들어, 병원 A는 공유 환자 데이터에 대한 공동 통계를 계산하는 노트북을 실행하려고 합니다. 이제 그들은 그 노트북을 직접 업로드하고 실행할 수 있습니다 — 단, 병원 B가 코드를 명시적으로 승인한 후에만 가능합니다. 이것은 유연성과 거버넌스를 균형있게 유지합니다: 동의 없이 데이터가 이동하지 않고, 검토 없이 코드가 실행되지 않으며, 출력은 항상 실행자에게 남습니다. 고객들에게 이는 더 빠른 반복, 더 많은 자율성, 완전한 감사 가능성을 의미하며, 이 모든 것이 신뢰할 수 있는 협업 환경 내에서 이루어집니다.

코드 거버넌스는 데이터 협업에서 중요합니다. 이 승인 기능들은 동의 없이 코드가 실행되지 않도록 보장합니다. 누가 무엇을 승인했는지에 대한 감사 추적을 얻을 수 있고 (더 이상 뜻밖의 쿼리가 없습니다), 악의적이거나 잘못된 코드의 위험을 줄입니다.

워크스루: 모든 것을 함께 묶기

세 가지 기능을 모두 사용하는 고수준 예제를 살펴봅시다:

1. 클린룸 생성 (GCP에서): 데이터 플랫폼 리드 (그를 알렉스라고 부르겠습니다)가 Google Cloud에서 새로운 클린룸을 설정합니다. 그녀는 그들의 식별자를 공유함으로써 두 명의 협업자를 초대합니다 (AWS와 Azure 파트너)
2. 데이터 추가: 각 파티는 클린룸에 테이블을 추가합니다. 예를 들어, AWS, GCP, Azure 데이터셋이 모두 클린룸에 업로드됩니다. 이제 이 방에는 세 명의 협업자가 있습니다—알렉스와 두 명의 초대자. 세 가지 모두 공유 메타데이터를 볼 수 있지만, 다른 사람들의 원시 데이터는 볼 수 없습니다.
3. 노트북 추가: Alex는 분석 노트북 (예: ML을 위한 Python 스크립트, 조인을 위한 SQL)을 업로드합니다. 모든 당사자는 Alex가 노트북을 실행하기 전에 명시적으로 노트북을 승인해야 합니다.
4. 분석 실행: 알렉스는 이제 노트북 실행을 시작합니다. 승인되었기 때문에, 서버리스 클린룸 클러스터가 코드를 실행합니다. 실행은 Unity 카탈로그에 출력 테이블 (임시 읽기 전용 결과)을 생성합니다. 예를 들어, 결합된 고객 세그먼트 테이블이 생성되어 노트북 실행자가 집계된 인사이트를 추출할 수 있습니다.
5. 검토 및 반복: 알렉스는 집계된 출력을 확인합니다. 새로운 분석이 필요한 경우, 그들은 같은 거버넌스 하에 노트북을 추가하거나 업데이트하면서 반복합니다.

이 데모는 GCP, AWS, Azure에서의 크로스 클라우드 파트너가 단일 공유 클린룸에서 어떻게 협업할 수 있는지 보여줍니다. 이것은 다중 파티 협업, Delta Sharing을 통한 원활한 데이터 공유, 그리고 파트너가 자신의 노트북을 업로드하고 실행할 수 있는 능력을 강조하며, 명시적인 승인이 필요합니다. 결과: 클라우드와 조직 간에 안전하고 감사 가능한 공동 분석, 원시 데이터 노출 없음.

다음은 무엇인가요?

Databricks Clean Rooms는 계속 발전하고 있지만, 핵심 가치는 그대로 유지됩니다: 개인정보, 성능, 플랫폼 유연성을 손상시키지 않고 데이터 협업을 가능하게 하는 것. 우리는 이러한 새로운 기능을 탐색하고 피드백을 공유하도록 초대합니다. 더 깊게 들어가 준비가 되셨나요? Data and AI Summit, 2025년 6월 9-12일, 샌프란시스코에서 Clean Rooms에 대해 더 알아보기 위해 다음 세션을 확인해 보세요.

• 개인 정보 중심의 데이터 협업을 위한 클린 룸 사용
• 협업의 새로운 기능: Delta Sharing, Clean Room, Marketplace 및 생태계
• Intuit의 개인정보 보호 안전 대출 마켓플레이스: Databricks Clean Rooms 활용
• TV 시청자 통찰력 해제: Clean Rooms를 이용한 개인정보 준수 데이터 공유

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)