Stagwell이 Databricks에서 개인정보를 보호하는 ID 매칭을 구축한 방법

오늘날 브랜드가 직면한 ID 매칭 문제

브랜드는 구매 이력, CRM 기록, 로열티 프로그램, 웹사이트 상호작용을 포함한 퍼스트 파티 데이터 자산을 구축하는 데 많은 투자를 하고 있습니다. 하지만 이 데이터는 여러 시스템에 분산되어 있어 채널 전반에서 활성화하기가 어렵습니다. 게다가 퍼스트 파티 데이터 자체만으로는 전체 그림을 파악하기에 한계가 있습니다.

완전한 오디언스 프로필을 구축하려면 브랜드는 이메일, 기기 ID, 쿠키, 오프라인 접점을 아우르는 크로스 채널 ID 그래프를 위해 자사 기록을 ID 제공업체의 백본(spine)과 매칭해야 합니다.

기존의 방식은 매우 번거롭습니다. 브랜드가 고객 기록을 서드 파티 플랫폼으로 내보내면, ID 제공업체가 매칭 알고리즘을 실행하고 며칠이 지나서야 결과가 돌아옵니다. 모든 단계마다 위험이 따릅니다. 데이터가 브랜드의 안전한 환경을 벗어나고, PII가 네트워크를 통해 전송되며, 컴플라이언스 팀은 협상에 몇 주가 걸릴 수 있는 데이터 공유 계약을 검토해야 합니다.

이와 동시에 개인정보 보호 규제와 플랫폼 제한으로 인해 다음과 같은 어려움이 발생했습니다.

• 서드 파티 쿠키의 신뢰도 저하
• 데이터 공유의 위험성 증가
• ID 스티칭(Identity stitching)의 복잡성 증가

이로 인해 근본적인 격차가 발생합니다. 브랜드는 데이터를 보유하고 있지만, 이를 안전하게 통합된 ID 레이어에 연결할 수 있는 역량이 부족합니다.

이를 해결하기 위해 브랜드는 다음을 수행해야 합니다.

• 포괄적인 ID 그래프와 자사 데이터 매칭
• 추가적인 시그널 및 속성으로 데이터 보강
• 원시 사용자 수준 데이터를 보호하면서 이 모든 작업 수행

Stagwell 산하의 글로벌 마케팅 서비스 대행사인 The Marketing Cloud는 브랜드 고객사들을 지원하며 이러한 마찰을 직접 경험했습니다. 이들은 브랜드가 원시 데이터를 자체 인프라 외부로 전송하지 않고도 Stagwell의 ID 매칭 기능을 활용할 수 있는 더 나은 모델을 추진했습니다.

마켓플레이스 앱이 배포 모델을 바꾸는 방법

기존의 클린룸 구현 방식은 사람의 손이 많이 가고 엔지니어링 리소스가 크게 소요되며 배포가 느릴 수 있습니다.

Databricks Marketplace 앱은 기존의 데이터 공유 모델을 완전히 뒤바꿉니다. "데이터를 보내주시면 처리해 드리겠습니다"라는 방식 대신 "앱을 설치하면 데이터가 이미 있는 곳에서 실행됩니다"라는 모델로 전환되는 것입니다. 이제 브랜드는 사전 구축된 애플리케이션을 설치하고, 데이터를 연결하고, 즉시 ID 매칭 워크플로우를 실행할 수 있습니다.

애플리케이션이 Databricks Marketplace에 게시되면, Databricks 워크스페이스를 사용하는 모든 브랜드가 액세스를 요청하고 직접 설치할 수 있습니다. 이 앱은 자체적으로 자동 프로비저닝된 서비스 주체(service principal)와 함께 브랜드의 자체 환경 내에서 실행됩니다. 브랜드의 데이터는 네트워크 경계를 절대 벗어나지 않습니다.

이는 데이터 제공업체에 있어 근본적인 변화입니다. 이전에는 독점 알고리즘을 배포하려면 소스 코드를 노출하거나(파트너가 꺼리는 방식) 브랜드에 데이터 내보내기를 요구해야 했습니다(컴플라이언스 팀이 반대하는 방식). 마켓플레이스 앱은 이 두 가지 문제를 모두 해결합니다. 앱의 코드는 컨테이너화되어 소비자에게 노출되지 않으며, 브랜드의 데이터는 자체 Unity Catalog에 안전하게 유지됩니다.

마켓플레이스 배포를 통해 배포 시간은 몇 달에서 몇 분으로 단축되고, 표준화된 워크플로우로 사용성이 향상되며, 거버넌스가 플랫폼에 내장됩니다. Stagwell은 이 모델을 실제 프로덕션에 도입한 최초의 파트너 중 하나였습니다.

Stagwell이 구축한 솔루션과 작동 방식

Stagwell은 브랜드 퍼스트 파티 데이터의 안전한 수집, Stagwell Identity Spine과의 매칭, 개인정보를 보호하는 인사이트 생성, 오디언스 생성 및 활성화로의 원활한 전환을 지원하는 마켓플레이스 지원 클린룸 애플리케이션을 Databricks 상에 구축했습니다.

이 시스템은 핵심적으로 안전한 협업을 위한 Databricks Clean Rooms, 거버넌스 및 액세스 제어를 위한 Unity Catalog, ID 매칭 실행을 위한 Jobs 및 Notebooks, 사용자 경험을 위한 React 및 Express 앱 레이어를 결합합니다.

엔드투엔드 흐름은 다음과 같이 작동합니다.

• 1단계: 설치 및 인증
  • 브랜드 측 관리자가 Databricks Marketplace에서 Stagwell 앱을 찾아 자신의 워크스페이스에 설치합니다. 설치하는 동안 관리자는 쿼리를 위한 SQL 웨어하우스 및 구성을 위한 보안 비밀(secrets) 등 앱에 필요한 리소스에 앱을 승인하고 바인딩해야 합니다. 앱은 환경 변수로 주입된 자격 증명과 함께 자동 프로비저닝된 서비스 주체(service principal)를 수신합니다. 수동 자격 증명 설정은 필요하지 않습니다.
• 2단계: 브랜드 데이터 연결
  • 브랜드 사용자가 앱을 열면 워크스페이스의 표준 OAuth 흐름을 통해 인증합니다. 앱은 On-Behalf-Of (OBO) 권한 부여를 사용하여 로그인한 사용자의 ID로 브랜드 데이터에 액세스합니다. 즉, 모든 Unity Catalog ACL, 행 필터 및 열 마스크가 자동으로 적용됩니다. 앱은 해당 사용자가 권한을 부여받은 데이터만 정확히 볼 수 있으며, 그 이상은 볼 수 없습니다.
• 3단계: 클린룸 매칭 시작
  • 브랜드 사용자는 매칭할 퍼스트 파티 테이블을 선택하고 프로세스를 트리거합니다. 백그라운드에서 앱은 Stagwell의 백엔드를 호출하여 Packaged Clean Room을 생성합니다. Stagwell은 자사의 Identity Spine 데이터와 매칭 노트북을 제공한 다음, 브랜드를 실행자(runner)로 지정합니다.
  • "패키지형(packaged)" 지정이 핵심입니다. 이를 통해 표준 클린룸에 필요한 승인 워크플로우가 생략됩니다. 브랜드는 매칭 노트북을 즉시 실행할 수 있습니다. 그리고 결정적으로, 브랜드는 노트북의 이름은 볼 수 있지만 소스 코드는 볼 수 없으므로 Stagwell의 독점 매칭 로직이 보호됩니다.
• 4단계: ID 매칭 실행
  • 브랜드는 클린룸 내에서 매칭 노트북을 실행하여 다음 작업을 수행합니다.
    • 브랜드 데이터와 ID Spine 조인
    • 여러 식별자 전반에서 ID 확인
    • 다음 항목 계산:
      • 매칭률
      • 커버리지 메트릭
      • 가구 및 소비자 ID
  • 노트북은 양사의 입력 카탈로그에서 데이터를 읽고 공유 출력 스키마에 결과를 기록합니다. Stagwell과 브랜드 모두 Delta Sharing을 통해 매칭 결과를 볼 수 있습니다.
  • 브랜드의 원시 고객 데이터는 Stagwell에 노출되지 않습니다. Stagwell의 매칭 알고리즘 역시 브랜드에 노출되지 않습니다. 클린룸은 플랫폼 수준에서 이러한 분리를 강제합니다.
  • 모든 처리는 클린룸 경계 내에서 이루어지므로 원시 데이터 유출이 방지되고 정책이 완전히 준수됩니다.
• 5단계: 매칭에서 활성화까지
  • 매칭이 완료되면 앱은 인구통계학적 특성, 행동 세그먼트, 지리적 분포, 기기 분석을 포함한 인사이트를 제공합니다. 출력 결과에는 집계된 데이터 세트와 매칭된 데이터에 대한 핵심 인사이트를 생성하는 채팅 기반 인터페이스가 포함됩니다. 이러한 출력 결과는 다운스트림 플랫폼으로 내보내거나 활성화할 수 있습니다.
  • ID 매칭은 시작에 불과합니다. 매칭 결과가 제공되면 브랜드는 보강된 오디언스 프로필을 행동으로 옮겨야 합니다.
  • 브랜드의 퍼스트 파티 데이터가 완전히 매칭되지 않는 경우, Stagwell의 Crosswalk 애플리케이션이 추가 ID 제공업체와 협력하여 높은 신뢰도의 다운스트림 매칭과 포괄적인 오디언스 커버리지를 보장합니다.
  • 여기서부터 브랜드는 마케팅 팀이 대화형으로 오디언스를 검색, 발견, 배포할 수 있도록 지원하는 AI 기반 솔루션인 Stagwell Agentic Targeting System (SATS)를 통해 보강된 오디언스를 활성화하여 데이터 보강부터 미디어 활성화까지의 루프를 완성합니다.

인증 아키텍처 상세 정보

앱은 각각의 목적에 맞게 범위가 지정된 네 가지 고유한 ID 레이어를 사용합니다.

On-Behalf-Of (OBO) 사용자 토큰 - 브랜드 사용자가 로그인하면 앱은 x-forwarded-access-token 헤더를 통해 해당 사용자의 OAuth 토큰을 수신합니다. 이 토큰은 테이블 미리보기, SQL 웨어하우스 쿼리, 브랜드의 공유 식별자 검색 등 브랜드 데이터에 액세스하는 모든 작업에 사용됩니다. 사용자의 ID를 기반으로 Unity Catalog ACL이 적용됩니다.

앱 서비스 주체 - 자동 프로비저닝된 SP는 원격 분석, 내부 상태 관리, Stagwell의 백엔드 API 호출 등 앱 수준의 작업을 처리합니다. 이 ID는 앱 자체로 범위가 지정되며 사용자 수준 권한을 가지지 않습니다.

Stagwell 백엔드 서비스 주체 - Stagwell 자체의 M2M OAuth 자격 증명은 클린룸 생성, 자산 추가, 노트북 기여, 브랜드를 실행자(runner)로 지정하는 등 해당 측에서의 클린룸 라이프사이클을 관리합니다.

브랜드 사용자 개인 액세스 토큰(PAT) - 브랜드의 클린룸 협업자는 클린룸, SQL 및 Unity Catalog 권한이 있는 범위 지정된 PAT를 생성하고, 앱 설치 중에 비밀 리소스 바인딩을 통해 이를 제공합니다. 이 토큰은 토큰을 생성한 사용자의 ID를 포함하므로 워크스페이스 간에 기본적으로 작동하며, 브랜드 테이블 추가 및 매칭 노트북 실행과 같이 브랜드 측에서 클린룸 수준의 권한이 필요한 작업을 수행할 수 있도록 합니다.

마켓플레이스 배포에서 패키지형 클린룸이 중요한 이유

표준 클린룸은 승인 단계가 필요합니다. 즉, 노트북을 실행하기 전에 협업자가 검토하고 승인해야 합니다. 이는 임시 파트너십에는 적합하지만, 수백 개의 브랜드가 동일한 앱을 설치할 수 있는 마켓플레이스 배포 모델에서는 마찰을 유발합니다.

패키지형 클린룸은 이러한 마찰을 제거합니다. Stagwell이 패키지형 클린룸으로 지정된 클린룸을 생성하면, 브랜드는 클린룸이 설정된 직후에 바로 노트북을 실행할 수 있습니다. 승인 대기열도, 번거로운 커뮤니케이션도, 지연도 없습니다.

이것이 바로 마켓플레이스 모델을 대규모로 실현 가능하게 만드는 요소입니다. 브랜드는 몇 주가 아닌 몇 분 만에 앱을 설치하고, 데이터를 연결하고, 첫 번째 ID 매칭을 실행할 수 있습니다.

데이터 협업 생태계에 이것이 의미하는 바

업계는 정적 데이터 공유, 수동 온보딩, 위험 부담이 큰 통합에서 안전하게 거버넌스되는 협업, 온디맨드 ID 확인(identity resolution), 제품화된 데이터 워크플로우로 근본적인 전환을 맞이하고 있습니다.

Stagwell의 앱은 모든 데이터 제공업체가 따를 수 있는 패턴을 보여줍니다. 다음과 같은 가능성을 고려해 보세요.

• 리테일 미디어 네트워크가 자사의 기여 모델을 마켓플레이스 앱으로 패키징하여, CPG 브랜드가 구매 데이터를 공유하지 않고도 캠페인 상승 효과를 측정하고 고가치 세그먼트를 활성화할 수 있도록 합니다.
• 헬스케어 데이터 기업이 병원 시스템 자체의 Databricks 환경 내에서 실행되는 환자 코호트 매칭 및 아웃리치 조율 도구를 배포합니다.
• 금융 데이터 제공업체가 은행 고객 기록이 은행의 워크스페이스를 벗어나지 않고도 해당 기록을 처리하는 신용 위험 보강 및 사전 적격 제안 활성화 기능을 제공합니다.

각 사례에서 가치 제안은 동일합니다. 데이터 제공업체는 마켓플레이스를 통해 자사의 IP를 수익화하고, 소비자는 데이터 공유에 따른 규정 준수 부담 없이 인사이트를 얻고 오디언스를 활성화합니다.

Stagwell의 접근 방식은 데이터의 깊이가 이 모델을 어떻게 증폭시키는지 보여줍니다. 이들의 ID Spine은 행동 시그널과 The Harris Poll, Harris Quest Brand, National Research Group의 태도 데이터를 결합하여, 소비자의 행동과 생각을 융합함으로써 표준 ID 매칭을 뛰어넘는 오디언스 품질을 제공합니다.

브랜드의 경우, 이는 더 빠른 인사이트 도출, 더 나은 오디언스 이해, 더 강력한 개인정보 보호 규정 준수, 퍼스트 파티 데이터를 활성화하는 새로운 방법을 의미합니다. 생태계 측면에서 클린룸과 마켓플레이스는 데이터 협업을 위한 운영 체제가 되고 있습니다.

이 빌딩 블록은 모두 Databricks 플랫폼의 일부입니다. 거버넌스를 위한 Unity Catalog, 배포를 위한 마켓플레이스, 개인정보를 안전하게 보호하는 컴퓨팅을 위한 패키지형 클린룸, 결과 전달을 위한 Delta Sharing, 런타임 환경을 위한 Databricks Apps가 그것입니다. 새로운 점은 이들이 함께 결합하여 데이터 기반 애플리케이션을 위한 완전한 배포 채널을 구성하는 방식입니다.

ID의 미래는 단순히 더 나은 그래프에 관한 것이 아닙니다. 제품화된 경험을 통해 ID 확인을 접근하기 쉽고 안전하며 확장 가능하게 만드는 것입니다. 그리고 이것이 바로 마켓플레이스 기반 클린룸 앱이 열어주는 가능성입니다.

시작하기

Databricks 마켓플레이스를 통해 알고리즘과 모델을 배포하려는 데이터 제공업체라면 다음 단계를 수행하세요.

1. 아키텍처 패턴 및 보안 모범 사례에 대한 마켓플레이스 앱 구축에 관한 Partner Well-Architected Framework 가이드를 검토하세요.
2. Databricks Clean Rooms 문서를 살펴보고 패키지형 클린룸이 개인정보를 안전하게 보호하는 컴퓨팅을 지원하는 방법을 알아보세요.
3. Databricks Apps 빠른 시작을 시도하여 첫 번째 앱을 빌드 및 배포한 다음, 사전 설정이 없는 별도의 워크스페이스에 설치하여 테스트해 보세요.
4. Databricks 어카운트 팀에 문의하여 마켓플레이스 게시 및 배포에 대해 논의하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)