Como a Stagwell criou correspondência de IDs com proteção de privacidade no Databricks

O problema de correspondência de identidade que as marcas enfrentam hoje

As marcas investem pesado na construção de ativos de dados first-party, incluindo históricos de compras, registros de CRM, programas de fidelidade e interações no site. Esses dados estão fragmentados em vários sistemas e são difíceis de ativar nos canais. No entanto, os dados first-party sozinhos contam apenas parte da história.

Para construir perfis de público completos, as marcas precisam cruzar seus registros com as bases de provedores de identidade para criar gráficos de identidade cross-channel que abrangem e-mail, IDs de dispositivos, cookies e pontos de contato offline.

A abordagem tradicional é dolorosa. As marcas exportam registros de clientes para uma plataforma de terceiros, o provedor de identidade executa seus algoritmos de correspondência e os resultados retornam dias depois. Cada etapa introduz riscos: os dados saem do ambiente seguro da marca, informações de identificação pessoal (PII) trafegam pelas redes e as equipes de conformidade precisam revisar acordos de compartilhamento de dados que podem levar semanas para serem negociados.

Ao mesmo tempo, as regulamentações de privacidade e as restrições das plataformas tornaram:

• Os cookies de terceiros não confiáveis
• O compartilhamento de dados arriscado
• A unificação de identidades (identity stitching) mais complexa

Isso cria uma lacuna fundamental: as marcas têm os dados, mas não têm a capacidade de conectá-los a uma camada de identidade unificada de forma segura

Para superar isso, as marcas precisam:

• Cruzar seus dados com um gráfico de identidade abrangente
• Enriquecê-los com sinais e atributos adicionais
• Fazer isso enquanto protegem os dados brutos no nível do usuário

A Marketing Cloud, uma agência global de serviços de marketing e empresa da Stagwell, vivenciou esse atrito de perto com seus clientes de marcas. Eles defenderam um modelo melhor: um em que as marcas pudessem acessar os recursos de correspondência de identidade da Stagwell sem nunca enviar seus dados brutos para fora de sua própria infraestrutura.

Como os Marketplace Apps mudam o modelo de distribuição

As implementações tradicionais de clean rooms exigem muito esforço manual, demandam muita engenharia e podem ter uma implantação lenta.

Os apps do Databricks Marketplace invertem o modelo tradicional de compartilhamento de dados. Em vez de "envie-nos seus dados e nós os processaremos", o modelo passa a ser "instale nosso app e ele rodará onde seus dados já estão". Agora, as marcas podem instalar um aplicativo pré-construído, conectar seus dados e executar fluxos de trabalho de correspondência de identidade instantaneamente.

Quando um aplicativo é publicado no Databricks Marketplace, qualquer marca com um workspace do Databricks pode solicitar acesso e instalá-lo diretamente. O app é executado dentro do próprio ambiente da marca com seu próprio service principal provisionado automaticamente. Os dados da marca nunca cruzam as fronteiras da rede.

Essa é uma mudança fundamental para os provedores de dados. Anteriormente, distribuir algoritmos proprietários significava expor o código-fonte (o que os parceiros não fazem) ou exigir que as marcas exportassem dados (o que as equipes de conformidade recusam). Os Marketplace Apps resolvem ambos os problemas: o código do app é conteinerizado e opaco para o consumidor, enquanto os dados da marca permanecem no seu Unity Catalog.

Com a distribuição via marketplace, o tempo de implantação cai de meses para minutos, os fluxos de trabalho padronizados melhoram a usabilidade e a governança já vem integrada à plataforma. A Stagwell foi um dos primeiros parceiros a colocar esse modelo em produção.

O que a Stagwell construiu e como funciona

A Stagwell construiu um aplicativo de clean room pronto para o marketplace no Databricks que permite a ingestão segura de dados first-party da marca, correspondência com o Stagwell Identity Spine, geração de insights que preservam a privacidade e transição contínua para a criação e ativação de públicos.

Em sua essência, o sistema combina Databricks Clean Rooms para colaboração segura, Unity Catalog para governança e controle de acesso, Jobs e Notebooks para a execução da correspondência de identidade, e uma camada de app em React e Express para a experiência do usuário.

Veja como funciona o fluxo de ponta a ponta.

• Etapa 1: Instalar e autenticar
  • Um administrador do lado da marca descobre o app da Stagwell no Databricks Marketplace e o instala em seu workspace. Durante a instalação, o administrador precisa autorizar e vincular o app aos recursos necessários: um SQL warehouse para consultas e quaisquer segredos (secrets) para configuração. O app recebe um service principal provisionado automaticamente com credenciais injetadas como variáveis de ambiente. Nenhuma configuração manual de credenciais é necessária.
• Etapa 2: Conectar os dados da marca
  • Quando um usuário da marca abre o app, ele se autentica por meio do fluxo OAuth padrão de seu workspace. O app usa a autorização On-Behalf-Of (OBO) para acessar os dados da marca com a identidade do usuário conectado. Isso significa que cada ACL do Unity Catalog, filtro de linha e máscara de coluna é aplicado automaticamente. O app vê exatamente o que esse usuário está autorizado a ver - nada mais.
• Etapa 3: Iniciar a correspondência no clean room
  • O usuário da marca seleciona quais tabelas first-party deseja cruzar e inicia o processo. Nos bastidores, o app chama o back-end da Stagwell para criar um Packaged Clean Room. A Stagwell fornece seus dados do Identity Spine e um notebook de correspondência, e então designa a marca como executora (runner).
  • A designação "packaged" (empacotado) é fundamental: ela elimina o fluxo de trabalho de aprovação exigido pelos clean rooms padrão. A marca pode executar o notebook de correspondência imediatamente. E, crucialmente, a marca pode ver o nome do notebook, mas não seu código-fonte — protegendo a lógica de correspondência proprietária da Stagwell.
• Etapa 4: Executar a correspondência de identidade
  • A marca executa o notebook de correspondência dentro do clean room, que realiza as seguintes operações:
    • Une (joins) os dados da marca com o ID Spine
    • Resolve identidades em vários identificadores
    • Calcula:
      • Taxas de correspondência (match rates)
      • Métricas de cobertura
      • IDs residenciais (household) e de consumidores
  • O notebook lê os catálogos de entrada de ambas as partes e grava os resultados em um esquema de saída compartilhado. Tanto a Stagwell quanto a marca podem ver os resultados da correspondência via Delta Sharing.
  • Os dados brutos de clientes da marca nunca ficam visíveis para a Stagwell. Os algoritmos de correspondência da Stagwell nunca ficam visíveis para a marca. O clean room impõe essa separação no nível da plataforma.
  • Todo o processamento ocorre dentro do limite do clean room, garantindo que não haja vazamento de dados brutos e que as políticas sejam totalmente aplicadas.
• Etapa 5: Da correspondência à ativação
  • Assim que a correspondência for concluída, o app fornece insights que incluem dados demográficos, segmentos comportamentais, distribuição geográfica e detalhamento de dispositivos. Os resultados incluem conjuntos de dados agregados e uma interface baseada em chat para gerar insights importantes sobre os dados correspondidos. Esses resultados podem ser exportados ou ativados em plataformas downstream.
  • A correspondência de identidade é apenas o começo. Depois que os resultados da correspondência são entregues, as marcas precisam transformar os perfis de público enriquecidos em ação.
  • Nos casos em que os dados first-party de uma marca não alcançam uma correspondência completa, o aplicativo Crosswalk da Stagwell faz parceria com provedores de identidade adicionais para garantir uma correspondência downstream de alta fidelidade e uma cobertura de público abrangente.
  • A partir daí, as marcas ativam seus públicos enriquecidos por meio do Stagwell Agentic Targeting System (SATS) — uma solução baseada em AI que permite às equipes de marketing pesquisar, descobrir e implantar públicos de forma conversacional, fechando o ciclo desde o enriquecimento de dados até a ativação de mídia.

A arquitetura de autenticação em detalhes

O app usa quatro camadas de identidade distintas, cada uma com escopo definido para sua finalidade:

Token de usuário On-Behalf-Of (OBO) - Quando o usuário da marca faz login, o app recebe seu token OAuth por meio do cabeçalho x-forwarded-access-token. Esse token é usado para qualquer operação que envolva os dados da marca: visualização de tabelas, consulta ao SQL warehouse, recuperação do identificador de compartilhamento da marca. As ACLs do Unity Catalog se aplicam com base na identidade do usuário.

Service principal do app - O SP provisionado automaticamente lida com operações no nível do app: telemetria, gerenciamento de estado interno e chamadas para a API de backend da Stagwell. Essa identidade tem escopo limitado ao próprio app e não carrega permissões de nível de usuário.

Service principal de backend da Stagwell - As próprias credenciais M2M OAuth da Stagwell gerenciam o ciclo de vida do clean room do lado deles: criação do clean room, adição de ativos, contribuição de notebooks e designação da marca como executora.

Token de acesso pessoal (PAT) do usuário da marca - O colaborador de clean room da marca gera um PAT com escopo definido com permissões de clean room, SQL e Unity Catalog e o fornece durante a instalação do app por meio de vinculação de recurso secreto. Esse token carrega a identidade do usuário gerador, o que significa que ele funciona nativamente em workspaces e permite operações que exigem autorização no nível do clean room no lado da marca — como adicionar tabelas da marca e executar o notebook de correspondência.

Por que os Packaged Clean Rooms são importantes para a distribuição no marketplace

Os Clean Rooms padrão exigem uma etapa de aprovação: o colaborador revisa e aprova antes que qualquer notebook possa ser executado. Isso faz sentido para parcerias ad-hoc, mas cria atrito para um modelo de distribuição de marketplace onde centenas de marcas podem instalar o mesmo app.

Os Packaged Clean Rooms eliminam esse atrito. Quando a Stagwell cria um clean room designado como um packaged clean room, a marca pode executar notebooks imediatamente após a configuração do clean room. Sem fila de aprovação, sem vaivém, sem atrasos.

É isso que torna o modelo de marketplace viável em escala. Uma marca instala o app, conecta seus dados e executa sua primeira correspondência de identidade em minutos — não semanas.

O que isso significa para o ecossistema de colaboração de dados

O setor está passando por uma mudança fundamental, do compartilhamento estático de dados, integração manual e integrações de alto risco para uma colaboração segura e governada, resolução de identidade sob demanda e fluxos de trabalho de dados transformados em produtos.

O app da Stagwell demonstra um padrão que qualquer provedor de dados pode seguir. Considere as possibilidades:

• Uma rede de mídia de varejo empacota seu modelo de atribuição como um app do Marketplace, permitindo que marcas de CPG meçam o aumento de campanhas e ativem segmentos de alto valor sem compartilhar dados de compra.
• Uma empresa de dados de saúde distribui uma ferramenta de correspondência de coorte de pacientes e coordenação de divulgação que é executada nos próprios ambientes Databricks dos sistemas hospitalares.
• Um provedor de dados financeiros oferece enriquecimento de risco de crédito e ativação de ofertas pré-qualificadas que processam registros de clientes bancários sem que esses registros saiam do workspace do banco.

Em cada caso, a proposta de valor é a mesma: o provedor de dados monetiza sua IP por meio do Marketplace, enquanto o consumidor obtém insights e ativa públicos sem a sobrecarga de conformidade do compartilhamento de dados.

A abordagem da Stagwell ilustra como a profundidade dos dados amplifica esse modelo. Seu ID Spine combina sinais comportamentais com dados de atitude do The Harris Poll, Harris Quest Brand e National Research Group — misturando o que os consumidores fazem com o que pensam para entregar uma qualidade de público que vai além da correspondência de identidade padrão.

Para as marcas, isso significa geração de insights mais rápida, melhor compreensão do público, conformidade de privacidade mais forte e novas maneiras de ativar seus dados primários. Para o ecossistema, clean rooms e marketplaces estão se tornando o sistema operacional para colaboração de dados.

Os blocos de construção fazem todos parte da plataforma Databricks: Unity Catalog para governança, Marketplace para distribuição, Packaged Clean Rooms para computação segura para privacidade, Delta Sharing para entrega de resultados e Databricks Apps para o ambiente de execução. A novidade é como eles se compõem em um canal de distribuição completo para aplicativos orientados a dados.

O futuro da identidade não se resume a gráficos melhores — trata-se de tornar a resolução de identidade acessível, segura e escalável por meio de experiências transformadas em produtos. E é exatamente isso que os apps de clean room orientados ao marketplace desbloqueiam.

Primeiros passos

Se você é um provedor de dados que deseja distribuir seus algoritmos e modelos por meio do Databricks Marketplace, veja o que fazer a seguir:

1. Revise o guia Partner Well-Architected Framework sobre a criação de apps do Marketplace para conhecer padrões de arquitetura e práticas recomendadas de segurança.
2. Explore a documentação do Databricks Clean Rooms para entender como os Packaged Clean Rooms permitem a computação segura para privacidade.
3. Experimente o início rápido do Databricks Apps para criar e implantar seu primeiro app e, em seguida, teste-o instalando-o em um workspace separado sem configuração pré-existente.
4. Entre em contato com a equipe da sua conta Databricks para discutir a publicação e distribuição no Marketplace.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original