Cómo Stagwell desarrolló una coincidencia de ID segura para la privacidad en Databricks

El problema de la coincidencia de identidades al que se enfrentan las marcas hoy en día

Las marcas invierten mucho en la creación de activos de datos de origen, incluidos historiales de compras, registros de CRM, programas de fidelización e interacciones en el sitio web. Esos datos están fragmentados en distintos sistemas y son difíciles de activar en todos los canales. Sin embargo, los datos de origen por sí solos solo cuentan una parte de la historia.

Para crear perfiles de audiencia completos, las marcas necesitan cotejar sus registros con las columnas vertebrales de los proveedores de identidad para obtener gráficos de identidad multicanal que abarquen correos electrónicos, IDs de dispositivos, cookies y puntos de contacto sin conexión.

El enfoque tradicional es complejo. Las marcas exportan los registros de los clientes a una plataforma de terceros, el proveedor de identidad ejecuta sus algoritmos de coincidencia y los resultados llegan días después. Cada paso introduce riesgos: los datos salen del entorno seguro de la marca, la PII viaja a través de las redes y los equipos de cumplimiento normativo deben revisar los acuerdos de intercambio de datos, cuya negociación puede llevar semanas.

Al mismo tiempo, las normativas de privacidad y las restricciones de las plataformas han hecho que:

• Las cookies de terceros no sean fiables
• El intercambio de datos sea riesgoso
• La unificación de identidades sea más compleja

Esto genera una brecha fundamental: las marcas tienen datos, pero carecen de la capacidad de conectarlos de forma segura a una capa de identidad unificada

Para solucionar esto, las marcas necesitan:

• Cotejar sus datos con un gráfico de identidad completo
• Enriquecerlos con señales y atributos adicionales
• Hacerlo protegiendo al mismo tiempo los datos brutos a nivel de usuario

The Marketing Cloud, una agencia global de servicios de marketing y empresa de Stagwell, experimentó esta fricción de primera mano con sus clientes de marca. Impulsaron un modelo mejor: uno en el que las marcas pudieran acceder a las capacidades de coincidencia de identidades de Stagwell sin enviar nunca sus datos brutos fuera de su propia infraestructura.

Cómo las aplicaciones de Marketplace cambian el modelo de distribución

Las implementaciones tradicionales de salas limpias requieren mucha interacción, un gran esfuerzo de ingeniería y pueden ser lentas de implementar.

Databricks Marketplace Apps cambian por completo el modelo tradicional de intercambio de datos. En lugar de "envíenos sus datos y los procesaremos", el modelo pasa a ser "instale nuestra aplicación y se ejecutará donde ya residen sus datos". Ahora, las marcas pueden instalar una aplicación precompilada, conectar sus datos y ejecutar flujos de trabajo de coincidencia de identidades al instante.

Cuando se publica una aplicación en Databricks Marketplace, cualquier marca con un espacio de trabajo de Databricks puede solicitar acceso e instalarla directamente. La aplicación se ejecuta dentro del propio entorno de la marca con su propio principal de servicio aprovisionado automáticamente. Los datos de la marca nunca cruzan el límite de la red.

Este es un cambio fundamental para los proveedores de datos. Anteriormente, distribuir algoritmos propietarios significaba exponer el código fuente (algo que los socios no harán) o exigir a las marcas que exportaran los datos (a lo que los equipos de cumplimiento se oponen). Las aplicaciones de Marketplace resuelven ambos problemas: el código de la aplicación está contenedorizado y es opaco para el consumidor, mientras que los datos de la marca permanecen en su Unity Catalog.

Con la distribución a través del marketplace, el tiempo de implementación se reduce de meses a minutos, los flujos de trabajo estandarizados mejoran la usabilidad y la gobernanza está integrada en la plataforma. Stagwell fue uno de los primeros socios en poner este modelo en producción.

Qué creó Stagwell y cómo funciona

Stagwell creó una aplicación de sala limpia lista para el marketplace en Databricks que permite la ingesta segura de datos de origen de la marca, la coincidencia con la columna vertebral de identidad de Stagwell, la generación de información que protege la privacidad y una transición fluida hacia la creación y activación de audiencias.

En su núcleo, el sistema combina Databricks Clean Rooms para una colaboración segura, Unity Catalog para la gobernanza y el control de acceso, Jobs y Notebooks para la ejecución de la coincidencia de identidades, y una capa de aplicación React y Express para la experiencia del usuario.

Así es como funciona el flujo de extremo a extremo.

• Paso 1: Instalar y autenticar
  • Un administrador por parte de la marca descubre la aplicación de Stagwell en Databricks Marketplace y la instala en su espacio de trabajo. Durante la instalación, el administrador debe autorizar y vincular la aplicación a los recursos que necesita: un SQL warehouse para consultas y cualquier secreto para la configuración. La aplicación recibe un principal de servicio aprovisionado automáticamente con credenciales insertadas como variables de entorno. No se requiere ninguna configuración manual de credenciales.
• Paso 2: Conectar los datos de la marca
  • Cuando un usuario de la marca abre la aplicación, se autentica a través del flujo OAuth estándar de su espacio de trabajo. La aplicación utiliza la autorización On-Behalf-Of (OBO) para acceder a los datos de la marca con la identidad del usuario que ha iniciado sesión. Esto significa que cada ACL de Unity Catalog, filtro de filas y máscara de columnas se aplica automáticamente. La aplicación ve exactamente lo que ese usuario está autorizado a ver, nada más.
• Paso 3: Iniciar la coincidencia en la sala limpia
  • El usuario de la marca selecciona qué tablas de origen desea cotejar e inicia el proceso. Detrás de escena, la aplicación llama al backend de Stagwell para crear una Packaged Clean Room. Stagwell aporta sus datos de Identity Spine y un notebook de coincidencia, y luego designa a la marca como ejecutora.
  • La designación "empaquetada" es clave: elimina el flujo de trabajo de aprobación que requieren las salas limpias estándar. La marca puede ejecutar el notebook de coincidencia de inmediato. Y lo que es más importante, la marca puede ver el nombre del notebook pero no su código fuente, lo que protege la lógica de coincidencia patentada de Stagwell.
• Paso 4: Ejecutar la coincidencia de identidades
  • La marca ejecuta el notebook de coincidencia dentro de la sala limpia, el cual realiza las siguientes operaciones:
    • Une los datos de la marca con el ID Spine
    • Resuelve identidades a través de múltiples identificadores
    • Calcula:
      • Tasas de coincidencia
      • Métricas de cobertura
      • IDs de hogares y consumidores
  • El notebook lee de los catálogos de entrada de ambas partes y escribe los resultados en un esquema de salida compartido. Tanto Stagwell como la marca pueden ver los resultados de la coincidencia a través de Delta Sharing.
  • Los datos brutos de los clientes de la marca nunca son visibles para Stagwell. Los algoritmos de coincidencia de Stagwell nunca son visibles para la marca. La sala limpia impone esta separación a nivel de plataforma.
  • Todo el procesamiento ocurre dentro del límite de la sala limpia, lo que garantiza que no haya filtraciones de datos brutos y que se apliquen plenamente las políticas.
• Paso 5: De la coincidencia a la activación
  • Una vez completada la coincidencia, la aplicación ofrece información que incluye datos demográficos, segmentos de comportamiento, distribución geográfica y desglose de dispositivos. Los resultados incluyen conjuntos de datos agregados y una interfaz basada en chat para generar información clave sobre los datos coincidentes. Estos resultados se pueden exportar o activar en plataformas de destino.
  • La coincidencia de identidades es solo el comienzo. Una vez que se entregan los resultados de la coincidencia, las marcas deben transformar los perfiles de audiencia enriquecidos en acciones concretas.
  • En los casos en que los datos de origen de una marca no logran una coincidencia completa, la aplicación Crosswalk de Stagwell se asocia con proveedores de identidad adicionales para garantizar una coincidencia de destino de alta fidelidad y una cobertura de audiencia integral.
  • A partir de ahí, las marcas activan sus audiencias enriquecidas a través del Stagwell Agentic Targeting System (SATS), una solución impulsada por AI que permite a los equipos de marketing buscar, descubrir y desplegar audiencias de forma conversacional, cerrando el ciclo desde el enriquecimiento de datos hasta la activación de medios.

La arquitectura de autenticación en detalle

La aplicación utiliza cuatro capas de identidad distintas, cada una de ellas adaptada a su propósito:

Token de usuario On-Behalf-Of (OBO): cuando el usuario de la marca inicia sesión, la aplicación recibe su token OAuth a través del encabezado x-forwarded-access-token. Este token se utiliza para cualquier operación que afecte a los datos de la marca: previsualizar tablas, realizar consultas en el SQL warehouse, recuperar el identificador de intercambio de la marca. Las ACLs de Unity Catalog se aplican en función de la identidad del usuario.

Service principal de la aplicación - El SP aprovisionado automáticamente gestiona las operaciones a nivel de aplicación: telemetría, gestión del estado interno y llamadas a la API de backend de Stagwell. Esta identidad está limitada a la propia aplicación y no incluye permisos a nivel de usuario.

Service principal del backend de Stagwell - Las propias credenciales OAuth M2M de Stagwell gestionan el ciclo de vida de la clean room por su parte: crear la clean room, añadir activos, aportar notebooks y designar a la marca como ejecutora.

Token de acceso personal (PAT) del usuario de la marca - El colaborador de la clean room de la marca genera un PAT con alcance limitado y permisos de clean room, SQL y Unity Catalog, y lo proporciona durante la instalación de la aplicación mediante la vinculación de recursos secretos (secret resource binding). Este token porta la identidad del usuario creador, lo que significa que funciona de forma nativa en todos los entornos de trabajo (workspaces) y permite realizar operaciones que requieren autorización a nivel de clean room en el lado de la marca, como añadir tablas de la marca y ejecutar el notebook de emparejamiento.

Por qué las Packaged Clean Rooms son importantes para la distribución en el marketplace

Las Clean Rooms estándar requieren un paso de aprobación: el colaborador revisa y aprueba antes de que se pueda ejecutar cualquier notebook. Esto tiene sentido para colaboraciones ad-hoc, pero genera fricción en un modelo de distribución de marketplace donde cientos de marcas podrían instalar la misma aplicación.

Las Packaged Clean Rooms eliminan esta fricción. Cuando Stagwell crea una clean room designada como packaged clean room, la marca puede ejecutar notebooks inmediatamente después de configurar la clean room. Sin colas de aprobación, sin idas y venidas, sin retrasos.

Esto es lo que hace que el modelo de marketplace sea viable a escala. Una marca instala la aplicación, conecta sus datos y ejecuta su primer emparejamiento de identidad (identity match) en cuestión de minutos, no de semanas.

Qué significa esto para el ecosistema de colaboración de datos

La industria está experimentando un cambio fundamental: de un intercambio de datos estático, una incorporación manual e integraciones con un alto nivel de riesgo, se está pasando a una colaboración segura y gobernada, resolución de identidad bajo demanda y flujos de trabajo de datos convertidos en productos.

La aplicación de Stagwell demuestra un patrón que cualquier proveedor de datos puede seguir. Considere las posibilidades:

• Una red de medios minoristas (retail media network) empaqueta su modelo de atribución como una Marketplace App, lo que permite a las marcas de CPG medir el aumento de la campaña (campaign lift) y activar segmentos de alto valor sin compartir datos de compra.
• Una empresa de datos sanitarios distribuye una herramienta de emparejamiento de cohortes de pacientes y coordinación de campañas de divulgación que se ejecuta dentro de los propios entornos de Databricks de los sistemas hospitalarios.
• Un proveedor de datos financieros ofrece enriquecimiento de riesgo crediticio y activación de ofertas precalificadas que procesa los registros de los clientes bancarios sin que estos salgan del workspace del banco.

En cada caso, la propuesta de valor es la misma: el proveedor de datos monetiza su IP a través del Marketplace, mientras que el consumidor obtiene información valiosa (insights) y activa audiencias sin la sobrecarga de cumplimiento normativo que conlleva el intercambio de datos.

El enfoque de Stagwell ilustra cómo la profundidad de los datos amplifica este modelo. Su ID Spine combina señales de comportamiento con datos de actitud de The Harris Poll, Harris Quest Brand y National Research Group, fusionando lo que hacen los consumidores con lo que piensan para ofrecer una calidad de audiencia que va más allá del emparejamiento de identidad estándar.

Para las marcas, esto significa un acceso más rápido a la información valiosa (time to insight), una mejor comprensión de la audiencia, un cumplimiento más sólido de la privacidad y nuevas formas de activar sus datos de primera mano (first-party data). Para el ecosistema, las clean rooms y los marketplaces se están convirtiendo en el sistema operativo para la colaboración de datos.

Los bloques de construcción forman parte de la plataforma Databricks: Unity Catalog para el gobierno, Marketplace para la distribución, Packaged Clean Rooms para el cómputo seguro para la privacidad, Delta Sharing para la entrega de resultados y Databricks Apps para el entorno de ejecución. Lo novedoso es cómo se integran para formar un canal de distribución completo para aplicaciones basadas en datos.

El futuro de la identidad no se trata solo de mejores grafos, sino de hacer que la resolución de identidad sea accesible, segura y escalable a través de experiencias convertidas en productos. Y eso es exactamente lo que permiten las aplicaciones de clean room impulsadas por el marketplace.

Primeros pasos

Si es un proveedor de datos que desea distribuir sus algoritmos y modelos a través de Databricks Marketplace, esto es lo que debe hacer a continuación:

1. Revise la guía del Partner Well-Architected Framework sobre la creación de Marketplace Apps para conocer los patrones de arquitectura y las mejores prácticas de seguridad.
2. Explore la documentación de Databricks Clean Rooms para comprender cómo las Packaged Clean Rooms permiten el cómputo seguro para la privacidad.
3. Pruebe el inicio rápido de Databricks Apps para crear e implementar su primera aplicación, y luego pruébela instalándola en un workspace independiente sin configuración previa.
4. Póngase en contacto con el equipo de su cuenta de Databricks para analizar la publicación y distribución en el Marketplace.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original