Come Stagwell ha sviluppato un matching degli ID sicuro per la privacy su Databricks

Il problema dell'identity matching che i brand affrontano oggi

I brand investono molto nella creazione di asset di dati di prima parte, tra cui cronologie degli acquisti, record CRM, programmi fedeltà e interazioni sul sito web. Questi dati sono frammentati tra i vari sistemi e difficili da attivare sui diversi canali. Tuttavia, i dati di prima parte da soli raccontano solo una parte della storia.

Per creare profili di pubblico completi, i brand devono confrontare i propri record con i database (spine) degli identity provider per ottenere grafici di identità (identity graph) cross-canale che includono e-mail, ID dispositivo, cookie e punti di contatto offline.

L'approccio tradizionale è complesso. I brand esportano i record dei clienti su una piattaforma di terze parti, l'identity provider esegue i propri algoritmi di matching e i risultati arrivano dopo giorni. Ogni passaggio comporta dei rischi: i dati lasciano l'ambiente sicuro del brand, le PII viaggiano attraverso le reti e i team di conformità devono esaminare accordi di condivisione dei dati che possono richiedere settimane di negoziazione.

Allo stesso tempo, le normative sulla privacy e le restrizioni delle piattaforme hanno reso:

• I cookie di terze parti inaffidabili
• La condivisione dei dati rischiosa
• L'identity stitching più complesso

Questo crea un divario fondamentale: i brand dispongono di dati, ma non hanno la possibilità di collegarli in modo sicuro a un livello di identità (identity layer) unificato

Per colmare questo divario, i brand devono:

• Confrontare i propri dati con un identity graph completo
• Arricchirli con segnali e attributi aggiuntivi
• Farlo proteggendo al contempo i dati grezzi a livello di utente

The Marketing Cloud, una Global Marketing Services Agency del gruppo Stagwell, ha vissuto in prima persona questa difficoltà con i propri clienti del brand. Hanno quindi promosso un modello migliore: uno in cui i brand potessero accedere alle funzionalità di identity matching di Stagwell senza mai inviare i propri dati grezzi al di fuori della propria infrastruttura.

In che modo le Marketplace App cambiano il modello di distribuzione

Le implementazioni tradizionali di clean room richiedono un impegno elevato, un forte lavoro di ingegnerizzazione e possono essere lente da distribuire.

Databricks Marketplace App ribaltano il modello tradizionale di condivisione dei dati. Invece di "inviaci i tuoi dati e noi li elaboreremo", il modello diventa "installa la nostra app ed essa verrà eseguita dove risiedono già i tuoi dati". I brand possono ora installare un'applicazione predefinita, connettere i propri dati ed eseguire istantaneamente flussi di lavoro di identity matching.

Quando un'applicazione viene pubblicata sul Databricks Marketplace, qualsiasi brand con un'area di lavoro Databricks può richiedere l'accesso e installarla direttamente. L'app viene eseguita all'interno dell'ambiente del brand con una propria entità servizio (service principal) con provisioning automatico. I dati del brand non superano mai i confini della rete.

Si tratta di una svolta fondamentale per i data provider. In precedenza, distribuire algoritmi proprietari significava esporre il codice sorgente (cosa che i partner non fanno) o richiedere ai brand di esportare i dati (a cui i team di conformità si oppongono). Le Marketplace App risolvono entrambi i problemi: il codice dell'app è containerizzato e opaco per l'utente, mentre i dati del brand rimangono nel loro Unity Catalog.

Con la distribuzione tramite marketplace, i tempi di implementazione scendono da mesi a minuti, i flussi di lavoro standardizzati migliorano l'usabilità e la governance è integrata nella piattaforma. Stagwell è stato tra i primi partner a mettere in produzione questo modello.

Cosa ha creato Stagwell e come funziona

Stagwell ha sviluppato su Databricks un'applicazione clean room pronta per il marketplace che consente l'acquisizione sicura dei dati di prima parte del brand, il matching con la Stagwell Identity Spine, la generazione di insight nel rispetto della privacy e una transizione fluida verso la creazione e l'attivazione del pubblico.

Fondamentalmente, il sistema combina Databricks Clean Rooms per una collaborazione sicura, Unity Catalog per la governance e il controllo degli accessi, Jobs e Notebooks per l'esecuzione dell'identity matching e un livello applicativo React ed Express per l'esperienza utente.

Ecco come funziona il flusso end-to-end.

• Passaggio 1: Installazione e autenticazione
  • Un amministratore lato brand trova l'app di Stagwell nel Databricks Marketplace e la installa nella propria area di lavoro. Durante l'installazione, l'amministratore deve autorizzare e associare l'app alle risorse necessarie: un SQL warehouse per le query e i segreti per la configurazione. L'app riceve un service principal con provisioning automatico con credenziali inserite come variabili d'ambiente. Non è richiesta alcuna configurazione manuale delle credenziali.
• Passaggio 2: Connessione dei dati del brand
  • Quando un utente del brand apre l'app, si autentica tramite il flusso OAuth standard della propria area di lavoro. L'app utilizza l'autorizzazione On-Behalf-Of (OBO) per accedere ai dati del brand con l'identità dell'utente connesso. Ciò significa che ogni ACL, filtro di riga (row filter) e maschera di colonna (column mask) di Unity Catalog viene applicato automaticamente. L'app vede esattamente ciò che l'utente è autorizzato a vedere, niente di più.
• Passaggio 3: Avvio del match nella clean room
  • L'utente del brand seleziona quali tabelle di prima parte confrontare e avvia il processo. Dietro le quinte, l'app chiama il backend di Stagwell per creare una Packaged Clean Room. Stagwell fornisce i dati della propria Identity Spine e un notebook di matching, quindi designa il brand come esecutore (runner).
  • La designazione "packaged" è fondamentale: elimina il flusso di lavoro di approvazione richiesto dalle clean room standard. Il brand può eseguire immediatamente il notebook di matching. Aspetto cruciale, il brand può vedere il nome del notebook ma non il suo codice sorgente, proteggendo così la logica di matching proprietaria di Stagwell.
• Passaggio 4: Esecuzione dell'Identity Match
  • Il brand esegue il notebook di matching all'interno della clean room, che compie le seguenti operazioni:
    • Unisce (join) i dati del brand con la ID Spine
    • Risolve le identità tra più identificatori
    • Calcola:
      • Tassi di corrispondenza (match rate)
      • Metriche di copertura
      • ID nucleo familiare e consumatore
  • Il notebook legge dai cataloghi di input di entrambe le parti e scrive i risultati in uno schema di output condiviso. Sia Stagwell che il brand possono vedere i risultati del match tramite Delta Sharing.
  • I dati grezzi dei clienti del brand non sono mai visibili a Stagwell. Gli algoritmi di matching di Stagwell non sono mai visibili al brand. La clean room impone questa separazione a livello di piattaforma.
  • Tutta l'elaborazione avviene all'interno del confine della clean room, garantendo l'assenza di fughe di dati grezzi e la piena applicazione delle policy.
• Passaggio 5: Dal match all'attivazione
  • Una volta completato il matching, l'app fornisce insight che includono dati demografici, segmenti comportamentali, distribuzione geografica e suddivisione per dispositivo. Gli output includono dataset aggregati e un'interfaccia basata su chat per generare insight chiave sui dati corrispondenti. Questi output possono essere esportati o attivati nelle piattaforme a valle (downstream).
  • L'identity matching è solo l'inizio. Una volta consegnati i risultati del match, i brand devono tradurre in azione i profili di pubblico arricchiti.
  • Nei casi in cui i dati di prima parte di un brand non raggiungano un match completo, l'applicazione Crosswalk di Stagwell collabora con ulteriori identity provider per garantire un matching a valle ad alta fedeltà e una copertura completa del pubblico.
  • Da lì, i brand attivano i propri segmenti di pubblico arricchiti tramite lo Stagwell Agentic Targeting System (SATS), una soluzione basata sull'intelligenza artificiale (AI) che consente ai team di marketing di cercare, scoprire e distribuire i segmenti di pubblico in modo conversazionale, chiudendo il cerchio dall'arricchimento dei dati all'attivazione dei media.

L'architettura di autenticazione nel dettaglio

L'app utilizza quattro livelli di identità distinti, ciascuno limitato al proprio scopo:

Token utente On-Behalf-Of (OBO) - Quando l'utente del brand effettua l'accesso, l'app riceve il suo token OAuth tramite l'intestazione x-forwarded-access-token. Questo token viene utilizzato per qualsiasi operazione che interessi i dati del brand: anteprima delle tabelle, query sul SQL warehouse, recupero dell'identificatore di condivisione del brand. Le ACL di Unity Catalog si applicano in base all'identità dell'utente.

Service principal dell'app - L'SP con provisioning automatico gestisce le operazioni a livello di app: telemetria, gestione dello stato interno e chiamate all'API di backend di Stagwell. Questa identità ha come ambito l'app stessa e non comporta autorizzazioni a livello di utente.

Service principal di backend di Stagwell - Le credenziali OAuth M2M di Stagwell gestiscono il ciclo di vita della clean room dal loro lato: creazione della clean room, aggiunta di asset, contributo di notebook e designazione del brand come runner.

Personal access token (PAT) dell'utente del brand - Il collaboratore della clean room del brand genera un PAT con ambito limitato con autorizzazioni per clean room, SQL e Unity Catalog e lo fornisce durante l'installazione dell'app tramite il binding delle risorse segrete. Questo token porta con sé l'identità dell'utente che lo ha generato, il che significa che funziona in modo nativo tra i workspace e consente operazioni che richiedono l'autorizzazione a livello di clean room sul lato del brand, come l'aggiunta di tabelle del brand e l'esecuzione del notebook di matching.

Perché le Packaged Clean Rooms sono importanti per la distribuzione nel marketplace

Le Clean Room standard richiedono una fase di approvazione: il collaboratore esamina e approva prima che qualsiasi notebook possa essere eseguito. Questo ha senso per le partnership ad hoc, ma crea attrito per un modello di distribuzione del marketplace in cui centinaia di brand potrebbero installare la stessa app.

Le Packaged Clean Rooms eliminano questo attrito. Quando Stagwell crea una clean room designata come packaged clean room, il brand può eseguire i notebook immediatamente dopo la configurazione della clean room. Nessuna coda di approvazione, nessun continuo viavai, nessun ritardo.

Questo è ciò che rende praticabile il modello di marketplace su scala. Un brand installa l'app, connette i propri dati ed esegue il primo identity match in pochi minuti, non in settimane.

Cosa significa questo per l'ecosistema di collaborazione sui dati

Il settore sta assistendo a una svolta fondamentale, dalla condivisione statica dei dati, dall'onboarding manuale e da integrazioni ad alto rischio verso una collaborazione sicura e governata, la risoluzione dell'identità on-demand e flussi di lavoro dei dati standardizzati.

L'app di Stagwell dimostra un modello che qualsiasi data provider può seguire. Considera le possibilità:

• Un retail media network pacchettizza il proprio modello di attribuzione come app del Marketplace, consentendo ai brand CPG di misurare il campaign lift e attivare segmenti di alto valore senza condividere i dati di acquisto.
• Un'azienda di dati sanitari distribuisce uno strumento di matching delle coorti di pazienti e di coordinamento delle attività di sensibilizzazione che viene eseguito all'interno degli ambienti Databricks dei sistemi ospedalieri.
• Un fornitore di dati finanziari offre l'arricchimento del rischio di credito e l'attivazione di offerte pre-qualificate che elaborano i record dei clienti della banca senza che tali record lascino mai il workspace della banca.

In ogni caso, la proposta di valore è la stessa: il data provider monetizza la propria IP attraverso il Marketplace, mentre il consumatore ottiene insight e attiva le audience senza l'onere di conformità della condivisione dei dati.

L'approccio di Stagwell illustra come la profondità dei dati amplifichi questo modello. Il loro ID Spine combina segnali comportamentali con dati attitudinali di The Harris Poll, Harris Quest Brand e National Research Group, fondendo ciò che i consumatori fanno con ciò che pensano per offrire una qualità dell'audience che va oltre l'identity matching standard.

Per i brand, questo significa un time-to-insight più rapido, una migliore comprensione dell'audience, una maggiore conformità alla privacy e nuovi modi per attivare i propri dati di prima parte. Per l'ecosistema, le clean room e i marketplace stanno diventando il sistema operativo per la collaborazione sui dati.

I componenti fondamentali fanno tutti parte della piattaforma Databricks: Unity Catalog per la governance, Marketplace per la distribuzione, Packaged Clean Rooms per il calcolo sicuro per la privacy, Delta Sharing per la consegna dei risultati e Databricks Apps per l'ambiente di runtime. La novità è il modo in cui si compongono insieme in un canale di distribuzione completo per applicazioni basate sui dati.

Il futuro dell'identità non riguarda solo grafici migliori, ma consiste nel rendere la risoluzione dell'identità accessibile, sicura e scalabile attraverso esperienze standardizzate. Ed è esattamente ciò che sbloccano le app di clean room guidate dal marketplace.

Per iniziare

Se sei un data provider che desidera distribuire i propri algoritmi e modelli tramite il Databricks Marketplace, ecco cosa fare ora:

1. Esamina la guida Partner Well-Architected Framework sulla creazione di app del Marketplace per i pattern di architettura e le best practice di sicurezza.
2. Esplora la documentazione di Databricks Clean Rooms per capire in che modo le Packaged Clean Rooms consentono il calcolo sicuro per la privacy.
3. Prova la guida rapida di Databricks Apps per creare e distribuire la tua prima app, quindi testala installandola in un workspace separato senza alcuna configurazione preesistente.
4. Contatta il team del tuo account Databricks per discutere della pubblicazione e della distribuzione sul Marketplace.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale