Trasformare gli approfondimenti in impatto con Databricks e Global Orphan Project

Databricks ha collaborato con Global Orphan (GO) Project, un'organizzazione no profit che mette in contatto le famiglie con risorse e comunità in grado di impedire che i bambini cadano vittime di tragedie sistemiche. 

Attraverso Databricks for Good, un'iniziativa che fornisce servizi professionali pro bono per un impatto sociale, il team di Databricks ha aiutato GO Project a rafforzare la propria base di dati e ad accelerare la propria missione e il proprio impatto.

Sfide e limitazioni dei dati

Nel 2025, i partner locali di GO Project hanno assistito quasi 122.000 bambini in 43 stati degli Stati Uniti e, a livello internazionale, 53.000 bambini in 6 paesi​​. Con oltre 1.600 agenzie partner attive negli Stati Uniti che inviavano richieste e 8.200 team di risposta che rispondevano quasi in tempo reale, i dati erano archiviati in più sistemi, il che rendeva la reportistica una sfida. Di conseguenza, domande cruciali, come “Qual è il costo (ovvero dati finanziari) per gestire ogni richiesta (ovvero dati della piattaforma)?" venivano spesso calcolate al di fuori dei sistemi di reportistica automatizzati su fogli di calcolo, rendendo la disponibilità e la coerenza dei dati non così efficienti come avrebbero potuto essere.

GO Project aveva bisogno di uno strumento in grado di estrarre facilmente i dati da numerose fonti in un unico livello di dati affidabile per alimentare la reportistica e aumentare la coerenza e la disponibilità complessive dei dati. Nel consolidare i dati in una piattaforma dati unificata, era anche necessario garantire che la governance dei dati, l'accesso e le autorizzazioni fossero strettamente integrati in modo che tutti i tipi di utenti, dal personale interno ai partner di agenzia e ai volontari della chiesa, avessero accesso a sottoinsiemi di dati appropriati per i loro scopi.

Per affrontare queste sfide, GO Project ha scelto Databricks per la sua facilità di configurazione con Workspace serverless, l'integrazione perfetta con le piattaforme cloud, le funzionalità di governance di Unity Catalog e la capacità di unificare data ingegneria, analytics e AI su un'unica piattaforma. 
 

Modernizzazione di un'architettura di dati con Databricks

Durante la collaborazione con Databricks for Good, GO Project ha collaborato con due Delivery Solutions Architects (DSA) e un Project Manager di Databricks per un periodo di tre mesi per progettare e implementare un'architettura dati moderna, come illustrato di seguito. 

La soluzione è stata progettata attorno a un'architettura medallion (bronze, silver, Gold) per fornire una base scalabile e affidabile sia per i casi d'uso di analisi che per quelli basati sull'AI. Dati grezzi provenienti da APIs di terze parti e da AWS RDS MySQL sono stati acquisiti in modo efficiente tramite funzionalità sia open-source che gestite da Databricks, consentendo un rapido onboarding di nuove sorgenti di dati e mantenendo le pipeline resilienti all'aumentare dei volumi. La qualità e l'affidabilità dei dati nel livello silver sono state garantite tramite le expectations della pipeline (utilizzando le Spark Declarative Pipelines), consentendo l'identificazione precoce di problemi nei dati a valle e stabilendo un framework standardizzato per la qualità dei dati.

Infine, i dati sono stati aggregati nel gold layer, che è servito come fonte attendibile per l'utilizzo a valle. Le viste delle metriche alimentavano dashboard centralizzate che hanno democratizzato l'accesso agli approfondimenti per i diversi team, eliminando la dipendenza dal reporting manuale o dal supporto tecnico specializzato. Allo stesso tempo, questi set di dati curati hanno consentito la creazione di newsletter personalizzate e generate dall'IA senza ridefinire le metriche aziendali principali o creare silos di dati paralleli.

Alla base di tutto ciò, Unity Catalog è servito come livello di governance unificato per tutti gli asset di dati e di IA, consentendo a GO Project di scalare con sicurezza i progetti di analisi self-service e di IA.

Soluzioni e risultati

Le sezioni seguenti evidenziano le soluzioni fornite attraverso l'iniziativa Databricks for Good e i risultati misurabili che hanno ottenuto per GO Project.

Dashboard centralizzata dei KPI

La sfida principale per il GO Project era la mancanza di una visione unica e accessibile delle performance organizzative nella sua rete di partner. Le metriche chiave erano archiviate in più sorgenti di dati, il che richiedeva ai team di raccogliere e interpretare manualmente le informazioni. Questo processo richiedeva molto tempo ed era soggetto a incoerenze. 

Attraverso il programma Databricks for Good, Databricks ha collaborato con GO Project per trasformare questo modello di reporting frammentato in una dashboard KPI centralizzata e automatizzata basata su un'architettura data lakehouse.

Invece di affidarsi a esportazioni statiche o aggiornamenti manuali, i nuovi dati venivano importati ed elaborati automaticamente, consentendo alle dashboard di riflettere le modifiche quasi in tempo reale. Ciò garantiva che la direzione e i team sul campo lavorassero sempre con le informazioni più aggiornate disponibili. Il risultato finale è stato un'unica fonte di verità che riunisce i dati operativi di tutta l'organizzazione in una dashboard aggiornata.

Questa dashboard utilizza le seguenti funzionalità chiave di Databricks:

• Metric Views per standardizzare le definizioni dei KPI e garantire calcoli coerenti in tutti i report e le dashboard. GO Project non ha più bisogno di inviare snippet SQL, sperando di scrivere correttamente la clausola WHERE.
• Dashboard di IA/BI per consentire la creazione di visualizzazioni intuitive drag-and-drop, personalizzate per le esigenze operative di GO Project.
• Databricks One per consentire agli utenti aziendali di utilizzare e interagire in modo sicuro con le dashboard di IA/BI senza richiedere l'accesso diretto alla workspace di Databricks o ai set di dati sottostanti.

Di conseguenza, il Progetto GO ha raggiunto i seguenti risultati aziendali e tecnici: 

• Efficienza operativa: cicli di reporting ridotti da giorni a minuti, consentendo agli utenti di monitorare lo stato delle metriche regionali on demand anziché attendere i report via email.
• Produttività e apprendimento rapidi: ha permesso ai membri del team di creare e iterare rapidamente query analitiche complesse utilizzando il Data Science Agent, accelerando la generazione di approfondimento senza richiedere una profonda competenza in SQL.
• Base di reporting scalabile: riduzione della dipendenza da report una tantum e ad hoc grazie alla creazione di una base di reporting standardizzata direttamente all'interno della Databricks Data Intelligence Platform.

Nel complesso, la dashboard KPI consolidata ha fornito a GO Project informazioni dettagliate tempestive e utilizzabili sulle performance delle attività di outreach. Con una visibilità quasi in tempo reale sulle metriche chiave, l'organizzazione può rispondere più velocemente, allocare le risorse in modo più efficace e, infine, rafforzare la sua capacità di evitare che altri bambini cadano vittime di tragedie sistemiche.

Comunicazione personalizzata con i donatori generata dall'IA

Con una visione delle prestazioni basata su dati, resa possibile dalla dashboard centralizzata dei KPI, GO Project ha spostato la sua attenzione sull'attivazione di tali informazioni dettagliate attraverso un coinvolgimento più efficace degli stakeholder. GO Project ha cercato di produrre contenuti tempestivi e personalizzati su Scale, nel tentativo di attrarre i donatori utilizzando dati personalizzati per la loro comunità locale.

In precedenza, GO Project si affidava a un processo in gran parte manuale. I dati dovevano essere estratti singolarmente da un database MySQL per ogni stakeholder, quindi formattati e inseriti manualmente nelle comunicazioni, rendendo difficile personalizzare di frequente i messaggi per tutti i potenziali donatori.

Attraverso l'iniziativa Databricks for Good, il team ha progettato e implementato un sistema automatizzato per generare newsletter personalizzate e basate sull'IA direttamente da set di dati curati sulla Databricks Data Intelligence Platform. Combinando dati governati con le funzionalità di GenAI integrate, la soluzione ha trasformato le metriche operative in narrazioni pronte per gli stakeholder con un intervento umano minimo.

Per questo deliverable, sono state utilizzate le seguenti funzionalità chiave di Databricks:

• Databricks Notebooks e Databricks AI Functions (ai_query) per generare dinamicamente riepiloghi narrativi specifici per gli stakeholder basati sui widget dei notebook (per gestire la logica di segmentazione), evitando la configurazione manuale e gli script personalizzati.
• API di Foundation Model per integrare la GenAI direttamente dalla piattaforma dati, consentendo la generazione di contenuti parallelamente alla preparazione e alle trasformazioni dei dati.
• Volumi di Unity Catalog per archiviare in modo sicuro gli output non strutturati delle newsletter generate dall'IA come PDF nell'archivio cloud, semplificando la distribuzione e l'accesso a valle.

Ciò ha portato ai seguenti risultati di business e tecnici per GO Project: 

• Creazione accelerata di contenuti: la generazione di bozze di snapshot personalizzate del mercato dei donatori ora avviene in pochi secondi anziché in giorni, consentendo al team di marketing di GO Project di concentrarsi sulla rifinitura e sullo storytelling invece che sulla creazione manuale di contenuti.
• Eliminata l'aggregazione manuale dei dati: il team non deve più estrarre i dati di impatto mensili da più sistemi. Invece, gli utenti possono selezionare uno stakeholder, e i widget preconfigurati filtrano automaticamente i dati pertinenti e generano contenuti personalizzati utilizzando la funzione ai_query.
• Marketing per i donatori scalabile e basato sui dati: la stretta integrazione di notebook, Data Science Agent e pipeline di dati affidabili ha permesso a GO Project di creare rapidamente prodotti di marketing per i donatori personalizzati per i mercati locali. I team di raccolta fondi possono ora generare on-demand report personalizzati e basati sui dati in tutte le aree geografiche degli Stati Uniti, in una frazione del tempo precedentemente necessario per produrre un singolo report.

Insieme, queste funzionalità consentono a GO Project di andare oltre il reporting statico e di passare a uno storytelling personalizzato e basato sull'IA, rafforzando così le relazioni con gli stakeholder e amplificando al contempo la visibilità e l'impatto della sua missione.

In questa fase iniziale, la soluzione si è affidata alle Databricks AI Functions per generare i contenuti delle newsletter. In futuro, GO Project prevede di utilizzare Agent Bricks per introdurre agenti specifici per dominio, responsabili di diverse sezioni delle newsletter. Questo approccio ridurrà ulteriormente l'overhead del prompt tuning, migliorerà la coerenza tra gli output e consentirà un'ottimizzazione più scalabile del modello linguistico di grandi dimensioni (LLM) sottostante.

Impatto e risultati

Attraverso il programma Databricks for Good, GO Project ha trasformato le sue capacità di gestione dei dati da un sistema di reporting eterogeneo in una base moderna e scalabile per dati e AI basata sulla Databricks Data Intelligence Platform.

Corey Vaudo, Chief Data and informazioni Officer del Global Orphan Project, ha condiviso la seguente prospettiva sulla partnership: 

“La natura all-in-one di Databricks è fantastica per un team piccolo come il nostro. Invece di perdere tempo a imparare e a collegare tra loro vari strumenti, ci concentriamo sui problemi da risolvere e siamo certi che le funzionalità di cui abbiamo bisogno esistano già nello strumento che abbiamo scelto. Non vediamo l'ora di lavorare con Databricks su altri progetti in futuro”.

Se sei un'organizzazione no-profit o lavori a stretto contatto con organizzazioni no-profit e desideri scoprire in che modo Databricks può fungere da moltiplicatore di forze per l'impatto sociale, contattaci all'indirizzo [email protected].

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale