Transformer les Insights en impact avec Databricks et Global Orphan Project

Databricks s'est associé au Global Orphan (GO) Project, une organisation à but non lucratif qui met en relation des familles avec des ressources et des communautés pouvant empêcher les enfants de tomber dans des tragédies systémiques. 

Grâce à Databricks for Good, une initiative qui fournit des services professionnels pro bono à vocation sociale, l'équipe Databricks a aidé GO Project à renforcer ses fondations de données et à accélérer sa mission et son impact.

Défis et limites liés aux données

En 2025, les partenaires locaux du GO Project ont aidé près de 122K enfants dans 43 États américains et 53K enfants dans 6 pays à l'international​​. Avec plus de 1 600 agences partenaires actives aux États-Unis soumettant des demandes et 8 200 équipes d'intervention y répondant en temps quasi réel, les données étaient hébergées sur plusieurs systèmes, ce qui rendait le reporting difficile. En conséquence, des questions essentielles, telles que « Combien cela coûte-t-il (c.-à-d. données financières) pour faciliter chaque demande (c.-à-d. données de la plateforme) ? » étaient souvent calculées en dehors des systèmes de reporting automatisés, dans des feuilles de calcul, ce qui rendait la disponibilité et la cohérence des données moins efficaces qu'elles n'auraient pu l'être.

GO Project avait besoin d'un outil capable d'extraire facilement des données de nombreuses sources dans une seule couche de données fiable pour piloter le reporting et augmenter la cohérence et la disponibilité globales des données. Tout en consolidant les données dans une plateforme de données unifiée, il fallait également s'assurer que la gouvernance des données, l'accès et les autorisations étaient étroitement intégrés afin que tous les types d'utilisateurs, du personnel interne aux partenaires d'agences en passant par les bénévoles d'église, aient accès aux sous-ensembles de données appropriés à leurs fins.

Pour relever ces défis, le projet GO a choisi Databricks pour la simplicité de sa configuration avec les workspaces serverless, son intégration transparente avec les plateformes cloud, les fonctionnalités de gouvernance d' Unity Catalog et sa capacité à unifier le data engineering, l'analytique et l'IA sur une seule et même plateforme. 
 

Modernisation d'une architecture de données avec Databricks

Dans le cadre de l'engagement Databricks for Good, GO Project s'est associé à deux Delivery Solutions Architects (DSA) Databricks et un chef de projet Databricks sur une période de trois mois pour concevoir et mettre en œuvre une architecture de données moderne décrite ci-dessous. 

La solution a été conçue autour d'une architecture médaillon (bronze, silver, gold) afin de fournir une base évolutive et fiable pour les cas d'usage analytiques et basés sur l'IA. Les données brutes provenant d'API tierces et d'AWS RDS MySQL ont été ingérées efficacement grâce à des fonctionnalités open source et gérées par Databricks, permettant une intégration rapide de nouvelles sources de données tout en maintenant la résilience des pipelines face à l'augmentation des volumes. La qualité et la fiabilité des données dans la couche silver ont été garanties par des attentes de pipeline (à l'aide de Spark Declarative Pipelines), permettant une identification précoce des problèmes de données en aval et l'établissement d'un cadre de qualité des données standardisé.

Enfin, les données ont été agrégées dans la couche Gold, qui a servi de source de confiance pour la consommation en aval. Les vues de métriques ont alimenté des tableaux de bord centralisés qui ont démocratisé l'accès aux insights pour différentes équipes, éliminant la dépendance vis-à-vis des rapports manuels ou d'un support technique spécialisé. Parallèlement, ces datasets organisés ont permis de créer des newsletters personnalisées et générées par l'IA sans avoir à redéfinir les métriques commerciales clés ni à créer des silos de données parallèles.

Pour étayer tout cela, Unity Catalog a servi de couche de gouvernance unifiée pour l'ensemble des data et AI assets, permettant au projet GO de faire évoluer en toute confiance les projets d'analytique en libre-service et d'IA.

Solutions et résultats

Les sections suivantes mettent en évidence les solutions fournies dans le cadre de l'engagement Databricks for Good et les résultats mesurables qu'elles ont permis d'obtenir pour GO Project.

Tableau de bord centralisé des KPI

L'un des principaux défis auxquels GO Project était confronté était l'absence d'une vue unique et accessible des performances de l'organisation sur l'ensemble de son réseau de partenaires. Les métriques clés étaient stockées dans plusieurs sources de données, ce qui obligeait les équipes à collecter et à interpréter manuellement les informations. Ce processus était à la fois chronophage et source d'incohérences. 

Dans le cadre du programme Databricks for Good, Databricks s'est associé à GO Project pour transformer ce modèle de reporting fragmenté en un tableau de bord KPI centralisé et automatisé, basé sur une architecture data lakehouse.

Au lieu de dépendre d'exportations statiques ou de mises à jour manuelles, les nouvelles données étaient automatiquement ingérées et traitées, permettant aux tableaux de bord de refléter les changements beaucoup plus proches du temps réel. Cela garantissait que la direction et les équipes sur le terrain travaillaient toujours à partir des informations les plus récentes disponibles. Le résultat final a été une source de vérité unifiée qui rassemble les données opérationnelles de toute l'organisation dans un tableau de bord à jour.

Ce tableau de bord exploite les fonctionnalités clés suivantes de Databricks :

• Metric Views pour standardiser les définitions des KPI et garantir des calculs cohérents sur tous les rapports et tableaux de bord. GO Project n'a plus besoin d'envoyer des extraits SQL, en espérant que la clause WHERE soit correcte.
• Tableaux de bord IA/BI pour permettre la création de visualisations intuitives par glisser-déposer, adaptées aux besoins opérationnels du GO Project.
• Databricks One pour permettre aux utilisateurs métier de consommer et d'interagir en toute sécurité avec les tableaux de bord AI/BI sans nécessiter d'accès direct au workspace Databricks ou aux datasets sous-jacents.

Par conséquent, le projet GO a atteint les résultats commerciaux et techniques suivants : 

• Efficacité opérationnelle : Réduction des cycles de reporting de plusieurs jours à quelques minutes, permettant aux utilisateurs de surveiller la santé des métriques régionales à la demande plutôt que d'attendre des rapports par e-mail.
• Productivité et apprentissage rapides: a permis aux membres de l'équipe de créer et d'itérer rapidement des requêtes analytiques complexes à l'aide de l'agent Data Science, accélérant ainsi la génération d'informations sans nécessiter une expertise SQL approfondie.
• Une base de reporting évolutive : Réduction de la dépendance vis-à-vis des rapports ponctuels et ad hoc grâce à la mise en place d'une base de reporting standardisée directement au sein de la Databricks Data Intelligence Platform.

Globalement, le tableau de bord consolidé des KPI a fourni à GO Project des insights opportuns et exploitables sur les performances de ses actions de sensibilisation. Grâce à une visibilité en temps quasi réel sur les indicateurs clés, l'organisation peut réagir plus rapidement, allouer les ressources plus efficacement et finalement renforcer sa capacité à empêcher davantage d'enfants de tomber dans des tragédies systémiques.

Approche personnalisée des donateurs générée par l'IA

Avec une vue des performances data-driven grâce au tableau de bord centralisé des KPI, GO Project s'est concentré sur l'activation de ces informations par un engagement plus efficace des parties prenantes. GO Project a cherché à produire du contenu opportun et personnalisé à grande échelle dans le but de séduire les donateurs en utilisant des données personnalisées pour leur communauté locale.

Auparavant, GO Project s'appuyait sur un processus largement manuel. Les données devaient être extraites individuellement d'une base de données MySQL pour chaque partie prenante, puis formatées et intégrées manuellement dans les communications, ce qui rendait difficile l'adaptation fréquente des messages pour tous les prospects.

Grâce à l'initiative Databricks for Good, l'équipe a conçu et mis en œuvre un système automatisé pour générer des newsletters personnalisées et alimentées par l'IA directement à partir de datasets organisés sur la Databricks Data Intelligence Platform. En combinant des données gouvernées avec des capacités GenAI intégrées, la solution a transformé les indicateurs opérationnels en récits prêts pour les parties prenantes avec une intervention humaine minimale.

Pour ce livrable, les fonctionnalités clés suivantes de Databricks ont été utilisées :

• Databricks Notebooks et Fonctions IA Databricks (ai_query) pour générer dynamiquement des résumés narratifs spécifiques aux parties prenantes basés sur des widgets de Notebook (pour piloter la logique de segmentation), évitant ainsi la configuration manuelle et les scripts personnalisés.
• APIs de modèles de fondation pour intégrer la GenAI directement depuis la plateforme de données, permettant la génération de contenu parallèlement à la préparation et à la transformation des données.
• Unity Catalog Volumes pour stocker en toute sécurité les sorties de newsletter non structurées et générées par l'IA au format PDF dans un stockage cloud, simplifiant ainsi la distribution et l'accès en aval.

Il en a résulté les résultats commerciaux et techniques suivants pour GO Project : 

• Création de contenu accélérée : La génération de brouillons d'aperçus personnalisés du marché des donateurs s'effectue désormais en quelques secondes au lieu de plusieurs jours, permettant à l'équipe marketing de GO Project de se concentrer sur l'amélioration et le storytelling plutôt que sur la création manuelle de contenu.
• Élimination de l'agrégation manuelle des données : L'équipe n'a plus besoin d'extraire les données d'impact mensuelles de plusieurs systèmes. Au lieu de cela, les utilisateurs peuvent sélectionner une partie prenante, et des widgets préconfigurés filtrent automatiquement les données pertinentes et génèrent du contenu personnalisé à l'aide de la fonction ai_query.
• Marketing des donateurs évolutif et data-driven : L'intégration étroite des Notebooks, du Data Science Agent et des pipelines de données fiables a permis à GO Project de créer rapidement des produits de marketing pour les donateurs adaptés aux marchés locaux. Les équipes de collecte de fonds peuvent désormais générer à la demande des rapports personnalisés et basés sur des données pour toutes les zones géographiques des États-Unis, en une fraction du temps qu'il fallait auparavant pour produire un seul rapport.

Ensemble, ces capacités permettent au GO Project d'aller au-delà du reporting statique et d'adopter un storytelling personnalisé et basé sur l'IA, renforçant ainsi les relations avec les parties prenantes tout en amplifiant la visibilité et l'impact de sa mission.

Dans cette phase initiale, la solution s'appuyait sur Databricks AI Functions pour générer le contenu des newsletters. À l'avenir, GO Project prévoit d'exploiter Agent Bricks pour introduire des agents spécifiques à un domaine, responsables des différentes sections des newsletters. Cette approche réduira davantage la surcharge liée à l'ajustement des prompts, améliorera la cohérence des résultats et permettra une optimisation plus évolutive du grand modèle de langage (LLM) sous-jacent.

Impact et résultats

Grâce au programme Databricks for Good, GO Project a transformé ses capacités de données, passant d'un reporting disparate à une base de données et d'IA moderne et évolutive construite sur la Databricks Data Intelligence Platform.

Corey Vaudo, directeur des données et de l'information du Global Orphan Project, a partagé le point de vue suivant sur le partenariat : 

« La nature tout-en-un de Databricks est idéale pour une petite équipe de notre taille. Au lieu de passer du temps à apprendre et à enchaîner divers outils, nous nous concentrons sur les problèmes à résoudre et nous sommes convaincus que les fonctionnalités dont nous avons besoin existent déjà dans l'outil que nous avons sélectionné. Nous nous réjouissons de collaborer avec Databricks sur d'autres projets à l'avenir. »

Si vous êtes une organisation à but non lucratif ou si vous travaillez en étroite collaboration avec ce secteur et souhaitez découvrir comment Databricks peut servir de levier à votre impact social, contactez-nous à l'adresse [email protected].

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original