Mit Databricks und Global Orphan Project: Von der Erkenntnis zur Wirkung

Databricks ist eine Partnerschaft mit dem Global Orphan (GO) Project eingegangen, einer gemeinnützigen Organisation, die Familien mit Ressourcen und Communities verbindet, um zu verhindern, dass Kinder Opfer systemischer Tragödien werden. 

Im Rahmen von Databricks for Good, einer Initiative für pro bono professionelle Dienstleistungen für gesellschaftliche Wirkung, hat das Databricks-Team dem GO Project geholfen, seine Datengrundlage zu stärken und seine Mission und Wirkung zu beschleunigen.

Datenherausforderungen und -einschränkungen

Im Jahr 2025 betreuten die lokalen Partner des GO Project fast 122.000 Kinder in 43 US-Bundesstaaten und international 53.000 Kinder in 6 Ländern​​. Da mehr als 1.600 aktive Partneragenturen in den USA Anfragen einreichten und 8.200 Einsatzteams in nahezu Echtzeit reagierten, waren die Daten über verschiedene Systeme verteilt, was das Reporting zu einer Herausforderung machte. Infolgedessen kritische Fragen, wie z. B. „Was kostet es (d. h. Finanzdaten), um jede Anfrage zu ermöglichen (d. h. Plattformdaten)?“ wurden oft außerhalb automatisierter Reporting-Systeme in Tabellenkalkulationen berechnet, wodurch die Datenverfügbarkeit und -konsistenz nicht so effizient waren, wie sie hätten sein können.

GO Project benötigte ein Tool, das problemlos Daten aus zahlreichen Quellen in einer einzigen vertrauenswürdigen Datenschicht zusammenführen konnte, um das Reporting zu steuern und die allgemeine Datenkonsistenz und -verfügbarkeit zu erhöhen. Bei der Konsolidierung von Daten auf einer einheitlichen Datenplattform musste auch sichergestellt werden, dass Data Governance, Zugriffe und Berechtigungen eng integriert sind, damit alle Benutzertypen – von internen Mitarbeitern über Agenturpartner bis hin zu ehrenamtlichen Helfern der Kirche – für ihre Zwecke auf die entsprechenden Teilmengen der Daten zugreifen können.

Um diesen Herausforderungen zu begegnen, entschied sich GO Project für Databricks aufgrund der einfachen Einrichtung mit serverlosen Workspaces, der nahtlosen Integration mit Cloud-Plattformen, der Governance-Funktionen von Unity Catalog und der Möglichkeit, Data Engineering, Analytics und KI auf einer einzigen Plattform zu vereinen. 
 

Modernisierung einer Datenarchitektur mit Databricks

Im Rahmen des „Databricks for Good“-Programms arbeitete GO Project über einen Zeitraum von drei Monaten mit zwei Delivery Solutions Architects (DSAs) und einem Projektmanager von Databricks zusammen, um eine moderne, unten dargestellte Datenarchitektur zu entwerfen und zu implementieren. 

Die Lösung basiert auf einer Medaillon-Architektur (Bronze, Silber, Gold), um eine skalierbare und vertrauenswürdige Grundlage für Analyse- und KI-gestützte Anwendungsfälle zu bieten. Rohdaten von Drittanbieter-APIs und AWS RDS MySQL wurden sowohl durch Open Source- als auch durch von Databricks verwaltete Features effizient erfasst. Dies ermöglichte ein schnelles Onboarding neuer Datenquellen, während die Pipelines bei wachsendem Datenvolumen resilient blieben. Die Datenqualität und -zuverlässigkeit in der Silver-Schicht wurde durch Pipeline-Expectations (unter Verwendung von Spark Declarative Pipelines) sichergestellt. Dies ermöglichte eine frühzeitige Erkennung nachgelagerter Datenprobleme und die Etablierung eines standardisierten Rahmens für die Datenqualität.

Schließlich wurden die Daten in der Gold-Ebene aggregiert, die als vertrauenswürdige Quelle für die nachgelagerte Nutzung diente. Metrik Views ermöglichten zentralisierte Dashboards, die den Zugang zu Erkenntnissen für verschiedene Teams demokratisierten und die Abhängigkeit von manuellem Reporting oder speziellem technischen Support beseitigten. Gleichzeitig ermöglichten diese kuratierten Datasets personalisierte, KI-generierte Newsletter, ohne dass zentrale Geschäftsmetriken neu definiert oder parallele Datensilos erstellt werden mussten.

Als Grundlage für all dies diente Unity Catalog als einheitliche Governance-Schicht für alle Daten- und KI-Assets, was es GO Project ermöglichte, Self-Service-Analytics- und KI-Projekte souverän zu Scale.

Lösungen und Ergebnisse

Die folgenden Abschnitte beleuchten die Lösungen, die im Rahmen des „Databricks for Good“-Engagements bereitgestellt wurden, und die messbaren Ergebnisse, die für das GO Project erzielt wurden.

Zentrales KPI-Dashboard

Eine der größten Herausforderungen für das GO Project war das Fehlen einer einzigen, zugänglichen Übersicht über die Performance der Organisation im gesamten Partnernetzwerk. Wichtige Kennzahlen waren über mehrere Datenquellen verteilt gespeichert, sodass die Teams die Informationen manuell sammeln und interpretieren mussten. Dieser Prozess war sowohl zeitaufwändig als auch anfällig für Inkonsistenzen. 

Im Rahmen des „Databricks for Good“-Programms arbeitete Databricks mit GO Project zusammen, um dieses fragmentierte Reporting-Modell in ein zentralisiertes, automatisiertes KPI-Dashboard umzuwandeln, das auf einer Data-Lakehouse-Architektur basiert.

Anstatt sich auf statische Exporte oder manuelle Updates zu verlassen, wurden neue Daten automatisch erfasst und verarbeitet, sodass Dashboards Änderungen nahezu in Echtzeit widerspiegeln konnten. Dadurch wurde sichergestellt, dass die Führungs- und Außendienstteams immer mit den aktuellsten verfügbaren Informationen arbeiteten. Das Endergebnis war eine einheitliche „Source of Truth“, die operative Daten aus dem gesamten Unternehmen in einem aktuellen Dashboard zusammenführt.

Dieses Dashboard nutzt die folgenden wichtigen Databricks-Features:

• Metric Views zur Standardisierung von KPI-Definitionen und zur Gewährleistung konsistenter Berechnungen in allen Berichten und Dashboards. Das GO Project muss keine SQL-Snippets mehr versenden, in der Hoffnung, die WHERE-Klausel korrekt zu formulieren.
• AI/BI Dashboards zur Erstellung von intuitiven Drag-and-drop-Visualisierungen, die auf die operativen Bedürfnisse des GO Project zugeschnitten sind.
• Databricks One , um Geschäftsanwendern zu ermöglichen, KI/BI-Dashboards sicher zu nutzen und mit ihnen zu interagieren, ohne direkten Zugriff auf den Databricks workspace oder die zugrunde liegenden Datasets zu benötigen.

Als Ergebnis erzielte das GO Project die folgenden geschäftlichen und technischen Ergebnisse: 

• Operative Effizienz: Verkürzte Berichtszyklen von Tagen auf Minuten. So können Benutzer den Zustand regionaler Metriken bei Bedarf überwachen, anstatt auf E-Mail-Berichte zu warten.
• Schnelle Produktivität und rascher Erkenntnisgewinn: Ermöglichte es Teammitgliedern, mithilfe des Data Science Agent schnell komplexe analytische Abfragen zu verfassen und zu iterieren, was die Gewinnung von Erkenntnissen beschleunigt, ohne dass umfassende SQL-Kenntnisse erforderlich sind.
• Skalierbare Berichtsgrundlage: Geringere Abhängigkeit von einmaligen Ad-hoc-Berichten durch die Schaffung einer standardisierten Berichtsgrundlage direkt in der Databricks Data Intelligence Platform.

Insgesamt lieferte das konsolidierte KPI-Dashboard dem GO Project zeitnahe, umsetzbare Einblicke in die Outreach-Performance. Mit Einblicken in Key Metriken in nahezu Echtzeit kann die Organisation schneller reagieren, Ressourcen effektiver zuweisen und letztendlich ihre Fähigkeit stärken, zu verhindern, dass weitere Kinder Opfer systemischer Tragödien werden.

Personalisierte, KI-generierte Spenderansprache

Nachdem mit dem zentralisierten KPI-Dashboard eine datengesteuerte Performance-Übersicht geschaffen war, konzentrierte sich das GO Project darauf, diese Erkenntnisse durch eine effektivere Einbindung der Stakeholder umzusetzen. Das GO Project wollte zeitnahe und personalisierte Inhalte in großem Scale produzieren, um Spender mit Daten anzusprechen, die auf ihre lokale Community zugeschnitten sind.

Zuvor verließ sich das GO Project auf einen größtenteils manuellen Prozess. Die Daten mussten für jeden Stakeholder einzeln aus einer MySQL-Datenbank extrahiert und dann von Hand formatiert und in die Kommunikation eingeflochten werden, was es schwierig machte, die Botschaften häufig auf alle potenziellen Interessenten zuzuschneiden.

Im Rahmen der Initiative „Databricks for Good“ entwickelte und implementierte das Team ein automatisiertes System zur Erstellung personalisierter, KI-gestützter Newsletter direkt aus kuratierten Datensätzen auf der Databricks Data Intelligence Platform. Durch die Kombination von verwalteten Daten mit integrierten GenAI-Funktionen wandelte die Lösung operative Metriken mit minimalem menschlichen Eingriff in für Stakeholder aufbereitete Narrative um.

Für dieses Deliverable wurden die folgenden Key Databricks-Features verwendet:

• Databricks Notebooks und Databricks AI Functions (ai_query) zur dynamischen Erstellung von stakeholderspezifischen narrativen Zusammenfassungen basierend auf Notebook-Widgets (zur Steuerung der Segmentierungslogik), wodurch manuelle Konfigurationen und benutzerdefinierte Skripte vermieden werden.
• Foundation Model APIs, um GenAI direkt von der Datenplattform zu integrieren, was die Inhaltsgenerierung parallel zur Datenaufbereitung und -transformation ermöglicht.
• Unity Catalog Volumes zur sicheren Speicherung von unstrukturierten, KI-generierten Newsletter-Ausgaben als PDFs im Cloud-Speicher, was die nachgelagerte Verteilung und den Zugriff vereinfacht.

Daraus ergaben sich die folgenden geschäftlichen und technischen Ergebnisse für das GO-Projekt: 

• Beschleunigte Inhaltserstellung: Die Erstellung von Entwürfen für personalisierte Spender-Markt-Snapshots dauert jetzt nur noch Sekunden statt Tage. So kann sich das Marketingteam von GO Project auf die Verfeinerung und das Storytelling konzentrieren, anstatt Inhalte manuell zu erstellen.
• Wegfall der manuellen Datenaggregation: Das Team muss keine monatlichen Wirkungsdaten mehr aus mehreren Systemen abrufen. Stattdessen können Benutzer einen Stakeholder auswählen, und vorkonfigurierte Widgets filtern automatisch die relevanten Daten und generieren personalisierte Inhalte mithilfe der Funktion ai_query.
• Skalierbares, datengesteuertes Spendermarketing: Die enge Integration von Notebooks, dem Data Science Agent und vertrauenswürdigen Datenpipelines ermöglichte es dem GO Project, schnell auf lokale Märkte zugeschnittene Produkte für das Spendermarketing zu entwickeln. Fundraising-Teams können jetzt bei Bedarf individuelle, datengestützte Berichte für alle US-Regionen in einem Bruchteil der Zeit erstellen, die zuvor für die Erstellung eines einzigen Berichts erforderlich war.

Zusammen ermöglichen diese Funktionen es GO Project, über die statische Berichterstattung hinauszugehen und zu personalisiertem, KI-gestütztem Storytelling überzugehen, wodurch die Beziehungen zu den Stakeholdern gestärkt und die Sichtbarkeit und Wirkung der Mission erhöht werden.

In dieser Anfangsphase setzte die Lösung auf Databricks AI Functions, um Newsletter-Inhalte zu generieren. Zukünftig plant das GO Project, Agent Bricks zu nutzen, um domänenspezifische Agenten einzuführen, die für verschiedene Abschnitte der Newsletter verantwortlich sind. Dieser Ansatz wird den Aufwand für das Prompt-Tuning weiter reduzieren, die Konsistenz der Ergebnisse verbessern und eine skalierbarere Optimierung des zugrunde liegenden großen Sprachmodells (LLM) ermöglichen.

Auswirkungen und Ergebnisse

Durch das Programm „Databricks for Good“ hat GO Project seine Datenkapazitäten von einer uneinheitlichen Berichterstattung in eine moderne, skalierbare Daten- und KI-Grundlage umgewandelt, die auf der Databricks Data Intelligence Platform aufbaut.

Corey Vaudo, Chief Data and Information Officer des Global Orphan Project, teilte die folgende Perspektive auf die Partnerschaft mit: 

„Der All-in-One-Ansatz von Databricks ist für ein kleines Team unserer Größe ideal. Anstatt Zeit damit zu verbringen, verschiedene Tools zu erlernen und miteinander zu verketten, konzentrieren wir uns auf die anstehenden Probleme und sind zuversichtlich, dass die von uns benötigten Features bereits in dem von uns gewählten Tool vorhanden sind. Wir freuen uns auf die zukünftige Zusammenarbeit mit Databricks bei weiteren Projekten.“

Wenn Sie eine gemeinnützige Organisation sind oder eng mit gemeinnützigen Organisationen zusammenarbeiten und erfahren möchten, wie Databricks als Kraftmultiplikator für soziale Wirkung dienen kann, kontaktieren Sie uns bitte unter [email protected].

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag