von Kacey Hertan
Die Mission der Weltbankgruppe ist die Verbesserung des gemeinsamen Wohlstands auf der ganzen Welt. Die Erreichung dieser Mission hängt davon ab, riesige Datenmengen in umsetzbare Erkenntnisse umzuwandeln. Bei zig Millionen Dokumenten in ihren Wissensspeichern und drei Millionen monatlichen Publikations-Downloads besteht die Herausforderung darin, dieses Wissen skalierbar auffindbar und nutzbar zu machen, um Teams zu befähigen, größere globale Auswirkungen zu erzielen.
Zu diesem Zweck baute die Weltbankgruppe eine einheitliche Daten- und KI-Plattform auf Databricks auf, die strukturierte operative Daten und unstrukturierte Dokumentenarchive zum ersten Mal zusammenführt und fundiertere Entscheidungen mit weitaus weniger manueller Recherche ermöglicht.
Die Weltbankgruppe betreibt sowohl strukturierte als auch unstrukturierte Datenströme, die noch nie integriert wurden. Auf der strukturierten Seite machen veraltete On-Premises-Datenbanken es schwierig, mit den sich entwickelnden Berichtsanforderungen Schritt zu halten. Auf der unstrukturierten Seite mussten Forscher und Analysten riesige Dokumentenbibliotheken manuell durchsuchen, um grundlegende Fragen zu beantworten.
„Wie finde ich ein Projekt, das 1960 in Indien durchgeführt wurde? Was sind die Fallstricke dabei? Was lief gut?“, sagt Suresh Kaudi, ein Daten- und KI-Leiter bei der Weltbankgruppe. „Wir hatten keine Ahnung. Bibliothekare, Forscher gingen hinein und zogen Tonnen von Dokumenten heraus, versuchten, sie zu lesen, versuchten, daraus Sinn zu machen.“
Diese Wissensengpass verlangsamte die Entscheidungsfindung und schränkte die Fähigkeit der Organisation ein, aus ihren globalen Portfolios Lehren zu ziehen.
Die Weltbankgruppe begann ihre Databricks-Reise mit einem klaren Ziel: die Modernisierung ihrer Datenplattform und die Migration strukturierter Inhalte von Altsystemen. Als diese Bemühungen reiften, identifizierte das Team Databricks als die Plattform, die diese Herausforderung lösen kann.
Wie Kaudi es ausdrückt, war Unity Catalog ein Wendepunkt für das Team. „Unity Catalog war ein Wendepunkt für uns. Es war eine einzige einheitliche Schnittstelle, über die wir unsere Daten verwalten konnten“, sagt Kaudi. Von dort aus boten Databricks Volumes dem Team einen skalierbaren Weg für die Verwaltung unstrukturierter Dokumenteninhalte neben strukturierten Daten auf derselben Plattform. Genie ermöglichte es Geschäftsanwendern, Fragen in natürlicher Sprache zu strukturierten Daten zu stellen, ohne SQL schreiben oder sich auf technische Teams verlassen zu müssen. Das Databricks AI Gateway bot eine zentrale Kontrolle über den Agentenzugriff, das Kostenmanagement und die Sicherheit, als das System komplexer wurde.
Mit der kritischen Technologie an Ort und Stelle war die Weltbankgruppe bereit, die wirkungsvollste Phase der Implementierung einer Lösung zu beginnen, die ihre Vision der Daten-Demokratisierung zum Leben erwecken würde. Die Implementierung der Weltbankgruppe entwickelte sich in Stufen, wobei jede auf der vorherigen aufbaute. Das Team begann mit der Migration operativer Daten nach Databricks und nutzte Unity Catalog, um die Governance über strukturierte Inhalte zu etablieren. Dies legte den Grundstein für den Corporate Scorecard der Organisation, ein öffentlich zugängliches Rechenschaftstool.
„Es ist ergebnisorientierter als ergebnisorientiert“, sagt Kaudi. „Anstatt zu sagen, wie viele Kilometer Straße wir gebaut haben, begann es zu messen, wie viele Arbeitsplätze wir geschaffen und wie viel Konnektivität hergestellt wurde.“ Als frühe Genie-Implementierungen inkonsistente Ergebnisse für strukturierte Abfragen lieferten, implementierte das Team eine Metrikschicht, um sicherzustellen, dass sie deterministische Antworten erhielten, was für die Finanz- und operative Berichterstattung unerlässlich ist.
„Bei strukturierten Inhalten brauchen Sie eine Antwort. Was ist mein Bankguthaben? Ich möchte nicht jedes Mal eine andere Zahl sehen“, erklärt Kaudi. Das Team wandte sich dann unstrukturierten Inhalten zu. Mithilfe von Databricks Volumes und Vektorsuche indizierten sie Projektunterlagen, um eine Retrieval-Augmented Generation-Fähigkeit zu schaffen, die auf natürlichsprachliche Abfragen reagieren und somit manuelle Suchen ersparen konnte.
Dies schuf dann ein neues Problem. Jede Genie-Instanz basiert auf einer spezifischen Metrikschicht, was bedeutet, dass für jede Daten-Domäne ein separates Genie benötigt wird. Eine Frage, die zwei Domänen überspannt, z. B. „Was ist mein Engagement in Indien und was sind meine Maßnahmen?“, würde die Abfrage von zwei separaten Genies erfordern.
Die Lösung war eine Agenten-Schicht darüber. Die Weltbankgruppe baute eine einzige Schnittstelle, die von einem Intent-Klassifikator, einem Domänen-Klassifikator und einem Query-Zersetzer unterstützt wurde. Wenn eine Frage eingeht, identifiziert der Intent-Klassifikator, was gefragt wird, der Domänen-Klassifikator bestimmt, welcher Agent oder welche Agenten aufgerufen werden müssen, und der Query-Zersetzer zerlegt komplexe mehrteilige Fragen in Komponenten und leitet jede an die richtige Stelle. Die Ergebnisse werden zusammengestellt und als eine einzige Antwort zurückgegeben.
Es ist nicht unähnlich dem traditionellen Multi-Tier-Webdesign, mit Front-End, Anwendungsschicht, Geschäftslogik und Datenbank, aktualisiert für einen KI-Kontext. Der Benutzer sieht eine Schnittstelle, aber dahinter können beliebig viele domänenspezifische Genie-Agenten laufen, zusammen mit dem RAG-Agenten für die Dokumentenabfrage und einem Visualisierungs-Agenten, der steuert, wie Ergebnisse angezeigt werden. Wenn eine Abfrage Daten als Balkendiagramm zurückgibt und der Benutzer stattdessen ein Tortendiagramm wünscht, übernimmt der Visualisierungs-Agent dies, ohne die zugrunde liegende Abfrage erneut auszuführen.
Bevor das System breit erweitert wurde, führte das Team strukturierte Feedback-Sitzungen mit externen Stakeholdern durch, darunter NGOs, Beamte und Regierungsvertreter aus den Regionen Afrika und Ostasien-Pazifik. Sie nutzten KI/BI, um Abfrageeingaben, Routing-Entscheidungen und Ausgaben zu erfassen, und analysierten dann die Ergebnisse, um zu verstehen, welche Fragen die Benutzer tatsächlich stellten und wo Lücken bestanden.
„Wir mussten das Feedback auch extern sammeln“, sagt Kaudi. Wie hilft die Weltbankgruppe ihnen? Welche Fragen stellen sie? Damit wir proaktiver sein können.“
Die Plattform unterstützt jetzt drei Millionen Dokumenten-Downloads pro Monat über eine KI-gestützte Such- und Synthese-Schicht, wobei die Hälfte dieses Traffics aus Ländern mit niedrigem und mittlerem Einkommen stammt. Der Prototyp für Benutzerfeedback, der mehrere globale Regionen umfasste, wurde in etwa zweieinhalb Tagen erstellt und bereitgestellt.
„Stellen Sie sich vor, Sie machen das mit einem Projekt“, sagt Kaudi. „Vor zwei Jahren hätte ich mir vorgestellt, dass es zwei Jahre dauert. Aber das wurde schnell, spontan erledigt, um den wirklichen Wert daraus zu ziehen.“
Die Corporate Scorecard wurde auf der Databricks-Plattform geliefert. Analysten können nun wertvolle Daten und Kontext in einer einzigen Abfrage abrufen, wodurch die Notwendigkeit manueller Dokumentensuche entfällt. Die Weltbankgruppe arbeitet daran, all dies in ihren Flaggschiff-Projekten Knowledge 360 und Data 360 zusammenzuführen. Ziel ist es, die Weltbankgruppe, IFC, IDA und MIGA durch Flaggschiff-Initiativen zusammenzubringen, damit Wissen für jeden Stakeholder zugänglich ist, unabhängig davon, welche Institution es generiert hat.
Die langfristigen Einsätze gehen über die operative Effizienz hinaus.
Erfahren Sie, wie Databricks Organisationen hilft, Daten zu vereinheitlichen, KI zu verwalten und Wissen im globalen Maßstab in Handlungen umzusetzen.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.