por Kacey Hertan
La misión del Grupo Banco Mundial es mejorar la prosperidad compartida en todo el planeta. Lograr esa misión depende de convertir vastas cantidades de datos en información útil. Con decenas de millones de documentos en sus repositorios de conocimiento y tres millones de descargas de publicaciones cada mes, el desafío es hacer que ese conocimiento sea localizable y utilizable a escala, para capacitar a los equipos a impulsar un mayor impacto global.
Para ello, el Grupo Banco Mundial construyó una plataforma unificada de datos e IA en Databricks, que reúne por primera vez datos operativos estructurados y repositorios de documentos no estructurados, permitiendo tomar decisiones más informadas con mucha menos investigación manual.
El Grupo Banco Mundial opera flujos de datos estructurados y no estructurados que nunca se han integrado. En el lado estructurado, las bases de datos heredadas locales dificultan el seguimiento de los requisitos de informes cambiantes. En el lado no estructurado, los investigadores y analistas tenían que buscar manualmente en enormes bibliotecas de documentos para responder preguntas básicas.
"¿Cómo busco un proyecto que se ejecutó en la India en 1960? ¿Cuáles son las dificultades? ¿Qué salió bien?", dice Suresh Kaudi, líder de datos e IA en el Grupo Banco Mundial. "No teníamos ni idea. Los bibliotecarios, los investigadores iban y sacaban toneladas de documentos, intentaban leerlos, intentaban darles sentido".
Ese cuello de botella de conocimiento ralentizó la toma de decisiones y limitó la capacidad de la organización para extraer lecciones aprendidas en su cartera global.
El Grupo Banco Mundial comenzó su andadura en Databricks con un objetivo enfocado: modernizar su plataforma de datos y migrar contenido estructurado de sistemas heredados. A medida que ese esfuerzo maduró, el equipo identificó a Databricks como la plataforma capaz de resolver este desafío.
Como lo expresa Kaudi, Unity Catalog fue un punto de inflexión para el equipo. "Unity Catalog fue un cambio radical para nosotros. Era una interfaz unificada donde podíamos gobernar nuestros datos", dice Kaudi. A partir de ahí, Databricks Volumes proporcionó al equipo una vía escalable para gestionar contenido de documentos no estructurados junto con datos estructurados en la misma plataforma. Genie permitió a los usuarios de negocios hacer preguntas en lenguaje natural sobre datos estructurados sin escribir SQL ni depender de equipos técnicos. El AI Gateway de Databricks proporcionó control centralizado sobre el acceso a los agentes, la gestión de costos y la seguridad a medida que el sistema se volvía más complejo.
Con la tecnología crítica en su lugar, el Grupo Banco Mundial estaba listo para comenzar la fase más impactante de implementación de una solución que daría vida a su visión de democratización de datos. La implementación del Grupo Banco Mundial evolucionó en etapas, cada una construyendo sobre la anterior. El equipo comenzó migrando datos operativos a Databricks y utilizando Unity Catalog para establecer la gobernanza sobre el contenido estructurado. Esto sentó las bases para el cuadro de mando corporativo de la organización, una herramienta de rendición de cuentas pública.
"Está más orientado a los resultados que a los productos", dice Kaudi. "En lugar de decir cuántas millas de carretera pusimos, comenzó a medir cuántos empleos dimos, cuánta conectividad se estableció". Cuando las primeras implementaciones de Genie arrojaron resultados inconsistentes para consultas estructuradas, el equipo implementó una capa de métricas para garantizar que obtuvieran respuestas deterministas, críticas para la presentación de informes financieros y operativos.
"En el contenido estructurado, necesitas una respuesta. ¿Cuál es mi saldo bancario? No quiero ver un número diferente cada vez", explica Kaudi. Luego, el equipo se centró en el contenido no estructurado. Utilizando Databricks Volumes y la búsqueda vectorial, indexaron documentos de proyectos para crear una capacidad de generación aumentada de recuperación que pudiera responder a consultas en lenguaje natural y así ahorrar búsquedas manuales.
Esto creó un nuevo problema. Cada instancia de Genie se basa en una capa de métricas específica, lo que significa que se necesita un Genie separado para cada dominio de datos. Una pregunta que abarca dos dominios, por ejemplo, "¿cuál es mi compromiso en la India y cuáles son mis acciones?", requeriría consultar dos Genies separados.
La solución fue una capa agéntica encima. El Grupo Banco Mundial construyó una interfaz única respaldada por un clasificador de intenciones, un clasificador de dominio y un descomponedor de consultas. Cuando llega una pregunta, el clasificador de intenciones identifica qué se está preguntando, el clasificador de dominio determina qué agente o agentes deben ser llamados, y el descomponedor de consultas desglosa las preguntas complejas de varias partes en componentes y las dirige al lugar correcto. Los resultados se ensamblan y se devuelven como una única respuesta.
No es muy diferente del diseño web tradicional de varios niveles, con front-end, capa de aplicación, lógica de negocio y base de datos, actualizado para un contexto de IA. El usuario ve una interfaz, pero detrás de ella, cualquier número de agentes Genie específicos del dominio puede estar ejecutándose, junto con el agente RAG para la recuperación de documentos y un agente de visualización que controla cómo se muestran los resultados. Si una consulta devuelve datos como un gráfico de barras y el usuario quiere un gráfico circular en su lugar, el agente de visualización se encarga de eso sin volver a ejecutar la consulta subyacente.
Antes de expandir el sistema ampliamente, el equipo realizó sesiones de retroalimentación estructurada con partes interesadas externas, incluidos ONG, funcionarios públicos y representantes gubernamentales de las regiones de África y Asia Oriental y el Pacífico. Utilizaron IA/BI para capturar las entradas de las consultas, las decisiones de enrutamiento y los resultados, y luego analizaron los resultados para comprender qué preguntas hacían realmente los usuarios y dónde existían brechas.
"Tuvimos que recopilar la retroalimentación externamente también", dice Kaudi. ¿Cómo les está ayudando el Grupo Banco Mundial? ¿Qué tipo de preguntas hacen? Para que podamos ser más proactivos".
La plataforma ahora admite tres millones de descargas de documentos por mes a través de una capa de búsqueda y síntesis impulsada por IA, y la mitad de ese tráfico proviene de países de ingresos bajos y medianos. El prototipo de retroalimentación de usuarios que abarca múltiples regiones globales se construyó y desplegó en aproximadamente dos días y medio.
"Imagina hacer esto con un proyecto", dice Kaudi. "Hace dos años, habría imaginado hacerlo en un lapso de dos años. Pero esto se hizo rápidamente, sobre la marcha, para obtener el valor real de ello".
El cuadro de mando corporativo se entregó en la plataforma Databricks. Los analistas ahora pueden recuperar datos valiosos y contexto en una sola consulta, eliminando la necesidad de búsqueda manual de documentos. El Grupo Banco Mundial está trabajando para unir todo esto en sus proyectos emblemáticos Knowledge 360 y Data 360. El objetivo es unir al Grupo Banco Mundial, la IFC, la IDA y la MIGA a través de iniciativas emblemáticas para que el conocimiento sea accesible para cualquier parte interesada, independientemente de la institución que lo haya generado.
Las apuestas a largo plazo van más allá de la eficiencia operativa.
Vea cómo Databricks ayuda a las organizaciones a unificar datos, gobernar la IA y convertir el conocimiento en acción a escala global.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.