por Kacey Hertan
A missão do Grupo Banco Mundial é melhorar a prosperidade compartilhada em todo o planeta. Alcançar essa missão depende de transformar vastas quantidades de dados em insights acionáveis. Com dezenas de milhões de documentos em seus repositórios de conhecimento e três milhões de downloads de publicações por mês, o desafio é tornar esse conhecimento localizável e utilizável em escala, para capacitar equipes a impulsionar um maior impacto global.
Para fazer isso, o Grupo Banco Mundial construiu uma plataforma unificada de dados e IA na Databricks, reunindo dados operacionais estruturados e repositórios de documentos não estruturados pela primeira vez, permitindo decisões mais informadas com muito menos pesquisa manual.
O Grupo Banco Mundial opera fluxos de dados estruturados e não estruturados que nunca foram integrados. No lado estruturado, bancos de dados legados on-premises dificultam o acompanhamento dos requisitos de relatórios em evolução. No lado não estruturado, pesquisadores e analistas tinham que pesquisar manualmente em enormes bibliotecas de documentos para responder a perguntas básicas.
"Como eu procuro um projeto que foi executado na Índia em 1960? Quais são as armadilhas disso? O que deu certo?", diz Suresh Kaudi, um líder de dados e IA no Grupo Banco Mundial. "Nós não tínhamos ideia. Bibliotecários, pesquisadores iam e puxavam toneladas e toneladas de documentos, tentavam lê-los, tentavam dar sentido a eles."
Esse gargalo de conhecimento atrasou a tomada de decisões e limitou a capacidade da organização de extrair lições aprendidas em seu portfólio global.
O Grupo Banco Mundial iniciou sua jornada na Databricks com um objetivo focado: modernizar sua plataforma de dados e migrar conteúdo estruturado de sistemas legados. À medida que esse esforço amadureceu, a equipe identificou a Databricks como a plataforma capaz de resolver esse desafio.
Como Kaudi coloca, o Unity Catalog foi um ponto de virada para a equipe. "O Unity Catalog foi um divisor de águas para nós. Era uma única interface unificada onde podíamos governar nossos dados", diz Kaudi. A partir daí, os Volumes da Databricks deram à equipe um caminho escalável para gerenciar conteúdo de documentos não estruturados ao lado de dados estruturados na mesma plataforma. O Genie permitiu que usuários de negócios fizessem perguntas em linguagem natural contra dados estruturados sem escrever SQL ou depender de equipes técnicas. O AI Gateway da Databricks forneceu controle centralizado sobre o acesso do agente, gerenciamento de custos e segurança à medida que o sistema se tornava mais complexo.
Com a tecnologia crítica em vigor, o Grupo Banco Mundial estava pronto para iniciar a fase mais impactante da implementação de uma solução que daria vida à sua visão de democratização de dados. A implementação do Grupo Banco Mundial evoluiu em estágios, cada um construindo sobre o anterior. A equipe começou migrando dados operacionais para a Databricks e usando o Unity Catalog para estabelecer governança sobre conteúdo estruturado. Isso lançou as bases para o scorecard corporativo da organização, uma ferramenta de responsabilidade pública.
"É mais focado em resultados do que em entregas", diz Kaudi. "Em vez de dizer quantas milhas de estrada colocamos, começou a medir quantos empregos demos, quanta conectividade foi estabelecida." Quando as primeiras implantações do Genie retornaram resultados inconsistentes para consultas estruturadas, a equipe implementou uma camada de métricas para garantir que obtivessem respostas determinísticas, críticas para relatórios financeiros e operacionais.
"No conteúdo estruturado, você precisa de uma resposta. Qual é o meu saldo bancário? Eu não quero ver um número diferente toda vez", explica Kaudi. A equipe então se voltou para o conteúdo não estruturado. Usando Volumes da Databricks e busca vetorial, eles indexaram documentos de projetos para criar uma capacidade de geração aumentada de recuperação que pudesse responder a consultas em linguagem natural e, assim, economizar pesquisa manual.
Isso criou um novo problema. Cada instância do Genie é construída contra uma camada de métricas específica, o que significa que um Genie separado é necessário para cada domínio de dados. Uma pergunta que abrange dois domínios, por exemplo, "qual é o meu compromisso na Índia e quais são minhas ações?", exigiria consultar dois Genies separados.
A solução foi uma camada agêntica por cima. O Grupo Banco Mundial construiu uma única interface apoiada por um classificador de intenção, um classificador de domínio e um decompositor de consulta. Quando uma pergunta chega, o classificador de intenção identifica o que está sendo perguntado, o classificador de domínio determina qual agente ou agentes precisam ser chamados, e o decompositor de consulta divide perguntas complexas de várias partes em componentes e roteia cada um para o lugar certo. Os resultados são montados e retornados como uma única resposta.
Não é diferente do design tradicional de web de vários níveis, com front-end, camada de aplicação, lógica de negócios e banco de dados, atualizado para um contexto de IA. O usuário vê uma interface, mas por trás dela, qualquer número de agentes Genie específicos do domínio pode estar em execução, juntamente com o agente RAG para recuperação de documentos e um agente de visualização que controla como os resultados são exibidos. Se uma consulta retornar dados como um gráfico de barras e o usuário quiser um gráfico de pizza em vez disso, o agente de visualização lida com isso sem reexecutar a consulta subjacente.
Antes de expandir o sistema amplamente, a equipe realizou sessões de feedback estruturadas com partes interessadas externas, incluindo ONGs, funcionários públicos e representantes do governo nas regiões da África e Ásia Oriental e Pacífico. Eles usaram IA/BI para capturar entradas de consulta, decisões de roteamento e saídas, em seguida, analisaram os resultados para entender quais perguntas os usuários estavam realmente fazendo e onde existiam lacunas.
"Tivemos que coletar o feedback externamente também", diz Kaudi. Como o Grupo Banco Mundial está ajudando-os? Que tipo de perguntas eles fazem? Para que possamos ser mais proativos."
A plataforma agora suporta três milhões de downloads de documentos por mês através de uma camada de pesquisa e síntese alimentada por IA, com metade desse tráfego vindo de países de baixa e média renda. O protótipo de feedback do usuário abrangendo múltiplas regiões globais foi construído e implantado em aproximadamente dois dias e meio.
"Imagine fazer isso com um projeto", diz Kaudi. "Dois anos atrás, eu teria imaginado fazer isso em um período de dois anos. Mas isso foi feito rapidamente, na hora, para obter o valor real disso."
O scorecard corporativo foi entregue na plataforma Databricks. Analistas agora podem recuperar dados valiosos e contexto em uma única consulta, eliminando a necessidade de pesquisa manual de documentos. O Grupo Banco Mundial está trabalhando para reunir tudo isso em seus projetos emblemáticos Knowledge 360 e Data 360. O objetivo é reunir o Grupo Banco Mundial, IFC, IDA e MIGA através de iniciativas emblemáticas para que o conhecimento seja acessível a qualquer parte interessada, independentemente de qual instituição o gerou.
As apostas de longo prazo vão além da eficiência operacional.
Veja como a Databricks ajuda organizações a unificar dados, governar IA e transformar conhecimento em ação em escala global.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.