Transformando percepções em impacto com a Databricks e o Global Orphan Project

A Databricks fez uma parceria com o Global Orphan (GO) Project, uma organização sem fins lucrativos que conecta famílias a recursos e comunidades que podem evitar que crianças caiam em tragédias sistêmicas. 

Por meio do Databricks for Good, uma iniciativa que oferece serviços profissionais pro bono para impacto social, a equipe da Databricks ajudou o GO Project a fortalecer sua base de dados e a acelerar sua missão e impacto.

Desafios e limitações de dados

Em 2025, os parceiros locais do GO Project atenderam quase 122 mil crianças em 43 estados dos EUA e, internacionalmente, 53 mil crianças em 6 países​​. Com mais de 1.600 agências parceiros ativas nos EUA enviando solicitações e 8.200 equipes de resposta respondendo quase em tempo real, os dados estavam armazenados em vários sistemas, o que tornava a geração de relatórios um desafio. Como resultado, perguntas cruciais, como “Quanto custa (ou seja, dados financeiros) para facilitar cada solicitação (ou seja, dados da plataforma)?" eram frequentemente calculadas fora dos sistemas de relatórios automatizados em planilhas, tornando a disponibilidade e a consistência dos dados menos eficientes do que poderiam ser.

O GO Project precisava de uma ferramenta que pudesse extrair facilmente dados de várias fontes para uma única camada de dados confiável, a fim de impulsionar os relatórios e aumentar a consistência e a disponibilidade geral dos dados. Ao consolidar os dados em uma plataforma de dados unificada, também era preciso garantir que a governança de dados, o acesso e as permissões estivessem totalmente integrados, para que todos os tipos de usuários, desde a equipe interna e parceiros de agências até voluntários de igrejas, tivessem acesso a subconjuntos de dados apropriados para seus fins.

Para enfrentar esses desafios, o GO Project selecionou a Databricks pela facilidade de configuração com workspaces serverless, integração perfeita com plataformas de nuvem, recursos de governança do Unity Catalog e capacidade de unificar engenharia de dados, analytics e IA em uma única plataforma. 
 

Modernização de uma arquitetura de dados com o Databricks

Durante o projeto do Databricks for Good, o GO Project fez uma parceria com dois arquitetos de soluções de entrega (DSAs) da Databricks e um gerente de projetos da Databricks por um período de três meses para projetar e implementar uma arquitetura de dados moderna, conforme ilustrado abaixo. 

A solução foi projetada em torno de uma arquitetura medalhão (bronze, prata, ouro) para fornecer uma base escalável e confiável tanto para casos de uso de analítica quanto de IA. Dados brutos de APIs de terceiros e do AWS RDS MySQL foram ingeridos de forma eficiente por meio de recursos de código aberto e gerenciados pela Databricks, permitindo a integração rápida de novas fontes de dados e mantendo os pipelines resilientes à medida que os volumes cresciam. A qualidade e a confiabilidade dos dados na camada prata foram garantidas por meio de expectativas de pipeline (usando Spark Declarative Pipelines), permitindo a identificação precoce de problemas de dados downstream e estabelecendo um framework padronizado de qualidade de dados.

Finalmente, os dados foram agregados na camada ouro (gold layer), que serviu como a fonte confiável para consumo posterior. Visualizações de métricas alimentavam painéis centralizados que democratizavam o acesso a percepções para diferentes equipes, eliminando a dependência de relatórios manuais ou de suporte técnico especializado. Ao mesmo tempo, esses datasets selecionados permitiram a criação de newsletters personalizadas e geradas por AI sem redefinir as principais métricas de negócios ou criar silos de dados paralelos.

Na base de tudo isso, o Unity Catalog serviu como uma camada de governança unificada para todos os ativos de dados e IA, permitindo que o GO Project escalasse com confiança projetos de analítica self-service e IA.

Soluções e resultados

As seções a seguir destacam as soluções fornecidas por meio do engajamento do Databricks for Good e os resultados mensuráveis que elas alcançaram para o GO Project.

Dashboard de KPIs centralizado

Um dos principais desafios enfrentados pelo GO Project era a falta de uma única e acessível view do desempenho organizacional em toda a sua rede de parceiros. As principais métricas eram armazenadas em várias fontes de dados, exigindo que as equipes coletassem e interpretassem as informações manualmente. Esse processo era demorado e propenso a inconsistências. 

Por meio do programa Databricks for Good, a Databricks fez uma parceria com o GO Project para transformar esse modelo de relatórios fragmentado em um painel de KPI centralizado e automatizado, construído em uma arquitetura de data lakehouse.

Em vez de depender de exportações estáticas ou atualizações manuais, novos dados eram ingeridos e processados automaticamente, permitindo que os dashboards refletissem as alterações de forma muito mais próxima do tempo real. Isso garantia que as equipes de liderança e de campo estivessem sempre trabalhando com as informações mais atuais disponíveis. O resultado final foi uma fonte única da verdade que reúne dados operacionais de toda a organização em um painel atualizado.

Este dashboard utiliza os seguintes recursos principais do Databricks:

• Visualizações de métricas para padronizar as definições de KPI e garantir cálculos consistentes em todos os relatórios e painéis. O GO Project não precisa mais enviar trechos de SQL, na esperança de acertar a cláusula WHERE.
• AI/BI Dashboards para permitir a criação de visualizações intuitivas de arrastar e soltar, personalizadas para as necessidades operacionais do GO Project.
• Databricks One para permitir que os usuários de negócios consumam e interajam com segurança com os dashboards de AI/BI sem exigir acesso direto ao workspace do Databricks ou aos datasets subjacentes.

Como resultado, o GO Project alcançou os seguintes resultados de negócios e técnicos: 

• Eficiência operacional: Ciclos de relatórios reduzidos de dias para minutos, permitindo que os usuários monitorem a saúde das métricas regionais sob demanda em vez de esperar por relatórios por email.
• Produtividade e aprendizado rápidos: Permitiu que os membros da equipe criassem e iterasssem rapidamente em complexas queries analíticas usando o Agente de Ciência de Dados, acelerando a geração de insights sem exigir profundo conhecimento em SQL.
• Base escalável para relatórios: Redução da dependência de relatórios únicos e ad hoc, estabelecendo uma base padronizada para relatórios diretamente na Databricks Data Intelligence Platform.

No geral, o painel de KPI consolidado forneceu ao GO Project percepções oportunas e acionáveis sobre o desempenho do alcance. Com visibilidade quase em tempo real das principais métricas, a organização pode responder mais rápido, alocar recursos de forma mais eficaz e, por fim, fortalecer sua capacidade de evitar que mais crianças caiam em tragédias sistêmicas.

Contato personalizado com doadores gerado por IA

Com uma visão de desempenho data-driven por meio do painel de KPI centralizado, o GO Project voltou seu foco para ativar essas percepções por meio de um envolvimento mais eficaz das partes interessadas. O GO Project buscou produzir conteúdo oportuno e personalizado em escala, em um esforço para atrair doadores usando dados personalizados para a comunidade local deles.

Anteriormente, o GO Project dependia de um processo em grande parte manual. Os dados precisavam ser extraídos individualmente de um banco de dados MySQL para cada parte interessada, depois formatados e inseridos manualmente nas comunicações, o que dificultava a adaptação frequente das mensagens para todos os clientes em potencial.

Por meio da iniciativa Databricks for Good, a equipe projetou e implementou um sistema automatizado para gerar newsletters personalizadas e alimentadas por IA diretamente de conjuntos de dados selecionados na Databricks Data Intelligence Platform. Ao combinar dados governados com recursos de GenAI integrados, a solução transformou métricas operacionais em narrativas prontas para as partes interessadas com intervenção humana mínima.

Para este entregável, foram usados os seguintes recursos principais do Databricks:

• Databricks Notebooks e Databricks AI Functions (ai_query) para gerar dinamicamente resumos narrativos específicos para cada parte interessada com base em widgets de notebook (para conduzir a lógica de segmentação), evitando configurações manuais e scripts personalizados.
• Foundation Model APIs para integrar a GenAI diretamente da plataforma de dados, permitindo a geração de conteúdo juntamente com a preparação e transformação de dados.
• Volumes do Unity Catalog para armazenar com segurança saídas de newsletter não estruturadas e geradas por AI como PDFs no armazenamento em cloud, simplificando a distribuição e o acesso downstream.

Isso resultou nos seguintes resultados de negócios e técnicos para o GO Project: 

• Criação de conteúdo acelerada: A geração de rascunhos personalizados de Snapshots do mercado de doadores agora ocorre em segundos , em vez de dias, permitindo que a equipe de marketing do GO Project se concentre no refinamento e no storytelling, em vez da criação manual de conteúdo.
• Eliminação da agregação manual de dados: A equipe não precisa mais extrair dados de impacto mensais de vários sistemas. Em vez disso, os usuários podem selecionar uma parte interessada, e os widgets pré-configurados filtram automaticamente os dados relevantes e geram conteúdo personalizado usando a função ai_query.
• Marketing escalável e data-driven para doadores: A integração sólida de notebooks, o Data Science Agent e pipelines de dados confiáveis permitiu que o GO Project construísse rapidamente produtos de marketing para doadores personalizados para os mercados locais. As equipes de captação de recursos agora podem gerar relatórios personalizados e baseados em dados sob demanda em todas as regiões geográficas dos EUA, em uma fração do tempo que antes era necessário para produzir um único relatório.

Juntos, esses recursos permitem que o GO Project vá além dos relatórios estáticos e passe para o storytelling personalizado e orientado por IA, fortalecendo assim o relacionamento com as partes interessadas e, ao mesmo tempo, ampliando a visibilidade e o impacto de sua missão.

Nesta fase inicial, a solução dependia das Funções de Databricks AI para gerar o conteúdo das newsletters. Olhando para o futuro, o GO Project planeja aproveitar o Agent Bricks para introduzir agentes específicos de domínio responsáveis por diferentes seções das newsletters. Essa abordagem reduzirá ainda mais a sobrecarga de ajuste de prompts, melhorará a consistência entre os resultados e permitirá uma otimização mais escalável do modelo de linguagem grande (LLM) subjacente.

Impacto e resultados

Por meio do programa Databricks for Good, o GO Project transformou suas capacidades de dados de relatórios díspares em uma base moderna e escalável de dados e AI construída na Databricks Data Intelligence Platform.

Corey Vaudo, Diretor de Dados e Informação do Global Orphan Project, compartilhou a seguinte perspectiva sobre a parceria: 

“A natureza tudo-em-um da Databricks é ótima para uma equipe pequena do nosso tamanho. Em vez de gastar tempo aprendendo e encadeando várias ferramentas, estamos focados nos problemas em questão e confiantes de que os recursos de que precisamos já existem na ferramenta que selecionamos. Estamos ansiosos para trabalhar com o Databricks em mais projetos no futuro.”

Se você é uma organização sem fins lucrativos ou trabalha em estreita colaboração com organizações sem fins lucrativos e tem interesse em saber como a Databricks pode servir como um multiplicador de força para o impacto social, entre em contato conosco em [email protected].

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original