Convertir la información en impacto con Databricks y Global Orphan Project

Databricks se ha asociado con Global Orphan (GO) Project, una organización sin fines de lucro que conecta a las familias con recursos y comunidades que pueden evitar que los niños caigan en tragedias sistémicas. 

A través de Databricks for Good, una iniciativa que ofrece servicios profesionales pro bono para el impacto social, el equipo de Databricks ayudó a GO Project a fortalecer su base de datos y a acelerar su misión e impacto.

Desafíos y limitaciones de los datos

En 2025, los socios locales de GO Project atendieron a casi 122 000 niños en 43 estados de EE. UU. y a 53 000 niños a nivel internacional en 6 países​​. Con más de 1600 agencias asociadas activas en EE. UU. que envían solicitudes y 8200 equipos de respuesta que responden casi en tiempo real, los datos se alojaban en distintos sistemas, lo que dificultaba la generación de informes. Como resultado, preguntas críticas, como “¿Cuánto cuesta? (es decir, datos financieros) para facilitar cada solicitud (es decir, datos de la plataforma)?" a menudo se calculaban fuera de los sistemas de informes automatizados en hojas de cálculo, lo que hacía que la disponibilidad y la coherencia de los datos no fueran tan eficientes como podrían serlo.

GO Project necesitaba una herramienta que pudiera extraer datos fácilmente de numerosas fuentes en una única capa de datos confiable para impulsar la generación de informes y aumentar la coherencia y disponibilidad general de los datos. Al consolidar los datos en una plataforma de datos unificada, también necesitaba garantizar que el gobierno de datos, el acceso y los permisos estuvieran estrechamente integrados para que todos los tipos de usuarios, desde el personal interno hasta los socios de agencias y los voluntarios de la iglesia, tuvieran acceso a los subconjuntos de datos adecuados para sus fines.

Para abordar estos desafíos, GO Project seleccionó Databricks por su facilidad de configuración con workspaces sin servidor, la integración fluida con plataformas en la nube, las capacidades de gobierno de Unity Catalog y la capacidad de unificar la ingeniería de datos, el análisis y la IA en una única plataforma. 
 

Modernización de una arquitectura de datos con Databricks

Durante el proyecto Databricks for Good, GO Project se asoció con dos Delivery Solutions Architects (DSA) y un gerente de Proyectos de Databricks durante un período de tres meses para diseñar e implementar una arquitectura de datos moderna como la que se muestra a continuación. 

La solución se diseñó en torno a una arquitectura medallion (bronce, plata, oro) para proporcionar una base escalable y confiable tanto para el análisis como para los casos de uso impulsados por la IA. Los datos crudos de API de terceros y de AWS RDS MySQL se ingirieron de manera eficiente a través de funciones tanto de código abierto como administradas por Databricks, lo que permitió una rápida incorporación de nuevas fuentes de datos y mantuvo la resiliencia de los pipelines a medida que aumentaban los volúmenes. La calidad y confiabilidad de los datos en la capa de plata se garantizaron mediante las expectativas de los pipelines (utilizando Spark Declarative Pipelines), lo que permite la identificación temprana de problemas de datos posteriores y el establecimiento de un marco estandarizado de calidad de datos.

Finalmente, los datos se agregaron en la capa de oro, que sirvió como la fuente confiable para el consumo posterior. Las vistas de métricas potenciaron los dashboards centralizados que democratizaron el acceso a la información para diferentes equipos, eliminando la dependencia de los informes manuales o del soporte técnico especializado. Al mismo tiempo, estos conjuntos de datos curados permitieron crear boletines informativos personalizados y generados por IA sin tener que redefinir las métricas de negocio principales ni crear silos de datos paralelos.

Como base de todo esto, Unity Catalog sirvió como una capa de gobierno unificada para todos los activos de datos e IA, lo que permitió a GO Project escalar con confianza los análisis de autoservicio y los proyectos de IA.

Soluciones y resultados

Las siguientes secciones destacan las soluciones ofrecidas a través de la colaboración con Databricks for Good y los resultados medibles que lograron para GO Project.

Panel de KPI centralizado

Un desafío principal que enfrentaba GO Project era la falta de una vista única y accesible del rendimiento de la organización en toda su red de socios. Las métricas clave estaban almacenadas en múltiples fuentes de datos, lo que requería que los equipos recopilaran e interpretaran la información manualmente. Este proceso llevaba mucho tiempo y era propenso a la inconsistencia. 

A través del programa Databricks for Good, Databricks se asoció con GO Project para transformar este modelo de informes fragmentado en un dashboard de KPI centralizado y automatizado construido sobre una arquitectura de data lakehouse.

En lugar de depender de exportaciones estáticas o actualizaciones manuales, los nuevos datos se ingerían y procesaban automáticamente, lo que permitía que los dashboards reflejaran los cambios de forma mucho más cercana al tiempo real. Esto garantizó que los equipos de liderazgo y de campo siempre trabajaran con la información más actualizada disponible. El resultado final fue una fuente única de verdad que reúne los datos operativos de toda la organización en un dashboard actualizado.

Este dashboard aprovecha las siguientes características clave de Databricks:

• Metric Views para estandarizar las definiciones de KPI y garantizar cálculos coherentes en todos los informes y paneles. GO Project ya no necesita enviar fragmentos de SQL con la esperanza de que la cláusula WHERE sea la correcta.
• Paneles de AI/BI para permitir la creación de visualizaciones intuitivas de arrastrar y soltar adaptadas a las necesidades operativas de GO Project.
• Databricks One para permitir a los usuarios de negocio consumir e interactuar de forma segura con los dashboards de IA/BI sin necesidad de acceso directo al espacio de trabajo de Databricks o a los conjuntos de datos subyacentes.

Como resultado, GO Project logró los siguientes resultados empresariales y técnicos: 

• Eficiencia operativa: se redujeron los ciclos de generación de informes de días a minutos, lo que permite a los usuarios supervisar el estado de las métricas regionales bajo demanda en lugar de esperar los informes por correo electrónico.
• Productividad y aprendizaje rápidos: Permitió a los miembros del equipo crear e iterar rápidamente consultas analíticas complejas utilizando el Data Science Agent, lo que aceleró la generación de insights sin necesidad de tener amplios conocimientos de SQL.
• Base escalable para la generación de informes: Redujo la dependencia de informes únicos y ad hoc al establecer una base estandarizada para la generación de informes directamente en la Databricks Data Intelligence Platform.

En general, el dashboard de KPI consolidado proporcionó a GO Project información oportuna y procesable sobre el rendimiento de la divulgación. Con visibilidad casi en tiempo real de las métricas clave, la organización puede responder más rápido, asignar recursos de manera más eficaz y, en última instancia, fortalecer su capacidad para evitar que más niños caigan en tragedias sistémicas.

Comunicación personalizada con donantes generada por IA

Con una visión del rendimiento basada en datos a través del dashboard de KPI centralizado, GO Project centró su atención en activar esa información a través de un compromiso más eficaz con las partes interesadas. GO Project buscaba producir contenido oportuno y personalizado a gran escala en un esfuerzo por atraer a los donantes utilizando datos personalizados de su comunidad local.

Anteriormente, GO Project dependía de un proceso mayormente manual. Los datos debían extraerse individualmente de una base de datos MySQL para cada parte interesada, y luego se les daba formato y se incorporaban a las comunicaciones a mano, lo que dificultaba la personalización frecuente de los mensajes para todos los posibles donantes.

A través de la iniciativa Databricks for Good, el equipo diseñó e implementó un sistema automatizado para generar boletines informativos personalizados e impulsados por IA directamente desde conjuntos de datos curados en la Plataforma de Inteligencia de Datos de Databricks. Al combinar datos gobernados con capacidades de GenAI integradas, la solución transformó las métricas operativas en narrativas listas para las partes interesadas con una mínima intervención humana.

Para este entregable, se utilizaron las siguientes características clave de Databricks:

• Databricks Notebooks y las funciones de IA de Databricks (ai_query) para generar dinámicamente resúmenes narrativos específicos para las partes interesadas basados en widgets de notebook (para impulsar la lógica de segmentación), lo que evita la configuración manual y los scripts personalizados.
• API de modelos fundacionales para integrar GenAI directamente desde la plataforma de datos, lo que permite la generación de contenido junto con la preparación y transformación de datos.
• Volúmenes de Unity Catalog para almacenar de forma segura los resultados no estructurados de los boletines generados por IA como PDF en el almacenamiento en la nube, simplificando la distribución y el acceso posteriores.

Esto dio como resultado los siguientes resultados empresariales y técnicos para GO Project: 

• Creación de contenido acelerada: La generación de borradores de panoramas de mercado de donantes personalizados ahora se realiza en segundos en lugar de días, lo que permite al equipo de marketing de GO Project centrarse en el refinamiento y la narrativa en lugar de en la creación manual de contenido.
• Se eliminó la agregación manual de datos: el equipo ya no necesita extraer datos de impacto mensuales de múltiples sistemas. En su lugar, los usuarios pueden seleccionar una parte interesada y los widgets preconfigurados filtran automáticamente los datos relevantes y generan contenido personalizado utilizando la función ai_query.
• Marketing para donantes escalable y basado en datos: la estrecha integración de notebooks, el agente de ciencia de datos y las canalizaciones de datos confiables permitió a GO Project crear rápidamente productos de marketing para donantes adaptados a los mercados locales. Los equipos de recaudación de fondos ahora pueden generar informes personalizados y respaldados por datos bajo demanda en todas las geografías de EE. UU. en una fracción del tiempo que antes se necesitaba para producir un solo informe.

En conjunto, estas capacidades permiten a GO Project ir más allá de los informes estáticos y adentrarse en la narración de historias personalizada e impulsada por la IA, fortaleciendo así las relaciones con las partes interesadas al tiempo que amplifican la visibilidad y el impacto de su misión.

En esta fase inicial, la solución se basó en las funciones de IA de Databricks para generar el contenido del boletín informativo. De cara al futuro, GO Project tiene previsto aprovechar Agent Bricks para introducir agentes específicos de dominio responsables de las diferentes secciones de los boletines informativos. Este enfoque reducirá aún más la sobrecarga del ajuste de los prompts, mejorará la coherencia entre los resultados y permitirá una optimización más escalable del modelo de lenguaje grande (LLM) subyacente.

Impacto y resultados

A través del programa Databricks for Good, GO Project transformó sus capacidades de datos de informes dispares a una base moderna y escalable de datos e IA construida sobre la Databricks Data Intelligence Platform.

Corey Vaudo, Director de Datos e Información de Global Orphan Project, compartió la siguiente perspectiva sobre la asociación: 

“La naturaleza todo en uno de Databricks es ideal para un equipo pequeño de nuestro tamaño. En lugar de dedicar tiempo a aprender y a encadenar varias herramientas, nos centramos en los problemas que tenemos entre manos y confiamos en que las características que necesitamos ya existen en la herramienta que hemos seleccionado. Esperamos con interés trabajar con Databricks en más proyectos en el futuro”.

Si eres una organización sin fines de lucro o trabajas de cerca con ellas y te interesa saber cómo Databricks puede servir como un multiplicador de fuerza para el impacto social, comunícate con nosotros en [email protected].

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original