Cómo Scottish Water hizo conversacionales sus datos de inversión de capital con Databricks Genie

En todo el programa de Inversión de Capital (CI) de Scottish Water, los equipos necesitan respuestas rápidas sobre el estado de los proyectos, el rendimiento financiero, los hitos de entrega y los riesgos. Esa información ya existía, pero encontrarla a menudo significaba navegar por un gran volumen de informes o depender de especialistas en datos para extraer la información correcta de las tablas subyacentes. Databricks Genie cambió eso. Hoy en día, los equipos de proyectos pueden hacer preguntas en inglés sencillo directamente en Microsoft Teams y recibir respuestas confiables en segundos.

El desafío: los datos estaban disponibles, pero no accesibles

La función de CI de Scottish Water no tenía escasez de datos. Tenía un problema de acceso.

En la práctica, esto se manifestó de varias maneras:

• Ya existía un gran volumen de informes, pero el conocimiento y la visibilidad limitados a menudo conducían a la duplicación de esfuerzos, creando nuevos informes para responder a preguntas que los informes existentes ya habían resuelto.
• Los datos valiosos seguían siendo difíciles de acceder para los usuarios no técnicos, lo que ralentizaba la toma de decisiones en toda la función.

El resultado era predecible: los analistas pasaban tiempo reproduciendo trabajo que ya existía, los equipos de entrega esperaban a que se extrajeran las cifras y los datos importantes del proyecto no siempre llegaban a las personas responsables de tomar las decisiones cotidianas.

La solución: una interfaz conversacional para datos de proyectos gobernados

SPARK es la marca interna de Scottish Water para la interfaz de lenguaje natural de los datos de su cartera de proyectos, creada sobre Genie.

En lugar de buscar el informe correcto, los usuarios pueden hacer una pregunta y recibir una respuesta basada en datos gobernados. SPARK lleva esta experiencia directamente a Microsoft Teams, donde los equipos ya trabajan, eliminando la necesidad de cambiar a una nueva interfaz.

Los usuarios envían una pregunta en Teams a través de Copilot, que luego es orquestada por un agente supervisor de Copilot, el cual se conecta al espacio de Databricks Genie a través del Model Context Protocol (MCP). Genie traduce la pregunta en una consulta, la ejecuta con datos gobernados en Unity Catalog y devuelve el resultado al usuario.

De la búsqueda de informes a las preguntas directas

Con SPARK, los equipos pueden hacer preguntas comerciales prácticas como:

• Muestra una lista de todos los riesgos abiertos del proyecto que vencen en agosto, incluyendo el nombre del proyecto, la descripción del riesgo, el propietario del riesgo y la fecha de vencimiento del riesgo.
• ¿Cuál es la puntuación de riesgo activa actual para el proyecto X?
• Para el proyecto X, ¿cuál es el riesgo con la mayor exposición al riesgo actual? Proporciona el nombre del riesgo, la descripción y el valor de exposición actual.
• ¿Quién es el futuro contratista para el proyecto X?

Cada pregunta devuelve una respuesta inmediata derivada de las vistas de métricas gobernadas. Eso significa menos tiempo dedicado a localizar informes y más tiempo dedicado a actuar en función de la información obtenida.

El impacto: acceso más rápido, menos fricción, uso más amplio de los datos

Al hacer que el acceso a los datos sea conversacional, Scottish Water está ayudando a los equipos de proyectos a obtener respuestas más rápido y con mucho menos esfuerzo.

• Para los datos del proyecto, una búsqueda típica que antes requería alrededor de 8 clics más el tiempo de carga del tablero ahora puede comenzar con una sola pregunta en Teams.
• Para preguntas basadas en informes, los usuarios ya no necesitan navegar a través de SharePoint, el Reporting Hub, las categorías de informes y los enlaces de informes individuales solo para encontrar el activo correcto. En muchos casos, esto convierte un recorrido de búsqueda de 4 o 5 pasos en una experiencia directa de preguntas y respuestas.
• Si 100 usuarios hacen solo 3 preguntas por semana, eso equivale a aproximadamente 300 solicitudes de información cada semana. Con un ahorro conservador de 2 a 5 minutos por solicitud, eso equivale a unas 10 a 25 horas ahorradas por semana, o aproximadamente de 520 a 1,300 horas al año.
• El beneficio no es solo la velocidad. Los equipos obtienen respuestas adaptadas a la pregunta que formulan, en lugar de tener que interpretar informes estáticos diseñados para audiencias amplias.
• También reduce la dependencia del soporte especializado y hace que la información gobernada sea más accesible para los usuarios no técnicos.

En la práctica, eso significa menos tiempo buscando en herramientas, menos espera para que otra persona extraiga los datos y más tiempo actuando sobre respuestas confiables en el flujo de trabajo.

SPARK va a cambiar por completo la forma en que nuestros equipos de cartera y de proyectos interactúan con los datos. Nos traslada de los informes estáticos a conversaciones inteligentes en tiempo real con nuestra información, lo que permite a nuestra gente tomar decisiones más rápidas y mejor informadas, y libera un valor que simplemente no podíamos alcanzar antes. ¡Es realmente emocionante!—Allan Mason, Gerente de Entrega de Programas y Proyectos, Business Analytics

Creado para la confianza y la escala

La analítica conversacional solo funciona cuando los usuarios confían en las respuestas. La implementación de Scottish Water se diseñó con eso en mente desde el principio.

Gobernanza por defecto

La gobernanza se integró desde el principio, con la experiencia de Genie basada en datos gobernados de Unity Catalog y definiciones semánticas compartidas para que las respuestas fueran consistentes, explicables y alineadas con la lógica empresarial existente.

• La solución se basa en datos gobernados de Unity Catalog, lo que hace que el control de acceso, el linaje y una única fuente de verdad formen parte de la base.
• En lugar de exponer Genie directamente a un gran conjunto de tablas sin procesar, Scottish Water primero curó los datos necesarios para este caso de uso en la capa gold.
• Además de eso, se construyó una capa semántica utilizando vistas de métricas que estandarizan las medidas, las dimensiones y la terminología empresarial para que las mismas definiciones se reutilicen de manera consistente. Esto ayudó a reducir la ambigüedad y a mejorar la consistencia en las respuestas.

Ajustado para la precisión

Para que el espacio de Genie fuera confiable en la práctica, Scottish Water lo configuró en torno a sus propias reglas comerciales, terminología y preguntas de usuarios reales, en lugar de depender de una configuración genérica.

• Se agregaron instrucciones de reglas comerciales seleccionadas para que Genie pudiera interpretar correctamente las convenciones de Scottish Water, como la definición de los períodos fiscales, el orden de las etapas de los hitos y cómo se deben manejar las fechas y los ID de los proyectos.
• Se utilizaron ejemplos prácticos de preguntas y su correspondiente SQL para enseñar al asistente cómo formulan las preguntas los usuarios de Scottish Water y cómo estas deben asignarse a los patrones de consulta correctos.
• Se utilizó un conjunto de pruebas de referencia (benchmark suite) para proporcionar una forma repetible de probar la precisión cada vez que cambiaba la definición del espacio o los datos subyacentes.
• Las pruebas de usuario con los equipos de Scottish Water ayudaron a validar la redacción del mundo real y aportaron mejoras adicionales al espacio a lo largo del tiempo.

Monitoreo continuo

Para dar soporte a la solución en producción, Scottish Water implementó un sistema de monitoreo a su alrededor para que el equipo pudiera realizar un seguimiento de la adopción, la calidad de las respuestas y el rendimiento a lo largo del tiempo.

• Durante la fase de desarrollo, la calidad de las respuestas se monitoreó a través de los comentarios de los usuarios, lo que ayudó a identificar las respuestas que necesitaban mejoras adicionales.
• En producción, la adopción se monitorea a través de métricas como la duración de la conversación y las conversaciones por usuario.
• El equipo revisa las preguntas recurrentes para comprender qué preguntan los usuarios con más frecuencia y si se pueden crear visualizaciones en torno a las preguntas repetitivas.
• El rendimiento de las consultas se rastrea a través de los tiempos de ejecución, el volumen total de consultas y las consultas de ejecución más lenta.
• El equipo también creó una visualización para realizar un seguimiento del costo de Genie por usuario.

Entrega repetible y confiable

Scottish Water también diseñó la solución para que pudiera promoverse de manera segura y consistente en diferentes entornos, en lugar de tratarse como una construcción única.

• La solución está empaquetada como una configuración parametrizada por entorno utilizando Databricks Asset Bundles, de modo que la misma definición se puede implementar en diferentes entornos.
• Se utilizan entornos separados de desarrollo, prueba y producción, cada uno con su propio espacio de trabajo y SQL warehouse.
• Los despliegues se realizan a través de Azure DevOps, con despliegue automático al realizar cambios y una puerta de aprobación manual antes de producción.
• La autenticación se gestiona a través de un principal de servicio de Microsoft Entra ID, con credenciales recuperadas en el momento del despliegue desde Azure Key Vault en lugar de almacenarse en el código.
• Los despliegues son idempotentes, por lo que el espacio de Genie se puede crear o actualizar in situ y el acceso se concede automáticamente a los grupos correspondientes.

Conclusión: Una forma más sencilla y eficiente para que los equipos trabajen con datos

El resultado es sencillo pero potente: los equipos de Scottish Water pueden acceder a los datos del proyecto a través del lenguaje natural y confiar en las respuestas que reciben.

Para los líderes, esto significa una visibilidad más rápida y menos fricción en la generación de informes. Para los equipos de entrega y los usuarios de datos, significa acceso directo a información gobernada en el flujo de trabajo.

SPARK demuestra que cuando los datos bien diseñados y gobernados se combinan con Genie, las organizaciones pueden crear una herramienta revolucionaria que democratice verdaderamente los datos empresariales de confianza para sus usuarios.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original