Comment Scottish Water a rendu ses données d'investissement en capital conversationnelles avec Databricks Genie

Dans le cadre du programme d'investissement de capital (CI) de Scottish Water, les équipes ont besoin de réponses rapides sur l'état des projets, les performances financières, les jalons de livraison et les risques. Ces informations existaient déjà, mais pour les trouver, il fallait souvent naviguer dans un vaste ensemble de rapports ou s'en remettre à des spécialistes des données pour extraire les bonnes informations des tables sous-jacentes. Databricks Genie a changé la donne. Aujourd'hui, les équipes de projet peuvent poser des questions en anglais simple directement dans Microsoft Teams et recevoir des réponses fiables en quelques secondes.

Le défi : des données disponibles, mais pas accessibles

La fonction CI de Scottish Water ne manquait pas de données. Elle avait un problème d'accès.

En pratique, cela se manifestait de plusieurs manières :

• Un grand volume de rapports existait déjà, mais le manque de sensibilisation et de visibilité entraînait souvent des doublons, de nouveaux rapports étant créés pour répondre à des questions auxquelles les rapports existants avaient déjà répondu.
• Les données précieuses restaient difficiles d'accès pour les utilisateurs non techniques, ce qui ralentissait la prise de décision au sein de la fonction.

Le résultat était prévisible : les analystes passaient du temps à reproduire un travail déjà existant, les équipes de livraison attendaient que les chiffres soient extraits, et les données de projet importantes ne parvenaient pas toujours aux personnes responsables des décisions quotidiennes.

La solution : une interface conversationnelle pour les données de projet gouvernées

SPARK est la marque interne de Scottish Water pour l'interface en langage naturel connectée aux données de son portefeuille de projets, construite sur Genie.

Au lieu de chercher le bon rapport, les utilisateurs peuvent poser une question et recevoir une réponse basée sur des données gouvernées. SPARK apporte cette expérience directement dans Microsoft Teams, là où les équipes travaillent déjà, éliminant ainsi le besoin de passer à une nouvelle interface.

Les utilisateurs soumettent une question dans Teams via Copilot, qui est ensuite orchestrée par un agent superviseur Copilot. Celui-ci se connecte à l'espace Databricks Genie via le Model Context Protocol (MCP). Genie traduit la question en requête, l'exécute sur les données gouvernées dans Unity Catalog, et renvoie le résultat à l'utilisateur.

De la recherche de rapports aux questions directes

Avec SPARK, les équipes peuvent poser des questions métier concrètes telles que :

• Lister tous les risques de projet ouverts qui expirent en août, y compris le nom du projet, la description du risque, le propriétaire du risque et la date d'expiration du risque.
• Quel est le score de risque actuel en direct pour le projet X ?
• Pour le projet X, quel est le risque ayant l'exposition au risque actuelle la plus élevée ? Veuillez fournir le nom du risque, sa description et sa valeur d'exposition actuelle.
• Qui est le futur entrepreneur pour le projet X ?

Chaque question renvoie une réponse immédiate dérivée des vues de métriques gouvernées. Cela signifie moins de temps passé à localiser les rapports et plus de temps consacré à exploiter les insights.

L'impact : un accès plus rapide, moins de frictions, une utilisation plus large des données

En rendant l'accès aux données conversationnel, Scottish Water aide les équipes de projet à obtenir des réponses plus rapidement et avec beaucoup moins d'efforts.

• Pour les données de projet, une recherche type qui nécessitait auparavant environ 8 clics plus le temps de chargement du tableau de bord peut désormais commencer par une simple question dans Teams.
• Pour les questions basées sur des rapports, les utilisateurs n'ont plus besoin de naviguer dans SharePoint, le Reporting Hub, les catégories de rapports et les liens de rapports individuels simplement pour trouver la bonne ressource. Dans de nombreux cas, cela transforme un parcours de recherche de 4 ou 5 étapes en une expérience directe de questions-réponses.
• Si 100 utilisateurs posent seulement 3 questions par semaine, cela représente environ 300 demandes d'informations hebdomadaires. Avec une estimation prudente de 2 à 5 minutes économisées par demande, cela équivaut à environ 10 à 25 heures gagnées par semaine, soit environ 520 à 1 300 heures par an.
• L'avantage ne réside pas seulement dans la rapidité. Les équipes obtiennent des réponses adaptées à la question qu'elles posent, plutôt que de devoir interpréter des rapports statiques conçus pour un large public.
• Cela réduit également la dépendance vis-à-vis du support spécialisé et rend les insights gouvernés plus accessibles aux utilisateurs non techniques.

En pratique, cela signifie moins de temps passé à chercher dans les outils, moins d'attente pour que quelqu'un d'autre extraie les données, et plus de temps pour agir sur la base de réponses fiables directement dans le flux de travail.

SPARK va complètement changer la façon dont nos équipes de portefeuille et de projet interagissent avec les données. Nous passons de rapports statiques à des conversations intelligentes et en temps réel avec nos informations, ce qui permet à nos collaborateurs de prendre des décisions plus rapides et mieux informées, et de libérer une valeur que nous ne pouvions tout simplement pas atteindre auparavant. C'est vraiment passionnant !—Allan Mason, responsable de la livraison des programmes et projets, Business Analytics

Conçu pour la confiance et l'évolutivité

L'analyse conversationnelle ne fonctionne que si les utilisateurs ont confiance dans les réponses. L'implémentation de Scottish Water a été conçue dans cette optique dès le départ.

La gouvernance par défaut

La gouvernance a été intégrée dès le départ, l'expérience Genie reposant sur des données Unity Catalog gouvernées et des définitions sémantiques partagées afin que les réponses soient cohérentes, explicables et alignées avec la logique métier existante.

• La solution repose sur des données Unity Catalog gouvernées, ce qui fait du contrôle d'accès, de la traçabilité et d'une source unique de vérité des éléments fondamentaux.
• Plutôt que d'exposer Genie directement à un grand ensemble de tables brutes, Scottish Water a d'abord organisé les données nécessaires à ce cas d'usage dans la couche gold.
• De plus, une couche sémantique a été construite à l'aide de vues de métriques qui standardisent les mesures, les dimensions et la terminologie métier afin que les mêmes définitions soient réutilisées de manière cohérente. Cela a permis de réduire l'ambiguïté et d'améliorer la cohérence des réponses.

Ajusté pour plus de précision

Pour rendre l'espace Genie fiable en pratique, Scottish Water l'a configuré autour de ses propres règles métier, de sa terminologie et des questions réelles des utilisateurs, plutôt que de s'appuyer sur une configuration générique.

• Des instructions de règles métier spécifiques ont été ajoutées afin que Genie puisse interpréter correctement les conventions de Scottish Water, telles que la définition des périodes fiscales, l'ordre des jalons et la gestion des identifiants et des dates de projet.
• Des exemples de questions résolues et le SQL correspondant ont été utilisés pour apprendre à l'assistant comment les utilisateurs de Scottish Water formulent leurs questions et comment celles-ci doivent être associées aux bons modèles de requête.
• Une suite de tests de référence (benchmark) a été utilisée pour fournir un moyen reproductible de tester la précision à chaque fois que la définition de l'espace ou les données sous-jacentes changeaient.
• Les tests utilisateurs avec les équipes de Scottish Water ont permis de valider les formulations réelles et d'apporter des améliorations supplémentaires à l'espace au fil du temps.

Surveillance continue

Pour soutenir la solution en production, Scottish Water a mis en place un système de surveillance afin que l'équipe puisse suivre l'adoption, la qualité des réponses et les performances au fil du temps.

• Pendant la phase de développement, la qualité des réponses a été surveillée grâce aux retours des utilisateurs, ce qui a permis d'identifier les réponses nécessitant des améliorations supplémentaires.
• En production, l'adoption est surveillée grâce à des mesures telles que la durée des conversations et le nombre de conversations par utilisateur.
• L'équipe examine les questions récurrentes pour comprendre ce que les utilisateurs demandent le plus souvent et si des visualisations peuvent être créées autour des questions fréquemment posées.
• Les performances des requêtes sont suivies à travers les temps d'exécution, le volume total de requêtes et les requêtes les plus lentes.
• L'équipe a également créé une visualisation pour suivre le coût de Genie par utilisateur.

Livraison reproductible et fiable

Scottish Water a également conçu la solution de manière à ce qu'elle puisse être déployée de manière sûre et cohérente dans différents environnements, plutôt que d'être traitée comme un développement unique.

• La solution est packagée sous forme de configuration paramétrée par environnement à l'aide de Databricks Asset Bundles, de sorte que la même définition puisse être déployée dans tous les environnements.
• Des environnements de développement, de test et de production distincts sont utilisés, chacun disposant de son propre espace de travail et de son propre SQL warehouse.
• Les déploiements s'exécutent via Azure DevOps, avec un déploiement automatique lors des modifications et une étape de validation manuelle avant la mise en production.
• L'authentification est gérée via un principal de service Microsoft Entra ID, avec des identifiants récupérés au moment du déploiement depuis Azure Key Vault plutôt que stockés dans le code.
• Les déploiements sont idempotents, de sorte que l'espace Genie peut être créé ou mis à jour sur place et l'accès accordé automatiquement aux groupes appropriés.

Conclusion : un moyen plus simple et plus efficace pour les équipes de travailler avec les données

Le résultat est simple mais puissant : les équipes de Scottish Water peuvent accéder aux données du projet en langage naturel et faire confiance aux réponses qu'elles reçoivent. Pour les dirigeants, cela se traduit par une visibilité plus rapide et moins de frictions dans les rapports. Pour les équipes de livraison et les utilisateurs de données, cela signifie un accès direct à des informations gouvernées au cœur de leur flux de travail.

SPARK montre que lorsque des données bien conçues et bien gouvernées sont combinées avec Genie, les organisations peuvent concevoir un outil révolutionnaire qui démocratise véritablement les données d'entreprise de confiance pour leurs utilisateurs.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original