Como a Scottish Water tornou seus dados de investimento de capital conversacionais com o Databricks Genie

Em todo o programa de Investimento de Capital (CI) da Scottish Water, as equipes precisam de respostas rápidas sobre o status do projeto, desempenho financeiro, marcos de entrega e riscos. Essas informações já existiam, mas encontrá-las muitas vezes significava navegar por um grande volume de relatórios ou depender de especialistas em dados para extrair as informações corretas das tabelas subjacentes. O Databricks Genie mudou isso. Hoje, as equipes de projeto podem fazer perguntas em inglês simples diretamente no Microsoft Teams e receber respostas confiáveis em segundos.

O desafio: os dados estavam disponíveis, mas não acessíveis

A área de CI da Scottish Water não tinha falta de dados. Tinha um problema de acesso.

Na prática, isso se manifestava de várias maneiras:

• Já existia um grande volume de relatórios, mas a falta de conhecimento e visibilidade muitas vezes levava a esforços duplicados, com novos relatórios sendo criados para responder a perguntas que os relatórios existentes já haviam respondido.
• Dados valiosos continuavam difíceis de acessar para usuários não técnicos, desacelerando a tomada de decisões em toda a área.

O resultado era previsível: os analistas passavam o tempo reproduzindo trabalhos que já existiam, as equipes de entrega esperavam pela extração de números e os dados importantes do projeto nem sempre chegavam às pessoas responsáveis por tomar as decisões do dia a dia.

A solução: uma interface conversacional para dados de projeto governados

O SPARK é a marca interna da Scottish Water para a interface de linguagem natural para seus dados de portfólio de projetos, desenvolvida no Genie.

Em vez de procurar o relatório certo, os usuários podem fazer uma pergunta e receber uma resposta baseada em dados governados. O SPARK traz essa experiência diretamente para o Microsoft Teams, onde as equipes já trabalham, eliminando a necessidade de mudar para uma nova interface.

Os usuários enviam uma pergunta no Teams via Copilot, que é então orquestrada por um agente supervisor do Copilot, que se conecta ao Databricks Genie Space por meio do Model Context Protocol (MCP). O Genie traduz a pergunta em uma consulta, executa-a em dados governados no Unity Catalog e retorna o resultado ao usuário.

Da busca por relatórios a perguntas diretas

Com o SPARK, as equipes podem fazer perguntas de negócios práticas, como:

• Liste todos os riscos de projeto em aberto que expiram em agosto, incluindo o nome do projeto, a descrição do risco, o proprietário do risco e a data de expiração do risco.
• Qual é a pontuação de risco atual em tempo real para o projeto X?
• Para o projeto X, qual é o risco com a maior exposição ao risco atual? Forneça o nome do risco, a descrição e o valor da exposição atual.
• Quem é o futuro contratado para o projeto X?

Cada pergunta retorna uma resposta imediata derivada das visualizações de métricas governadas. Isso significa menos tempo gasto localizando relatórios e mais tempo agindo com base em insights.

O impacto: acesso mais rápido, menos atrito, uso mais amplo de dados

Ao tornar o acesso aos dados conversacional, a Scottish Water está ajudando as equipes de projeto a obter respostas mais rapidamente e com muito menos esforço.

• Para dados de projetos, uma busca típica que antes levava cerca de 8 cliques mais o tempo de carregamento do painel agora pode começar com uma única pergunta no Teams.
• Para perguntas baseadas em relatórios, os usuários não precisam mais navegar pelo SharePoint, pela Central de Relatórios, pelas categorias de relatórios e pelos links de relatórios individuais apenas para encontrar o ativo certo. Em muitos casos, isso transforma uma jornada de pesquisa de 4 ou 5 etapas em uma experiência direta de perguntas e respostas.
• Se 100 usuários fizerem apenas 3 perguntas por semana, isso representa cerca de 300 solicitações de informações semanalmente. Com uma economia conservadora de 2 a 5 minutos por solicitação, isso equivale a cerca de 10 a 25 horas economizadas por semana, ou aproximadamente 520 a 1.300 horas por ano.
• O benefício não é apenas a velocidade. As equipes obtêm respostas personalizadas para a pergunta que estão fazendo, em vez de terem que interpretar relatórios estáticos projetados para públicos amplos.
• Isso também reduz a dependência de suporte especializado e torna os insights governados mais acessíveis para usuários não técnicos.

Na prática, isso significa menos tempo gasto procurando em ferramentas, menos espera para que outra pessoa extraia os dados e mais tempo agindo com base em respostas confiáveis no fluxo de trabalho.

O SPARK vai mudar completamente a forma como nossas equipes de portfólio e de projetos interagem com os dados. Ele nos leva de relatórios estáticos para conversas inteligentes em tempo real com nossas informações, capacitando nossas pessoas a tomar decisões mais rápidas e bem informadas e liberando um valor que simplesmente não conseguíamos alcançar antes. É realmente empolgante!—Allan Mason, Gerente de Entrega de Programas e Projetos, Business Analytics

Desenvolvido para confiança e escala

A análise conversacional só funciona quando os usuários confiam nas respostas. A implementação da Scottish Water foi projetada com isso em mente desde o início.

Governança por padrão

A governança foi integrada desde o início, com a experiência do Genie baseada em dados governados do Unity Catalog e definições semânticas compartilhadas para que as respostas fossem consistentes, explicáveis e alinhadas com a lógica de negócios existente.

• A solução é baseada em dados governados do Unity Catalog, o que torna o controle de acesso, a linhagem e uma única fonte da verdade parte da base.
• Em vez de expor o Genie diretamente a um grande conjunto de tabelas brutas, a Scottish Water primeiro organizou os dados necessários para este caso de uso na camada gold.
• Além disso, uma camada semântica foi criada usando visualizações de métricas que padronizam medidas, dimensões e terminologia de negócios para que as mesmas definições sejam reutilizadas de forma consistente. Isso ajudou a reduzir a ambiguidade e a melhorar a consistência das respostas.

Ajustado para precisão

Para tornar o espaço do Genie confiável na prática, a Scottish Water o configurou de acordo com suas próprias regras de negócios, terminologia e perguntas reais dos usuários, em vez de depender de uma configuração genérica.

• Instruções de regras de negócios selecionadas foram adicionadas para que o Genie pudesse interpretar as convenções da Scottish Water corretamente, como a definição de períodos fiscais, a ordenação de etapas de marcos e como os IDs e datas dos projetos devem ser tratados.
• Exemplos práticos de perguntas e SQL correspondentes foram usados para ensinar ao assistente como os usuários da Scottish Water formulam as perguntas e como elas devem ser mapeadas para os padrões de consulta corretos.
• Uma suíte de benchmark foi usada para fornecer uma maneira repetível de testar a precisão sempre que a definição do espaço ou os dados subjacentes fossem alterados.
• Os testes de usuário com as equipes da Scottish Water ajudaram a validar a formulação no mundo real e trouxeram refinamentos adicionais ao espaço ao longo do tempo.

Monitoramento contínuo

Para dar suporte à solução em produção, a Scottish Water criou um monitoramento em torno dela para que a equipe pudesse acompanhar a adoção, a qualidade das respostas e o desempenho ao longo do tempo.

• Durante a fase de desenvolvimento, a qualidade das respostas foi monitorada por meio do feedback dos usuários, o que ajudou a identificar as respostas que precisavam de melhorias adicionais.
• Em produção, a adoção é monitorada por meio de métricas como duração da conversa e conversas por usuário.
• A equipe analisa as perguntas recorrentes para entender o que os usuários estão perguntando com mais frequência e se visualizações podem ser criadas em torno de perguntas feitas repetidamente.
• O desempenho das consultas é acompanhado por meio dos tempos de execução, do volume total de consultas e das consultas de execução mais lenta.
• A equipe também criou uma visualização para acompanhar o custo do Genie por usuário.

Entrega repetível e confiável

A Scottish Water também projetou a solução para que ela pudesse ser promovida de forma segura e consistente entre os ambientes, em vez de ser tratada como uma criação única.

• A solução é empacotada como uma configuração parametrizada por ambiente usando Databricks Asset Bundles, para que a mesma definição possa ser implantada em diferentes ambientes.
• Ambientes separados de desenvolvimento, teste e produção são usados, cada um com seu próprio workspace e SQL warehouse.
• As implantações são executadas por meio do Azure DevOps, com implantação automática em caso de alteração e uma etapa de aprovação manual antes da produção.
• A autenticação é realizada por meio de um service principal do Microsoft Entra ID, com credenciais recuperadas no momento da implantação a partir do Azure Key Vault, em vez de serem armazenadas no código.
• As implantações são idempotentes, de modo que o espaço do Genie pode ser criado ou atualizado diretamente, com o acesso concedido automaticamente aos grupos apropriados.

Conclusão: Uma maneira mais simples e eficiente para as equipes trabalharem com dados

O resultado é simples, mas poderoso: as equipes da Scottish Water podem acessar dados de projetos por meio de linguagem natural e confiar nas respostas que recebem. Para os líderes, isso significa visibilidade mais rápida e menos atrito na geração de relatórios. Para equipes de entrega e usuários de dados, significa acesso direto a insights governados no fluxo de trabalho.

O SPARK mostra que, quando dados bem projetados e bem governados são combinados com o Genie, as organizações podem criar uma ferramenta inovadora que realmente democratiza dados de negócios confiáveis para seus usuários.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original