A Alabama Power utiliza o Databricks para Modelagem de Interrupções e Tempestades
À medida que continuamos a navegar pelas complexidades do mundo moderno, está se tornando cada vez mais claro que a tomada de decisões baseada em dados é a chave para desbloquear o sucesso. Alabama Power (APC, uma empresa operacional da Southern Company) tem trabalhado incansavelmente para desenvolver um sistema de gerenciamento de tempestades e um sistema de modelagem de interrupções de última geração que aproveita o poder dos dados para impulsionar decisões mais informadas.
Neste blog, vamos mergulhar mais profundamente em duas aplicações de ponta, SPEAR e RAMP, que a APC projetou para melhorar a gestão de tempestades e a análise de confiabilidade. Vamos explorar o desenvolvimento, a arquitetura e os benefícios.
“Databricks é altamente benéfico para nossa equipe de análise de dados APC trabalhando na nuvem em grandes conjuntos de dados, pois fornece uma plataforma unificada que permite colaboração contínua, processamento de dados escalável e análises em tempo real. Isso garante o manuseio eficiente de fluxos de trabalho de big data, enquanto integra com nossos serviços em nuvem para melhor desempenho e flexibilidade. Isso nos permitiu criar tecnologia de ponta para a Confiabilidade da Rede, além de nos ajudar a entender e nos preparar para responder a eventos de grande escala como o Furacão Francine e o Furacão Helene."— Shane Powell, Gerente de Análise de Dados e Inovação, APC
Antes da modernização, o processo de gerenciamento de tempestades era principalmente manual, o que permitia melhorias na eficiência e precisão. Para previsões, a APC confiava em planilhas e várias fontes de dados, mas havia potencial para melhorar a clareza e a consciência situacional no campo. O desenvolvimento de SPEAR e RAMP é um testemunho do poder da inovação e colaboração, e melhorou nossa capacidade de responder de maneira rápida e eficaz a casos de problemas.
A APC adotou tecnologias emergentes, como computação em nuvem, lagos de dados e análises avançadas; Ao construir o RAMP e o SPEAR no Databricks, eles sabiam que tinham um parceiro confiável que poderia capacitá-los a entregar uma solução de ponta a ponta - de BI a AI - que automatiza os processos de gerenciamento de tempestades, oferece insights em tempo quase real e faz isso de maneira precisa e segura.
Vamos revisar as duas aplicações:
- RAMP, que significa Métricas e Desempenho de Análise de Confiabilidade, é uma aplicação de confiabilidade baseada na nuvem que fornece uma visão abrangente do desempenho da rede elétrica, incluindo valores relatados, valores de experiência do cliente e falhas de dispositivos. O aplicativo ajuda a identificar áreas de melhoria e fornece insights sobre as causas raiz dos problemas de confiabilidade.
- SPEAR, que significa Storm Planning, ETR e Reporting, é um aplicativo de previsão na nuvem que usa dados de fornecedores de clima e sistemas internos para prever o impacto de eventos climáticos severos na rede elétrica. O aplicativo fornece uma previsão detalhada do número de incidentes, recursos necessários e tempo estimado de restauração, permitindo que o centro de tempestades da empresa tome decisões mais informadas e aloque recursos de maneira mais eficaz.
A equipe de dados da APC trabalhou em estreita colaboração com a E Source, uma empresa de consultoria, pesquisa e ciência de dados focada em utilitários, para projetar, desenvolver e implantar RAMP e SPEAR no Databricks. Databricks tem desempenhado um papel crucial em ajudar a APC a aproveitar todo o potencial de seus dados AMI e outras fontes de dados para impulsionar melhorias na rede e eficiências operacionais.
A Plataforma de Inteligência de Dados Databricks fornece um ambiente unificado onde a APC pode integrar, processar e analisar grandes quantidades de dados AMI juntamente com outros conjuntos de dados críticos como GIS, gerenciamento de interrupções e informações meteorológicas. Esta integração permite insights mais abrangentes e análises preditivas. A arquitetura escalável do Databricks permite que a APC gerencie eficientemente os fluxos de dados de alto volume e alta velocidade provenientes de milhões de medidores inteligentes, enquanto suas capacidades avançadas de análise e aprendizado de máquina facilitam o desenvolvimento de modelos sofisticados para previsão de carga, previsão de interrupções e otimização da rede. O espaço de trabalho colaborativo da plataforma e o suporte para várias linguagens de programação capacitam tanto cientistas de dados quanto engenheiros a trabalharem de forma integrada em projetos de dados complexos.
Além disso, os recursos de governança de dados da Databricks garantem que os dados sensíveis do cliente sejam manuseados de forma segura e em conformidade com as regulamentações. Ao aproveitar o Databricks, a APC pode limpar, curar e agregar dados AMI de forma mais eficaz, construir interfaces amigáveis para exploração de dados e até incorporar tecnologias de ponta como modelos de linguagem grande para melhorar a interpretação e acessibilidade dos dados. Esta abordagem abrangente está ajudando a APC a transformar dados brutos de AMI em insights acionáveis que impulsionam a modernização da rede, melhoram a confiabilidade e aprimoram o atendimento ao cliente.
A APC explorou todos os três serviços nativos dos hiperescaladores e uma plataforma AI proprietária, mas optou pelo Azure Databricks por causa da capacidade do Databricks de lidar com grandes volumes de dados e fornecer uma plataforma unificada para engenharia de dados, ciência de dados, análise de dados e AI.
“Databricks Genie está acelerando o desenvolvimento de IA na APC, permitindo acesso rápido a grandes conjuntos de dados por meio de consultas em linguagem natural. Isso permite que nossa equipe colete rapidamente os dados necessários para treinar, testar e aprimorar algoritmos de IA. Além disso, a capacidade do Genie de aprender com nossas interações e melhorar continuamente sua precisão de consulta torna-o uma ferramenta eficiente para alimentar dados de alta qualidade nos processos de desenvolvimento de IA. Estamos animados em integrá-lo às nossas ferramentas existentes para criar um nível ainda mais alto de tecnologia de dados de ponta para nossa empresa.”— Shane Powell, Gerente de Análise de Dados e Inovação, APC
Impacto nos negócios:
A APC melhorou seu gerenciamento de rede e resposta a tempestades com duas aplicações inovadoras construídas no Databricks: RAMP e SPEAR. Essas soluções transformaram a abordagem da empresa para a tomada de decisões baseada em dados e eficiência operacional, permitindo o monitoramento de 1,5 milhão de clientes, 2.400 subestações e 250.000 dispositivos
RAMP (Reliability Analytics Metrics and Performance)
RAMP permite o monitoramento em tempo real de ativos, permitindo manutenção proativa e substituição de equipamentos com desempenho inferior. Essa mudança de relatórios mensais para quase em tempo real levou a melhorias significativas:
- Com 70.000 interrupções anuais, uma redução direcionada de 5% (3.500 interrupções) poderia economizar $17,5M apenas em custos de equipe.
- A recuperação do histórico de interrupções do cliente melhorou de quatro horas para apenas quatro segundos, um ganho de eficiência de 99,97% (3600X).
SPEAR (Planejamento de Tempestades, ETR e Relatórios)
SPEAR prevê proativamente os impactos de tempestades na rede, incluindo interrupções e Tempo Estimado de Restauração (ETR). Otimiza a alocação de recursos para evitar excesso ou falta de provisão, resultando em benefícios substanciais:
- O sistema pode prever o impacto da tempestade com uma margem de erro de 10%.
- Para uma tempestade de 10 dias com 500 interrupções de clientes, o custo com uma margem de erro de 20% seria de $34,2M. Com a Databricks possibilitando uma margem de erro de 10%, o custo reduz para $31.3M, potencialmente economizando $2.8M por evento de tempestade (uma redução de 8%).
Essas soluções alimentadas por Databricks melhoram significativamente a eficiência operacional e a prontidão para tempestades da APC, levando a economias substanciais de custos e melhor atendimento ao cliente. Ao utilizar o Databricks, a APC está aprimorando sua capacidade de responder e mitigar os efeitos de eventos climáticos severos, que estão entre os desafios mais imprevisíveis enfrentados pelas empresas de utilidade pública.
Esta abordagem baseada em dados permite que a concessionária tome decisões mais informadas, otimize a alocação de recursos e, finalmente, melhore a confiabilidade do serviço para seus clientes diante de eventos climáticos cada vez mais frequentes e severos. A implementação dessas soluções demonstra o compromisso da APC em aproveitar a tecnologia de ponta para aprimorar seus serviços e capacidades operacionais.
Arquitetura
Na base da arquitetura da APC, existe uma robusta camada de ingestão de dados. Ele foi projetado para lidar com uma diversidade de fontes de dados:
- Sistema de Gerenciamento de Interrupções (ADMS): status da rede em tempo real e informações sobre interrupções
- Fornecedores de Dados Meteorológicos: Múltiplas fontes para previsões meteorológicas mais precisas
- Infraestrutura de Medição Avançada (AMI): Dados de medidores inteligentes das instalações do cliente
- Telemetria de Rede: Dados de sensores de vários dispositivos em toda a rede de distribuição
Esses fluxos de dados são continuamente ingeridos e inicialmente aterrissam em uma solução de armazenamento em nuvem Azure Blob Storage.
Databricks: O Sistema Nervoso Central
Databricks serve como o motor central de processamento e análise na arquitetura acima. Aqui está como ele é estruturado:
- Processamento e Transformação de Dados
A APC usa o Delta Lake como a camada de armazenamento para o seu data lakehouse. Isso proporciona a eles:- Transações ACID para confiabilidade de dados
- Evolução do esquema para se adaptar às estruturas de dados em mudança
- Capacidades de viagem no tempo para auditoria e reversões
- Ciência de Dados e Aprendizado de Máquina
A APC implementou um ambiente abrangente de ciência de dados e aprendizado de máquina usando Databricks, integrando componentes-chave para otimizar seu fluxo de trabalho para otimização de rede, análise de clientes e previsão de energia. A APC usa os Notebooks Databricks como sua interface principal para análise de dados e desenvolvimento de modelos, MLflow para gerenciar seu ciclo de vida de aprendizado de máquina, desde a experimentação até a implantação e AutoML para gerar rapidamente modelos de base e acelerar seus projetos de aprendizado de máquina.
Esta abordagem permite que suas equipes colaborem de forma mais eficaz, gerenciem todo o ciclo de vida do ML e prototipem e implementem rapidamente modelos para vários aspectos de suas operações, desde a gestão da rede até a otimização do atendimento ao cliente. Além disso, o Monitoramento Lakehouse do Databricks aprimora esse processo ao permitir a tomada de decisões baseada em dados através do rastreamento contínuo da qualidade dos dados e do desempenho do modelo. O sistema de monitoramento detecta automaticamente alterações estatísticas nas características de entrada e nas saídas do modelo, alertando as equipes para possíveis desvios de dados ou degradação de desempenho. Esta abordagem proativa capacita as organizações a tomar decisões informadas sobre quando re-treinar modelos, garantindo que eles permaneçam precisos e relevantes em ambientes dinâmicos. - Governança e Segurança de Dados
A APC implementou o Catálogo Unity do Databricks para centralizar a gestão de metadados em vários espaços de trabalho, aprimorando a governança de dados e a colaboração. Esta abordagem unificada permite controles de acesso consistentes e políticas de segurança em todos os ativos de dados, garantindo que as informações sensíveis sejam protegidas enquanto permite a descoberta eficiente de dados e a colaboração entre cientistas de dados, analistas e engenheiros. A implementação também facilita o rastreamento abrangente da linhagem de dados e mantém logs de auditoria detalhados, apoiando os esforços de conformidade regulatória. Ao aproveitar o Catálogo Unity, a APC melhorou significativamente sua capacidade de gerenciar, proteger e utilizar seus ativos de dados de forma eficaz, promovendo um ecossistema de dados mais colaborativo e compatível em toda a organização. - Análise Avançada
A APC implementou uma infraestrutura sofisticada de análise de dados para otimizar as operações e o planejamento da rede. Eles também usam GraphFrames para analisar a topologia da rede, GeoSpark para processamento geoespacial de ativos e modelos de séries temporais personalizados para previsão de demanda e interrupção. Enquanto Databricks lida com o processamento central de dados, ferramentas especializadas como NetworkX e Mapbox são integradas para funções específicas. Os resultados são visualizados em RAMP e SPEAR, aplicativos contêinerizados construídos pela E Source, garantindo alta disponibilidade e escalabilidade.
Com essa arquitetura, a APC agora é capaz de processar grandes quantidades de dados de forma rápida, eficiente e segura, além de compartilhar suas aplicações em toda a organização.
Em resumo, a APC fez parceria com a Databricks e a E Source para desenvolver soluções inovadoras de análise de dados para a gestão de tempestades. Essa colaboração permitiu à APC:
- Obtenha melhores insights sobre dados de tempestades usando o aplicativo SPEAR
- Prever o impacto da tempestade com mais precisão usando modelos preditivos criados no databricks e aplicando dados históricos aos padrões climáticos atuais para determinar como e quando os clientes da AL Power serão impactados negativamente.
- Melhorar as estratégias de preparação para seus 1,5 milhão de clientes e implantar proativamente os recursos no campo e informar seus clientes com antecedência por meio de notificações.
Ao aproveitar técnicas avançadas de ciência de dados, a APC está aprimorando sua capacidade de responder e mitigar os efeitos de eventos climáticos severos, que estão entre os desafios mais imprevisíveis enfrentados pelas empresas de utilidade pública. Essa abordagem baseada em dados permite que a concessionária tome decisões mais informadas, otimize a alocação de recursos e, finalmente, melhore a confiabilidade do serviço para seus clientes diante de eventos climáticos cada vez mais frequentes e severos.
(This blog post has been translated using AI-powered tools) Original Post
