Summary
- Como a BP construiu uma plataforma geoespacial em tempo real usando Databricks, Event Hub e Azure Data Lake.
- Como a AI e o machine learning potencializam a detecção de colisão, os alertas e a análise espacial avançada.
- Como a plataforma One Map da BP melhora a segurança, o planejamento e a eficiência operacional em todas as operações globais.
A integração dos recursos do DATABRICKS com a tecnología geoespacial marca um avanço significativo no campo da geocomputação. Ao enfrentar com eficácia os desafios da análise de dados geoespaciais tempo real e aproveitar as tecnologías mais avançadas, a bp estabeleceu um novo padrão para a arquitetura corporativa no setor de energia. Liderada por Steven Bjerring, Gerente Sênior da equipe de tecnología Geoespacial de Petróleo e Gás da bp, esta iniciativa produziu uma estrutura de arquitetura que usa geocomputação avançada para melhorar a segurança, a eficiência e a inovação por meio do processamento de dados geoespaciais.
Desafio: análise de dados geoespaciais em tempo real
Diante do desafio do monitoramento e da análise em tempo real de extensos datasets geoespaciais, incluindo dados vetoriais e raster de fontes como embarcaç ões, aeronaves, sistemas de radar, robótica, sensores e dispositivos de IoT; a ingestão de dados, a agregação e o processamento eficientes de dados eram imprescindíveis para dar suporte a funções críticas como Detecção de Colisão, Análise de Buffer e Notificações de Chegada de Embarcações.
Para atender a esses requisitos complexos, a bp implementou arquiteturas escaláveis cloud e algoritmos avançados de machine learning para automatizar a detecção de anomalia e a previsão de eventos em várias transmissões de dados. A iniciativa priorizou a otimização de pipelines de dados para alcançar um processamento de baixa latência, facilitando, assim, a tomada de decisões oportuna e informada.
A padronização robusta de dados e as APIs padrão do setor permitiram a interoperabilidade, reduziram os silos e apoiaram a segurança, a eficiência, o planejamento e a compliance. A BP processou rapidamente terabytes de dados raster para análises em tempo hábil.
Solução: integrando a DATABRICKS com tecnologia geoespacial
Para enfrentar esses desafios, a bp utilizou os recursos do DATABRICKS e os incorporou à sua plataforma geoespacial, a One Map, resultando em um sistema abrangente e escalável. Os dados geoespaciais são transmitidos por transmissão via a infraestrutura do Event Hub e armazenados no ambiente do Azure Data Lake. Esse processo permite querys em tempo real e a coleta concorrente de dados transacionais geoespaciais atualizados.
Ao aproveitar os recursos do DATABRICKS, a bp conseguiu integrar recursos avançados de analítica e processamento de dados, o que facilitou uma análise mais rápida e uma melhor tomada de decisões em vários departamentos. O Event Hub atua como uma camada robusta de ingestão de dados, transmitindo com eficiência grandes volumes de dados geoespaciais de várias fontes, incluindo dispositivos IoT e sensores remotos, para a plataforma. Depois de ingeridos, o Azure Data Lake oferece uma solução de armazenamento segura e flexível, permitindo que dados estruturados e não estruturados sejam acessados e processados conforme necessário.
Query em tempo real permitem que os usuários interajam dinamicamente com datasets geoespaciais em constante mudança, dando suporte a aplicações como acompanhamento de ativos, gerenciamento de recursos e análise espacial. Ao mesmo tempo, a capacidade do sistema de coletar e atualizar dados transacionais garante que todas as partes interessadas tenham acesso às informações mais atuais, melhorando a eficiência operacional e permitindo respostas rápidas a novas tendências ou incidentes nas operações globais da bp.
Aqui estão alguns dos key compartilhamentos de tela para ilustrar:
One Map AI Engine: O One Map AI Engine serve como suporte principal para esses aplicativos, utilizando múltiplos fluxos de trabalho para minimizar o ruído de notificações e alertas, agregar dados e integrar APIs como as de clima e radar para fornecer uma visão geral abrangente. Essas demonstrações ilustram efetivamente as vantagens mensuráveis obtidas com a integração estratégica de tecnologia da bp, onde a inovação avançada encontra a implementação prática para otimizar a utilização da inteligência geoespacial. A força deste ecossistema deriva não apenas de seus casos de uso inovadores, mas também da arquitetura resiliente e das tecnologías cuidadosamente escolhidas que impulsionam a plataforma.
A base de AI da solução da bp exige uma análise das tecnologías fundamentais e dos princípios de arquitetura que sustentam essa integração transformadora.
O manual de IA agêntica para empresas
Principais tecnologias e arquitetura
A solução utiliza várias tecnologías key:
- Databricks: uma plataforma de análise unificada criada com base no Apache Spark que processa, analisa e visualiza grandes datasets. Ele oferece um ambiente colaborativo para engenheiros de dados, cientistas e analistas de dados, oferecendo Notebooks interativos, gerenciamento eficiente de clusters e recursos de machine learning.
- Delta Live Table: atualizadas continuamente com dados tempo-real de transmissão, as Delta Live Tables mantêm a integridade transacional e otimizam o desempenho das consultas, permitindo a integração perfeita de fluxos de dados tempo-real em um formato estruturado.
- Kafka Connector (Azure Event Hub): este conector vincula o Apache Kafka a outros sistemas de dados, movendo dados de forma eficiente entre o Kafka e fontes externas, aprimorando a escalabilidade e a tolerância a falhas.
- SQL Data Warehouse: projetados para a análise de volumes substanciais de dados, os data warehouses SQL empregam armazenamento colunar e processamento paralelo para facilitar consultas rápidas e a extração de percepções.
- Databricks Genie: A implementação de GenAI permite que nossos usuários interajam com essa tecnología avançada por meio de linguagem natural, melhorando, assim, a eficiência operacional. Projetamos isso para nos ajudar a fazer query espacialmente em nossos datasets, retornando uma resposta em linguagem natural com atributos espaciais, o que é então utilizado no widget para se integrar ao aplicativo e visualizar os resultados.
- Processamento de dados raster: interação com vários módulos py, como ArcGIS Py, GDAL, Multispectral Image Processing etc. Para citar alguns.
A importância: avanços no processamento de dados geoespaciais
Steven Bjerring, Gerente Sênior, idealizou uma abordagem inovadora e visionária para o processamento de dados geoespaciais, facilitando a geração rápida de dados, estatísticas e analítica para enfrentar desafios críticos, mantendo baixos custos, minimizando o tempo de inatividade e garantindo a usabilidade e a escalabilidade. Com a experiência consolidada da bp em análise big data, conforme descrito por Emeka Emembolu (EVP de Tecnología), e sua integração estratégica das equipes de plataforma e geoespaciais, a organização está bem-posicionada para impulsionar os avanços nesse campo.
Este método visionário é promissor para transformar a forma como as organizações respondem a ambientes dinâmicos e problemas complexos. Ao aproveitar a analítica avançada e a colaboração contínua entre equipes especializadas, a bp pode obter percepções mais profundas sobre padrões e tendências espaciais, apoiar a tomada de decisões mais bem-informadas e otimizar o desempenho operacional. A natureza escalável desta solução também abre caminho para a expansão para novos domínios, como monitoramento ambiental, planejamento de infraestrutura e gerenciamento de recursos, posicionando, em última análise, a bp na vanguarda da inovação digital no setor de energia.
Saiba como a Databricks impulsiona a AI Industrial
(This blog post has been translated using AI-powered tools) Original Post