BP의 지리 공간 AI 엔진: Databricks를 통한 안전 및 운영 혁신

DATABRICKS 기능을 지리 공간 기술과 통합한 것은 지오컴퓨팅 분야에서 획기적인 발전을 의미합니다. bp는 실시간 지리공간 데이터 분석과 관련된 과제를 효과적으로 해결하고 최신 기술을 활용하여 에너지 부문 엔터프라이즈 아키텍처의 새로운 업계 표준을 수립했습니다. bp의 지리 공간 석유 및 가스 기술팀 선임 관리자인 Steven Bjerring이 주도한 이 이니셔티브는 고급 지리 컴퓨팅을 활용하여 지리 공간 데이터 처리를 통해 안전, 효율성, 혁신을 개선하는 아키텍처 프레임워크를 구축했습니다.

과제: 실시간 지리 공간 데이터 분석

선박, 항공기, 레이더 시스템, 로보틱스, 센서, IoT 기기와 같은 소스에서 가져온 벡터 및 래스터 데이터를 포함한 방대한 지리 공간 데이터세트를 실시간으로 모니터링하고 분석해야 하는 과제가 있었으며, 충돌 감지, 버퍼 분석, 선박 도착 알림과 같은 핵심 기능을 지원하려면 효율적인 데이터 수집, 집계 및 처리가 필수적이었습니다.

이러한 복잡한 요구사항을 해결하기 위해 bp는 확장 가능한 클라우드 기반 아키텍처와 고급 machine learning 알고리즘을 구현하여 여러 Streams에서 이상 탐지 및 이벤트 예측을 자동화했습니다. 이 이니셔티브는 데이터 파이프라인을 최적화하여 지연 시간이 짧은 처리를 달성함으로써 시기적절하고 정보에 입각한 의사 결정을 촉진하는 것을 우선시했습니다.

강력한 데이터 표준화 및 산업 표준 APIs는 상호 운용성을 지원하고 사일로를 줄이며 안전, 효율성, 계획, 규정 준수를 지원했습니다. BP는 시기적절한 분석을 위해 테라바이트 규모의 래스터 데이터를 신속하게 처리했습니다.

솔루션: DATABRICKS와 지리공간 기술 통합

이러한 과제를 해결하기 위해 bp는 DATABRICKS 기능을 활용하여 이를 자사의 지리 공간 플랫폼인 One Map에 통합했고, 그 결과 포괄적이고 확장 가능한 시스템을 구축했습니다. 지리 공간 데이터는 Event Hub 인프라를 통해 스트림되어 Azure Data Lake 환경에 저장됩니다. 이 프로세스는 실시간 query를 지원하며 최신 지리 공간 트랜잭션 데이터의 동시 수집을 가능하게 합니다.

bp는 DATABRICKS의 기능을 활용하여 고급 분석 및 데이터 처리 기능을 통합할 수 있었고, 이를 통해 다양한 부서에서 더 빠른 분석과 개선된 의사 결정을 내릴 수 있었습니다. Event Hub는 견고한 데이터 수집 레이어 역할을 하며, IoT 기기 및 원격 센서를 포함한 여러 소스에서 대량의 지리 공간 데이터를 플랫폼으로 효율적으로 스트리밍합니다. 데이터가 수집되면 Azure Data Lake는 안전하고 유연한 스토리지 솔루션을 제공하여 필요에 따라 정형 및 비정형 데이터에 액세스하고 처리할 수 있도록 합니다.

실시간 query를 통해 사용자는 끊임없이 변화하는 지리 공간 데이터세트와 동적으로 상호작용할 수 있으며 자산 추적, 리소스 관리, 공간 분석과 같은 애플리케이션을 지원합니다. 동시에, 트랜잭션 데이터를 수집하고 업데이트하는 이 시스템의 기능은 모든 이해관계자가 최신 정보에 액세스할 수 있도록 보장하며, 이를 통해 bp의 글로벌 운영 내에서 운영 효율성을 높이고 새로운 동향이나 사건에 시기적절하게 대응할 수 있습니다.

이해를 돕기 위한 주요 화면 공유 몇 가지를 다음에 소개합니다.

 

 

 

 

One Map AI 엔진: One Map AI 엔진은 이러한 애플리케이션의 핵심 지원 역할을 하며, 여러 워크플로를 활용하여 알림 및 경고 노이즈를 최소화하고, 데이터를 집계하며, 날씨 및 레이더와 같은 APIs를 통합하여 포괄적인 개요를 제공합니다. 이 데모는 bp의 전략적 기술 통합으로 얻은 측정 가능한 이점을 효과적으로 보여줍니다. 이 통합을 통해 고급 혁신이 실제 구현과 만나 지리공간 인텔리전스 활용을 최적화합니다. 이 생태계의 강점은 미래 지향적인 사용 사례뿐만 아니라, 플랫폼을 구동하는 탄력적인 아키텍처와 신중하게 선택된 기술에서도 비롯됩니다.

bp 솔루션의 AI 기반을 이해하려면 이 혁신적인 통합을 뒷받침하는 기반 기술과 아키텍처 원칙을 검토해야 합니다.

주요 기술 및 아키텍처

이 솔루션은 몇 가지 핵심 기술을 활용합니다.

• Databricks: Apache Spark 기반의 통합 분석 플랫폼으로, 대규모 데이터 세트를 처리, 분석, 시각화합니다. 데이터 엔지니어, 과학자, 애널리스트를 위한 협업 환경을 제공하며 대화형 노트북, 효율적인 clusters 관리, machine learning 기능을 제공합니다.
• Delta Live Table: 실시간 스트리밍 데이터로 지속적으로 업데이트되는 Delta Live Table은 트랜잭션 무결성을 유지하고 쿼리 성능을 최적화하여 실시간 데이터 스트림을 구조화된 형식으로 원활하게 통합할 수 있도록 합니다.
• Kafka Connector (Azure Event Hub): 이 커넥터는 Apache Kafka를 다른 데이터 시스템과 연결하여 Kafka와 외부 소스 간에 데이터를 효율적으로 이동시키고 확장성과 내결함성을 향상시킵니다.
• SQL 데이터 웨어하우스: 대용량 데이터 분석을 위해 설계된 SQL 데이터 웨어하우스는 컬럼형 스토리지와 병렬 처리를 사용하여 신속한 쿼리와 인사이트 추출을 용이하게 합니다.
• Databricks Genie: GenAI 구현을 통해 사용자는 자연어로 이 고급 기술을 활용하여 운영 효율성을 개선할 수 있습니다. 저희는 데이터세트를 공간적으로 query하면서 공간 속성과 함께 자연어 응답을 반환하고, 그 결과를 위젯에서 활용하여 애플리케이션 자체와 통합하고 결과를 시각화할 수 있도록 이를 설계했습니다.
• 래스터 데이터 처리: ArcGIS Py, GDAL, 다중 스펙트럼 이미지 처리 등 다양한 py 모듈과의 상호작용. 몇 가지 예를 들 수 있습니다.

중요성: 지리 공간 데이터 처리의 발전

시니어 매니저인 Steven Bjerring은 낮은 비용을 유지하고 가동 중지 시간을 최소화하며 사용성과 확장성을 보장하면서 중요한 문제를 해결하기 위해 데이터, 통계 및 분석을 신속하게 생성하는 것을 촉진하는, 지리 공간 데이터 처리에 대한 혁신적이고 미래 지향적인 접근 방식을 구상했습니다. Emeka Emembolu(기술 부문 EVP)가 설명했듯이, 빅데이터 분석 분야에서 bp가 쌓아온 전문성과 지리 공간 및 플랫폼 팀의 전략적 통합을 바탕으로 bp는 이 분야의 발전을 주도할 수 있는 유리한 입지를 확보하고 있습니다.

이 선구적인 방법은 조직이 동적인 환경과 복잡한 문제에 대응하는 방식을 혁신할 잠재력을 지니고 있습니다. 고급 분석을 활용하고 전문 팀 간의 원활한 협업을 통해 bp는 공간 패턴 및 동향에 대한 더 깊은 인사이트를 확보하고, 더 많은 정보에 입각한 의사 결정을 지원하며, 운영 성과를 최적화할 수 있습니다. 이 솔루션의 확장 가능한 특성은 환경 모니터링, 인프라 계획, 리소스 관리와 같은 새로운 영역으로의 확장을 위한 발판을 마련하며, 궁극적으로 bp를 에너지 부문 디지털 혁신의 선두에 서게 합니다.

Databricks가 산업용 AI를 지원하는 방법 알아보기

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)