"지난 수년 동안 Databricks는 활용의 폭이 상당히 넓어졌습니다. Databricks를 빅데이터 및 AI 플랫폼으로 사용하기 시작했지만, 그 범위가 더욱 확장되었습니다. 이제 완전히 다른 분야의 시민 엔지니어와 데이터 사이언티스트들이 이 플랫폼을 현대적인 비즈니스 인텔리전스 도구로 활용해 더욱 현명한 비즈니스 결정을 내리고 있습니다."
Shell은 디지털 기술에 투자하여 더욱 환경이 깨끗한 세상을 만드는 데 앞장서고 있으며, 기후 변화를 해결하는 탄소 중립적 에너지 기업이 되고자 합니다. 이들은 전사적으로 데이터와 AI를 활용하여 운영 효율을 개선하고, 고객 참여를 높이며, 재생 에너지와 같은 새로운 혁신 기술을 도입하고 있습니다. Shell은 방대한 데이터를 처리하기 위해 Databricks를 Shell.ai 플랫폼의 기본 구성 요소로 선택했습니다. 현재 Databricks는 수백 명의 Shell 엔지니어, 과학자, 애널리스트들이 청정한 에너지 솔루션을 빠르고 효율적으로 제공하는 과정에서 함께 혁신할 수 있도록 지원합니다.
대규모 인사이트 확보의 어려움
Shell은 100년이 넘게 운영하는 동안 선구적인 아이디어로 우리가 에너지를 소비하는 방식에 영향을 미쳤습니다.
Shell의 데이터 사이언스 대표 이사, Dan Jeavons는 "우리 업계는 엄청난 변혁을 맞이하고 있습니다. 디지털 기술은 기존의 사업의 능률과 효율을 높이는 데 절대적으로 필요합니다. 우리 산업은 더욱 지속 가능하고 환경 오염이 덜한 새로운 에너지 영역으로 발전하고 있고, 이제 데이터와 디지털 기술이 관건이 되었습니다."라고 설명했습니다.
디지털 혁신은 모든 에너지 기업의 기본적인 이니셔티브지만, 기존 기술 인프라와 데이터 폭증으로 인한 복잡성, 데이터 기반 솔루션을 구축하기 위한 데이터 엔지니어링 및 과학 기술의 부족이 문제가 되고 있습니다.
Shell은 팀원들이 가치 사슬 전반에서 가장 가치가 높은 사용 사례를 꾸준히 찾아내는 데이터 사이언스 통합 센터(Data Science Centre of Excellence(CoE))를 설립해 이러한 문제를 앞서 해결했습니다. 그러나 데이터로 혁신할 기회는 찾았지만 분석, 빅데이터 처리, 머신 러닝에 사용할 수 있도록 데이터 인프라를 확장하는 문제가 남아 있었습니다.
전사적인 데이터 및 AI 통합으로 혁신 가속화
Shell에서는 Shell.ai 플랫폼 내에서 사용할 주요 툴 중 하나로 Databricks 레이크하우스 플랫폼을 선택했습니다. Databricks는 Shell 데이터 팀에 Shell의 데이터, 분석과 AI 워크로드가 모두 통합되는 확장 가능한 완전 관리형 플랫폼을 제공합니다. 이 대화형 워크스페이스는 데이터에 대한 액세스를 민주화(democratized)했을 뿐만 아니라, 데이터 엔지니어링, 데이터 사이언스 및 애널리스트 팀 등 여러 팀 사이의 협업 분위기를 조성했습니다.
Dan은 "Shell에서는 좀 더 다양한 청정에너지 솔루션을 제공하겠다는 목표를 이루기 위한 프로젝트의 일환으로 디지털 혁신을 추진 중이었습니다. 그 과정에서 데이터 레이크 아키텍처에 거액을 투자했습니다. 데이터 팀에서 저희가 보유한 대량의 데이터세트에 최대한 단순한 방식으로 신속하게 쿼리할 수 있게 지원해주는 것이 목표였습니다. 일반적인 BI 툴을 사용해 페타바이트급 데이터세트에 빠르게 쿼리를 실행할 수 있다는 점이 판을 완전히 바꿔놓은 중대한 사실이었습니다. Databricks와 공동으로 혁신을 추진한 덕분에 제품 로드맵에도 영향을 미칠 수 있었고, 시장에서 가시적인 결과가 나타날 것을 기대하고 있습니다."라고 말했습니다.
이렇게 진입 장벽을 낮춘 덕분에 머신 러닝 외에도 비즈니스 인텔리전스, 보고 등에까지 분석을 활용할 수 있게 되었습니다. 사실, Shell은 데이터와 분석에 집중하고 나서 250명이 넘는 데이터 애널리스트(또는 시민 데이터 사이언티스트)와 800명의 시민 데이터 사이언티스트가 사용 가능한 데이터를 활용하는 데 생산성이 향상되었습니다.
Shell을 미래 지향적인 에너지 기업으로 혁신
Shell의 CoE에서는 공급망 운영을 개선하고, 가치가 높은 사용 사례를 발견하는 새로운 데이터 기반 솔루션을 탐색하고 배포함으로써, 고객과 회사 내에서 혁신적인 기능을 제공합니다.
운영의 측면에서 보았을 때, 어떤 산업 기업이든 재고와 공급망을 효율적으로 관리하는 데 가장 큰 어려움을 느낍니다. Shell은 글로벌 시설들에 수천 개의 예비 부품을 보관하고, 재고 애널리스트들은 창고에 예비 부품을 어느 정도로 보관해야 하는지 파악하는 데 애를 먹습니다. Databricks를 사용하고 나서는 모든 과거 데이터 세트를 활용해 모든 부품과 시설에 대해 10,000회 이상의 재고 시뮬레이션을 실행했습니다. Shell의 재고 예측 모델은 원래 실행에 48시간이 걸렸지만 지금은 45분으로 단축되어, 재고 보관 과정이 상당히 개선되었고 연간 많은 예산을 절약할 수 있게 되었습니다.
또한, Shell은 150만 명의 고객이 사용하는 Go+라는 새로운 회원 혜택 프로그램을 위한 추천 엔진도 개발했습니다. Azure 및 Databricks에서 실행되는 이 AI 소프트웨어는 고객의 모든 거래 기록을 조회하고, 이 정보를 활용해서 데이터와 집계된 데이터를 결합한 개인 맞춤형 혜택과 보상을 찾아냅니다.
데이터와 AI 덕분에 고객을 참여시킬 새로운 기회도 발견했습니다. Shell Remote Sense는 선박 및 크루즈 여객선에서 대형 엔진의 내구성과 성능을 최적화하기 위한 새로운 이니셔티브입니다. Shell은 연간 75만 개 이상의 윤활제 샘플을 처리하고, 윤활유 품질과 성능에 대한 고객 인사이트를 제공합니다. 고객이 엔진을 수리하거나 가동 중단을 해결하는 비용을 수백만 달러 절감할 수 있을 뿐만 아니라, Shell에서도 시간과 운영 비용이 상당히 절감됩니다.
성과를 내는 데이터 기반 문화
현재 Shell에서는 데이터와 AI를 통해 석유와 가스 산업의 경계를 새롭게 정의하고 있습니다. Databricks는 Shell.ai 플랫폼의 핵심적인 구성 요소로 삼은 Shell은 데이터 분석을 실행하고 머신 러닝 모델을 배포해 운영 효율을 개선합니다.
공통적인 플랫폼을 사용하게 되면서 엔지니어, 데이터 사이언티스트, 애널리스트들은 데이터 중심으로 더욱 민첩하게 움직이고 편리하게 협업합니다. 현재 Shell은 160개 이상의 AI 프로젝트를 운영하고 있으며, 이는 겨우 시작일 뿐입니다. 앞으로 수년에 걸쳐 데이터와 AI를 바탕으로 기술을 발전시킬 계획입니다. 수조 개에 달하는 IoT 센서가 데이터를 생성하고, 3D 프린팅 장비 및 부품은 글로벌 공급망을 와해시켜 엄청난 비용 절감 효과를 끌어낼 것입니다. Databricks는 이를 실현할 Shell.ai 플랫폼의 핵심 부품입니다.
