바이엘 컨슈머 헬스, Unity Catalog로 글로벌 셀프 서비스 분석 확장

바이엘은 83개국 100개 이상의 시장에서 사업을 운영하는 생명 과학 기업이자 헬스케어 및 영양 분야의 글로벌 리더입니다. '모두를 위한 건강, 누구도 굶주리지 않는 세상'이라는 사명에 따라 바이엘은 92,500명의 직원에게 대규모 데이터에 대한 안전하고 검색 가능한 액세스 권한을 제공하기 시작했습니다. 5년 전에는 단편화된 시스템으로 인해 거의 불가능했으며, 컨슈머 헬스 사업부에서 일하는 팀은 의사 결정을 위해 데이터를 제대로 사용할 수 없어 어려움을 겪었습니다. Databricks와 Unity Catalog를 도입하여 바이엘 컨슈머 헬스는 데이터 사일로 없이 셀프 서비스 분석을 가능하게 하는 단일의 거버넌스 데이터 플랫폼을 구축했습니다.

Databricks를 통해 재사용 가능한 핵심 자산을 구축하고, 셀프 서비스 분석을 활성화하며 모두에게는 인사이트를 제공하고 누구에게도 데이터 사일로를 만들지 않는 데이터 기반 조직을 육성하고 있습니다.— 안드레 부테노프, 바이엘 수석 클라우드 플랫폼 아키텍트 

글로벌 파편화 및 '데이터 관광'

전 세계에 분산된 기업인 바이엘의 이전 데이터 분석 설정은 시장별로 단편화되어 있었으며, 각기 다른 목적으로 자체 기술 스택을 사용했습니다. 데이터를 공유해야 할 때, 바이엘이 이른바 '데이터 관광(data tourism)'이라고 부르는 과정에서 데이터가 여러 번 복사되는 일이 잦았습니다. 데이터 투어리즘으로 인해 데이터 관리 비용이 증가하고 새로운 솔루션 구현이 지연되었습니다. 이러한 복잡성과 성능 문제는 Bayer IT가 제공할 수 있는 솔루션의 채택률을 낮추는 원인이 되었으며, 회사가 데이터 기반 의사 결정을 내리는 데 어려움을 겪게 했습니다. 비용과 성능 외에도, 데이터 투어리즘으로 인해 누가 어떤 데이터를 사용하고 있는지 파악하거나, 일관된 액세스 제어를 시행하거나, 시장 전반에서 신뢰할 수 있는 자산을 자신 있게 재사용하기가 어려웠습니다.

또한 바이엘은 머신러닝과 같은 최신 데이터 분석 도구를 활용하는 데 상당한 어려움을 겪었습니다. Bayer의 수석 클라우드 플랫폼 아키텍트인 André Wuthenow는 'machine learning을 지원하는 데 필요한 시스템은 추가 비용과 유지보수 부담을 더했습니다. machine learning을 완전히 다른 기술 스택, 다른 데이터 센터, 다른 유형의 스케일러에 있는 전용 플랫폼으로 옮겨야 했기 때문이죠. 그래서 그 시점에는 machine learning을 제대로 활용할 수 없었습니다.'라고 말했습니다.

이러한 문제에 대한 솔루션을 모색하던 Bayer Consumer Health Data & Analytics 조직은 글로벌하고 확장 가능한 데이터 플랫폼을 구축해야 한다는 것을 알았습니다. 250명 이상의 machine learning 및 데이터 엔지니어가 지원하는 3개 글로벌 리전의 25개 영역에서 2,000명 이상의 비즈니스 사용자를 보유한 바이엘은 가능한 경우 serverless 기술을 활용할 수 있는 클라우드 기반 시스템이 필요했습니다. Wuthenow는 "우리 솔루션이 어떤 데이터 볼륨과 동시 사용자 수에도 맞춰 확장되어 모든 사람이 최상의 성능과 즉각적인 결과를 얻을 수 있도록 보장하는 것이 중요했습니다"라고 말했습니다.  또한 클라우드 기반 솔루션은 Bayer가 사용한 만큼만 비용을 지불하도록 보장하여 재정적으로 책임감 있는 선택이 될 것이며, 회사가 새로운 서비스를 글로벌 표준으로 출시하기 전에 소규모로 시험해 볼 수 있는 유연성을 제공할 것입니다.

Databricks의 템플릿 기반 환경

Bayer Consumer Health는 데이터 수집, 저장 및 기타 기능을 위해 Azure Services로 강화된 데이터 플랫폼의 기반으로 Databricks를 선택했습니다. 모든 데이터 변환 및 데이터 정리는 Databricks에서 수행되어 가공되지 않은 데이터가 재사용 가능하고 품질이 검증된 신뢰할 수 있는 데이터 자산으로 변환되도록 합니다. 이 솔루션을 통해 Bayer는 개발자가 활용할 수 있도록 Azure ML 및 기타 Azure AI 서비스를 제공할 수도 있습니다.

Databricks는 Bayer의 데이터 엔지니어가 BI 보고서, ML 솔루션 또는 분석 애플리케이션을 구축하는 경우에 필요한 사항을 해결하기 위한 단일 통합 플랫폼을 제공합니다. 바이엘은 Databricks를 통합 플랫폼으로 활용하여 여러 팀이 서로에게 부정적인 영향을 주지 않으면서 다수의 프로젝트를 병렬로 실행할 수 있습니다. 각 팀은 새로운 데이터 제품의 라이프사이클을 독립적으로 관리할 수 있습니다. 현지 시장마다 글로벌 분석과는 다른 고유한 데이터 요구사항이 있다는 점을 감안하여, 여러 개의 사본과 “데이터 투어리즘”을 방지하도록 모든 데이터를 중앙 집중화하는 동시에 각 팀이 각자의 시장에 맞는 방식으로 데이터를 활용할 수 있는 유연성을 제공하는 시스템이 필요했습니다. Wuthenow는 “저희는 Databricks를 활용하여 적절한 리소스 격리 및 수명 주기 관리를 보장하는 전용 서비스 인스턴스를 갖춘 템플릿 기반 환경을 만들었습니다.”라고 말했습니다.  

Unity Catalog는 이러한 환경 전반에 중앙 집중식 거버넌스 및 메타데이터 레이어를 제공하여, 핵심 데이터 자산을 한 번만 관리하면서 팀이 프로젝트와 지역 전반에서 안전하게 사용하고 재사용할 수 있도록 합니다.

더 빠른 데이터 제품 구현 및 셀프 서비스 보고

Hive Metastore를 대체하는 Unity Catalog를 도입하면서 바이엘은 푸시 기반에서 풀 기반 Data Sharing 접근 방식으로 전환했습니다. 데이터 소비자는 관리되고 신뢰할 수 있는 핵심 데이터 자산에 액세스할 수 있는 권한만 필요합니다. 따라서 각 데이터 도메인 팀은 환경 간에 데이터를 복사하지 않고도 누구와 무엇을 공유할지 자체적으로 정의할 수 있습니다. Unity Catalog와 결합된 서버리스 도입으로, 바이엘 컨슈머 헬스는 개발 환경에서 프로덕션 핵심 데이터 자산으로의 안전한 연결을 구현했습니다. 이를 통해 데이터 엔지니어는 개발 환경에서 프로덕션급 데이터로 새로운 솔루션을 구축할 수 있었고, 데이터 유출 방지 조치를 시행하면서도 새로운 분석 솔루션의 시장 출시 시간을 단축할 수 있었습니다. “Unity Catalog는 우리에게 게임 체인저였습니다”라고 Wuthenow는 말했습니다. 새로운 모델을 사용하면 모든 단계의 데이터 제품에서 최신 데이터를 쉽게 사용할 수 있으므로 새로운 솔루션의 구축 및 테스트 속도가 빨라집니다. 엔지니어들이 프로덕션급 데이터로 솔루션을 테스트할 수 있기 때문입니다.

바이엘 컨슈머 헬스는 또한 모든 카탈로그에 연결되는 중앙 보고 엔드포인트를 도입했습니다. 글로벌 핵심 데이터 자산이 단일 리전에서 관리되므로 직원들은 단일의 거버넌스 진입점을 통해 여러 도메인의 데이터를 쉽게 검색하고 결합할 수 있으며, 사일로나 일관성 없는 정의를 다시 도입하지 않고도 셀프 서비스 분석을 확장할 수 있습니다.

Databricks와 Unity Catalog를 통해 Bayer Consumer Health는 유연성을 유지하면서 데이터 액세스, 명명 및 보안에 대한 공유 표준을 수립했습니다. 거버넌스가 사후에 적용되는 것이 아니라 플랫폼에 내장되어 있어 셀프 서비스 분석을 자신 있게 확장할 수 있습니다. Wuthenow는 "우리는 재사용 가능한 핵심 자산을 구축하고, 셀프 서비스 분석을 지원하며, 모두에게는 인사이트를 제공하고 누구에게도 데이터 사일로를 허용하지 않는 데이터 기반 조직을 육성하고 있습니다."라고 말합니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)