Kythera Labs, Databricks Built-On 파트너가 Delta Sharing을 사용하여 연간 $2M 이상을 절약하는 방법

의료 시스템은 엄청난 양의 민감한 데이터를 생성하지만, 그 데이터를 조직 간에 안전하게 이동, 공유, 분석하는 것은 여전히 주요한 도전 과제입니다. 이 글에서는 저희 Kythera Labs에서 Databricks와 Delta Sharing을 사용하여 3억 건 이상의 환자 기록을 관리하고, 의료 및 생명 과학 분야에서의 협업을 지원하는 방법을 살펴보겠습니다. 이 블로그는 이전의 데이터 공유 방법에 대한 실질적인 문제, Delta Sharing을 채택한 이유, 그리고 이것이 우리의 저장 비용, 효율성, 실시간 협업에 미친 영향에 대해 다룰 것입니다.

헬스케어에서 데이터 활용: Kythera의 접근법

Kythera Labs 는 분석을 위한 통합된 고해상도 헬스케어 데이터 플랫폼을 제공하여 헬스케어 및 생명 과학 조직을 지원하는 데이터 기술 회사입니다. Databricks 파트너로서, 우리는 내부 데이터 공유뿐만 아니라 외부 파트너와의 원활한 데이터 교환을 지원하기 위해 Databricks와 Delta Sharing 을 선택했습니다. 오늘날, 우리 고객의 80% 이상이 플랫폼에 기반한 제품을 사용하고 있습니다. 우리는 또한 Exact Sciences와 같은 조직을 포함한 외부 협업을 지원하며, 50개의 활성 고객 작업 공간에서 Delta Sharing을 사용하고 있습니다.

왜 Delta Sharing인가?

Kythera Labs는 의료 데이터를 안전하게 공유하는 데 있어 중요한 도전 과제를 극복하기 위해 Delta Sharing을 선택했습니다. 10년간의 임상 이력을 포함한 3억 건 이상의 환자 기록이 있으며, 전통적인 방법은 데이터 세트의 여러 전체 복사본을 생성하고 이동하는 것을 필요로 했으며, 이는 저장 비용을 수십만 달러로 늘리고 배송을 늦추었습니다.

Delta Sharing은 중복 복사본을 생성하지 않고 실시간으로 실제 데이터에 안전하게 접근할 수 있게 함으로써 이를 변경합니다. 각 파트너나 환경마다 별도의 데이터 세트를 저장하고 유지하는 대신, 우리는 직접적으로 단일, 관리된 진실의 원천을 공유할 수 있습니다. 이 접근 방식은 우리가 20PB 이상이 필요한 대신에 단지 3.5PB의 저장 공간으로 내부 팀과 외부 협업을 지원할 수 있게 해주었습니다.

또 다른 복잡성은 클라우드에서 고객을 만나는 것입니다. 의료 서비스 제공자들은 종종 Azure에서 운영하며, 많은 제약 회사들은 AWS나 GCP에서 운영합니다. Delta Sharing과 같은 기술이 없다면, 클라우드 간에 큰 데이터 세트를 전달하는 것은 비용이 많이 드는 전송, 복잡한 ETL 작업, 그리고 클라우드 전반에 걸쳐 흩어진 여러 개의 오래된 복사본을 의미할 것입니다. Delta Sharing을 사용하면, 어떤 클라우드든 상관없이 동일한 실시간 데이터셋에 대한 안전한 접근을 즉시 제공할 수 있으며, 이를 통해 준수 사항을 유지하고 불필요한 복사본을 제거할 수 있습니다.

이것은 우리의 내부 작업 흐름을 간소화하는 것뿐만 아니라 (데이터를 다시 복사하지 않고 개발에서 테스트로, 그리고 생산으로 이동) 고객이 더 빠르게 행동할 수 있게 만들어줍니다. 예를 들어, 가장 최신의 데이터로 암 치료 모델을 즉시 업데이트하는 것처럼요.

레거시 접근 방식 대체

데이터 볼륨과 복잡성이 기하급수적으로 증가함에 따라, SFTP 서버와 같은 전통적인 데이터 공유 방법은 현대의 요구에는 더 이상 적합하지 않습니다. 큰 파일을 왔다갔다 하는 것은 지연을 초래하고, 보안 위험을 늘리며, 여러 중복 데이터셋의 저장을 필요로 합니다.

API가 자원이 될 수 있지만, Kythera와 같은 조직이 관리하는 방대한 데이터를 공유하는 데는 부족합니다. 우리가 관리하는 대량의 데이터를 공유하기 위해 API에 의존하는 것은 정원 호스로 수영장을 채우려는 것과 같습니다 - 기술적으로 가능하지만, 우리의 필요에는 너무 느리고 비효율적입니다.

운영적으로, 우리는 매일 700만에서 1000만 건의 거래를 처리하면서 Delta Sharing에 기반한 맞춤형 "Vault Architecture"를 통해 준수 사항을 보장합니다. 고객들은 수동 개입 없이 뷰 공유를 통한 실시간 업데이트로 이점을 얻을 수 있습니다.

Delta Sharing을 채택함으로써, 우리는 이러한 레거시 방법에서 완전히 벗어나 운영 효율성을 향상시키고 클라우드와 조직 간의 원활한 협업을 가능하게 했습니다.

Delta Sharing ROI

Delta Sharing을 통해 우리는 기존의 데이터 공유 방법을 제거하고, 저장소 필요량을 80% 이상 줄이며, 지난 2년 동안 200만 달러 이상을 절약할 수 있었습니다. — 제프 맥도날드, CEO, Kythera Labs

Delta Sharing은 Kythera의 저장 필요량을 예상된 24PB에서 단지 3.5PB로 줄이는 데 도움을 주었습니다. 3년 동안, 저장소 요구량은 2024년의 17 PB/월에서 2023년의 12 PB/월로, 그리고 2022년의 6 PB/월로 감소했습니다. 이러한 감소는 수백만 달러의 절약을 의미합니다. 맥락을 위해, 대형 제약 회사들은 저장 공간에만 매달 최대 1,400만 달러를 소비할 수 있습니다.

저장 공간은 이야기의 일부일 뿐입니다. ETL 복사를 수행하는 컴퓨팅 비용은 저장소 절약과 동일하거나 사용 사례에 따라 훨씬 더 클 수 있습니다.

주요 핵심 사항

Delta Sharing은 비용을 줄이고 효율성을 향상시키며, 클라우드와 조직 간 실시간 협업을 가능하게 함으로써 우리의 데이터 공유 능력을 변화시켰습니다. Delta Sharing, Unity Catalog, 그리고 liquid clustering 의 결합은 헬스케어 데이터 표준을 준수하면서 확장성을 보장하며, 이는 개방적이고 현대적인 데이터 플랫폼이 어떻게 헬스케어 분석을 혁신할 수 있는지를 보여줍니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)