임페리얼 칼리지 런던이 현대적인 데이터 플랫폼으로 치매 연구를 가속화하는 방법

의사에게 통증이 있는지 또는 열이 나는지 말할 수 없다고 상상해 보세요. 이는 치매를 앓고 있는 많은 사람들의 현실이며, 이로 인해 의사들이 올바른 진단을 내리는 데 어려움을 겪고 치료가 지연될 수 있습니다.

치매 환자의 경우 수면 장애, 활동량 감소, 일상적인 루틴의 변화와 같은 미묘한 변화가 건강상의 중요한 변화를 나타낼 수 있습니다. 하지만 치매 환자가 이러한 공백을 스스로 채울 수 없을 때, 해당 데이터를 캡처하여 의료 제공자에게 유용하게 만드는 것은 결과를 크게 개선할 수 있습니다. 임페리얼 칼리지 런던에 본사를 둔 영국 치매 연구소 케어 연구 및 기술 센터(CR&T)의 연구원들은 이러한 신호를 지속적으로 추적합니다. 가정 내 센서, 수면 모니터, 전자 건강 기록(EHR)의 데이터를 사용하여 연구팀은 환자의 건강 상태를 실시간으로 파악함으로써 치료를 개선하고 연구를 발전시킵니다. 이를 통해 감염을 조기에 발견하고, 예방 가능한 입원을 줄이며, 환자들이 집에서 더 오랫동안 안전하게 생활할 수 있도록 도울 수 있습니다.

그러나 수년에 걸쳐 가구 수, 가정 내 기기, 데이터 양이 증가함에 따라 이러한 미션을 지원하는 데이터 플랫폼이 동일한 속도로 확장하는 데 어려움을 겪었고, 이로 인해 치료와 연구를 지원하기 위한 시의적절하고 신뢰할 수 있는 인사이트를 제공하는 데 어려움이 생겼습니다.

중요한 데이터가 충분히 빠르게 이동하지 못할 때

5년에 걸쳐 CR&T의 핵심 서비스인 Minder 플랫폼은 풍부한 인프라로 발전했지만, 플랫폼의 성장과 함께 확장성(scaling)과 관련된 어려움도 커졌습니다.

데이터 양이 늘어나고 사용 사례가 확장됨에 따라 세 가지 과제가 진행 속도를 늦추기 시작했습니다.

1. 경합하는 워크로드로 인한 혁신 저해 - 수집, 분석, 실시간 쿼리를 처리하는 시스템이 겹치기 시작했습니다. 아주 작은 변경 사항도 프로덕션 워크플로를 중단시킬 위험이 있어 팀이 신중하게 움직여야 했고 반복 작업(iteration)이 느려졌습니다.

2. 스토리지와 컴퓨팅의 긴밀한 결합 - 데이터에 계속 액세스할 수 있도록 대량의 데이터가 운영 데이터베이스에 저장되었습니다. 데이터가 증가함에 따라 인프라 비용도 증가했지만, 효율적으로 확장할 수 있는 명확한 방법이 없었습니다.

3. 연구원들의 데이터 액세스 한계 - 전용 연구 환경이 없었습니다. 임상의를 포함한 비기술 분야의 이해관계자들은 데이터에 대한 가시성이 제한되어 모델을 검증하고 인사이트를 실제 치료에 적용하는 데 어려움을 겪었습니다.

이러한 문제들로 인해 센터의 연구 결과를 임상 실무에 적용하는 작업이 지연되었습니다.

연구 및 치료를 위해 설계된 플랫폼 구축

더 빠르게 움직이기 위해 CR&T는 이전에 긴밀하게 결합되어 있던 시스템을 분리하고 분석 및 연구를 위한 전용 환경을 구축하는 것을 목표로 플랫폼 아키텍처를 재설계했습니다.

이제 IoT 데이터는 Kubernetes 레이어를 통해 수집 및 검증된 후 Azure Data Lake Storage의 Delta Lake에 저장됩니다. 데이터는 원시(bronze)에서 정제(silver)를 거쳐 익명화된 연구용 데이터 세트(gold)로 발전하며, 이는 다운스트림 분석의 기반이 됩니다.

이러한 전환을 통해 운영 시스템에 영향을 주지 않으면서 지속적으로 증가하는 센서 데이터를 처리할 수 있는 모듈화되고 신뢰할 수 있으며 확장 가능한 기반이 마련되었습니다.

동시에 CR&T는 기존 임상 워크플로에서 이미 잘 작동하던 부분은 보존하면서 그 주변의 모든 것을 현대화했습니다. EHR 시스템은 NHS 및 기타 임상 환경과의 상호 운용성에 최적화된 상태를 유지하며, 원활한 데이터 교환을 보장하기 위해 FHIR 표준을 계속 사용했습니다. 이 기반을 바탕으로 현재 Imperial College Healthcare NHS Trust를 통해 NHS 임상 치료와의 활발한 통합이 이루어지고 있으며, Minder의 인사이트를 현장의 의사 결정에 더욱 가깝게 적용하고 있습니다. 초기 배포는 원격 모니터링 데이터를 임상 워크플로에 내장하여 임상의가 가정에 거주하는 환자에 대해 보다 시의적절하고 맥락에 맞는 정보를 지원받을 수 있도록 하는 데 중점을 두고 있습니다.

이러한 기반 위에 연구팀은 Unity Catalog(UC)를 통해 중앙 집중식 거버넌스를 도입하여 연구팀, 연구 과제 및 외부 협력자 전반에 걸쳐 세분화된 액세스 제어를 지원했습니다. 그런 다음 Databricks가 전용 분석 레이어가 되어 연구원들이 프로덕션 워크플로와 독립적으로 데이터를 탐색하고, 모델을 구축하며, 협업할 수 있는 통합 환경을 제공했습니다.

모델 배포의 경우, CR&T는 계속해서 Kubeflow를 사용하는 동시에 모델의 실험, 배포, 재학습 및 유지 관리를 더욱 간소화하기 위해 MLflow를 적극적으로 검토하고 있습니다.

데이터 액세스를 연구 속도로 전환

아키텍처를 현대화하는 것은 솔루션의 일부에 불과했습니다. CR&T는 연구원들이 데이터와 상호 작용하는 방식도 재고하여 인사이트 개발 및 공유를 가속화하는 연구-프로덕션(research-to-production) 워크플로를 구축했습니다. Unity Catalog는 데이터 세트 사용량을 추적하고 가치가 높은 데이터 자산을 식별하는 데 핵심적인 역할을 합니다. 자주 사용되는 데이터 세트에 대해 연구팀이 개발한 분석 및 처리 파이프라인은 코드가 강화되어 팀 간에 재사용할 수 있도록 만들어집니다. 이를 통해 중복된 노력을 줄이고, 연구원들에게 새로운 데이터 세트나 복잡한 데이터 세트를 다루기 위한 골드 표준 파이프라인 템플릿을 제공함으로써 결과물 도출을 가속화합니다.

임상의 및 기타 비기술 분야 이해관계자들의 접근성도 크게 향상되었습니다. 이제 Databricks 대시보드는 IoT 기기 상태, 행동 및 생리적 트렌드, 코호트 수준의 인사이트를 보다 직관적인 방식으로 보여줍니다. 또한 임상의가 이미 사용 중인 도구 내에서 직접 인사이트에 액세스할 수 있도록 모니터링 시스템 내에 임베디드 대시보드 통합을 테스트하고 있습니다.

이 플랫폼은 재현성(reproducibility)과 관련된 의학 연구의 중요한 요구 사항도 해결합니다. IoT 데이터는 지속적으로 업데이트되므로 결과가 시간이 지남에 따라 달라질 수 있습니다. 일관성을 보장하기 위해 모든 데이터 포인트는 원래의 타임스탬프와 함께 저장되므로 연구원들은 과거 특정 시점에 임상의가 본 내용을 정확하게 재구성할 수 있습니다.

수개월에서 수주일로 — 생산성에 미치는 실질적인 영향

기존 시스템과 함께 새 플랫폼을 구축함으로써 CR&T는 중단 없이 진행 속도를 높일 수 있었습니다. 초기 결과는 다음과 같은 의미 있는 성과를 보여줍니다.

• 마이그레이션 전반에 걸쳐 100% 가동 시간(uptime) 유지
• 기존 약 6개월에서 최소 1개월 만에 새로운 IoT 데이터 소스 통합
• 모델 개발 기간이 약 1개월로 단축되어 더 빠른 반복 작업 가능
• 수개월 내에 수백만 개의 IoT 데이터 포인트가 수집되는 등 빠른 데이터 성장
• 비기술 분야 사용자의 도입이 늘어나면서 전월 대비 50%의 플랫폼 성장률 기록

가장 중요한 것은 이러한 개선 사항이 실질적인 영향으로 이어지고 있다는 점입니다.

“우리는 일하는 방식을 재구성하고 데이터에 더 쉽게 접근할 수 있도록 만들었습니다. Databricks 분석 플랫폼은 이미 지난 5개월 동안 치매 환자 581명에게 임상 인사이트를 제공하는 데 기여했습니다.”—Ethan de Villiers, 데이터 엔지니어, CR&T

팀은 또한 처음부터 동등한 인프라를 구축하는 것에 비해 수백 시간의 엔지니어링 시간을 절약할 수 있을 것으로 예상합니다.

더 나은 치매 케어를 위한 미션 추진

CR&T에서의 연구는 계속 진행 중입니다. 스스로를 대변하기 어려운 환자들을 위해, 가정에서 일어나는 일에 대한 객관적이고 지속적인 데이터를 시각화하는 것은 케어를 제공하는 데 있어 핵심적인 부분입니다. 플랫폼이 성장함에 따라 더 많은 사람들에게 도달하고, 연구 인사이트와 임상 의사 결정 사이의 시간을 단축하며, 케어 팀이 행동하는 데 필요한 근거를 제공할 수 있는 잠재력도 커지고 있습니다.

CR&T의 경험은 데이터 기반 케어의 가장 큰 장벽이 데이터 자체인 경우는 거의 없다는 점을 보여줍니다. 중요한 것은 기술적 지식에 관계없이 적절한 사람들이 데이터에 액세스하고, 신뢰하고, 사용할 수 있는지 여부입니다. 이것이 바로 CR&T가 해결하고자 했던 문제입니다. 그리고 데이터는 이것이 효과가 있음을 보여줍니다.

헬스케어 데이터 플랫폼 구축을 위한 교훈

CR&T의 경험은 파편화된 실제 데이터를 실질적인 인사이트로 전환하는 것에 케어의 미래가 달려 있는, 헬스케어 전반에서 일어나는 광범위한 변화를 반영합니다.

조직들이 커넥티드 디바이스, 원격 모니터링, AI 기반 분석을 점점 더 많이 도입함에 따라, 이제 과제는 단순히 데이터를 수집하는 것이 아닙니다. 매일 케어 의사 결정을 내리는 사람들이 데이터를 액세스하고, 신뢰하고, 사용할 수 있도록 만드는 시스템을 구축하는 것입니다.

특히 환자들이 자신의 상태 변화를 항상 전달할 수 없는 치매 케어의 경우, 지속적인 데이터는 그렇지 않으면 놓칠 수 있는 중요한 맥락을 제공할 수 있습니다. 그 영향은 단일 유스케이스를 훨씬 뛰어넘습니다. 확장 가능한 데이터 인프라, 거버넌스가 적용된 액세스, 연구자 친화적인 분석을 둘러싼 동일한 아키텍처 원칙은 연구를 가속화하고, 개인 맞춤형 케어를 제공하며, 대규모로 결과를 개선하고자 하는 현대 헬스케어 시스템의 기반이 되고 있습니다.

CR&T의 연구는 신뢰할 수 있는 공유 데이터 플랫폼이 어떻게 헬스케어 조직의 연구를 가속화하고, 임상 의사 결정을 개선하며, 궁극적으로 더 나은 환자 결과를 이끌어낼 수 있는지 보여줍니다.

감사의 글

Care Research and Technology Centre의 핵심 팀원들과 이 연구를 지원해 주신 후원자 및 연구 스폰서 분들께 감사드립니다. 특히 이 플랫폼을 개발하는 데 기술적으로 기여해 준 데이터 과학 및 소프트웨어 팀(Nora Joby, Anna Joffe, Ethan de Villiers, Amer Marzuki, Ramsheed Abdul Rahim, Gaia Frigerio)에 깊은 감사를 표합니다.

펀딩 및 지원

Minder 는 주로 UK Medical Research Council의 자금 지원을 받고 Alzheimer's Society의 추가 지원을 받는 UK Dementia Research Institute (UK DRI Ltd)의 지원을 받습니다. Mindercare 역시 주로 Medical Research Council의 자금 지원을 받고 LifeArc의 추가 자금 지원을 받는 UK Dementia Research Institute (UK DRI Ltd)의 지원을 받습니다.

자세히 알아보기

LinkedIn에서 Databricks for Public Sector를 팔로우하여 Databricks가 어떻게 공공 부문 조직이 데이터를 통합하고, AI를 거버닝하며, 글로벌 규모로 지식을 행동으로 전환하도록 돕는지에 대한 정기적인 업데이트를 받아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)