임상 운영 인텔리전스는 Lakehouse에 있어야 합니다

임상 데이터 문제는 저장 문제가 아닙니다. 대부분의 조직에는 이미 데이터 웨어하우스, CTMS, EDC가 있고, 다운스트림 어딘가에는 BI 계층이 있습니다. 문제는 이러한 시스템 중 어느 것도 임상 팀이 내려야 하는 실제 의사 결정을 지원하는 방식으로 서로 통신하지 않는다는 것입니다. 따라서 의사 결정은 대신 스프레드시트에서 이루어집니다.

오늘 저희는 완전히 오픈 소스인 Databricks 앱으로 Site Feasibility Workbench를 출시합니다. 이 앱은 애플리케이션, 모델, 데이터가 동일한 플랫폼에 있을 때 임상 운영 인텔리전스가 어떻게 보이는지 보여줍니다. Tufts Center for the Study of Drug Development는 활성화된 조사 사이트의 37%가 목표보다 적은 환자를 등록했으며, 추가로 11%는 전혀 환자를 등록하지 않았다고 문서화했습니다. 이로 인해 53%의 임상 시험이 계획된 등록 타임라인을 초과했으며, 6개 중 1개는 계획보다 두 배 이상 오래 걸렸습니다(Lamberti 등; 이후 CSDD 영향 보고서는 유사한 수준의 저조한 성과를 계속 추적합니다). 실현되지 않은 약물 판매로 하루 최대 50만 달러, 직접적인 임상 시험 비용으로 하루 최대 4만 달러가 소요되는 만성적인 사이트 저조 성과는 신약 개발에서 가장 중대한 비용 동인 중 하나입니다. 이러한 결합된 저조 성과율은 적어도 20년 동안 본질적으로 변하지 않았습니다. 도구가 문제가 아닙니다. 아키텍처가 문제입니다.

임상 운영 팀은 기존 시스템에 연결된 대시보드가 더 필요하지 않습니다. 의사 결정 지원 애플리케이션이 데이터와 모델이 있는 곳에 있어야 합니다. 그래야 예측과 이를 검증하는 운영 결과 간의 피드백 루프가 실제로 닫힐 수 있습니다.

아키텍처 논쟁

임상 의사 결정 지원에 대한 기존 접근 방식은 다음과 같습니다. 분석 데이터는 데이터 웨어하우스 또는 Lakehouse에 있습니다. 별도의 애플리케이션 데이터베이스는 운영 상태를 보유합니다. 파이프라인은 이 둘을 느슨하게 동기화합니다. 웹 애플리케이션은 둘 다 앞에 배치되어 Silver 계층에서 의미론적 조화를 추가합니다. 각 계층은 통합 오버헤드, 자격 증명 표면적, 애플리케이션이 표시하는 데이터에 대한 신뢰를 침식하는 동기화 지연을 도입합니다.

Databricks 앱, Lakebase, AI/BI Genie는 이러한 각 계층을 추상화하는 것이 아니라 불필요하게 만듦으로써 제거합니다.

Databricks 앱은 작업 공간 내에서 웹 애플리케이션을 실행합니다. 앱은 일급 작업 공간 서비스 주체로 인증하고, SQL Statement API를 통해 Unity Catalog를 쿼리하고, 작업 공간 REST API를 통해 AI/BI Genie를 호출합니다. 이 모든 것은 내부 연결에서 이루어집니다. 임상 운영 데이터는 작업 공간 경계를 넘지 않습니다. 앱은 추가 구성 없이 Unity Catalog 액세스 제어를 상속합니다.

Lakebase는 운영 데이터베이스 계층입니다. 유휴 상태일 때 0으로 축소되는 관리형 PostgreSQL로, 작업 공간 ID 시스템 내에서 완전히 프로비저닝되고 인증됩니다. 기존 애플리케이션에 자체 스키마 드리프트, 동기화 작업 및 자격 증명 로테이션이 있는 별도로 관리되는 RDS 인스턴스가 필요한 경우, Lakebase는 데이터와 모델이 있는 동일한 플랫폼에 있습니다.

AI/BI Genie는 마지막 격차를 해소합니다. 즉, 거버넌스된 데이터에 대한 자연어 액세스를 애플리케이션 워크플로에 직접 내장합니다. 연구 관리자는 ML 모델이 학습한 것과 동일한 Unity Catalog 테이블에 대해 일반 영어로 질문하며, 동일한 액세스 제어가 적용됩니다.

결과는 외부 API 호출을 하지 않고, 별도의 운영 데이터베이스 인프라를 유지하지 않으며, 분석 및 운영 계층 간의 동기화 파이프라인이 필요 없는 임상 운영 애플리케이션입니다.

감사 가능성 논쟁

표준 산업 관행인 사이트 타당성 조사는 공급업체의 상용 점수 제품 또는 CRO 제공 분석 플랫폼에 의존합니다. 이러한 도구는 집계된 산업 데이터를 기반으로 하므로 기준선으로는 유용하지만 포트폴리오의 특정 측면에는 눈이 멀었습니다. 10년 동안의 CTMS, EDC 및 IRT 기록을 보유한 스폰서는 자사 프로토콜에서 사이트가 어떻게 수행되는지에 대한 상당한 신호를 가지고 있습니다.

ML 스택이 Databricks에 있으면 해당 기관 지식이 학습 데이터가 됩니다. 이 워크벤치의 모델은 업계 평균이 아닌, 귀하의 과거 등록률, 사이트 자격 기록, 스크린 실패 패턴 및 프로토콜 실행 기록을 기반으로 학습됩니다. CMS Open Payments는 적절하게 사용될 때 연구 참여 및 인프라와 상관 관계가 있는 공개 신호 계층을 추가하며 무료로 사용할 수 있습니다. 임상 시험 포트폴리오가 성장함에 따라 모델은 동일한 인프라에서 개선됩니다. 이것은 단일 플랫폼 아키텍처가 가능하게 하는 복리 수익이며 라이선스 점수 제품은 제공할 수 없습니다. 모든 새로운 연구는 예측을 더 좋게 만들고, 모든 새로운 사이트 관계는 다음 학습 실행에 반영됩니다. MLflow는 모든 모델 학습 실행, 매개변수, 메트릭 및 아티팩트를 추적하여 모델 버전 간의 비교, 주문형 재현성, 원시 CTMS 및 EDC 기록에서 배포된 예측까지의 완전한 감사 추적을 가능하게 합니다.

규제 측면도 여기서 중요합니다. 21 CFR Part 11, ICH E6(R3), FDA의 우수 기계 학습 실습(GMLP) 지침, 그리고 알고리즘 의사 결정 지원의 투명성에 대한 FDA의 강조 증가는 모델 설명 가능성과 데이터 거버넌스를 선택 사항이 아닌 필수 고려 사항으로 만듭니다. 모든 예측은 거버넌스된 Unity Catalog Delta 테이블로 저장된 SHAP 속성을 가지고 있기 때문에(MLflow에서 버전 관리되고, Unity Catalog를 통해 계보가 추적되며, 쿼리 가능), 사이트 선택의 근거는 점수 자체만큼 감사 가능합니다. 임상 관리 팀은 블랙박스 공급업체 보고서가 아닌 SQL 쿼리로 데이터 모니터링 위원회의 질문에 답할 수 있습니다.

우리가 만든 것

Site Feasibility Workbench는 임상 시험 사이트 선택을 위한 6단계 안내 워크플로입니다. 프로토콜 선택, 점수 제약 조건, 지리적 개요, 사이트 순위 지정, SHAP 기반 사이트 심층 분석, 최종 후보 목록입니다. 다양성 고려 사항은 FDA의 다양성 행동 계획 기대치와 일치하는 최우선 점수 차원입니다. FDORA 2022에 따라.

복합 타당성 점수는 실제 증거, 환자 접근 데이터, 과거 사이트 성과, 사이트 자격 기록, Open Payments KOL 신호 및 프로토콜 실행 요인을 결합합니다. 이 모든 것은 조직 자체의 CTMS, EDC 및 IRT 기록을 기반으로 학습된 TA 세분화된 LightGBM 모델에 의해 구동됩니다.

강조할 가치가 있는 부분은 워크플로 단계나 모델 기능이 아닙니다. 환자 수준 데이터는 Unity Catalog 액세스 제어를 상속하며 PHI 처리는 카탈로그 또는 스키마 수준에서 구성된 스폰서의 HIPAA Safe Harbor / Expert Determination 입장을 따릅니다.

이것은 아키텍처가 가능하게 하는 것입니다. 모든 예측은 예측 자체와 함께 거버넌스된 Delta 테이블로 저장된 SHAP 설명을 가지고 있어 모델의 근거가 설명하는 점수만큼 감사 가능하고 버전 관리됩니다. 모든 예측은 거버넌스된 SHAP 속성으로 분해되므로 스폰서는 커뮤니티 사이트, 소수 민족 대상 기관 또는 첫 방문 조사자의 체계적인 과소 평가에 대한 권장 사항을 감사하여 설명 가능성을 공정성 제어로 전환할 수 있습니다.

저장된 후보 목록은 팀 공유를 위해 Lakebase에 유지됩니다. AI/BI Genie 도우미는 일반 언어로 동일한 Unity Catalog 테이블에 대해 교차 도메인 질문에 답변합니다. 이 중 어느 것도 작업 공간 외부의 인프라가 필요하지 않습니다.

이것은 기록 시스템의 소스가 아니라 의사 결정 지원 계층입니다. CTMS/EDC/IRT는 권위 있는 상태를 유지합니다. 워크벤치는 Unity Catalog와 MLflow에서 거버넌스된 계보를 가진 예측을 생성합니다.

전체 애플리케이션(FastAPI 백엔드, React 프런트엔드, 시드 노트북 및 배포 스크립트)은 오픈 소스 리포지토리로 게시됩니다. Unity Catalog가 있는 기존 Databricks 작업 공간에 배포하는 데 약 30분의 기술 배포 시간이 소요되며, 스폰서별 보안 검토 및 검증 전에 완료됩니다.

더 큰 플랫폼의 한 모듈

Site Feasibility Workbench는 전체 임상시험 라이프사이클을 포괄하는 더 광범위한 아키텍처인 Databricks Clinical Operations Intelligence Hub의 첫 번째 공개 릴리스입니다:

• 임상시험 기관 실사 및 선정 — 이 리포지토리에서 다루는 내용
• 환자 코호트 및 모집 — Lakehouse 규모의 EHR 및 실제 증거에서 프로토콜과 일치하는 코호트 구축
• 등록 속도 최적화 — 1~3개월의 예측 기간을 가진 기관별 월별 ML 지연 예측
• 위험 기반 모니터링 및 규정 준수 — 등록 이상, 데이터 지연 및 프로토콜 편차에 대한 지속적인 모니터링

네 가지 모두 Databricks Apps로 배포됩니다. 네 가지 모두 Unity Catalog에 직접 쿼리합니다. 외부 API 호출은 하지 않습니다. 임상 애플리케이션이 데이터와 모델이 있는 곳에서 실행될 때 피드백 루프가 완성됩니다. 임상시험 기관 선정 모델은 등록 결과로부터 학습합니다. 위험 점수는 개정 이력 증가에 따라 업데이트됩니다. 모든 AI 기반 권장 사항에는 이를 생성한 CTMS, EDC 및 IRT 기록으로 추적 가능한 계보가 있습니다.

시작하기

공개 리포지토리를 복제하세요. 배포하세요. 변경한 내용을 알려주세요.

GitHub 리포지토리

전체 Clinical Operations Intelligence Hub를 보려면 BrickTalk 녹화: Scaling BioPharma Intelligence + Databricks Agentic Clinical Ops.를 시청하세요.

Lakebase 및 Databricks Apps의 프로덕션 환경은 플랫폼 기본 요소를 심층적으로 다룹니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)