몇 달에서 몇 분으로: 자연어를 사용하여 실시간 임상 데이터 파이프라인 구축

이 게시물은 Assunta Carey-Saylor (Redox 선임 제품 마케팅), Tim Kessler (Redox 현장 최고 기술 책임자), Matt Giglia (Databricks 헬스케어 및 생명 과학 부문 선임 배포 엔지니어)가 공동 작성했습니다.

대부분의 헬스케어 데이터 팀은 EHR 시스템에서 분석 환경으로 데이터를 이동하기 위한 파이프라인을 구축하고 유지 관리하는 데 몇 달을 보냅니다. 이 작업이 완료된 후에도 데이터는 처리되기 전에 종종 중간 저장 계층을 거치게 되어 실시간 사용 사례를 제한하는 지연 시간을 발생시킵니다.

그 결과 유지 관리가 복잡하고 조치하기에는 너무 느린 시스템이 됩니다.

Databricks와 Redox는 이 모델을 변경하기 위해 협력하여 두 가지 핵심 장벽을 제거했습니다:

• 헬스케어 데이터 통합 구축의 복잡성
• 분석 환경으로 데이터를 가져오는 데 걸리는 지연 시간

이제 팀은 Databricks 내에서 자연어 프롬프트를 사용하여 실시간 임상 데이터 파이프라인을 구축하고, 데이터 액세스 및 활성화 방식을 간소화할 수 있습니다.

요약: Databricks와 Redox는 헬스케어 팀이 자연어를 사용하여 실시간 임상 데이터 파이프라인을 구축하고, 1초 미만의 지연 시간으로 클라우드 환경에 데이터를 스트리밍하며, AI 출력을 EHR에 다시 기록하여 진료 시점에서 조치를 취할 수 있도록 지원합니다.

문제: AI 전략은 통합 + 지연 시간으로 인해 병목 현상을 겪습니다.

헬스케어 기관들은 AI를 운영화해야 한다는 압박을 받고 있지만, 실행은 임상 데이터 통합에서 지속적으로 병목 현상을 겪습니다.

모델이나 워크플로우를 배포하기 전에 팀은 EHR 시스템과 통합하고, HL7, CCD, X12와 같은 형식을 정규화하며, ETL 파이프라인을 구축해야 합니다. 이 작업은 시간이 많이 걸리고 전문적인 지식이 필요합니다.

파이프라인이 구축된 후에도 데이터는 Databricks에 도달하기 전에 종종 중간 저장 계층을 거쳐 지연 시간과 운영 오버헤드를 추가합니다. "실시간"이라고 불리는 것이 지연되고, 엔지니어링 팀은 인사이트 제공 대신 인프라에 집중하게 됩니다.

결과적으로 AI 이니셔티브는 정체되고, 인사이트 도출 시간은 몇 주에서 몇 달로 늘어납니다.

새로운 접근 방식

Databricks의 Zerobus Ingest와 Redox MCP Server는 Databricks에서 임상 데이터 파이프라인을 구축하고 운영하는 새로운 접근 방식을 제시합니다.

Redox MCP Server는 팀이 자연어를 사용하여 통합을 구축하고 관리할 수 있도록 하여 새로운 데이터 파이프라인 구축에 필요한 시간과 복잡성을 줄여줍니다. Zerobus는 임상 데이터를 Databricks Unity Catalog 관리형 테이블로 1초 미만의 지연 시간으로 직접 스트리밍하여, 중간 저장 계층이나 파일 로드 워크플로우 없이 바로 처리할 수 있도록 합니다.

이 둘은 파이프라인 구축 방식과 데이터 사용 가능 속도를 모두 변화시킵니다. 통합은 코드 대신 프롬프트를 통해 정의되며, 데이터는 생성되는 즉시 처리할 수 있습니다. 이는 팀이 EHR 시스템에 연결하고, 임상 데이터를 스트리밍하며, Databricks 내에서 직접 워크플로우를 활성화할 수 있음을 의미합니다.

실제 적용 사례

Databricks 플랫폼 내에서 사용자는 Redox MCP Server에 연결하고 프롬프트로 시작합니다. 몇 번의 상호 작용으로:

• 시스템이 사용 가능한 환경 및 데이터 세트를 식별합니다.
• 워크플로우를 완료하기 위한 다음 단계를 제안합니다.
• 시스템 전반에 걸쳐 통합 작업을 실행합니다.
• 로그 및 성능 요약과 같은 유효성 검사 신호를 표시합니다.

배경에서 Zerobus는 스트리밍 데이터를 Databricks로 직접 전달하여 스테이징 계층이나 배치 수집의 필요성을 없앱니다. 이를 통해 워크플로우의 각 단계가 데이터가 도착하는 즉시 라이브 데이터에서 작동할 수 있습니다.

한 예로, 시스템은 최근 환자 입원 기록을 검색하여 구조화된 데이터와 일반 언어 요약을 모두 반환했습니다. 복잡한 임상 데이터는 다운스트림 분석 및 의사 결정에 즉시 사용 가능해졌습니다.

그림 1. 시스템은 최근 환자 입원 기록을 일반 영어로 요약했습니다.

몇 달에서 몇 분으로: 인사이트 도출 시간 단축

이전에는 몇 주 또는 몇 달이 걸리던 통합 작업이 이제 Databricks를 벗어나지 않고도 자연어를 사용하여 몇 분 만에 시작될 수 있습니다.

Zerobus를 통해 중간 데이터 랜딩 단계를 없애고 자연어 프롬프트를 통해 파이프라인 생성을 간소화함으로써, 조직은 지연 시간과 개발 시간을 모두 획기적으로 줄일 수 있습니다. 이를 통해 팀은 AI 사용 사례를 더 빠르게 검증하고, 개발 주기를 단축하며, 실험에서 프로덕션으로 더 신속하게 전환할 수 있습니다.

통합은 더 이상 병목 현상을 일으키는 요인이 아니며, 데이터 지연 시간도 더 이상 제한적인 제약 조건이 아닙니다.

전문 지식에 대한 의존도 감소

헬스케어 통합은 전통적으로 HL7, API 및 데이터 오케스트레이션에 대한 깊은 전문 지식을 필요로 했습니다.

Redox MCP Server를 사용하면 이러한 복잡성의 상당 부분이 추상화됩니다. 조직은 HL7 전문가 및 통합 전문가에 대한 의존도를 줄여 더 광범위한 팀이 임상 데이터를 다룰 수 있도록 할 수 있습니다.

데이터 과학자와 ML 엔지니어는 ETL 파이프라인 관리가 아닌 모델 구축 및 인사이트 생성에 집중할 수 있습니다. 엔지니어링 팀은 통합 유지 관리에서 새로운 기능 활성화로 전환할 수 있습니다.

초점은 "데이터를 어떻게 얻을 것인가"에서 "데이터를 어떻게 활용할 것인가"로 바뀝니다.

실시간 임상 인텔리전스 구현

Zerobus를 사용하면 임상 데이터가 중간 저장 계층이나 배치 처리 없이 1초 미만의 지연 시간으로 Databricks에 도착합니다. 이를 통해 FHIR은 항상 의도된 대로 트랜잭션으로 처리되어 REST API 엔드포인트로 전송될 수 있습니다. 예를 들어, 건강 보험 또는 의료 제공 기관은 사전 승인 특정 번들을 Redox를 통해 Databricks에 필요한 전용 REST API 엔드포인트로 직접 보낼 수 있으며, FHIR Store에 먼저 저장되거나 입증된 FHIR JSON 파일로 저장될 필요가 없습니다.

이를 통해 ML 및 AI 에이전트 프레임워크는 사전 승인 요청 및 응답을 즉시 처리할 수 있습니다. 추가 데이터 풀링이나 원시 FHIR JSON 파일을 파싱하는 데 필요한 복잡한 ETL 과정을 우회함으로써, 이러한 시스템은 환자 여정을 사후가 아닌 실시간으로 포착하고 조치할 수 있습니다.

Redox EHR 쓰기 백 기능과 결합하여 이러한 인사이트는 임상 워크플로우 내에서 직접 운영화될 수 있습니다. AI 생성 출력은 실시간으로 EHR에 다시 기록될 수 있으며, 데이터, 인텔리전스, 진료 시점의 조치 간의 루프를 닫습니다. 이는 Databricks를 분석 시스템을 넘어 헬스케어 운영을 위한 애플리케이션 계층으로 전환시켜, 데이터 파이프라인과 AI 모델이 단순히 의사 결정을 알리는 것을 넘어 핵심 임상 시스템 내에서 개입을 적극적으로 주도하게 합니다.

이는 새로운 종류의 실시간 사용 사례를 가능하게 합니다:

• 환자 상태 실시간 추적
  입원, 전원, 퇴원 및 임상 이벤트 발생 시 지속적으로 업데이트

• 상황 변화에 따른 용량 최적화
  실시간 환자 이동 및 인구 조사 신호를 사용하여 병상 관리, 인력 배치 및 처리량 개선

• 적절한 순간에 개입 트리거
  지연된 보고서 대신 실시간 임상 신호를 기반으로 환자, 진료 팀 또는 시스템 참여 유도

• 위험 발생 시 감지
  대응할 시간이 있을 때 악화, 진료 공백 또는 운영 병목 현상 식별

이제 의료 기관은 환자 진료 제공 속도에 맞춰 데이터 워크플로우를 조정하여 더 큰 민첩성과 반응성으로 운영할 수 있습니다.

이것이 작동하는 이유: AI가 활용할 수 있는 신뢰할 수 있는 기반

이 기능은 신뢰할 수 있고 표준화된 임상 데이터 기반에 달려 있습니다. Redox는 단일 플랫폼 및 API를 통해 EHR 및 기타 다운스트림 시스템 전반에서 의료 데이터를 교환하기 위한 표준화된 레이어를 제공합니다.

Zerobus는 이 데이터가 Databricks에 지연 없이 도착하도록 보장합니다. Redox MCP Server는 의도를 실행으로 변환하는 동시에 엔터프라이즈급 보안, 규정 준수 및 운영 제어를 적용하여 자연어를 통해 데이터를 접근 가능하고 실행 가능하게 만듭니다.

이들은 함께 임상 데이터 및 AI 워크플로우를 위한 실시간 실행 레이어를 생성합니다.

파이프라인을 넘어: "Redox 에이전트" 구축

그리고 우리는 데이터 수집에만 머무르지 않습니다. Redox MCP Server가 임상 데이터 위에 있는 Databricks Genie Spaces와 함께 위치하므로, AI 팀은 이제 Databricks에서 Redox 에이전트를 구축할 수 있습니다.

이러한 특수 에이전트는 다음을 수행할 수 있습니다:

• Redox 플랫폼 로그를 검토하여 실시간으로 데이터 흐름을 문제 해결하거나 감사합니다.
• 자연어를 사용하여 Redox가 보낸 임상 데이터에 대한 질문에 답변합니다.
• 엔터프라이즈 의료에 필요한 엄격한 거버넌스, 보안 및 추적성을 유지하면서 지능을 임상 애플리케이션에 직접 내장합니다.

Redox MCP와 Genie의 기능을 결합하여 팀은 단순히 데이터를 이동하는 것에서 벗어나 공급자의 기존 워크플로우 내에 바로 위치하는 대화형 지능형 인터페이스를 만들 수 있습니다.

실제로 확인하기

4월 30일에 열리는 Redox 및 Databricks 웨비나에서 Zerobus와 MCP Server가 Databricks 내에서 실시간 데이터 파이프라인을 제공하기 위해 어떻게 협력하는지 시연할 예정입니다.

팀이 자연어를 사용하여 의도에서 실행으로 이동하고, 동시에 1초 미만의 지연 시간으로 라이브 데이터를 운영하는 방법을 확인할 수 있습니다.

여기에서 등록하여 이 접근 방식이 귀하의 조직에 어떻게 적용되는지 알아보십시오.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)