주요 컨텐츠로 이동
산업

핵심 기술: 헬스케어 및 생명과학 기술로 Genie Code 역량 강화하기

AI 코딩과 스킬로 헬스케어 및 생명과학 워크플로 가속화

작성자: Zachary Phillips, 메이 머클탄, Praneeth Paikray, 피터 호킨스, Vimal Thomas Joseph, Rohan Parikh , 옌 로

  • 내용: Vital Skills는 코딩 에이전트에 헬스케어 및 생명과학(HLS) 도메인 전문 지식을 제공하는 오픈소스 에이전트 스킬입니다. 특히 완전한 기능을 갖춘 Databricks 플랫폼에 최적화된 Genie Code는 HLS 전용 가이드라인의 이점을 활용하여 도메인 도구와 모범 사례를 적용합니다.
  • 문제: 일반 에이전트는 그럴듯한 코드를 작성하지만 도메인 규율이 부족합니다. 도메인에서 필수적인 전문 통계 방법 대신 임상 임계값을 임의로 선택하고 일반적인 통계 방법을 선택합니다.
  • 결과: 생의학 연구에 사용되는 대형 언어 모델(LLM) 에이전트를 위한 평가 도구인 BiomniBench에서 Vital Skills가 적용된 Genie Code는 스킬이 지원하는 범위 내 작업에서 Genie Code 단독 사용보다 더 높은 점수를 기록했습니다. 전반적으로 Vital Skills가 일관성, 정확성, 엄격성을 향상시키는 것을 확인했습니다. 누락되는 단계와 검증이 줄어들었고, 재시도가 줄어들었으며, 업계 표준을 따를 가능성이 높아졌습니다.
Vital Skills: 헬스케어 및 생명과학 스킬로 Genie Code 역량 강화

통합되고 거버넌스가 적용된 플랫폼에서 AI와 함께 코딩하세요

Databricks에 최적화된 코딩 에이전트인 Genie Code를 사용하면 직접 코딩하는 대신 대화를 통해 데이터 및 AI 작업을 수행할 수 있습니다. 무엇보다도 Genie Code는 Unity Catalog와 통합되어 있어 에이전트가 기업의 데이터를 정확히 이해하고 나머지 Databricks 플랫폼과 동일한 보안 및 거버넌스 규칙을 따르도록 보장합니다. 따라서 Genie Code는 탐색적 데이터 분석, 머신/딥러닝, 대시보드, 에이전트, 앱, 선언적 자동화 번들 생성, Lakeflow 작업 및 스케줄링과 같은 실제 데이터 작업에서 주요 코딩 에이전트보다 2배 이상 뛰어난 성능을 발휘합니다.

그러나 Genie Code를 비롯한 일반적인 AI 코딩 어시스턴트는 도메인 특화성이 부족하며, 헬스케어 및 생명과학(HLS) 표준이나 모범 사례를 충족하지 못하는 일반적인 방법과 임상 기준을 가정합니다.

Databricks Vital Skills는 오픈 Agent Skills 표준으로 구축된 패키지형 플레이북을 제공하여 이러한 간극을 메워줍니다. AI 코딩 에이전트에 업계 지식을 제공하여 에이전트가 어떤 질문을 해야 하고, 어떤 단계가 필수적이며, 어떤 검증된 도구를 사용해야 하는지 파악할 수 있도록 돕습니다.

Vital Skills는 Genie Code가 통합된 Databricks 에코시스템을 최대한 활용할 수 있도록 설계되어 생성된 코드가 거버넌스가 적용된 데이터와 분리되지 않으며, 서빙, GPU, 거버넌스, 스케줄링을 직접 구축해야 하는 번거로움이 없습니다. 단순한 샌드박스가 아닌 완전한 시스템을 제공합니다. Databricks 에코시스템을 통해 다음과 같은 이점을 누릴 수 있습니다.

  • 모든 데이터 자산을 기반으로 합니다. 기반 데이터의 범위가 넓어질수록 답변의 품질도 높아집니다.
  • 엔드투엔드 거버넌스가 적용됩니다. 대화형 액세스가 가능한 데이터, 기술, 모델 모두 거버넌스 관리, 추적, 보안이 적용됩니다.
  • 포괄적인 플랫폼을 제공합니다. 모델 서빙, GPU, 앱이 플랫폼의 일부로 포함되어 있어 별도의 소프트웨어나 서비스를 구매하여 연결할 필요가 없습니다.
  • 개방형 선택권을 제공합니다. 원하는 클라우드, 모델, 프레임워크를 자유롭게 사용하세요.
  • 단순한 테스트가 아닌 프로덕션을 위해 설계되었습니다. 프로토타입 단계의 작업을 실제 처리량을 갖춘 예약된 Lakeflow 파이프라인 및 작업으로 간편하게 전환할 수 있습니다.

전문가가 작성한 루브릭을 기준으로 채점되는 생명 의료 데이터 분석 작업의 공개 벤치마크인 BiomniBench에서 Vital Skills 적용 여부에 따라 Genie Code의 성능을 테스트했습니다. Vital Skills가 없는 Genie Code도 기본적인 부분은 거의 실패하지 않았습니다.

문서 파싱과 차트 생성을 손쉽게 해냈습니다. 하지만 도메인 특화 방법론과 지식 측면에서 간혹 부족함을 보였고 지나친 단정을 내리는 경향이 있었습니다. Vital Skills를 적용한 Genie Code는 관련 작업에서 더 높은 점수를 받았으며, Vital Skills의 범위를 벗어난 작업에는 부정적인 영향을 미치지 않았습니다.

Genie Code
Vital Skills 적용 및 미적용 상태의 Genie Code 평균 BiomniBench 점수(0~100점). 작업당 3회 실행, LLM 평가자가 블라인드 채점.

헬스케어 및 생명과학 전문가가 헬스케어 및 생명과학을 위해 구축한 스킬

모든 스킬은 고객과 함께 문제를 여러 차례 해결해 본 현장 엔지니어의 경험에서 출발했습니다. 당사는 다음 세 가지 원칙을 고수했습니다.

  1. 단정하기 전에 질문하세요. 임상 기준 등 분석가가 직접 결정해야 하는 사안인 경우, 스킬이 잠시 멈추고 옵션을 제공하여 사용자가 선택할 수 있도록 합니다.
  2. 임시변통 코드가 아닌 검증된 도구를 신뢰하세요. 민감한 작업의 경우, Genie Code는 매번 새로운 로직을 작성하는 대신 검증된 도구와 코드를 실행합니다.
  3. 입증하세요. 모든 스킬은 동일한 작업에 대해 Vital Skills를 적용하지 않은 Genie Code와 나란히 비교 실행되었습니다.

헬스케어 및 생명과학 가치 사슬을 아우르는 카탈로그

Vital Skills는 생물통계학자, 개인정보 보호 책임자, 생물정보학자 또는 보험 계리사의 전문 지식을 모든 분석가의 손에 직접 쥐여주며, 팀이 추가적인 전문가의 도움을 받기 전에 더 빠르게 업무를 진행할 수 있도록 돕습니다. Databricks 헬스케어 및 생명과학 현장 팀은 데이터 처리, 분석, 모델 라이프사이클 관리, 평가, 보고서 및 슬라이드 생성의 주요 단계를 아우르는 업계 전반의 스킬을 구축했습니다.

이러한 스킬은 바로 사용하거나, 필요에 맞게 추가로 커스텀하여 해당 분야의 깊은 전문 지식을 활용할 수 있습니다. 당사는 이러한 기본 스킬 세트가 시간이 지남에 따라 더욱장 성장할 것으로 기대하며, 오픈 소스 저장소에 대한 기여를 환영합니다.

스킬설명
생물정보학 
bulk-rnaseq대량 RNA-seq 카운트에서 상위 차별 발현 유전자를 찾습니다.
open-weight-modelsTEDDY 및 Geneformer와 같은 오픈 웨이트 HLS 모델을 Databricks에 패키징, 등록, 검증 및 배포합니다.
pathway-enrichment-analysisRNA-seq에 대한 경로 농축 분석(ORA 또는 GSEA)을 수행합니다.
sc-rnaseq.h5ad 파일에서 단일 세포 RNA-seq 데이터를 분석합니다.
임상 
cohort-builder코딩된 데이터와 비정형 텍스트 임상 데이터를 결합하여 재현 가능하고 타당성이 검증된 환자 코호트를 구축합니다.
rwe-cohortstudy성향 조정(매칭, IPW)을 통한 비교 효과 분석(코호트 연구)을 수행합니다.
semantic-builderEHR 또는 청구 데이터의 64가지 공통 측정값을 사용하여 Metric Views와 같은 시맨틱 레이어를 구축하여 대시보드나 에이전트에서 바로 사용할 수 있도록 합니다.
phi-deidentifierHIPAA 세이프하버 기준에 따라 Unity Catalog 테이블을 비식별화합니다(k-익명성 + 거버넌스가 적용된 뷰).
기타 
presentation-builder발표에 적합한 슬라이드를 제작합니다.
report-writer분석 방법과 결과를 보고서로 작성합니다.
accelerators작업에 적합한 도구를 갖춘 관련 HLS 가속기나 라이브러리로 라우팅합니다.
skill-eval스킬 벤치마크: 적용/미적용 상태로 쌍으로 실행하고, MLflow genai.evaluate로 점수를 매기고, 승패 및 실패 분류를 수행합니다.

Databricks에서 데이터부터 결과, 최종 제품까지 끊김 없이 연결

Databricks에서 데이터부터 완성된 보고서, 에이전트, 대시보드까지 매끄럽게 완성하세요.

예를 들어, 당사의 semantic-builder 스킬은 청구 데이터나 전자의무기록(EHR)을 바탕으로 자주 사용되는 지표(예: 재원 일수)를 정의하고 계산하여 Metric View로 만듭니다. Unity Catalog에 Metric View가 정의되면, 대시보드, Genie Agent, 외부 BI 도구, 스프레드시트 등 다양한 도구에서 손쉽게 재사용할 수 있습니다.

Semantic Builder Skill
청구 데이터로부터 metric view를 빌드하고 재원 일수와 같은 표준 지표를 정의하세요. 정의된 지표는 대시보드, Genie Agent 및 스프레드시트와 같은 외부 도구를 포함하여 여러 도구에 걸쳐 재사용할 수 있습니다

다음 섹션에서는 주요 스킬 몇 가지를 자세히 살펴보겠습니다.

Cohort builder: 일반 영어 설명으로 시작하기

분석가가 일반적인 언어로 환자군을 설명하면("제2형 당뇨병이 있고 혈당이 조절되지 않는 환자"), 스킬은 이를 재현, 설명 및 검증할 수 있는 코호트로 변환해 줍니다. 코호트 구축은 RWE(실제 임상 근거) 연구, 임상시험 타당성 검토, 보험사 환자 관리, 인구 집단 건강 결과 연구 등 거의 모든 분석 작업의 필수적인 출발점입니다.

주요 특징:

  • 정형 및/또는 비정형 데이터와 함께 작동합니다. 코딩된 기록(진단, 검사, 투약)뿐만 아니라 자유 형식 텍스트 노트와 스캔된 PDF에서도 환자를 찾아냅니다.
  • 추측하는 대신 주요 결정 시점에서 멈춰 질문합니다. 어떤 검사 수치를 "조절되지 않음"으로 볼지, 정형 및 비정형 데이터를 어떻게 결합할지, 결과로 테이블, 노트북 또는 대화창 내 답변 중 무엇을 제공할지 물어봅니다.
  • 타당성을 먼저 확인합니다. 무엇인가를 만들기 전에 자격을 갖춘 환자가 몇 명인지 보여줍니다.
  • 로직을 설명합니다. 공유 가능한 결과에 원시 임상 노트를 노출하지 않고, 각 환자가 포함된 이유를 함께 제공합니다.
  • 일관된 답변을 제공합니다. 테스트 결과 실행할 때마다 동일한 코호트를 생성했으며, 스킬이 없는 Genie Code는 매번 다른 정의를 선택했습니다. 쌍체 평가에서 자유 형식 텍스트 코호트 F1 점수는 0.62에서 1.00으로 상승했습니다.
Cohort Builder
코호트 빌더 스킬은 코호트 생성 옵션을 제공하는 미리보기 기능을 포함하고 있으며 선택에 따라 코호트를 생성합니다.

코호트를 구축한 후에는 비교 효과 연구를 고려하고 presentation-builder를 사용하여 결과를 공유해 보세요.

Open weight models: Databricks에서 선호하는 헬스케어 모델 실행하기

생명과학 분야에서 가장 유망한 AI 애플리케이션 중 일부는 단일 세포 전사체(Geneformer, scGPT, Scimilarity, TEDDY) 또는 단백질 구조(AlphaFold/OpenFold, Boltz2 등)를 인코딩하는 오픈 소스 생물학적 파운데이션 모델입니다. 하지만 이 모델들은 전문적인 인프라와 역량이 필요하여 실행하기가 까다롭습니다. 이 스킬이 적절한 코드, 라이브러리, GPU 서빙을 불러오기 때문에 과학자는 "이 모델이 필요해"라는 생각에서부터 실제 사용할 수 있는 거버넌스 적용 모델 서빙까지 손쉽게 진행할 수 있습니다.

또한 다음과 같은 작업들을 수행합니다:

  • 추측하는 대신 질문합니다(예: 실시간 엔드포인트, 배치 작업, 앱, 파이프라인 등 모델을 어떻게 실행할지). 이를 통해 논리적 근거를 바탕으로 모델을 적절히 배포할 수 있습니다.
  • 모델과 아티팩트(예: 코드, 가중치, 레퍼런스 데이터베이스, 라이선스)를 고정(pinning)하여 모델을 재현 가능하고 감사(audit) 가능하게 만듭니다.
  • Unity Catalog에 등록되고 배포된 거버넌스 적용 모델을 서빙하며, 핸드오프 전에 실제적인 과학적 입력 데이터로 테스트합니다.
  • 추론 및 시스템 테이블에서 모델 트래픽을 모니터링하여 사용량/비용을 추적하고, 선택적으로 민감 데이터 가드레일을 적용합니다.

TEDDY 단일 세포 모델 배포 작업에서, 스킬이 없는 Genie Code는 올바른 코드를 작성했으나 고정된 종속성, 등록 후 스모크 테스트 등 핵심적인 배포 준비 단계들을 누락하여 27개 체크 중 19개만 완료했습니다. 반면 스킬이 있는 경우 27개 모두 완료되었습니다.

평가: Genie Code의 헬스케어 및 생명과학 역량을 향상시키는 Vital Skills

스킬별 평가

헬스케어 및 생명과학 워크플로에는 단 하나의 보편적인 "정확도"가 존재하지 않기 때문에 스킬을 평가하기 위한 스킬을 포함했습니다. 각 스킬이 달성하도록 설계된 목표에 맞추어 적절한 작업, 데이터, 채점기, 예상 결과 및 동작을 갖춘 맞춤형 평가 하네스를 구축합니다. Vital Skills의 사용 여부에 따라 평가 작업을 실행하고 채점했습니다.

BiomniBench 평가

또한 최고 수준의 생명 의료 동료 심사 논문에서 작업을 선별한 BiomniBench를 사용하여 Vital Skills 사용 여부에 따라 Genie Code를 세 번 테스트했습니다.

  • 스킬이 적용되는 영역에서의 성능 향상. 스킬의 범위 내에 있는 5개의 작업에서, 3회 시행 시 Genie Code의 평균 점수는 100점 만점에 71.9점에서 76.9점으로 상승했습니다.
  • 적용되지 않는 영역에서의 안정성. 스킬 범위 외의 18개 작업에서는 점수가 안정적으로 유지(스킬 미사용 시 69.1점, 스킬 사용 시 71.2점)되어, 필요하지 않을 때는 스킬이 방해가 되지 않습니다.
  • 매번 올바른 스킬 선택. Genie Code 지침에 스킬을 가리키는 한 줄짜리 포인터를 추가하자, 범위 내의 모든 실행에서 올바른 스킬을 열었습니다.

올바른 스킬은 올바른 동작을 신뢰할 수 있게 만듭니다. 한 코호트 작업에서 베이스라인은 자격이 되는 환자의 절반을 조용히 누락했으나, 스킬을 사용하자 모든 환자가 정상적으로 복원되었습니다.

Vital Skills와 함께 Genie Code 체험하기

기존 연구에 따르면 Genie Code는 Databricks의 데이터를 고유하게 이해하여 전형적인 무작위 탐색(random walk search) 단계를 건너뛰기 때문에 다른 코딩 에이전트보다 비용 효율적입니다.

헬스케어 및 생명과학 작업을 위해 Vital Skills 같은 스킬로 Genie Code를 확장해 보세요. 여러 스킬을 연쇄적으로 연결하여 복잡한 작업을 수행할 수 있습니다. 예를 들어, 오픈 웨이트 모델을 배포한 후 배치 추론 작업을 생성 및 예약할 수 있습니다. 임베딩 모델인 경우, Genie Code에 벡터 검색 인덱스 생성을 요청하세요.

Vital Skills을(를) Genie Code, Genie One 또는 Genie Code CLI에서 찾아보고 설치해 보세요. 이러한 스킬을 Unity Gateway에 게시하여 동료들과 관리 및 공유할 수 있습니다. 작업에 적합한 스킬을 사용해 보거나 필요에 맞게 커스텀해 보세요. Genie Code를 사용하면 새로운 스킬을 손쉽게 만들 수 있습니다. Vital Skills는 오픈 소스이며 여러분의 기여를 환영합니다.

관련 Databricks 블로그

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

관련 태그:

솔루션, 뉴스, 모범 사례, 의료 및 생명 공학 , 솔루션즈 액셀러레이터

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.