Databricks Agent Bricks를 사용한 규제 위험 코파일럿 구축(1부: 정보 추출)

2025년 7월, 미국 FDA는 1차 심사에서 의약품 및 생물학적 제제 신청이 승인되지 않은 이유를 설명하는 결정 서한인 200개 이상의 최종 보완 요구 서한 (CRL)의 초기 배치를 공개하여 투명성 측면에서 중대한 전환점을 맞았습니다. 처음으로 후원사, 임상의, 데이터 팀은 중앙 집중화되고 다운로드 가능한 공개 FDA PDF를 통해 임상, CMC, 안전성, 라벨링, 생물학적 동등성 전반의 결함에 대한 기관 자체의 언어로 산업을 분석할 수 있게 되었습니다.

FDA가 새로운 CRL을 계속해서 발표함에 따라, 이러한 비정형 데이터 및 기타 비정형 데이터로부터 신속하게 인사이트를 생성하고 이를 내부 인텔리전스/데이터에 추가하는 능력이 주요 경쟁 우위가 됩니다. PDF, 문서, 이미지 등의 형태로 제공되는 이러한 비정형 데이터 인사이트를 효과적으로 활용할 수 있는 조직은 자체 제출물의 위험을 줄이고, 일반적인 함정을 식별하며, 궁극적으로 시장 출시 기간을 단축할 수 있습니다. 문제는 이 데이터가 다른 많은 규제 데이터와 마찬가지로 PDF에 잠겨 있어 대규모로 처리하기가 매우 어렵다는 점입니다.

이것이 바로 Databricks가 해결하고자 했던 유형의 과제입니다. 이 블로그에서는 Databricks의 최신 AI 도구를 사용하여 PDF에 갇혀 있는 핵심 정보의 추출을 가속화하고, 이러한 중요한 서신을 실행 가능한 인텔리전스의 원천으로 전환하는 방법을 보여줍니다.

AI로 성공하기 위해 필요한 것

요구되는 기술적 깊이 때문에 엔지니어는 종종 고립된 환경에서 개발을 주도하여 AI 빌드와 비즈니스 요구사항 간에 큰 격차를 만듭니다. 주제 전문가(SME)가 결과를 볼 때쯤에는 종종 그들이 필요로 했던 것이 아닌 경우가 많습니다. 피드백 루프가 너무 느리고 프로젝트는 추진력을 잃습니다.

초기 테스트 단계에서는 기준선을 설정하는 것이 중요합니다. 많은 경우, 대안적인 접근 방식은 실측 정보 없이 주관적인 관찰과 '감'에 의존하여 몇 달을 낭비해야 합니다. 이러한 경험적 증거의 부족은 발전을 저해합니다. 반대로 Databricks 툴링은 즉시 사용 가능한 평가 기능을 제공하며, 고객이 반복적인 프레임워크를 사용하여 추출에 대한 수학적 신뢰를 얻고 즉시 품질을 강조할 수 있도록 합니다. AI 성공을 위해서는 신속하고 협력적인 반복을 기반으로 하는 새로운 접근 방식이 필요합니다.

Databricks는 비즈니스 SME와 AI 엔지니어가 실시간으로 협업하여 프로덕션 품질의 에이전트를 구축, 테스트, 배포할 수 있는 통합 플랫폼을 제공합니다. 이 프레임워크는 세 가지 핵심 원칙을 기반으로 합니다.

• 긴밀한 비즈니스-기술 연계: SME와 기술 리드는 동일한 UI에서 협업하여 즉각적인 피드백을 제공함으로써 느린 이메일 루프를 대체합니다.
• 정답 데이터 평가: 비즈니스에서 정의한 "정답" 레이블은 공식적인 점수 산정을 위해 워크플로에 직접 구축됩니다.
• 전체 플랫폼 접근 방식: 이는 샌드박스나 포인트 솔루션이 아니라 자동화된 파이프라인, LLM-as-a-Judge 평가, 프로덕션에 신뢰할 수 있는 GPU throughput 및 엔드투엔드 Unity Catalog 거버넌스와 완벽하게 통합됩니다.

이러한 통합 플랫폼 접근 방식은 프로토타입을 신뢰할 수 있는 프로덕션 준비가 완료된 AI 시스템으로 전환하는 것입니다. 이를 구축하기 위한 네 가지 단계를 살펴보겠습니다.

PDF에서 프로덕션까지: 4단계 가이드

비정형 데이터에 프로덕션 품질의 AI 시스템을 구축하려면 좋은 모델만으로는 부족하며, 원활하고 반복적이며 협력적인 워크플로가 필요합니다. Information Extraction Agent Brick은 Databricks의 기본 내장 AI 기능과 결합되어 문서를 쉽게 파싱하고, 핵심 정보를 추출하며, 전체 프로세스를 운영화합니다. 이러한 접근 방식을 통해 팀은 더 빠르게 움직이고 더 높은 품질의 결과를 제공할 수 있습니다. 아래에서 구축을 위한 네 가지 주요 단계를 분석합니다.

1단계: ai_parse_document()를 사용하여 비정형 PDF를 텍스트로 파싱하기

첫 번째 과제는 PDF에서 깔끔한 텍스트를 추출하는 것입니다. CRL은 여러 페이지와 여러 열에 걸쳐 머리글, 바닥글, 표, 차트가 포함된 복잡한 Layout을 가질 수 있습니다. 단순한 텍스트 추출은 종종 실패하여 부정확하고 사용할 수 없는 출력을 생성합니다.

layout에 어려움을 겪는 불안정한 솔루션과 달리 ai_parse_document() 는 최신 멀티모달 AI를 활용하여 문서 구조를 이해하고, 읽기 순서대로 텍스트를 정확하게 추출하고, 불규칙한 테이블 계층 구조를 보존하며, 그림에 대한 캡션을 생성합니다.

또한 Databricks는 경쟁사보다 3~5배 낮은 비용으로 엔터프라이즈급의 복잡한 대량 PDF를 안정적으로 처리하도록 확장하여 문서 인텔리전스에서 이점을 제공합니다. 팀은 파일 크기 제한에 대해 걱정할 필요가 없으며, 내부의 OCR 및 VLM은 빽빽하고 불규칙한 그림 및 기타 까다로운 구조를 포함하는 기존의 '문제 PDF'를 정확하게 파싱하도록 보장합니다.

과거 여러 공급업체에 걸쳐 맞춤형 구문 분석 스택을 구성하고 유지 관리하기 위해 수많은 데이터 사이언티스트가 필요했던 작업을 이제 단일 SQL 네이티브 함수로 수행할 수 있습니다. 이를 통해 팀은 확장성이 낮은 파서에서 발생하는 오류 모드 없이 수백만 개의 문서를 병렬로 처리할 수 있습니다.

시작하려면 먼저 PDF가 포함된 클라우드 스토리지에 UC 볼륨을 지정하세요. 이 예시에서는 볼륨으로 관리되는 CRL PDF에 SQL 함수를 지정합니다.

이 단일 명령어는 모든 PDF를 처리하고 파싱된 콘텐츠와 결합된 텍스트로 구조화된 테이블을 생성하여 다음 단계를 준비합니다.

인프라, 네트워킹 또는 외부 LLM이나 GPU 호출을 구성할 필요가 없었습니다. Databricks는 GPU와 모델 백엔드를 호스팅하여 추가 구성 없이 안정적이고 확장 가능한 throughput을 지원합니다. 라이선스 비용을 청구하는 플랫폼과 달리 Databricks는 compute 기반 가격 모델을 사용하므로 사용한 리소스에 대해서만 비용을 지불하면 됩니다. 이를 통해 프로덕션 파이프라인에서 병렬화 및 함수 수준 사용자 지정을 통해 강력한 비용 최적화를 달성할 수 있습니다.

2단계: Agent Bricks를 사용한 반복적인 정보 추출

텍스트를 확보한 후 다음 목표는 특정 구조화된 필드를 추출하는 것입니다. 예를 들어, 결함은 무엇이었습니까? NDA ID는 무엇이었습니까? 거부 사유는 무엇이었습니까? 바로 이 지점에서 AI 엔지니어와 비즈니스 SME(주제 전문가)가 긴밀하게 협력해야 합니다. SME는 무엇을 찾아야 할지 알고 있으며, 엔지니어와 협력하여 모델에 찾는 방법을 신속하게 지시할 수 있습니다.

Agent Bricks: 정보 추출 은 바로 이 워크플로를 위한 실시간 협업 UI를 제공합니다.

아래와 같이 인터페이스를 통해 기술 리드와 비즈니스 SME가 함께 작업할 수 있습니다.

1. 비즈니스 SME 는 추출해야 하는 특정 필드(예: deficiency_summary_paragraphs, NDA_ID, FDA_Rejection_Citing)를 제공합니다.
2. 정보 추출 에이전트 는 이러한 요구 사항을 효과적인 프롬프트로 변환하며, 이 편집 가능한 가이드라인은 오른쪽 패널에 있습니다.
3. 기술 리드와 비즈니스 SME 모두 중앙 패널에서 JSON 출력을 즉시 확인하고 모델이 왼쪽 문서에서 정보를 올바르게 추출하는지 검증할 수 있습니다. 여기서 두 사람 중 누구든지 정확한 추출을 보장하기 위해 프롬프트를 다시 작성할 수 있습니다.

이러한 즉각적인 피드백 루프가 성공의 핵심입니다. 필드가 올바르게 추출되지 않으면 팀은 프롬프트를 수정하거나, 새 필드를 추가하거나, 지침을 구체화하여 몇 초 만에 결과를 확인할 수 있습니다. 여러 전문가가 단일 인터페이스에서 협업하는 이러한 반복적인 프로세스는 성공적인 AI 프로젝트와 사일로에서 실패하는 프로젝트를 구분 짓는 요소입니다.

3단계: 에이전트 평가 및 검증

2단계에서는 반복적인 개발 중에 '직관적인 확인'으로는 올바르게 보였던 에이전트를 구축했습니다. 하지만 새로운 데이터를 처리할 때 어떻게 높은 정확도와 확장성을 보장할 수 있을까요? 하나의 문서를 수정하는 프롬프트 변경이 다른 열 개의 문서에는 문제를 일으킬 수 있습니다. 바로 이 지점에서 Agent Bricks 워크플로의 핵심적인 기본 내장된 부분인 공식적인 평가가 필요합니다.

이 단계는 품질 게이트이며, 검증을 위한 두 가지 강력한 방법을 제공합니다.

방법 A: 정답 레이블(골드 스탠다드)로 평가

AI는 모든 데이터 과학 프로젝트와 마찬가지로 적절한 도메인 지식이 없으면 실패합니다. SME가 투자하여 수동으로 추출하고 사람이 검증한 정확하고 관련성 있는 정보의 "골든 세트"(일명 정답 레이블, 레이블이 지정된 데이터 세트)를 제공하면 이 솔루션이 새로운 파일과 형식에 걸쳐 일반화되는 데 큰 도움이 됩니다. 이는 레이블이 지정된 키:값 쌍이 에이전트가 비즈니스와 관련성 있고 정확한 추출로 이어지는 고품질 프롬프트를 신속하게 조정하는 데 도움이 되기 때문입니다. Agent Bricks가 이러한 레이블을 사용하여 에이전트를 공식적으로 평가하는 방법에 대해 자세히 알아보겠습니다.

Agent Bricks UI 내에서 정답 테스트 세트를 제공하면 백그라운드에서 Agent Bricks가 테스트 문서 전체에서 실행됩니다. UI는 에이전트가 추출한 결과물과 "정답" 레이블이 지정된 답변을 나란히 비교하여 보여줍니다.

UI는 각 추출 필드에 대한 명확한 정확도 점수 를 제공하여 프롬프트를 변경할 때 즉시 성능 저하를 발견할 수 있습니다. Agent Bricks를 사용하면 에이전트가 인간 수준 이상의 정확도로 작동 하고 있다는 비즈니스 수준의 신뢰를 얻을 수 있습니다.

방법 B: 레이블이 없나요? LLM-as-a-Judge 사용

하지만 처음부터 시작하여 정답 레이블이 없는 경우에는 어떻게 해야 할까요? 이는 일반적인 "콜드 스타트" 문제입니다.

Agent Bricks 평가 스위트는 LLM-as-a-Judge라는 강력한 솔루션을 제공합니다. Databricks는 다양한 평가 프레임워크를 제공하며, Agent Bricks는 평가 모델을 활용하여 공정한 평가자 역할을 합니다. "심판" 모델에는 원본 문서 텍스트와 각 문서에 대한 필드 프롬프트 세트가 제공됩니다. "심판"의 역할은 "예상" 응답을 생성한 다음 에이전트가 추출한 결과물과 비교하여 평가하는 것입니다.

LLM-as-a-Judge를 사용하면 확장 가능하고 고품질의 평가 점수를 얻을 수 있으며, 프로덕션에서 사용하여 에이전트가 프로덕션의 가변성 및 규모에 대해 신뢰성과 일반화 성능을 유지하도록 할 수 있습니다. 이에 대한 자세한 내용은 향후 블로그에서 다루겠습니다.

4단계: ETL 파이프라인에서 ai_query() 를 사용하여 에이전트 통합하기

이 시점에서는 2단계에서 에이전트를 구축하고 3단계에서 정확도를 검증했으므로, 이제 워크플로에 추출을 통합할 수 있는 확신을 갖게 되었습니다. 클릭 한 번으로 에이전트를 serverless 모델 endpoint로 배포할 수 있으며, 즉시 추출 로직을 간단하고 확장 가능한 함수로 사용할 수 있습니다.

이렇게 하려면 SQL에서 ai_query() 함수를 사용하여 이 로직을 새로 도착하는 문서에 적용합니다. ai_query() 함수를 사용하면 엔드투엔드 ETL 데이터 파이프라인에서 모든 모델 서빙 endpoint를 직접적이고 원활하게 호출할 수 있습니다.

이를 통해 Databricks Lakeflow Jobs는 완전히 자동화된 프로덕션 등급 ETL 파이프라인을 보장합니다. 귀하의 Databricks 작업은 클라우드 스토리지에 있는 원시 PDF를 가져와 파싱하고, 고품질 에이전트를 사용하여 구조화된 인사이트를 추출한 후, 분석, 보고 또는 다운스트림 에이전트 애플리케이션의 검색에서 참조할 수 있도록 테이블에 저장합니다.

Databricks는 고도로 기술적인 팀과 의미 있는 AI를 구축하는 데 필요한 컨텍스트를 보유한 도메인 전문가 사이의 장벽을 허무는 차세대 AI 플랫폼입니다. AI의 성공은 단순히 모델이나 인프라에만 달려 있는 것이 아니라, 엔지니어와 SME 간의 긴밀하고 반복적인 협업을 통해 각자가 서로의 생각을 다듬어주는 데 있습니다. Databricks는 팀이 공동으로 개발하고, 신속하게 실험하며, 책임감 있게 관리하고, 데이터 과학에 과학을 다시 접목할 수 있는 단일 환경을 제공합니다.

Agent Bricks는 이 비전의 구현체입니다. 비정형 콘텐츠를 파싱하는 ai_parse_document(), 고품질 추출을 가속화하는 Agent Bricks: Information Extraction의 협업 설계 인터페이스, 프로덕션급 파이프라인에 솔루션을 적용하는 ai_query()를 통해 팀은 수백만 개의 복잡한 PDF에서 검증된 인사이트로 그 어느 때보다 빠르게 전환할 수 있습니다.

다음 블로그에서는 추출된 이러한 인사이트를 활용하여 '종양학 약물의 가장 일반적인 제조 준비 문제는 무엇인가요?'와 같은 자연어 질문에 답변할 수 있는 프로덕션 등급의 채팅 에이전트를 구축하는 방법을 보여드리겠습니다.

• 자세히 알아보기: ai_parse_document(), Agent Bricks: 정보 Extraction 및 ai_query()에 대한 공식 문서를 읽어보세요.
• 시작하기: Databricks 무료 체험에 등록 하여 지금 바로 나만의 AI 기반 솔루션을 구축해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)