FDA가 정부용 Databricks 상에서 안전하고 AI 준비가 된 데이터 기반을 구축하는 방법

연방 데이터 플랫폼을 현대화하는 것은 바다 한가운데에서 엔진을 재구축하면서 항공모함을 조종하는 것과 비슷합니다. 기본 시스템이 전환되는 중에도 임무를 중단할 수 없기 때문입니다. 이것이 바로 미국 식품의약국(FDA)이 Data + AI Summit 세션인 FDA가 Databricks for Government로 안전한 AI를 확장하는 방법에서 설명한 과제입니다.

FDA에게는 그 책임과 영향력이 매우 막중합니다. 매일 미국인 3명 중 1명이 FDA의 결정에 영향을 받고, 미국 소비자 지출 1달러당 20센트가 FDA의 규제 대상이며, 16,000명 이상의 직원이 300개 이상의 제품 카테고리를 다루는 200개의 사무실과 실험실에서 근무하고 있습니다. 이러한 환경에서 데이터는 단순한 백오피스 기능이 아니라 공공 보건의 필수 과제입니다.

정부 내 AI에 대한 논의가 변화하고 있는 이유가 바로 여기에 있습니다. 이제 질문은 기관이 AI를 사용해야 하는지 여부가 아니라, 첫날부터 강력한 거버넌스, 감사 가능성, 컴플라이언스를 요구하는 환경에서 어떻게 AI를 안전하게 운영화(operationalize)할 수 있는가입니다. 이 블로그에서는 FedRAMP 및 IL5 환경에서 안전하고 미션 크리티컬한 AI 워크로드를 지원하는 데 필요한 핵심 빌딩 블록인 코드형 인프라(infrastructure-as-code) 보안 패턴, 거버넌스가 적용된 모델 액세스, 계보(lineage) 및 감사 가능성, 그리고 Unity Catalog를 적절한 데이터 소스에 연결하는 데 필요한 네트워킹 구성을 개략적으로 설명합니다.

정부에서 안전한 AI가 플랫폼 준비성에서 시작되는 이유

정부 기관은 종종 세계에서 가장 엄격한 요구사항 하에 운영됩니다. Databricks on AWS GovCloud는 수출 통제 데이터(ITAR/EAR), FedRAMP High 또는 DoD IL5에 따라 규제되는 데이터, 또는 표준 클라우드 환경에서는 처리할 수 없는 의료 기록 및 연방 금융 시스템과 같은 기타 민감한 정보를 처리하고 분석하는 규제 대상 워크로드를 위해 설계되었습니다.

하지만 컴플라이언스만이 전부가 아닙니다. 더 중요한 점은 가치 창출 속도(speed to value)입니다. 이번 세션의 일환으로 Databricks는 고객이 PrivateLink, 고객 관리형 키, 내장된 컴플라이언스 보안 프로필 등의 제어 기능을 갖추고 강화된 프로덕션 준비 및 감사 준비 환경을 신속하게 구축할 수 있도록 설계된 보안 참조 아키텍처와 Terraform 기반 배포 모델을 강조했습니다.

FDA의 과제: 임무를 중단하지 않고 현대화하기

FDA의 현대화 여정은 사일로화된 데이터, 중복된 노력, 일관성 없는 파이프라인, 여러 센터와 프로그램에 분산된 과도한 운영 오버헤드 등 익숙한 문제에서 시작되었습니다. 분석가와 과학자들은 데이터에서 인사이트를 도출하는 대신 데이터를 찾고 조정하는 데 너무 많은 시간을 소비하고 있었습니다. 동시에, 기관의 과학 및 규제 임무와 인프라가 지원할 수 있는 역량 간의 격차가 벌어지고 있었습니다.

이에 대한 기관의 대응은 안전하고 거버넌스가 적용되며 AI를 사용할 준비가 된 기반으로서 엔터프라이즈 데이터 플랫폼인 HALO(Harmonized AI and Lifecycle Operations for Data)를 구축하는 것이었습니다. 2020년 레거시 환경 현대화를 통해 Databricks와 함께 여정을 시작한 FDA는 2025년 Databricks on AWS GovCloud로 이전하면서 Unity Catalog의 이점과 Databricks 환경의 추가 기능을 활용할 수 있게 되었습니다. Unity Catalog는 FDA에 데이터와 AI를 위한 단일 오픈 거버넌스 레이어를 제공하여, 복잡성을 줄이고 비용을 낮추면서 리전, 형식, 도구 전반에서 신뢰할 수 있는 자산을 안전하게 검색, 관리 및 공유하는 동시에 인사이트 도출 시간(time-to-insights)을 단축할 수 있도록 지원했습니다.

FDA가 채택한 아키텍처는 멀티테넌트(multi-tenant) 방식입니다. 즉, 여러 규제 센터가 공통 플랫폼 기반을 공유하면서 자체적인 보안 및 거버넌스 공간을 유지합니다. 세션에서 FDA는 이를 모든 사람이 인프라를 공유하지만 각 테넌트가 자체 잠금 장치와 정책을 갖는 아파트 단지 모델로 설명했습니다. Unity Catalog를 통해 거버넌스를 잃지 않으면서 센터 간에 데이터를 공유하는 것이 훨씬 쉬워졌습니다.

궤적을 바꾼 세 가지 이정표

FDA의 여정에서 세 가지 이정표가 혁신을 정의했습니다. 첫 번째는 다른 모든 것을 가능하게 한 전제 조건이었던 FedRAMP High 인증 후원이었습니다. 두 번째는 AWS GovCloud 마이그레이션이었습니다. 세 번째는 기관이 안전하고 확장 가능한 AI에 필요한 거버넌스 기반을 제공한 Unity Catalog였습니다.

이러한 이정표 뒤에 숨겨진 규모가 이 이야기를 특히 흥미롭게 만듭니다. FDA는 다운타임 없이 5,000명 이상의 사용자와 8,000개 이상의 작업 및 파이프라인을 마이그레이션하여, 기관이 하부 기반을 재구축하는 동안 과학자와 분석가들이 중단 없이 업무를 계속할 수 있도록 지원했습니다. 또한 Unity Catalog로 마이그레이션하는 과정에서 1,000개 이상의 데이터 파이프라인과 4,000개 이상의 노트북을 리팩터링했습니다.

FDA는 Databricks serverless compute, model serving, Unity Catalog 및 Genie를 사용하여 수백 개의 레거시 대시보드를 대화형 AI 기반 환경으로 현대화함으로써 기술 부채를 제거하고 미션 임팩트를 가속화하고 있습니다.

영향 - 현대화가 실제로 가져온 결과

FDA에게 이것은 단순한 인프라 정리가 아니었습니다. 그것은 측정 가능한 운영상의 변화였습니다. 기관은 단 몇 달 만에 8개 센터와 30개 프로그램을 엔터프라이즈 데이터 플랫폼에 온보딩하고 애플리케이션 및 제출 시스템에 걸친 40개 이상의 데이터 소스를 통합했다고 밝혔습니다. 이러한 통합을 통해 기관 전반의 협업이 향상되고 투명성이 증대되었으며 보안 태세가 강화되었습니다.

또한 정량화할 수 있는 운영상의 이점도 창출했습니다. FDA에 따르면, SQL 웨어하우스는 BI 워크로드에 대한 쿼리 응답 시간을 30% 이상 개선했고, 컴퓨팅 비용은 20% 이상 감소했으며, 프로비저닝, 권한 부여 및 데이터 공유에 소요되는 시간은 75% 이상 줄어들었고, 운영 오버헤드는 35% 이상 감소했습니다.

사용자 도입률도 동일한 결과를 보여줍니다. FDA는 2020년에 약 500명의 사용자로 시작하여 현재 플랫폼 사용자가 6,000명 이상으로 성장했으며, 2028년에는 그 수가 10,000명을 넘어설 것으로 예상하고 있습니다.

규제 업무를 위한 책임감 있는 AI 구현

여기서 주목할 만한 가장 중요한 주제 중 하나는 FDA의 현대화 프로그램이 단순히 AI 자체만을 위한 것이 아니었다는 점입니다. 그것은 연방 규제 환경에서 책임감 있는 AI를 구현하는 것에 관한 것이었습니다. 기관은 대규모 AI 혁신을 지원하기 위해 Halo를 엔터프라이즈 AI 플랫폼인 Elsa와 통합했으며, 이미 프로덕션 및 파일럿 단계에 있는 AI 사용 사례와 현재 진행 중인 10개 이상의 프로젝트를 보유하고 있습니다.

대표적인 예로 규제 제출을 현대화하고 가속화하기 위한 FDA의 이니셔티브인 MARS가 있습니다. MARS는 Elsa와 통합된 Databricks를 사용하여 심사관이 임상 시험 결과, 안전성 데이터, 라벨링을 포함하여 의약품 및 의료기기 신청과 관련된 방대한 양의 정형 및 비정형 정보를 분석할 수 있도록 지원합니다. 목표는 적절한 정보를 적절한 심사관에게 더 빠르게 전달하고, 데이터 준비(data wrangling)에 소요되는 시간을 줄이며, 더 나은 정보를 바탕으로 규제 결정을 내릴 수 있도록 지원하는 것입니다.

그만큼 중요한 점은 FDA가 human-in-the-loop 접근 방식을 강조했다는 것입니다. 즉, AI가 기초 작업을 수행하고 과학자와 심사관의 전문성을 보완하지만, 이들을 대체하지는 않습니다.

안전한 AI를 확장하려는 다른 기관을 위한 교훈

FDA의 여정은 공공 부문 전반에 공감을 불러일으키는 몇 가지 교훈을 제시합니다. 첫째, 이해관계자 참여는 일회성 이벤트가 아니라 지속적인 약속입니다. 센터마다 요구사항, 타임라인, 위험 감수 수준이 다르기 때문입니다. 둘째, 보안 계획은 일찍 시작해야 합니다. FedRAMP High 환경에서는 모든 아키텍처 결정이 다운스트림에 영향을 미치기 때문입니다.

또한 FDA는 구성을 하드코딩하는 대신 유연성을 고려해 구축하고, 일괄 전환 대신 단계별 마이그레이션을 채택하며, 강력한 벤더 파트너십을 조달 체크박스가 아닌 운영 자산으로 취급하는 것의 중요성을 강조했습니다.

세션의 마무리 메시지는 특히 명확했습니다. 인증은 촉진제입니다. 거버넌스는 AI의 전제 조건입니다. 그리고 완벽함을 기다리는 대신 중요한 워크스트림을 병렬로 실행할 때 대규모 현대화가 더 빠르게 진행될 수 있습니다.

미션 준비 완료된 AI를 위한 청사진

FDA의 이야기는 정부에서 안전한 AI를 구현하는 것이 레거시 시스템에 모델을 단순히 덧붙이는 것이 아님을 보여줍니다. 이는 중대한 영향을 미치는 환경에서 AI를 유용하게 만드는 데 필요한 거버넌스가 적용된 데이터 기반, 안전한 아키텍처 및 운영 규율을 구축하는 것에 관한 것입니다.

공공 부문 리더들에게 이것이 가장 중요한 시사점일 수 있습니다. 거버넌스가 처음부터 내장되어 있으면 현대화는 기술 부채를 줄이는 것 이상의 역할을 합니다. 이는 임무를 지원하기 위해 과학자, 분석가 및 의사 결정권자의 손에 안전하고 책임감 있게 AI를 쥐어줄 수 있는 기반을 마련합니다.

자세히 알아보기

Data + AI Summit 2026에서 발표된 FDA가 Databricks for Government로 안전한 AI를 확장하는 방법 세션을 확인해 보세요.

• Databricks 보안 및 신뢰 센터를 살펴보세요
• Databricks 보안 모범 사례 검토하기
• 보안 및 신뢰 블로그 팔로우하기
• Databricks AI 보안 프레임워크(DASF) 다운로드하기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)