개방형 모델부터 개방형 에이전트 하네스까지: Databricks는 AI 보안을 위해 개방형 코드, 커뮤니티 프레임워크 및 구체적인 아키텍처를 제공합니다.
작성자: 케이티 커미스키, Maria Pere-Perez, Arun Pamulapati , Nishith Sinha
Databricks는 이번 주 Black Hat USA 2026의 후원사입니다. 부스 #5106 / #2167에서 저희를 만나보시고, Databricks의 Panther 인수가 어떻게 Security Lakehouse 시대를 가속화하는지 확인해 보세요.
AI 시스템의 기능이 더욱 강력해지고 자율성이 높아짐에 따라 두 가지 과제가 수렴하고 있습니다. 바로 새로운 유형의 공격으로부터 AI 시스템 자체를 보호하는 것과 AI를 활용하여 사이버 방어를 강화하는 것입니다. 소수의 폐쇄형 시스템 내에 갇힌 중요한 보안 인텔리전스는 더 넓은 생태계를 위험에 노출시키기 때문에 두 가지 모두 개방성이 필요합니다. Databricks는 AI 시스템을 보호하기 위한 개방형 프레임워크와 대규모 에이전트 기반(agentic) 위협 탐지 및 대응을 지원하는 Open Security Lakehouse인 Lakewatch를 통한 개방형 데이터라는 두 가지 미션을 모두 지원합니다.
그렇기 때문에 Databricks는 NVIDIA 및 기타 업계 리더들과 함께 Open Secure AI Alliance의 창립 멤버가 된 것을 자랑스럽게 생각합니다. 이 동맹은 간단하지만 강력한 전제를 바탕으로 구축되었습니다. 바로 AI 안전 및 보안 연구는 공개적으로 공유되어야 하며, 이를 통해 제작된 도구는 개방형 시스템을 기반으로 구축되어야 한다는 것입니다. 이러한 노력은 AI 안전, AI 보안 및 AI 지원 사이버 방어 전반에 걸쳐 전 세계의 기업, 소프트웨어 및 중요 시스템을 강화합니다. 회원사들은 새로운 사이버 보안 도구와 기술의 개발을 가속화하기 위해 개방형 모델, 모델 가중치(weights), 개방형 하네스(harness), 개방형 툴링 및 그 이면의 학습 내용 등을 오픈 소스로 기여하고 있습니다.
AI 에이전트는 단순히 모델에 불과한 것이 아닙니다. 이는 에이전트가 수행할 수 있는 작업을 제어하는 모델, 하네스, 가드레일로 구축된 복잡한 시스템입니다. 기업 경계 내에서 개방형 가중치(open-weight) 모델을 보호하는 데 많은 관심이 집중되어 왔지만, 모델 가중치는 하나의 레이어에 불과합니다. 에이전트 시대의 보안에는 런타임 및 그 아래의 가드레일부터 에이전트와 도구를 오케스트레이션하는 하네스, 위험과 통제를 정의하는 프레임워크, 기업 보안, 감사 가능성 및 책임성을 보장하는 거버넌스 레이어에 이르기까지 개방형 실행 스택(open execution stack)이 필요합니다.
개방형 시스템을 통해 가장 광범위한 방어자 커뮤니티가 이 스택의 모든 구성 요소를 연구, 테스트 및 강화할 수 있습니다. 그 결과 보증, 가시성, 증거, 참여 및 선택을 기반으로 구축된 신뢰가 형성됩니다.
이 동맹에는 칩, 모델, 보안 및 인프라 전반에 걸쳐 75개 이상의 조직이 참여하고 있습니다. NVIDIA는 가속 컴퓨팅과 개방형 AI 인프라를 제공합니다. Databricks는 거버넌스가 적용된 데이터, 모델 및 에 이전트 기능, 그리고 보안, 거버넌스, 레드팀 구성(red teaming) 및 사이버 방어를 위한 개방형 도구와 프레임워크를 제공합니다.
동맹 전반의 기여와 함께, 이러한 노력은 전체 에이전트 스택을 강화하는 데 도움이 됩니다.
Open Secure AI Alliance는 방어자가 전체 AI 스택에서 에이전트 동작을 검사, 감사 및 제어할 수 있도록 개방형 모델, 하네스 및 가드레일을 옹호합니다. Omnigent (Apache 2.0)는 이러한 요구에 부응하는 Databricks의 오픈 소스 메타 하네스입니다. Omnigent는 개발자에게 하네스와 모델의 선택권을 제공하여 구성 및 안전한 공유를 가능하게 하는 동시에, 개방형 및 폐쇄형을 포함한 13개 이상의 하네스 전반에서 정책, 지출 한도 및 샌드박스 격리를 강제합니다.
Omnigent의 컨텍스트 정책은 세션 상태를 추적하고, 슬로우 번(slow-burn) 공격을 차단하며, 의도 기반 권한 부여를 강제함으로써 에이전트 동작 거버넌스를 지원합니다. 이것이 바로 동맹이 구상하는 개방적이고 검사 가능한 통제 방식입니다.
Omnigent는 NVIDIA OpenShell을 거버넌스 백엔드로 지원하도록 설계되어, 정책 제어와 커널 수준 격리를 결합하여 에이전트 권한 부여부터 호스트 실행에 이르기까지 계층화되고 감사 가능한 보호를 제공합니다.
DASF 3.0은 13개 구성 요소에 걸쳐 97개의 기술적 보안 위험을 분류하고 이를 73개의 완화 통제 조치에 매핑하며, 이 모든 것은 MITRE ATLAS, OWASP, NIST, AIUC-1, HITRUST, ISO 및 CSA와 상호 참조됩니다. CC BY-SA 4.0으로 출시된 버전 3.0은 에이전트 기반 AI(Agentic AI) 위협(메모리 오염, 목표 조작, 안전하지 않은 MCP 연결 포함)에 대한 전용 범위를 도입하여, 방어자에게 위험 식별에서 완화로 나아갈 수 있는 개방적이고 벤더 중립적인 청사진을 제공합니다.
DASF는 위험 분류 체계를 실행 가능하고 벤더 중립적인 통제 조치에 연결하기 때문에, 방어자에게 "명명된 위험"에서 "배포된 완화 조치"로 나아가는 구체적인 경로를 제공합니다. 이는 커뮤니티의 모든 조직이 사용할 수 있는 에이전트 기반 위협 및 완화 조치에 대한 공통 분류 체계를 제공합니다.
DAGF는 책임이 누구에게 있으며 기업이 이를 어떻게 관리하는지 정의합니다. 이 프레임워크는 책임감 있고 회복 탄력성 있는 AI 프로그램을 구축하기 위한 5가지 핵심 요소를 개략적으로 설명하며, 의사 결정 및 실행을 위한 실질적인 통찰력을 제공합니다. 이는 AI 거버넌스, 윤리적 준수, 위험 관리 및 운영 감독과 같은 핵심 영역을 다룹니다. 이를 통해 사람, 프로세스 및 기술 전반의 협업을 촉진하는 동시에 AI 프로그램을 투명하고 안전하며 효과적으로 관리할 수 있습니다. 동맹의 맥락에서 DAGF는 기업이 NVIDIA의 가속 컴퓨팅 및 AI 인프라를 선택, 배포 및 관리하는 방식을 제어하도록 돕고, 개방형 기술이 대규모로 책임감 있게 도입되도록 보장합니다. Creative Commons Attribution-ShareAlike 4.0 International 라이선스에 따라 출시된 DAGF는 벤더 중립적이며 커뮤니티에서 사용하는 표준에 이미 부합합니다.
BlackIce는 Databricks의 오픈 소스 컨테이너화된 레드팀 구성(red-teaming) 툴킷입니다. 이는 널리 사용되는 14개의 AI 보안 도구를 MITRE ATLAS 및 DASF에 매핑된 단일 재현 가능 환경으로 번들링하여, 보안 팀이 각 도구를 수동으로 연결하지 않고도 프롬프트 주입(prompt injection), 데이터 유출 및 공급망 공격에 대해 시스템을 테스트할 수 있도록 합니다.
이는 AI 레드팀 구성의 진입 장벽을 낮춥니다. 14개의 도구를 개별적으로 구축하는 것은 시간과 깊은 전문 지식이 필요하므로, 대부분의 팀이 본격적인 적대적 테스트를 수행하기 어렵게 만듭니다. 현재까지 6,000회 이상의 다운로드를 기록하며, 스스로 이러한 도구를 구성할 수 없었을 팀들의 손에 이미 활용되고 있습니다.
동맹 미션의 AI 지원 사이버 방어 측면에서 개방성에 대한 저희의 약속은 프레임워크를 넘어 확장됩니다. Databricks는 보안, IT 및 비즈니스 데이터를 통합하여 방어자가 페타바이트 규모로 탐지, 조사 및 대응을 실행할 수 있도록 지원하는 개방형 거버넌스 아키텍처인 Security Lakehouse를 개척했습니다.
Databricks의 Open Security Lakehouse인 Lakewatch를 통해 보안 팀은 벤더 종속(lock-in)을 방지하는 개방형 데이터 형식을 기반으로 경보를 능동적으로 분류하고, 위협을 헌팅하며, 탐지 로직을 세분화하는 AI 에이전트를 배포할 수 있습니다. 이는 Open Secure AI Alliance를 이끄는 철학과 동일합니다. 즉, 방어자가 자신의 데이터, 도구 및 인텔리전스를 소유해야 한다는 것입니다.
해당 아키텍처의 거버넌스 기반은 Unity Catalog로, Databricks가 Apache 2.0 라이선스로 오픈 소스화하여 Linux Foundation에 기부했습니다. 이 카탈로그는 어떤 에이전트가 어떤 데이터, 모델 또는 도구에 액세스할 수 있는지 결정하고 이를 강제하는 레이어입니다. 그 위의 모든 것이 개방되어 있는 동안 해당 레이어를 독점(proprietary) 상태로 두는 것은 가장 보안에 중요한 통제 지점을 검사할 수 없게 만드는 결과를 초래합니다. 개방형 API, 개방형 테이블 형식 및 개방형 구현을 의미하는 개방형 카탈로그를 통해 방어자는 강제 적용 지점 자체를 감사하고 확장할 수 있으며, 보안 데이터는 단일 벤더의 제어 평면(control plane)에 종속되지 않고 여러 엔진 간에 이식 가능한 상태를 유지합니다.
개방형 보안을 향한 우리의 노력은 창립 이래 이어져 온 깊은 오픈 소스 유산을 기반으로 합니다. Apache Spark, Delta Lake, MLflow는 모두 기반 기술이 개방적이고 검증 가능하며 커뮤니티 주도적이어야 한다는 원칙에 따라 구축되었으며, Unity Catalog를 오픈 소스로 공개하면서 이러한 원칙을 거버넌스 레이어로 확장했습니다. Apache Spark 단독으로만 현재 누적 다운로드 20억 회를 돌파했습니다. Open Secure AI Alliance는 이러한 철학을 AI 안전 및 보안 분야로 확장합니다.
Open Secure AI Alliance는 관련 AI 안전 및 보안 연구를 투명하게 개발하고 공유하기 위한 움직임입니다. 시간이 흐름에 따라 이 얼라이언스는 조직이 직접 검증하고 도입하며 이를 기반으로 활용할 수 있는 실용적이고 개방된 기술 역량을 지속적으로 제공할 예정입니다.
우리는 이 미션에서 NVIDIA 및 더 넓은 얼라이언스 파트너들과 함께하게 되어 기쁘게 생각하며, 에이전틱(agentic) 시대를 함께 안전하게 이끌어가면서 오픈 코드, 오픈 프레임워크, 오픈 연구 결과를 커뮤니티에 지속적으로 제공해 나갈 것입니다.
오픈 보안 레이크하우스인 Lakewatch에 대해 자세히 알아보고 Databricks가 에이전틱 시대를 위해 보안 운영을 어떻게 재정의하고 있는지 확인해 보세요.
Omnigent 시작하기를 통해 자체 환경에서 오픈 에이전트 메타 하네스, 컨텍스트 정책 및 샌드박스 격리를 실행해 보세요.
Databricks AI 보안 프레임워크(DASF) 3.0 살펴보기를 통해 AI 시스템을 보호하기 위한 위험 요소와 통제 방안을 알아보세요.
Databricks AI 거버넌스 프레임워크(DAGF) 다운로드하기를 통해 AI 프로그램 전반의 책임성과 감독 체계에 대해 알아보세요.
BlackIce GitHub 리포지토리 확인하기를 통해 통합 도구에 대해 자세히 알아보고, Databricks 호스팅 모델과 함께 실행하는 예제를 확인하며, 모든 Docker 빌드 아티팩트에 액세스해 보세요.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.