작성자: JD 브라운, Arun Pamulapati, Andrew Weaver, Nishith Sinha, Caelin Kaplan, Alex Warnecke , Jean Verrons
2024년에 Databricks AI 보안 프레임워크(DASF) 를 출시한 이후 AI에 대한 위협 환경은 극적으로 변화했습니다. AI는 전형적인 챗봇에서 벗어나 거의 또는 전혀 개입 없이 사용자를 대신하여 추론하고, 도구를 사용하고, 행동을 취할 수 있는 에이전트로 변모했습니다. 보안팀은 이제 모델과 상호작용하는 사용자에 대해서만 생각할 필요가 없으며, 자율적으로 행동하고 MCP를 통해 서비스와 상호작용하며 스스로 인터넷을 탐색하는 수많은 지능형 에이전트에 대해서도 생각해야 합니다.
프롬프트 인젝션은 추론 시대에 이미 알려진 위험이었지만, 대체로 사용자의 요청과 응답 범위 내에 국한되었습니다. 자율적으로 행동할 수 있는 에이전트가 등장하면서 그 위험은 기하급수적으로 증가했습니다.
타사 API를 호출하는 스크립트를 작성하도록 AI 에이전트에게 작업을 지시하는 데이터 전문가를 생각해 보십시오. 에이전트는 인터넷에서 문서를 검색하고 코드를 작성한 후 실행합니다. 사용자가 깨닫지 못하는 것은 문서 페이지에 악성 프롬프트가 포함되어 있었고, 이 프롬프트가 에이전트에게 사용자의 compute 환경에서 웹훅으로 자격 증명을 유출하도록 지시했다는 점입니다. 이러한 공격은 실제로 잘 문서화되어 있습니다. 하지만 그것이 언제, 왜 성공하는지 추론하는 데 도움이 되는 프레임워크가 있습니다.
Meta의 '에이전트 2의 법칙'과 Simon Willison의 '치명적인 삼중주'와 같은 유사한 모델을 포함한 최근 산업 연구는 프롬프트 주입 공격이 성공하는 조건을 강조합니다. 이러한 패턴은 엔터프라이즈 데이터에서 작동하는 AI 에이전트를 보호하기 위한 실용적인 모델을 제공하는 Databricks AI 보안 프레임워크(DASF)에 정의된 통제 방식과 밀접하게 일치합니다.
둘 다 동일한 결론에 도달합니다. AI 에이전트는 다음 세 가지 특성을 모두 가질 때 프롬프트 주입에 취약해지며, 위험을 완화하려면 이 중 두 가지만 허용해야 합니다.
실제로 이러한 위험은 데이터 액세스, 모델 상호 작용, 운영 실행 전반에 걸쳐 AI 보안을 구성하는 Databricks AI 보안 프레임워크(DASF)에 정의된 심층 방어 제어에 직접적으로 매핑됩니다. 아래 섹션에서는 Databricks 플랫폼의 네이티브 제어를 사용하여 이러한 위험을 완화할 수 있는 방법을 보여줍니다.
개요에서 언급했듯이, Meta의 에이전트 2의 법칙 프레임워크는 AI 에이전트를 프롬프트 주입에 취약하게 만드는 핵심 요소를 분석하는 데 도움이 됩니다.
세 가지 핵심 요소가 모두 존재하면 시스템은 이미 민감한 시스템이나 개인 데 이터에 액세스할 수 있으며(첫 번째), 공격자는 신뢰할 수 없는 입력을 통해 악의적인 지침을 주입하여(두 번째) 에이전트가 해당 데이터를 외부로 유출하도록 할 수 있습니다(세 번째). 이 섹션에서는 Databricks의 맥락에서 각각이 어떻게 적용되는지 살펴보겠습니다.
공격자가 가치 있는 것을 빼내려면 에이전트가 먼저 해당 항목에 액세스해야 합니다. 이것이 에이전트 2원칙의 첫 번째 기둥이며, 실제로는 거의 항상 필수입니다. 에이전트는 실제의 가치 높은 데이터에 대해 작동할 수 있을 때 가장 유용합니다. 이는 고객 피드백에 대한 감성 분석, 수요 예측, 사기 탐지 또는 코드 지원과 같은 작업에 점점 더 많이 사용됩니다. 효과를 발휘하기 위해 이러한 에이전트에게는 고객 기록, 거래 내역, 독점 문서 또는 대규모 내부 코드베이스에 대한 액세스 권한이 의도적으로 부여됩니다. 다시 말해, 조직에 경쟁 우위를 제공하는 바로 그 데이터가 공격자들이 가장 관심을 갖는 데이터이기도 합니다.
통합 데이터 및 인텔리전스 플랫폼인 Databricks는 조직의 가장 가치 있는 데이터 세트를 중앙 집중화하고 처리하도록 설계되었습니다. 플랫폼에서 실행되는 애플리케이션과 에이전트는 설계상 민감한 정보에 근접하여 작동합니다. 이는 많은 실제 배포 환경에서 에이전트 2의 법칙의 첫 번째 요소를 가상적인 우려로 취급하기보다는 존재하는 것으로 가정해야 함을 의미합니다.
에이전트 2의 원칙(Agents Rule of Two)의 두 번째 원칙은 신뢰할 수 없는 데이터가 시스템에 들어오는 방식에 중점을 둡니다. 가장 간단 한 경우, 이 위험은 명백합니다. LLM 채팅 인터페이스는 악의적인 지침이 포함된 사용자 입력을 직접 받을 수 있습니다. 이것은 공격자가 상호 작용의 일부로 페이로드를 명시적으로 제공하는 직접적인 프롬프트 주입입니다.
그러나 위험은 직접적인 사용자 입력을 넘어 확장됩니다. 에이전트와 LLM 기반 애플리케이션은 데이터베이스, 문서, APIs 또는 지식 베이스와 같은 외부 소스에서 데이터를 검색하고 처리하는 경우가 많습니다. 이러한 경우, 악의적인 지침이 합법적인 콘텐츠 내에 포함되어 있다가 에이전트가 해당 데이터를 읽거나 추론할 때만 표면화될 수 있습니다. 이것이 간접적인 프롬프트 주입입니다. 최신 LLM이 자연어, 구조화된 데이터, 특수 문자, 이미지, 인코딩된 페이로드 등 다양한 입력을 해석하도록 설계되었다는 사실로 인해 문제는 더욱 복잡해집니다. 이러한 다양성으로 인해 기존의 입력 유효성 검사 기술을 사용하여 악의적인 지침을 탐지하기가 어렵습니다.
Databricks 플랫폼에서는 데이터 원본의 다양성으로 인해 이 점이 특히 중요합니다. 단일 Unity Catalog 테이블에는 주문 관리 시스템의 트랜잭션 기록, 직원과 고객 간의 지원 대화 또는 웹 양식을 통해 제출된 제품 피드백이 포함될 수 있습니다. 에이전트가 해당 데이터에 대한 액세스 권한을 부여받으면 간단하지만 중요한 질문을 해야 합니다. 이 데이터의 일부가 외부 행위자의 영향을 받았을 수 있는가?
대답이 '예'라면 에이전트 2원칙의 두 번째 기둥이 이미 마련된 것입니다.
실제로 이 평가는 간단한 경우가 거의 없습니다. 데이터를 원래 소스로 다시 추적하고 악의적인 지침이 포함될 수 있는 댓글, 자유 텍스트 필드, 메타데이터 또는 첨부 파일과 같이 눈에 잘 띄지 않는 삽입 지점을 고려해야 하는 경우가 많습니다. 일반적인 비즈니스 데이터처럼 보이는 것도 에이전트의 관점에서는 실행 가능한 지침이 될 수 있습니다.
에이전트 2원칙의 마지막 원칙은 에이전트가 실제로 수행하도록 허용된 작업과 그에 따라 공격의 영향 범위가 얼마나 커질 수 있는지에 중점을 둡니다. 초기 LLM 애플리케이션에서는 모델이 사실상 읽기 전용이었습니다. 사용자가 프롬프트를 제공하면 모델이 응답을 생성하고 해당 응답이 단순히 표시되었습니다. 모델에 비공개 런타임 데이터에 액세스하거나 작업을 실행하는 기능이 없었기 때문에 공격자가 모델의 출력에 영향을 미치더라도 그 영향은 일반적으로 사용자에게 표시되는 텍스트로 제한되었습니다.
최신 에이전트는 근본적으로 다릅니다. 더 이상 텍스트 생성에만 국한되지 않고, Python 코드 실행이나 SQL 쿼리 실행과 같은 작업을 통해 상태를 변경하고, API를 호출하거나 모델 컨텍스트 프로토콜(MCP)과 같은 메커니즘을 통해 시스템과 상호 작용하여 외부와 통신할 수 있습니다.
Databricks 플랫폼에서 AI 기능으로 구축된 에이전트는 MCP 서버, 사용자 정의 함수 또는 외부 API에 쉽게 연결할 수 있습니다. 설계 단계에서는 이러한 도구의 의도된 사용뿐만 아니라 잠재적인 오용도 고려하는 것이 중요합니다. 도구가 에이전트의 외부 통신을 허용하거나 테이블을 덮어쓰는 경우, Agents Rule of Two의 마지막 기둥이 활성화됩니다.
다른 핵심 요소와 마찬가지로 에이전트의 기능을 완전히 파악하는 것은 항상 간단하지 않습니다. 언뜻 보기에 무해해 보이는 도구도 예상치 못한 방식 으로 사용될 수 있습니다. 따라서 개발자는 효과적인 역량, 즉 에이전트가 수행하도록 설계된 작업뿐만 아니라 적대적 영향 하에서 무엇을 할 수 있는지를 생각해야 합니다.
세 가지 원칙 각각을 개별적으로 보면 관리 가능해 보일 수 있습니다. 에이전트가 민감한 데이터에 액세스할 수 없다면 프롬프트 주입은 덜 우려됩니다. 에이전트가 민감한 데이터에 대해 조치를 취할 능력이 없다면 해당 데이터에 대한 액세스는 덜 위험합니다. 그리고 에이전트가 신뢰할 수 있는 입력만 처리한다면 강력한 도구는 덜 위험합니다. 이러한 요소들이 한데 모일 때 위험은 커집니다. 이러한 조건 하에서 적은 에이전트의 의도된 용도를 넘어선 방식으로 에이전트의 행동에 영향을 미칠 수 있으며, 일상적인 상호 작용처럼 보이는 것을 실제 결과를 초래하는 보안 사고로 바꿀 수 있습니다.
방어적인 관점에서 볼 때, 이는 우리에게 실용적인 설계 원칙을 제시합니다. 바로 세 가지 기둥을 분리하는 것입니다. 대부분의 실제 AI 애플리케이션에서는 단일 요소를 완전히 제거하기가 어렵습니다. 에이전트가 유용해지려면 데이터가 필요하고, 다양한 입력을 처리해야 하며, 작업을 자동화하기 위한 도구가 필요한 경우가 많습니다. 그럼에도 불구하고 각 요소와 관련된 위험을 억제할 수 있는 구체적인 방법이 있습니다.
많은 AI 플랫폼에서 이러한 위험은 ID 시스템, 네트워크 제어, 모델 게이트웨이 및 데이터 거버넌스 솔루션에 걸친 임시방편적인 도구들을 통해 해결됩니다. Databricks는 다른 접근 방식을 취합니다. 데이터, AI 모델, 애플리케이션이 Unity Catalog와 Agent Bricks가 관리하는 통합 플랫폼에서 실행되기 때문에, 조직은 추가적인 보안 사일로를 도입하지 않고도 데이터 액세스부터 모델 상호 작용, 런타임 실행에 이르기까지 전체 AI 시스템에 계층화된 제어를 적용할 수 있습니다.
Databricks 플랫폼은 이러한 각 계층에서 제어 기능을 제공하며, 다음 섹션에서는 실제 사례인 새로운 AI 에이전트 Social Gauge를 사용하여 이를 살펴보겠습니다.

프롬프트 주입을 완화하는 가장 효과적인 방법은 세 가지 원칙 중 하나를 완전히 제거하는 것이며, 이는 여전히 유효합니다. 하지만 실제로 대부분의 에이전트는 민감한 데이터에 대한 액세스, 외부 입력에 대한 노출, 조치를 취할 수 있는 능력이라는 세 가지 모두가 어느 정도 필요합니다. 따라서 기둥을 제거하는 대신, 각각을 강화하여 공격 표면을 줄이는 것이 목표가 됩니다.
실행 예시인 Social Gauge를 사용하여 세 가지 기둥 모두에 걸쳐 9가지 제어를 살펴보겠습니다. Social Gauge는 소셜 미디어 및 뉴스 소스에서 데이터를 가져온 다음 해당 데이터를 Unity Catalog에서 관리하는 기존 고객 기록과 결합하는 Databricks 앱에 내장된 에이전트입니다. 제품 출시에 대한 정서를 추적하는 마케팅 팀, 분기별 보도를 통합하는 재무 팀 또는 유선 서비스를 모니터링하는 뉴스룸을 생각해 보세요. 이 연습에서는 Social Gauge를 사용하여 신제품에 대한 사용자 정서를 추적하는 소매 고객에 초점을 맞출 것입니다.
이러한 맥락에서 세 가지 기둥을 각각 살펴볼 때 다음 공격 시나리오를 염두에 두십시오.
각 섹션에서 설명하는 제어 수단은 다양한 단계에서 이 공격 체인을 차단, 완화 또는 모니터링하도록 설계되었습니다.
이 요소는 거의 피할 수 없습니다. 에이전트는 실제 데이터에서 작동하기 때문에 유용합니다. Social Gauge는 "1월에 제품 판매량이 감소한 이유가 있나요?"와 같은 질문에 답하기 위해 Unity Catalog를 통해 고객 기록을 쿼리해야 합니다. 고객 정서와 관련이 있나요?" 해당 액세스 권한이 없으면 에이전트는 실질적인 인사이트를 제공할 수 없습니다.
저희의 공격 시나리오에서 Pillar 1 위험은 Social Gauge가 본래 용도에 필요한 수준을 넘어선 금융 데이터에 액세스할 수 있다는 점으로, 이는 에이전트가 범위 밖의 데이터를 가져오도록 지시하는 간접 프롬프트 인젝션에 취약하게 만듭니다. 이 핵심 위험을 완전히 제거할 수는 없으므로, Social Gauge의 접근 범위를 요청을 보내는 사용자와 관련된 데이터로만 제한하여 이 위험을 억제하고자 합니다.
Databricks는 AI 에이전트가 Unity Catalog를 통해 관리되는 엔터프라이즈 데이터에서 직접 작동하기 때문에 이러한 위험을 완화하는 데 독보적인 위치에 있습니다. 이를 통해 조직은 인간 사용자와 AI 에이전트 모두에게 세분화된 액세스 제어, 정책 시행 및 데이터 보호 메커니즘을 일관되게 적용할 수 있습니다.
사용자 대신 인증:
AI 에이전트와 통합을 구축할 때 고객은 Databricks API에 대해 사용자 대신(OBO) 인증 을 사용하도록 선택할 수 있습니다. 이는 기본 SDK가 데이터에 액세스하기 위해 호출될 때 에이전트 자체에 연결된 서비스 주체가 아니라 에이전트와 상호 작용하는 최종 사용자의 권한을 사용함을 의미합니다.
이는 모든 AI 애플리케이션을 구축할 때 첫 번째 단계여야 합니다. 이는 본질적으로 권한을 제한하고 과도한 권한이 부여된 에이전트가 단일 침해 지점이 되는 것을 방지합니다.
Unity Catalog - 세분화된 액세스 제어 목록:
OBO 인증이 효과적이려면 고객은 Unity Catalog에 세분화된 액세스 제어 목록이 있어야 사용자와 작업 공간이 액세스해서는 안 되는 데이터에 액세스할 수 없도록 해야 합니다.
보호 가능한 개체에 대한 권한 은 대부분의 고객에게 익숙한 액세스 제어입니다. 이는 카탈로그, 스키마, 테이블, 볼륨 등 Unity Catalog 보안 개체에 대해 사용자가 수행할 수 있는 작업을 결정합니다. 많은 고객의 경우 거버넌스 전략의 일부로 이러한 설정이 이미 마련되어 있습니다. 권한 관리에 대한 자세한 내용은 Unity Catalog 모범 사례에 대한 설명서 를 참조하세요.
Unity Catalog - 속성 기반 액세스 제어(ABAC):
세분화된 액세스 제어는 사용자가 데이터 엔지니어, 애널리스트 또는 비즈니스 사용자와 같이 명확하게 정의된 그룹에 속할 때 잘 작동합니다. 하지만 여러 비즈니스 라인에서 근무하는 비즈니스 사용자나 다른 지역에 기반을 둔 사용자는 어떻습니까? 바로 이럴 때 ABAC 가 사용됩니다.
ABAC를 사용하면 정책을 한 번 정의하여 카탈로그, 스키마, 테이블 등에 걸쳐 적용할 수 있습니다. 정책 유형은 두 가지가 있습니다. 행 필터 정책은 사용자의 속성을 기반으로 테이블을 자동으로 필터링합니다. 예를 들어, 사용자가 EMEA에 기반을 둔 경우 테이블은 해당 지역의 레코드로만 축소됩니다. 열 마스크 정책은 사용자가 특정 그룹에 속하지 않는 한 민감한 열을 마스킹하여 PII 노출을 줄이는 간단한 방법을 제공합니다.
AI 가드레일 - PII 탐지:
위의 제어 기능은 누가 무엇에 액세스할 수 있는지를 제한하는 데 중점을 둡니다. 하지만 에이전트가 실제로 반환하는 내용을 모니터링하는 것도 마찬가지로 중요합니다. 많은 고객이 AI 액세스를 위한 중앙 거버넌스 레이어로 Databricks AI 게이트웨이 를 사용합니다. AI 게이트웨이는 통합 모델 액세스, 라우팅, 사용량 추적, 속도 제한 외에도 PII 탐지와 같은 가드레일을 제공하여 모델의 입력 또는 출력에 민감한 데이터가 나타나는 모든 곳에서 이를 자동으로 차단하거나 수정합니다. 이는 에이전트가 조작되어 노출해서는 안 되는 데이터를 표시하는 시나리오로부터 보호합니다.
요약: 민감한 시스템 또는 개인 데이터에 대한 액세스 제어
이러한 제어를 통해 Social Gauge의 노출은 근본적으로 달라 보입니다. 에이전트가 프롬프트 삽입 공격에 의해 조작되더라도 요청하는 사용자가 이미 액세스할 수 있는 데이터에만 도달할 수 있으며, 해당 지역으로 범위가 지정되고 민감한 열이 관련된 경우 마스킹되며, 유출 시 PII가 모니터링됩니다. 에이전트를 손상시키는 공격자는 모든 권한을 상속하는 것이 아니라 문을 지키는 경비원과 함께 단일 사용자의 권한을 상속합니다.
Databricks는 권한 없는 외부 사용자에 대한 노출을 완화하는 다양한 플랫폼 제어 기능을 제공합니다: MFA를 사용한 SSO, 컨텍스트 기반 인그레스 제어, 프런트 엔드 PrivateLink 또는 IP ACL. 하지만 신뢰할 수 없는 입력에 노출될 위험이 로그인 화면에서 끝나지는 않습니다.
Social Gauge의 핵심 기능은 소비재에 대한 소셜 미디어 게시물과 뉴스 기사를 인터넷에서 검색하는 것입니다. 해당 기능은 간접 프롬프트 주입, 즉 정상적인 웹 콘텐츠에 포함된 악의적인 명령어에 시스템을 노출시킵니다. 따라서 승인되지 않은 사용자가 Social Gauge의 인터페이스에 직접 액세스할 수는 없지만 간접 공격 표면은 여전히 유효합니다.
또한 내부자 위험도 있습니다. 즉, 사용자가 탈옥 기술을 사용하여 볼 수 없는 데이터에 액세스하거나, Social Gauge를 원래 목적이 아닌 용도로 변경하거나, 분석을 조작하는 경우입니다(예: "내 제품이 아주 훌륭하다고 말하는 출처를 만들어내!").
우리의 공격 시나리오에서 Pillar 2의 위험은 프롬프트 주입이 포함된 소셜 미디어 게시물이 수집되고, 내장된 악성 콘텐츠가 에이전트에 의해 정상적인 명령으로 해석되는 것입니다. 신뢰할 수 없는 입력에 대한 에이전트의 처리를 강화하는 제어를 통해 이 위험을 완화할 수 있습니다.
AI Guardrails: 콘텐츠 안전 및 프롬프트 삽입:
지금까지 살펴본 바와 같이 Agent Bricks AI Gateway에는 안전 필터링 및 PII 탐지와 같이 적용할 수 있는 몇 가지 기본 내장 가드레일이 있습니다. 이러한 가드레일은 에이전트의 입력 또는 출력(또는 둘 다)에 적용할 수 있습니다. 이러한 기본 내장 가드레일 외에도 Databricks Model Serving에