Unity AI Gateway 가드레일로 AI 워크로드를 보호하는 방법

어떤 기업도 AI로 인한 보안 침해 소식으로 헤드라인을 장식하고 싶어 하지 않습니다. AI 사용을 관리하고 보호하는 것은 다각적인 노력입니다. 예를 들어, Databricks AI 보안 프레임워크의 최신 버전은 Databricks Platform에서 97가지 업계 검증 AI 보안 위험과 해당 위험에 대한 73가지 사용 가능한 제어 기능을 나열합니다. AI 에이전트를 배포할 때, 조직은 안전하고 보안되며 규정을 준수하는 사용을 보장하기 위해 필요한 모든 제어 기능을 구현해야 합니다. LLM 가드레일은 대부분의 사용 사례에 적용되는 핵심 거버넌스 및 보안 제어 기능 중 하나입니다.

보안 외에도 가드레일은 사용자에서 모델로 또는 그 반대로 기업의 민감한 데이터가 유출되는 것을 방지하는 역할도 합니다. 가드레일은 AI의 유해하거나 불쾌한 사용을 막고, 생성된 콘텐츠가 제품 브랜딩 전략과 일치하도록 보장하며, 채팅 대화가 주제에서 벗어나지 않도록 유지할 수 있습니다.

오늘, Unity AI Gateway에서 LLM 가드레일을 발표합니다. 현재 베타 버전으로 제공됩니다! 이번 릴리스는 Gateway의 이전 가드레일 버전을 기반으로 하며, 특히 LLM 기반 가드레일을 사용하여 사전 구축된 가드레일의 성능을 확장하고 개선하며, 고도로 조정 가능한 사용자 지정 가드레일 옵션을 제공합니다. 이 블로그 게시물에서는 이러한 가드레일을 사용하여 여러 AI 보안 및 규정 준수 위험을 완화하는 방법을 보여드리겠습니다.

시나리오: Acme Co.가 생성형 AI를 위한 가드레일을 정의합니다

Acme Co.의 마케팅 팀은 캠페인 초안 작성을 돕기 위해 AI 어시스턴트를 출시하고 있습니다. Acme의 CIO는 LLM 사용에 대한 포괄적인 회사 정책을 수립했으며, 여기에는 다음이 포함됩니다.

• 고객 PII가 모델 프롬프트로 유출되지 않아야 합니다.
• 모든 모델 프롬프트는 탈옥(jailbreak) 및 프롬프트 주입(prompt injection) 시도에 대해 검사되어야 합니다.
• AI는 유해하거나 안전하지 않은 콘텐츠를 생성하는 데 사용될 수 없습니다.

또한 마케팅 팀은 브랜드 이미지를 보호하고 경쟁에서 정정당당하게 임하는 것에 매우 신중합니다. 이번 캠페인에서는 경쟁사를 비방하거나 심지어 언급하는 것을 피하기로 결정했습니다.

마케팅 팀은 이 프로젝트에 AI를 사용하기 위한 예산을 확보했으며, AI 플랫폼 팀과 협력하여 어시스턴트를 구동할 LLM에 대한 액세스를 얻었습니다. 이제 플랫폼 팀이 이 프로젝트를 위해 Unity AI Gateway 엔드포인트를 어떻게 구성할 수 있는지 살펴보겠습니다.

Unity AI Gateway로 관리되는 AI 엔드포인트 구축

팀은 GPT-5.4와 같은 유능한 범용 모델이 그들의 사용 사례와 예산에 잘 맞을 것이라는 데 동의했습니다. 그들은 해당 모델을 사용하도록 엔드포인트를 구성하는 것부터 시작합니다.

그들은 또한 가드레일을 모니터링하고 제대로 작동하는지 확인하기 위해 추론 테이블을 설정했습니다.

가드레일에 관해서는 비즈니스 요구 사항을 다양한 유형의 가드레일에 매핑합니다.

내장 템플릿이 필요한 가드레일을 설정하는 것은 간단합니다.

1. 엔드포인트의 AI Gateway 페이지에서 Guardrails 탭으로 이동합니다.
2. + 가드레일 추가 버튼을 클릭합니다.
3. 가드레일 생성 모달에서 가드레일 유형을 선택합니다. 이 예시에서는 PII 수정, 탈옥, 안전하지 않은 콘텐츠에 대한 가드레일을 각각 하나씩 생성할 것입니다. 각 유형에 대한 자세한 내용은 Databricks 문서를 참조하십시오.
4. 비즈니스 요구 사항을 충족하도록 가드레일을 구성합니다. PII 가드레일의 경우, 입력에서 PII를 수정하도록 구성하려고 합니다. 각 내장 가드레일에는 미리 정해진 작업(예: 차단 vs. 정화)과 프롬프트가 있습니다. 내장 가드레일의 선택적 구성은 다음과 같습니다.
   1. 성능 향상 또는 비용 관리를 위해 필요에 따라 변경할 수 있는 기본 평가자 엔드포인트(예: databricks-gpt-5-nano).
   2. 고급 모드에서 기본 적용(Enforce) 모드 대신 로그(Log) 모드로 가드레일을 실행하는 옵션. 이 옵션은 실시간 트래픽을 수신하는 엔드포인트에 새 가드레일을 추가할 때 유용하며, 가드레일 테스트 중 사용자에게 미치는 영향을 최소화합니다.
5. 가드레일 구성에 만족하면 '가드레일 생성'을 클릭하여 가드레일을 배포합니다.

탈옥 및 안전하지 않은 콘텐츠 가드레일에 대해서도 동일한 과정을 반복합니다. 마지막 가드레일인 경쟁사 언급 방지를 위해서는 사용자 지정 가드레일을 사용할 것입니다. 이름을 지정하고, 가드레일을 위반하는 출력을 차단하도록 선택하며, 비즈니스 요구 사항을 충족하도록 기본 프롬프트 템플릿을 채웁니다.

이제 대표적인 프롬프트로 가드레일을 테스트합니다.

탈옥, PII 및 안전하지 않은 출력에 대한 가드레일 테스트

Acme 팀은 노트북을 통해 가드레일이 활성화된 엔드포인트에 샘플 프롬프트를 보내기 시작했으며, 노트북과 엔드포인트의 추론 테이블에서 가드레일 동작을 관찰했습니다.

사용자 지정 가드레일을 제외하고 모든 가드레일이 예상대로 작동했습니다. Acme 팀은 다음에서 사용자 지정 가드레일 팁을 살펴봅니다. Databricks 문서를 통해 가드레일을 너무 불분명하게 지정했을 수 있다는 것을 깨닫습니다. 예를 들어,

• Acme Co의 사업(전문 커피 판매업체)을 명시하지 않았습니다.
• 특정 경쟁업체(예: Highline)를 나열하지 않았습니다.
• 몇 가지 예시를 제공하지 않았습니다.

그들은 이러한 격차를 해결하기 위해 원래의 사용자 지정 가드레일 프롬프트를 반복하여 훨씬 더 구체적이고 철저한 프롬프트를 만들었습니다.

그들은 gpt-5-nano와 gpt-5-mini를 평가자 엔드포인트로 사용하여 이 프롬프트를 시도했지만, 여전히 안정적인 가드레일 성능을 얻지 못했습니다. gpt-5-4-mini로 전환했을 때, 사용자 지정 가드레일이 다른 가드레일 테스트를 저하시키지 않고 예상대로 작동하는 것을 확인하여, 5.4-mini를 초기 평가자 엔드포인트로 선택했습니다.

모범 사례로, 그들은 또한 추론 테이블을 통해 더 많은 실시간 트래픽을 캡처하고, 사용자 지정 가드레일에 대한 오탐(false positive) 및 미탐(false negative)을 관리하며, 정확도, 재현율, 비용 및 지연 시간의 적절한 균형을 달성하기 위해 프롬프트 및/또는 모델을 추가로 조정할 계획입니다.

추론 테이블을 사용한 가드레일 활동 감사

Acme 팀은 마케팅 팀 엔드포인트와 평가자 엔드포인트의 추론 테이블에서 가드레일 효과를 확인합니다.

• 추론 엔드포인트에서 사용량 추적은 차단된 요청을 포함하여 요청당 한 행을 기록합니다. 통과 및 정제된 요청은 상태 200으로 실제 토큰 사용량을 기록합니다. 입력이 차단된 요청은 0개의 입력 및 출력 토큰과 함께 상태 400을 기록합니다. 출력이 차단된 요청은 대상 모델의 실제 토큰 수와 함께 상태 400을 기록합니다.
• 평가자 엔드포인트에서 추론 테이블은 가드레일 호출당 한 행을 기록하며, 요청 본문은 평가자가 받는 내용, 평가자의 원시 JSON 응답, 지연 시간, 상태 코드 및 타임스탬프를 설명합니다.
• 추론 엔드포인트의 추론 테이블과 평가자 엔드포인트의 추론 테이블은 동일한 request_id를 공유합니다. 이 필드를 조인하여 가드레일 결정을 원래 클라이언트 호출로 추적할 수 있습니다.

그들은 이러한 추론 테이블을 기반으로 보고서와 대시보드를 생성하여 마케팅 캠페인과 연계하여 가드레일 사용량을 추적하고 이해할 수 있습니다. 사용자들이 과도하게 민감한 가드레일에 대해 불평할 경우, AI 플랫폼 팀은 각 세션 내에서 취해진 작업을 분석하여 개별 사용자 세션을 검증할 수 있습니다.

지금 바로 Unity AI Gateway에서 LLM 가드레일을 사용해보세요!

Unity AI Gateway의 LLM 가드레일은 오늘부터 베타로 제공됩니다. 활성화 방법에 대한 설명서를 참조하세요. 민감한 프롬프트, 외부 도구 또는 고객 대면 출력을 처리하는 엔드포인트에 가드레일을 활성화하는 것부터 시작한 다음, 추론 테이블을 사용하여 시간 경과에 따라 가드레일 동작을 모니터링하고 개선하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)