Unity AI Gateway를 통한 에이전트 거버넌스 확장

오늘, AI Gateway의 주요 개선 사항을 발표합니다. 이번 릴리스의 일환으로 AI Gateway는 이제 Unity Catalog의 일부가 되어 Unity AI Gateway가 되었습니다. 이는 Unity Catalog의 거버넌스 모델을 에이전트 AI로 확장하여, 에이전트가 LLM에 액세스하고 MCP 서버 및 API와 같은 도구와 상호 작용하는 방식에 동일한 권한, 감사 및 정책 제어를 적용할 수 있도록 합니다.

AI 에이전트가 고객 질문에 응답할 때 발생하는 일은 다음과 같습니다. 쿼리를 해석하기 위해 LLM을 호출하고, MCP 서버를 통해 Salesforce에서 주문 내역을 가져오고, 내부 API를 통해 실시간 배송 데이터를 확인한 다음, LLM을 다시 호출하여 응답 초안을 작성합니다. 총 시간: 1초 미만. 누가 어떤 데이터에 액세스했는지, 어떤 시스템이 호출되었는지, 정책이 준수되었는지에 대한 총 가시성: 거의 없음.

변경된 것은 도구뿐만 아니라 아키텍처입니다. AI 에이전트는 이제 모델과 시스템 전반에 걸쳐 다단계 워크플로를 조정하며, 각 단계에서 민감한 데이터에 자주 액세스합니다. 이는 데이터베이스 쿼리, 외부 API 호출 또는 Cursor, Codex 또는 Claude Code와 같은 코딩 에이전트를 사용하여 코드를 생성하거나 수정하는 것을 의미할 수 있습니다.

그리고 이는 새로운 질문을 제기합니다. 각 작업은 누가 승인했습니까? 어떤 데이터가 어떤 모델과 공유되었습니까? 정책이 일관되게 시행되었습니까? 문제가 발생하면 전체 체인을 추적할 수 있습니까?

기존 거버넌스 도구는 이러한 환경을 위해 설계되지 않았습니다. 사일로에서 작동하며 에이전트 작업의 전체 수명 주기에 걸쳐 통합된 보기를 제공할 수 없습니다.

이번 릴리스를 통해 Unity Catalog의 거버넌스 기능을 AI 에이전트까지 확장합니다. Unity AI Gateway를 사용하면 LLM 액세스를 제어하고, 에이전트가 MCP 서버 및 API를 사용하는 방식을 관리하며, 모델 및 도구 전반에 걸쳐 일관된 정책을 적용할 수 있습니다. 여기에는 MCP 거버넌스에 대한 새로운 지원이 포함되어 있어, 어떤 에이전트가 어떤 외부 시스템에 액세스할 수 있는지 제어하고 해당 데이터가 어떻게 사용되는지 추적할 수 있습니다. 자세한 내용은 외부 MCP에 에이전트를 안전하게 연결하는 방법에 대한 방법 블로그를 참조하십시오.

또한 LLM 및 MCP 호출 모두에 대한 자세한 관찰 가능성과 모델, 팀 및 워크플로 전반에 걸친 세분화된 비용 추적 기능을 제공합니다. 또한 Unity AI Gateway는 기본 제공 대체 기능, 속도 제한 및 가드레일을 통해 모델 전반에서 통합된 방식으로 작업할 수 있도록 하여 프로덕션에서 에이전트를 안정적으로 실행할 수 있도록 지원합니다.

아래 설명된 기능 중 일부는 베타 버전으로 제공됩니다.

이제 새 LLM 엔드포인트 또는 MCP 서버를 몇 초 만에 설정할 수 있습니다. 모델(Claude Opus 4.6, GPT-4, Gemini, Llama 또는 모든 공급업체 네이티브 API)을 선택하고 거버넌스를 한 번 구성합니다. 동일한 프레임워크가 Anthropic, OpenAI, Google 및 오픈 소스 모델에 적용됩니다.

지원 팀에 대화형 AI를 위한 Claude 엔드포인트를 제공합니다. 구조화된 데이터 추출을 위해 GPT-4를 사용합니다. 코딩 에이전트를 위해 Codex 또는 Claude로 엔지니어를 지원합니다. 멀티모달 워크플로를 위해 Gemini를 도입합니다. 거버넌스를 매번 재작업할 필요 없이 각 작업에 적합한 모델을 선택할 수 있습니다. 정책은 공급업체 전반에 걸쳐 일관되게 유지됩니다. 중복 설정이나 별도의 구성 관리가 필요 없습니다.

세분화된 권한 및 가드레일

세분화된 권한 및 가드레일은 처음부터 발생해서는 안 되는 일을 방지합니다.

도구에 대한 세분화된 액세스 제어

에이전트가 MCP 서버를 호출하여 내부 시스템에 액세스할 때 Unity AI Gateway는 사용자 대신 실행을 지원합니다. MCP는 공유 서비스 계정이 아닌 요청 사용자의 정확한 권한으로 실행됩니다. 사용자가 Salesforce 레코드에 액세스할 수 없는 경우, 에이전트도 액세스할 수 없습니다. 권한이 높아도 마찬가지입니다.

LLM 심판 기반 유연한 가드레일 (베타)

Unity AI Gateway의 가드레일은 프롬프트 + 모델 접근 방식을 사용합니다. 요청, 응답 또는 둘 다에 대해 실행되도록 구성할 수 있습니다.

• PII 감지 및 마스킹: 외부 모델에 도달하기 전에 이메일, SSN, 전화번호를 감지하고 마스킹합니다.
• 콘텐츠 안전성: 사용자 정의 가능한 필터로 유해하거나 부적절한 콘텐츠를 차단합니다.
• 프롬프트 삽입 감지: 시스템 지침을 무시하려는 탈옥 시도를 탐지합니다.
• 데이터 유출 방지: 학습 데이터 또는 독점 콘텐츠 노출을 방지합니다.
• 환각 가드: 접지 소스에 대해 응답을 검증합니다.
• 사용자 지정 가드레일: 사용자 지정 프롬프트와 모델로 자신만의 가드레일을 정의합니다.

각 가드레일은 편집 가능한 프롬프트와 구성 가능한 모델로 지원되며, 엄격한 사전 구축된 논리가 아닙니다. 위반 시 Unity AI Gateway는 요청을 거부하거나 민감한 데이터를 마스킹할 수 있습니다. 모든 작업은 감사를 위해 기록됩니다. 이 기능은 현재 출시 중이며 다음 주 안에 모든 지원 지역에서 사용할 수 있습니다.

엔드투엔드 관찰 가능성

AI 에이전트가 프로덕션에 도달하면 세 팀이 답변을 필요로 합니다. FinOps는 비용이 어떻게 발생하는지 알고 싶어하고, 엔지니어링은 오류를 디버그해야 하며, 보안은 감사 추적이 필요합니다. Unity AI Gateway는 동일한 통합 로깅 인프라에서 각 팀에 필요한 것을 제공합니다.

FinOps용: 중요한 항목별 비용 추적

모든 요청은 실제 달러 비용(토큰 수뿐만 아니라)으로 Unity Catalog 시스템 테이블에 기록됩니다. 프로비저닝된 처리량 가동 시간, 토큰당 사용량 및 외부 모델 가격이 모두 자동으로 계산됩니다. 조직의 예산에 따라 비용을 분할합니다.

• 엔드포인트 태그: 팀, 환경 또는 비용 센터별로 그룹화
• 요청 태그: SaaS 플랫폼이 최종 고객에게 프록시하는 동적 속성
• ID: 사용자 또는 서비스 주체별로 집계 — 지출을 예산 소유자에게 매핑
• 모델 및 공급업체: 비용을 발생시키는 모델(Opus 대 Sonnet) 및 공급업체(Anthropic 대 OpenAI) 추적

엔지니어링용: 디버깅을 위한 전체 페이로드

요청/응답 페이로드, 지연 시간, 상태 코드 및 오류를 Delta 테이블에 캡처하는 추론 테이블을 활성화합니다. 에이전트가 실패하면 어떤 프롬프트가 전송되었고, 모델이 무엇을 반환했으며, 어디에서 문제가 발생했는지 정확하게 추적하고, Genie Code 및 MLflow와 같은 도구를 사용하여 신속하게 문제를 디버깅하고 해결합니다.

보안용: 완전한 감사 추적

모든 요청은 요청자 ID, 타임스탬프 및 MCP 호출의 경우 연결 이름, HTTP 메서드, 통화가 사용자 대신 이루어졌는지 여부를 기록합니다. Unity Catalog 권한은 누가 무엇을 볼 수 있는지 제어합니다.

단일 로깅 인프라가 세 가지 중요한 사용 사례를 지원합니다. 사용자가 소유하고 제어하는 Delta 테이블을 기반으로 합니다.

프로덕션을 위한 안정성 및 유연성

Unity AI Gateway는 애플리케이션 요구 사항에 따라 모델을 호출하는 방식에 유연성을 제공합니다.

원활한 공급업체 전환을 위한 통합 API (베타)

이식성이 중요하다면(그리고 그래야 합니다), Unity AI Gateway의 OpenAI-호환 API를 사용하십시오. 코드는 모든 공급업체에서 동일하게 유지됩니다. 애플리케이션을 한 번 작성한 다음 엔드포인트 구성을 업데이트하여 모든 모델 간에 전환하십시오. 코드 변경이나 재배포가 필요 없습니다.

자동 장애 조치를 통해 시스템 실행 유지 (베타)

대체 모델을 구성하면 Unity AI Gateway가 오류를 자동으로 처리합니다. 기본 모델이 속도 제한에 도달하거나 오류를 반환하면 요청이 순차적으로 백업 모델로 라우팅되어 성공할 때까지 처리됩니다. Opus 할당량이 소진되었습니까? 트래픽이 Sonnet으로 대체됩니다. 공급업체에 장애가 발생했습니까? 애플리케이션이 대안으로 라우팅됩니다. 수동 개입이나 다운타임이 없습니다.

마지막으로 Unity AI Gateway를 사용하면 엔드포인트, 사용자 또는 그룹 수준에서 속도 제한을 설정하여 비용 폭증을 방지하고 문제가 발생하기 전에 SLA를 보호할 수 있습니다.

Unity AI Gateway 시작하기

위에 설명된 새로운 기능은 지원되는 Databricks 지역에서 사용할 수 있습니다. 워크스페이스를 열고 사이드바에서 Unity AI Gateway로 이동하여 GenAI 스택(LLM 및 MCP)을 한 곳에서 관리하세요. 자세한 내용은 설명서와 외부 MCP에 에이전트를 안전하게 연결하는 방법에 대한 블로그 게시물을 참조하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)