주요 컨텐츠로 이동
플랫폼

Unity Gateway Insights 소개

AI 사용량의 비효율성을 자동으로 발견하세요

작성자: Adam Gurary, 알키스 폴리조티스 , Vishnu Kannan

AI 비용을 절감하고자 할 때 팀은 보통 예산이나 오픈소스 모델부터 살펴봅니다. 하지만 에이전트 트레이스를 분석하면 비용을 절감할 수 있는 다른 기회들을 발견할 수 있습니다. Databricks에서는 트레이스 분석을 통해 다음과 같은 여러 인사이트를 얻었습니다. 오프라인 재생 결과 Opus 4.8을 Opus 5로 업그레이드해도 성능 향상이 없었기에 더 저렴한 4.8 버전을 유지했고, 일반적인 MCP 오류를 수정하여 연간 약 120만 달러의 비용을 절감했으며, 단순 프롬프트가 고비용 모델로 라우팅되고 있음을 확인하고 Smart Routing을 도입하게 되었습니다. 

오늘 Databricks는 Unity Gateway Insights를 새롭게 선보입니다. 이 기능은 Genie를 자동으로 사용하여 비즈니스 데이터 및 온톨로지와 함께 수백만 개의 에이전트 트레이스를 분석합니다. 이를 통해 토큰이 낭비되는 지점을 찾아냅니다. 반복되는 MCP 오류, 고비용 프론티어 모델에서 실행되는 단순 작업, 공유 스킬로 전환할 가치가 있는 반복 워크플로 등을 비즈니스 맥락에 맞추어 다른 데이터와 동일한 거버넌스 하에서 파악할 수 있습니다.

Insights 작동 방식

이미 Unity Gateway를 통해 트래픽을 처리하고 있다면 AI Gateway > Observability > Insights로 이동하여 지난 1일, 7일 또는 30일 동안의 보고서를 생성하세요. 그러면 Insights가 코딩 에이전트 도입의 토크노믹스(Tokenomics)에 대한 보고서를 작성하여 다음 질문에 답변해 줍니다.

  • 사용자들이 주로 어떤 작업에 집중하고 있나요? Insights는 각 워크스트림이 차지하는 세션 비중과 토큰 비중을 비교합니다. 세션 비중은 10%인데 토큰 비중이 35%인 워크스트림이 있다면 가장 먼저 살펴봐야 할 대상입니다.
  • 어디서 비용을 절감할 수 있나요? Insights는 토큰이 사용되는 위치를 보여주고 낭비 유형별 비용을 기준으로 순위를 매깁니다. 반복되는 각 워크플로에 대해, 해당 워크플로를 공유 스킬로 전환할 때 복사해서 사용할 수 있는 프롬프트를 작성해 줍니다.

각 결과는 예시 세션으로 연결되므로 그 이면에 있는 트레이스를 직접 열어볼 수 있습니다.

최신 모델이 팀 작업에 그만큼의 가치가 있는지 등, 보고서에 자신만의 질문을 최대 10개까지 추가할 수 있습니다. 더 깊이 파헤치려면 Genie와의 대화를 계속 이어가세요. 이번 달에 가장 많은 토큰을 낭비한 MCP 서버가 무엇이고 그 소유자가 누구인지 물어보면 바로 전송할 수 있는 버그 리포트가 완성됩니다.

트레이스에서 Insights가 찾아내는 내용

Insights가 보고하는 각 낭비 유형의 세부 내용은 다음과 같습니다.

  • MCP 오류 및 낭비: 도구 호출이 실패하면 에이전트는 작업이 완료될 때까지 재시도하거나 우회하여 작업을 수행하므로, 사용자는 모든 재시도 비용을 지불하면서도 세션은 정상적으로 작동한 것처럼 보입니다. Databricks가 발견한 120만 달러의 비용은 MCP 서버의 단 7가지 작은 버그에서 비롯되었습니다. 토큰 낭비로 49만 9천 달러, 그리고 엔지니어들이 에이전트를 기다리느라 허비한 시간 12,000시간이 여기에 포함됩니다. 이 7가지를 모두 수정하는 데는 약 한 시간이 걸렸습니다.
  • 비효율적인 모델 사용: Insights는 각 프론티어 모델 세션에서 작업이 얼마나 복잡했는지 평가하고, 빠르고 루틴한 작업과 이들이 사용한 토큰 수를 집계합니다. 이러한 세션들은 Smart Routing을 통해 더 저렴한 모델로 라우팅할 수 있으며, 진정한 프론티어 모델의 능력이 필요한 작업에는 계속해서 프론티어 모델을 유지할 수 있습니다.
  • 코드로 구현할 공통 워크플로: 최소 세 개의 세션 또는 두 명 이상의 엔지니어 간에 반복되는 워크플로는 분석 대상이 됩니다. 공유 스킬을 사용하면 에이전트가 해당 단계를 미리 숙지하게 되므로, 매 세션마다 단계를 다시 파악하느라 발생하는 비용을 들이지 않아도 됩니다.

데이터 플랫폼상의 AI 컨트롤 플레인

이러한 유형의 낭비를 찾아내려면 모든 에이전트 세션의 각 단계에 대한 전체 기록이 필요합니다. 입력과 출력, 도구 호출, 서브에이전트, 중간 단계, 지연 시간, 그리고 토큰 비용 등이 여기에 해당합니다. 독립형(standalone) 게이트웨이는 통과하는 요청만 기록합니다. 세션의 나머지 부분을 캡처하려면 직접 모든 코딩 에이전트를 계측(instrument)한 다음 분석을 위해 트레이스를 데이터 플랫폼으로 내보내야 합니다.

Claude Code를 이러한 트레이스에 직접 연결하더라도 Genie Ontology가 제공하는 것과 같은 비즈니스 지도가 없다면 조사는 오롯이 사용자의 몫으로 남습니다. Insights는 수천 명의 Databricks 엔지니어에게 코딩 에이전트를 배포하면서 개발한 조사 방식을 그대로 실행합니다. 세션을 샘플링하고 작업 유형별로 워크스트림으로 그룹화한 다음, 각 워크스트림에서 실패한 MCP 도구, 비대해진 컨텍스트, 단순 작업에 사용된 프론티어 모델, 반복되는 워크플로 등을 확인하고 토큰 비용을 기준으로 순위를 매깁니다. 이는 독립형 게이트웨이로는 가질 수 없는 네 가지 요소를 기반으로 작동합니다.

  • 모든 에이전트의 자동화된 트레이싱. Unity Gateway는 코딩 에이전트 요청이 통과하는 컨트롤 플레인입니다. 엔지니어가 ug CLI를 사용하여 Claude Code, Codex 또는 GitHub Copilot을 실행하면 ug가 각 에이전트의 자체 OpenTelemetry 트레이싱을 자동으로 활성화하므로 팀에서 별도로 계측 작업을 할 필요가 없습니다. 트레이스는 사용자가 소유한 Unity Catalog 내의 거버넌스가 적용된 Delta 테이블인 통합 트레이스 테이블에 오픈 포맷으로 저장되어 어떤 도구로든 읽을 수 있습니다.
  • 비즈니스를 이해하는 Genie. Genie가 SQL을 작성하고 세션을 읽습니다. Genie Ontology를 통해 사용자의 프로젝트 이름과 비즈니스 뉘앙스를 반영하여 답변을 제공합니다.
  • 수백만 개의 트레이스를 처리하는 확장성. Databricks SQL은 가장 대규모의 테이블에서 제공하는 것과 동일한 확장성과 성능으로 전체 트레이스 이력을 쿼리합니다.
  • 기본적으로 적용되는 강력한 보안. 트레이스에는 프롬프트, 코드, 도구 출력이 포함되어 있으므로 관리자가 Unity Catalog 권한 및 행 필터(row filter)를 통해 액세스 권한을 부여하기 전까지는 테이블 소유자만 쿼리할 수 있습니다. Insights는 테이블을 제자리에서(in-place) 읽으므로 분석을 위해 가장 민감한 데이터를 외부로 내보낼 필요가 없습니다.

시작하기

개발자가 이미 Unity Gateway를 통해 코딩 에이전트를 실행하고 있다면 오늘 바로 첫 번째 보고서를 생성할 수 있습니다.

  1. 통합 트레이스 테이블을 설정하여 Unity Gateway가 트레이스를 기록하도록 합니다.
  2. 팀에서 ug CLI를 사용하여 코딩 에이전트를 실행하도록 합니다.
  3. 워크스페이스에서 AI Gateway > Observability > Insights를 열고 보고서를 생성합니다. 자세한 내용은 Insights 문서를 참조하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

관련 태그:

Unity Gateway , Genie

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.