AI 사용량의 비효율성을 자동으로 발견하세요
작성자: Adam Gurary, 알키스 폴리조티스 , Vishnu Kannan
AI 비용을 절감하고자 할 때 팀은 보통 예산이나 오픈소스 모델부터 살펴봅니다. 하지만 에이전트 트레이스를 분석하면 비용을 절감할 수 있는 다른 기회들을 발견할 수 있습니다. Databricks에서는 트레이스 분석을 통해 다음과 같은 여러 인사이트를 얻었습니다. 오프라인 재생 결과 Opus 4.8을 Opus 5로 업그레이드해도 성능 향상이 없었기에 더 저렴한 4.8 버전을 유지했고, 일반적인 MCP 오류를 수정하여 연간 약 120만 달러의 비용을 절감했으며, 단순 프롬프트가 고비용 모델로 라우팅되고 있음을 확인하고 Smart Routing을 도입하게 되었습니다.
오늘 Databricks는 Unity Gateway Insights를 새롭게 선보입니다. 이 기능은 Genie를 자동으로 사용하여 비즈니스 데이터 및 온톨로지와 함께 수백만 개의 에이전트 트레이스를 분석합니다. 이를 통해 토큰이 낭비되는 지점을 찾아냅니다. 반복되는 MCP 오류, 고비용 프론티어 모델에서 실행되는 단순 작업, 공유 스킬로 전환할 가치가 있는 반복 워크플로 등을 비즈니스 맥락에 맞추어 다른 데이터와 동일한 거버넌스 하에서 파악할 수 있습니다.

이미 Unity Gateway를 통해 트래픽을 처리하고 있다면 AI Gateway > Observability > Insights로 이동하여 지난 1일, 7일 또는 30일 동안의 보고서를 생성하세요. 그러면 Insights가 코딩 에이전트 도입의 토크노믹스(Tokenomics)에 대한 보고서를 작성하여 다음 질문에 답변해 줍니다.

각 결과는 예시 세션으로 연결되므로 그 이면에 있는 트레이스를 직접 열어볼 수 있습니다.

최신 모델이 팀 작업에 그만큼의 가치가 있는지 등, 보고서에 자신만의 질문을 최대 10개까지 추가할 수 있습니다. 더 깊이 파헤치려면 Genie와의 대화를 계속 이어가세요. 이번 달에 가장 많은 토큰을 낭비한 MCP 서버가 무엇이고 그 소유자가 누구인지 물어보면 바로 전송할 수 있는 버그 리포트가 완성됩니다.

Insights가 보고하는 각 낭비 유형의 세부 내용은 다음과 같습니다.
이러한 유형의 낭비를 찾아내려면 모든 에이전트 세션의 각 단계에 대한 전체 기록이 필요합니다. 입력과 출력, 도구 호출, 서브에이전트, 중간 단계, 지연 시간, 그리고 토큰 비용 등이 여기에 해당합니다. 독립형(standalone) 게이트웨이는 통과하는 요청만 기록합니다. 세션의 나머지 부분을 캡처하려면 직접 모든 코딩 에이전트를 계측(instrument)한 다음 분석을 위해 트레이스를 데이터 플랫폼으로 내보내야 합니다.
Claude Code를 이러한 트레이스에 직접 연결하더라도 Genie Ontology가 제공하는 것과 같은 비즈니스 지도가 없다면 조사는 오롯이 사용자의 몫으로 남습니다. Insights는 수천 명의 Databricks 엔지니어에게 코딩 에이전트를 배포하면서 개발한 조사 방식을 그대로 실행합니다. 세션을 샘플링하고 작업 유형별로 워크스트림으로 그룹화한 다음, 각 워크스트림에서 실패한 MCP 도구, 비대해진 컨텍스트, 단순 작업에 사용된 프론티어 모델, 반복되는 워크플로 등을 확인하고 토큰 비용을 기준으로 순위를 매깁니다. 이는 독립형 게이트웨이로는 가질 수 없는 네 가지 요소를 기반으로 작동합니다.
개발자가 이미 Unity Gateway를 통해 코딩 에이전트를 실행하고 있다면 오늘 바로 첫 번째 보고서를 생성할 수 있습니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.