Unity AI Gateway를 통한 AI 지출 통제 기능 소개

오늘, 저희는 Unity AI Gateway의 AI 지출 제어 기능을 발표합니다. 이번 릴리스는 Unity AI Gateway의 기존 비용 가시성을 사전 예방적 예산 알림으로 확장하여 개발자가 매일 사용하는 코딩 에이전트부터 고객에게 서비스를 제공하는 프로덕션 에이전트, 그리고 밤새 실행되는 배치 작업에 이르기까지 조직의 AI 지출을 완벽하게 제어할 수 있도록 합니다:

AI 워크로드는 엄청난 가치를 제공하지만, 비용 프로필은 기존 클라우드 지출보다 관리하기가 훨씬 더 어렵습니다:

• 통화 녹취록을 번역하는 야간 배치 작업이 한 달 동안 완벽하게 실행되다가 중간에 실패하기 시작하여 비용을 밤새 10배로 늘리는 재시도 로직을 트리거할 수 있습니다.
• 엔지니어링 조직의 코딩 에이전트는 매주 수천 시간의 개발자 시간을 절약하지만, 동일한 에이전트가 한 명의 엔지니어가 금요일 밤에 실수로 여러 에이전트 실험을 시작하여 일요일까지 팀의 월별 예산을 소진하게 만들 수 있습니다.

엔지니어링, 지원, 영업 및 운영 전반의 직원들은 지난 10년간의 어떤 기술보다 빠르게 AI를 도입하고 있으며, 매주 새로운 사용 사례를 발굴하고 있습니다. 그러나 이러한 도입은 관리 문제를 야기합니다. 이제 파운데이션 모델 사용은 수십 개의 팀, 수백 명의 사용자, 그리고 수천 개의 에이전트에 걸쳐 다양한 공급업체와 모델 계층을 포함합니다. 지출 제어는 모든 AI 워크로드에 균일하게 적용되어야 하므로, 조직은 예상치 못한 청구서 걱정 없이 AI에 자신 있게 집중할 수 있습니다.

모든 세분성 수준에서 예산 알림 구성

지출 제어는 균일하게 적용되어야 하지만, 조직의 각기 다른 부분에서는 다른 비용 제어가 필요합니다. 플랫폼 팀은 작업 공간 전체의 총액에 관심을 가집니다. FinOps 리더는 조직 수준의 월별 지출에 관심을 가집니다. 엔지니어링 관리자는 개발자별 실험 예산에 관심을 가집니다. AI 지출 제어 기능을 통해 이 모든 것을 한 곳에서 설정할 수 있으며, Databricks의 기존 예산과도 긴밀하게 통합되어 있습니다:

• 사용자별: 개별 실험을 위한 예산을 설정합니다. 예를 들어, 엔지니어링 조직의 경우 사용자당 월 $2000로 설정할 수 있습니다. 에이전트가 루프에 갇힌 개발자를 손익 계산서에 나타나기 전에 파악하세요.
• 사용 사례별: codex 또는 claude code와 같은 코딩 에이전트에 대한 조직의 지출이 사용자당 월 $1000를 초과하면 알림을 받습니다.
• 작업 공간별: 각 단위에 자체 예산을 할당합니다. 프로덕션은 월 $50,000, 샌드박스는 $5,000를 받습니다.
• 계정별: 모든 모델, 모든 공급업체, 모든 작업 공간에 걸쳐 월 $200,000와 같은 상한선을 설정하고, 해당 금액에 도달하기 훨씬 전에 알림을 받습니다.

지금 바로 Unity AI Gateway 예산 시작하기

조직의 AI 지출을 추적하려면 다음 단계를 따르세요:

Unity AI Gateway 예산 생성

• 계정 설정을 열고 사이드바에서 사용량(Usage)으로 이동한 다음 예산(Budgets) 탭을 엽니다.
• 예산을 생성하고 리소스 유형으로 “Unity AI Gateway”를 선택합니다.
• 선택적으로 예산을 특정 작업 공간의 하위 집합에만 적용할 수 있습니다.
• 선택적으로 “리소스 태그”를 적용하여 AI Gateway LLM의 하위 집합에 대한 예산을 구성할 수 있습니다. 태그가 예산 태그와 일치하는 AI Gateway LLM만 예산에 포함됩니다. 이는 사용 사례별 예산을 구성하는 데 유용합니다.
• 리소스 태그와 일치하는 선택된 작업 공간(들)의 모든 리소스에 대해 월별 지출 한도를 전역적으로 설정하는 “공유 임계값”을 구성합니다.
• 계정의 사용자당 월별 지출 한도를 설정하는 “사용자별 임계값”을 구성합니다.
• 임계값이 초과될 때 알림을 받을 이메일 주소를 구성합니다.

생성 후, 예산 알림 확인

예산 중 하나가 초과되면 알림 이메일을 받게 됩니다:

활성 예산 분석

계정 콘솔의 비용(Cost) 섹션에서는 예산 알림 이메일에 응답하거나 활성 예산의 상태를 사전에 모니터링할 수 있습니다. 예산(Budgets) 페이지에서 예산 추세를 한눈에 확인할 수 있습니다:

어떤 예산이든 열어서 AI 지출 추세를 확인하세요:

사용자별 예산 임계값을 구성했다면, 예산 상세 페이지에서 조직 사용자의 개별 AI 지출 추세를 확인할 수 있습니다. 사용자가 개별 임계값을 초과하면 해당 상태와 지출이 명확하게 표시되어 신속하게 조치할 수 있습니다:

예산의 임계값을 늘리려면, 단순히 예산을 편집하고 지출 한도를 수정하면 됩니다.

조직의 AI 지출 상세 분석

Unity AI Gateway 예산은 사용자별 및 예산별 지출에 대한 개요를 제공합니다. 어떤 사용자, 모델 또는 사용 사례가 지출을 유발하는지 추가로 분석하려면 Unity AI Gateway의 기존 비용 추적 기능을 사용할 수 있습니다. 모든 요청은 토큰 수뿐만 아니라 DBU 비용과 함께 Unity Catalog 시스템 테이블에 기록됩니다. 프로비저닝된 처리량, 가동 시간, 토큰당 사용량, 심지어 외부 모델 공급업체의 토큰 비용까지 모두 자동으로 계산됩니다. 조직이 지출을 추적하는 방식에 따라 데이터를 분류할 수 있습니다:

• ID: 사용자 또는 서비스 주체별로 집계하여 지출을 유발하는 사람과 시스템에 매핑합니다.
• 작업 공간, 엔드포인트 및 태그: 팀, 환경 또는 비용 센터별로 그룹화합니다.
• 모델 및 공급업체: 어떤 모델(Opus vs. Sonnet)과 공급업체(Anthropic vs. OpenAI vs. 오픈 소스)가 비용을 유발하는지 확인합니다.
• 요청 태그: 최종 고객에게 프록시하는 SaaS 플랫폼에 대한 동적 속성 부여.

Databricks 작업 공간에서 Unity AI Gateway 페이지로 이동하여 “대시보드 보기”를 클릭하면 비용 분석 대시보드에 액세스할 수 있습니다:

이것은 완전히 사용자 정의할 수 있는 사용량 및 비용 분석 대시보드를 엽니다:

데이터 및 AI 거버넌스를 위한 단일 플랫폼

AI 지출 제어는 Databricks에서 이미 사용하고 있는 거버넌스 기능의 자연스러운 확장입니다:

• Unity AI Gateway는 조직의 LLM 및 MCP를 관리하고 액세스하기 위한 중앙 AI Gateway입니다.
• Unity Catalog는 조직의 데이터 및 AI 자산을 등록하고 검색하기 위한 중앙 카탈로그입니다. 액세스 권한, 감사 로그 및 사용량 데이터는 모두 Unity Catalog에 있습니다.

Databricks는 에이전트가 무엇을 할 수 있는지, 누구를 위해 할 수 있는지, 그리고 이를 수행하는 데 얼마나 지출할 수 있는지를 관리하기 위한 단일하고 일관된 시스템을 제공합니다. 지금 시작하세요!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)