Databricks, AI 에이전트 평가 강화를 위해 Quotient AI 인수

Databricks는 AI 에이전트를 위한 평가 및 강화 학습 분야의 혁신 기업인 Quotient AI 인수를 발표하게 되어 기쁘게 생각합니다. Quotient는 기업이 프로덕션 환경에서 에이전트의 동작을 모니터링하고 중요한 문제를 감지하며, 이러한 신호를 사용하여 에이전트 성능을 지속적으로 개선하도록 돕습니다. 조직은 AI 에이전트를 비즈니스에 중요한 워크플로에 배포할 때 해당 시스템이 실제 환경에서 예상대로 작동하는지 확인할 수 있는 신뢰할 수 있는 방법이 필요합니다. Databricks에 Quotient를 도입함으로써 당사는 지속적인 평가와 학습을 통해 Genie, Genie Code 및 Agent Bricks 를 강화하고, 개발자와 조직 모두가 시간이 지남에 따라 더 정확하고 신뢰할 수 있으며 전문화되는 AI 에이전트를 사용할 수 있도록 지원합니다.

AI 에이전트의 프로덕션 과제 해결
기업이 AI 에이전트를 파일럿에서 프로덕션으로 전환함에 따라 대규모로 성능을 안정적으로 측정, 디버깅 및 개선하는 방법이라는 새로운 과제가 대두됩니다. 에이전트는 모델, 메모리, 도구, 기술 및 기타 구성 요소로 이루어진 복잡한 복합 시스템이므로, 팀은 품질을 평가하는 것뿐만 아니라 실패의 근본 원인에 대한 인사이트를 신속하게 파악해야 합니다. 시스템 오류를 해석할 수 있는 강력한 평가 시스템이 없으면 성능 개선을 위한 문제 해결이 느려지고, 제품 리더는 프로덕션으로 출시할 자신감을 얻기 어렵습니다.

Quotient를 소개합니다
Quotient는 에이전트 평가와 지속적인 학습의 격차를 해소하기 위해 만들어졌습니다. GitHub Copilot의 품질 개선을 이끌었던 엔지니어들이 만든 이 팀은 대규모 AI 시스템을 측정하고 개선하는 데 깊은 전문 지식을 보유하고 있습니다. Quotient 플랫폼은 프로덕션 시스템의 전체 에이전트 추적을 분석하여 환각, 추론 실패, 잘못된 도구 사용과 같은 문제를 감지합니다. 이러한 신호는 자동으로 클러스터링되어 에이전트를 모니터링하고 미세 조정하는 데 사용할 수 있는 구조화된 평가 데이터 세트와 보상 신호로 변환됩니다. 이러한 접근 방식을 통해 조직은 에이전트의 행동을 관찰하는 것을 넘어 체계적으로 개선할 수 있으며, AI 시스템이 실제 사용 사례로부터 지속적으로 학습하는 도메인 전문가가 되도록 지원합니다.

Quotient + Databricks 
Databricks는 이미 AI 에이전트를 평가하고 개선하기 위한 강력한 도구를 제공합니다. Quotient를 통해 Databricks는 고객에게 더 정확하고 안정적인 AI 시스템을 제공하는 지속적인 평가 및 개선 레이어를 내장하여 플랫폼 전반에 걸쳐 이러한 기능을 강화하고 있습니다. 이를 통해 Databricks 전반의 세 가지 주요 제품 영역이 강화됩니다.

• Genie 는 모든 직원이 데이터와 채팅하고 인사이트를 얻을 수 있도록 하는 AI 에이전트입니다.
• 오늘 함께 출시되는Genie Code 는 데이터 팀이 데이터 엔지니어링, machine learning, 분석 워크플로를 계획, 구축, 실행하도록 돕는 자율 AI 에이전트입니다.
• Agent Bricks 를 사용하면 조직이 자체 데이터를 기반으로 고품질 에이전트를 쉽게 구축하고 확장할 수 있습니다.

기업 전반에서 AI 에이전트가 더 많은 책임을 맡게 됨에 따라 조직은 신뢰할 수 있는 시스템이 필요합니다. 고객은 Quotient의 기능을 Databricks AI research 및 플랫폼과 결합하여 프로덕션에서 실행될 뿐만 아니라 시간이 지남에 따라 개선되는 AI 에이전트를 배포할 수 있습니다.

대규모로 에이전트 시스템을 개발, 배포, 개선하기 위한 가장 안정적인 플랫폼을 계속 구축해 나가는 과정에서 Quotient 팀이 Databricks에 합류하게 된 것을 기쁘게 생각합니다.

자세한 내용은 Databricks AI research 및 Genie Code launch를 확인하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)