엔터프라이즈 에이전트를 위한 강화 학습
전체 기술 보고서는 여기에서 확인하세요. 귀사의 엔터프라이즈 에이전트에 Databricks 맞춤형 RL을 사용해 보고 싶으시면 여기를 클릭하세요.
현대 모델의 향상된 추론 능력 덕분에 코드 작성, 엔터프라이즈 데이터에 대한 질문, 일반적인 워크플로 자동화와 같은 지식 작업을 위해 배포되는 에이전트가 폭발적으로 증가했습니다. 엔터프라이즈 작업에 사용되는 모델은 매우 강력하지만 비용이 매우 많이 들고, 많은 사용 사례에서 추론 비용이 감당할 수 없을 정도로 증가하기 시작했습니다. 이 게시물과 관련 기술 보고서에서 저희는 Agent Bricks 제품의 핵심 부분인 사용 사례를 지원하기 위해 강화 학습(RL)을 사용하여 맞춤형 모델을 구축한 경험을 설명합니다. 이 예시는 비교적 저렴한 비용으로 추론 비용, 지연 시간, 품질이라는 세 가지 중요한 차원 모두에서 프런티어 모델을 완전히 압도하는 맞춤형 모델을 구축할 수 있음을 보여줍니다. 저희의 연구 결과는 RL 기반 맞춤화를 통해 대안에 비해 속도와 품질을 획기적으로 향상할 수 있었던 Cursor의 Composer 모델과 같은 다른 업계 관찰 결과와 일치합니다.
KARL: Databricks 사용자를 위한 더 빠르고, 더 강력하고, 더 저렴한 지식 에이전트
저희가 훈련한 KARL이라는 모델은 문서 검색, 사실 확인, 정보 교차 참조, 수십 또는 수백 단계에 걸친 추론을 통해 질문에 답하는 중요한 엔터프라이즈 기능인 근거 기반 추론(grounded reasoning)을 해결합니다. 근거 기반 추론은 Agent Bricks Knowledge Assistant와 같은 여러 Databricks 제품에 필요합니다. 수학 및 코딩과 달리, 근거 기반 추론 작업은 단일 정답이 없는 경우가 많아 검증하기 어렵습니다(hard-to-verify). 이러한 상황에서는 강화 학습을 좋은 솔루션으로 유도하는 것이 특히 어렵습니다.
Databricks에서 개발한 RL 기술 과 인프라를 사용하여 KARL은 이전에 접해보지 못한 새로운 근거 기반 추론 작업에서도 훨씬 적은 서빙 비용과 지연 시간으로 세계에서 가장 강력한 독점 모델의 성능과 동등한 수준을 달성합니다. (자세한 내용은 기술 보고서를 참조하세요.) 저희는 단 몇천 GPU 시간의 훈련과 전적으로 합성된 데이터만으로 이를 달성했습니다.
인간 사용자와의 내부 테스트에서 KARL은 기존 제품 및 최신 프런티어 모델보다 더 우수하고 포괄적인 응답을 제공했습니다. 이 연구는 Agent Bricks와 같이 현재 사용하시는 Databricks 에이전트에 적용되어, Databricks Lakehouse의 비정형 및 정형 데이터에 기반한 답변을 제공하게 됩니다.
Databricks 고객을 위한 재사용 가능한 RL 파이프라인
저희가 KARL(그리고 곧 논의할 다른 에이전트들)을 만드는 데 사용한 것과 동일한 RL 파이프라인과 인프라를, 이제 대용량 에이전트 워크로드의 모델 성능 향상 및 비용 절감을 원하는 Databricks 고객분들께 제공 하게 되어 기쁩니다. 거의 모든 실제 엔터프라이즈 작업은 검증하기 어려우므로, KARL은 Databricks 사용자에게 더 나은 경험을 제공할 뿐만 아니라, 고객이 널리 사용하는 에이전트를 위한 자체 맞춤형 RL 모델을 만들 수 있는 길을 열어줍니다.서버리스 GPU 컴퓨팅 이 지원하는 저희 Custom RL 비공개 프리뷰를 통해 KARL 인프라를 사용하여 더 효율적이고 도메인에 특화된 버전의 에이전트를 구축할 수 있습니다. 빠르게 확장 중인 AI 에이전트를 보유하고 있고 RL로 최적화하는 데관심이 있다면, 여기에서 등록하여 이 프리뷰에 대한 관심을 보여주세요.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)