데이터브릭스, ‘에이전트 브릭스’ 출시, AI 에이전트 구축의 새로운 패러다임 제시

기업 고유의 데이터 기반으로 신뢰성과 비용 효율을 모두 갖춘 AI 에이전트를 자동으로 최적화

서울, 2025년 6월 12일 – 업계 선도적인 데이터 및 AI 기업 데이터브릭스(Databricks)는 오늘 비즈니스 맞춤형 고성능 AI 에이전트를 자동으로 생성할 수 있는 신규 솔루션 ‘에이전트 브릭스(Agent Bricks)’를 공개했다. 사용자는 에이전트 작업에 대한 전반적인 설명과 기업 데이터를 연결하면, 나머지 모든 과정은 에이전트 브릭스가 자동으로 처리한다. 에이전트 브릭스는 ▲구조화된 정보 추출, ▲신뢰도 높은 지식 탐색 지원, ▲맞춤형 텍스트 변환, ▲다중 에이전트 시스템 오케스트레이션 등 다양한 업계 표준 활용 사례에 최적화되어 있으며, 오늘부터 베타 버전으로 이용 가능하다.

에이전트 브릭스는 모자이크 AI 리서치(Mosaic AI Research)가 개발한 최신 연구 기법을 적용해, 도메인 특화형 합성 데이터와 작업 인지형 벤치마크를 자동으로 생성한다. 이러한 벤치마크를 기반으로 비용과 품질 간 최적 균형을 자동 조율해, 기존 방식에서 요구되던 반복적인 시행착오를 줄여준다. 이제 기업은 초기단계부터 운영 수준(production-level)의 정확도와 비용 효율성을 확보할 수 있다. 또한, 내장된 거버넌스 및 엔터프라이즈급 제어 기능을 통해 별도의 도구 통합 없이도 개발 단계에서 실제 운영까지 빠르게 전환할 수 있다.

기업들이 AI 에이전트를 실제 운영에 도입하지 못하는 이유는 주로 품질과 비용 때문이다. 평가 기준이 부족한 상황에서 대부분의 팀은 직관에 의존해 에이전트가 생성한 결과를 판단하며, 이는 일관성 없는 품질과 높은 비용, 반복 불가능한 실험으로 이어진다. 여기에 새로운 AI 모델과 기술이 계속 등장하면서 상황은 더욱 복잡해지고 있다. 기업들은 신뢰할 수 있고 비용 효율적인 AI 에이전트를 개발하기 위해, 도메인 특화형이면서 반복 가능하고, 객관적이며 지속적인 평가 체계를 요구하고 있다. 또한, 최신 기술을 도입하되 과도한 예산 투입이나 팀 전체의 재교육 없이 활용할 수 있어야 한다. 데이터브릭스는 이러한 요구를 충족시키기 위해 에이전트 브릭스를 개발했다.

에이전트 브릭스는 우선, 작업별 평가 기준과 LLM 기반 판별 모델을 자동으로 생성하여 에이전트의 품질을 정량적으로 평가한다. 이어, 고객 데이터 특성을 반영한 합성 데이터를 생성하여 학습 성능을 강화하고, 마지막으로 다양한 최적화 기법을 탐색해 에이전트를 정교하게 다듬는다. 전체 프로세스가 자동으로 완료되면, 사용자는 원하는 품질과 비용 수준에 가장 적합한 결과물을 선택하면 된다. 이를 통해 도메인 특화 AI 에이전트를 빠르게 구축하고, 일관된 성능과 지능적인 응답을 구현할 수 있다.

에이전트 브릭스의 산업별 주요 활용 사례는 다음과 같다:

• 정보 추출 에이전트 (Information Extraction Agent): 해당 에이전트는 이메일, PDF, 보고서 등 비정형 문서에서 이름, 날짜, 제품 정보 등 구조화된 필드를 자동으로 추출한다. 예를 들어 소매업체의 경우 서로 다른 형식의 공급사 문서에서 제품 상세, 가격, 설명 등을 손쉽게 수집할 수 있다.
• 지식 탐색 에이전트(Knowledge Assistant Agent): 기존 챗봇이 제공하는 부정확한 답변 문제를 해결하고, 기업 데이터를 기반으로 한 신속하고 정확한 인용 응답을 제공한다. 제조 기업의 경우, 현장 기술자가 표준운영절차서(SOP)나 매뉴얼을 직접 검색하지 않고도 필요한 정보를 즉시 확인할 수 있다.
• 다중 에이전트 통합 관리 (Multi-Agent Supervisor): 지니(Genie), 기타 LLM 에이전트, MCP(Model Context Protocol) 등과 연동해 다중 에이전트 시스템을 구성하고 조율할 수 있다. 금융 서비스 업계에서는 해당 에이전트를 구축하고 의도 감지, 문서 검색, 규제 검토 등의 역할을 분담시켜, 상담사와 고객 모두에게 맞춤형 응답을 제공할 수 있다.
• 맞춤형 LLM 에이전트 (Custom LLM Agent): 기업 고유의 과제에 맞춰 텍스트를 생성하거나 변환하는 데 특화된 에이전트다. 마케팅 팀의 경우 브랜드 가이드를 반영한 광고 문구, 블로그, 보도자료 등을 생성하는 전용 에이전트를 구축할 수 있다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “에이전트 브릭스는 데이터 기반의 AI 에이전트를 구축하고 배포하는 완전히 새로운 방식이다. 이제 기업은 아이디어 구상 단계에서부터 자사 데이터에 기반한 운영 수준(production-grade)의 AI를 신속하게 구현할 수 있게 됐다. 품질과 비용 간의 최적 균형을 직접 조정할 수 있으며, 별도의 수작업 튜닝이나 시행착오 없이 데이터브릭스가 제공하는 강력한 보안과 거버넌스 기능도 그대로 활용할 수 있다. 이는 엔터프라이즈 AI 에이전트를 실용적이면서도 강력하게 구현할 수 있는 결정적인 전환점이 될 것”이라고 말했다.

조셉 뢰머(Joseph Roemer) 아스트라제네카(AstraZeneca) 커머셜 IT 부문 데이터 및 AI 총괄은 “에이전트 브릭스 덕분에 40만 건이 넘는 임상시험 문서를 별도의 코딩 없이 신속하게 분석하고, 구조화된 데이터로 추출할 수 있었으며, 단 60분 만에 복잡한 비정형 데이터를 분석에 활용할 수 있도록 변환하는 에이전트를 구축할 수 있었다”고 말했다.

이밖에도 데이터브릭스는 미국 현지 행사인 ‘Data + AI Summit’에서 신규 모자이크 AI 기능을 새롭게 선보였다:

• 서버리스 GPU 지원: 데이터브릭스는 이제 서버리스 GPU(Serverless GPU)를 지원함으로써, 사용자는 GPU 인프라를 직접 프로비저닝하거나 관리할 필요 없이, 모델 파인튜닝, 전통적인 머신러닝 또는 딥러닝 작업, 대형 언어모델 실험 등을 빠르게 수행할 수 있게 되었다. 또한, 서버리스 GPU 컴퓨팅을 통해 고성능 연산 자원을 온디맨드 방식으로 빠르게 확장해 사용할 수 있으며, 전통적인 GPU 클러스터 대비 운영 부담과 비용 비효율 없이 AI 애플리케이션을 빠르게 개발할 수 있다.
• MLflow 3.0: AI 수명주기를 통합 관리하는 플랫폼: 데이터브릭스는 세계에서 가장 인기 있는 AI 개발 프레임워크의 최신 버전인 MLflow 3.0을 함께 공개했다. MLflow 3.0은 머신러닝 모델과 생성형 AI 애플리케이션의 전체 수명주기를 통합 관리하는 플랫폼으로, 생성형 AI에 맞춰 완전히 새롭게 설계되었다. MLflow 3.0을 통해 사용자는 모든 플랫폼에서 호스팅되는 AI 에이전트를 모니터링하고 추적 및 최적화할 수 있으며, 통합된 프롬프트 관리, 품질 지표, 인적 피드백 및 LLM 기반 평가 기능을 활용해 다양한 환경에서 AI 에이전트의 성능을 시각화, 비교, 디버깅할 수 있다. 또한 MLflow 추적 및 평가 결과를 기존 데이터 레이크하우스와 통합할 수 있어, 사용자는 운영 추적 데이터를 활용하여 에이전트의 정확도를 향상시킬 수 있다. MLflow는 오픈소스로 제공되며 매달 3천만 건 이상의 다운로드를 기록했다.

에이전트 브릭스를 비롯한 이번 기능 확장을 통해, 데이터브릭스는 운영 수준의 생성형 AI를 위한 통합 플랫폼으로 입지를 더욱 강화했다. 이제 모델의 설계부터 실전 배포까지, 모든 과정을 빠르고 효율적이게 구현할 수 있다.

데이터브릭스의 에이전트 브릭스와 서버리스 GPU 컴퓨트는 오늘부터 베타 버전으로 제공된다. MLflow 3.0은 일반 공개(GA) 상태로 이용 가능하다. 에이전트 브릭스에 대한 보다 자세한 사항은 상세 페이지에서 확인할 수 있다.

데이터브릭스(Databricks)에 대하여
데이터브릭스는 데이터 및 AI 기업이다. 현재 블록(Block), 컴캐스트(Comcast), 콘데 나스트(Condé Nast), 리비안(Rivian), 셸(Shell) 및 포춘(Fortune) 500대 기업의 60% 이상을 포함한 전 세계 10,000여 이상의 조직이 데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 데이터를 관리하고 AI를 활용하고 있다. 레이크하우스, 아파치 스파크(Apache Spark™), 델타 레이크(Delta Lake), MLflow와 유니티 카탈로그(Unity Catalog)를 개발한 주역들이 모여 설립한 데이터브릭스는 미국 샌프란시스코에 본사를 두고 세계 각지에 지사를 운영하고 있다. 데이터브릭스에 대한 보다 자세한 정보는 데이터브릭스 코리아 공식 웹사이트, 유튜브, X, LinkedIn, 페이스북에서 확인할 수 있다.