다중 에이전트 감독자 아키텍처: 대규모 엔터프라이즈 AI 오케스트레이션

BASF는 독일의 다국적 기업이자 세계 최대 규모의 화학 기업 중 하나로, 통합된 Verbund 생산 네트워크, 글로벌 규모, 그리고 기초 화학물질부터 고급 농업 솔루션에 이르는 광범위한 포트폴리오로 잘 알려져 있습니다. BASF는 연구 개발에 대한 강력한 기반을 바탕으로 다양한 산업 분야에서 사업을 운영하며 지속적으로 혁신과 지속 가능성을 추구하고 있습니다.

주요 사업 부문 중 하나인 BASF Coatings는 고급 자동차 및 산업용 코팅과 장식용 페인트를 개발, 제조, 판매하는 전문 기업입니다. 친환경 고효율 표면 기술의 선구자인 BASF Coatings는 AI 기반 플랫폼을 활용하여 생산성, 혁신, 안정성, 디자인을 향상시키며 디지털 전환의 선두에 서 있습니다.

BASF Coatings는 Databricks와의 파트너십을 통해 즉시 프로덕션에 적용 가능하고 거버넌스가 적용되며 비즈니스에 영향을 미치는 다중 에이전트 솔루션을 구현했습니다. 이러한 접근 방식은 팀 간 협업을 강화할 뿐만 아니라 주요 엔터프라이즈 기능 전반에 걸쳐 더 스마트하고 빠른 의사 결정을 가능하게 하여, 고급 분석 및 AI가 어떻게 실질적인 비즈니스 성과를 이끌어낼 수 있는지에 대한 기준을 제시합니다.

과제: 에이전트 시스템에 더 많은 모듈성, 전문화, 제어 기능 도입

전 세계 70개 이상의 사업장에 11,000명 이상의 직원을 둔 조직으로서, 부서 간 디지털화의 증가하는 복잡성을 관리하고 효율성을 개선하는 것은 결코 간단한 일이 아닙니다. 더 구체적으로 말하자면, 방대하고 이질적인 조직의 데이터를 실행 가능한 인사이트로 전환하고, 실시간 의사 결정과 생산성 향상을 가능하게 하는 것이 핵심이 되었습니다. 이 문제를 해결하는 것이 중요했던 이유는 효율적인 디지털 협업과 데이터 활용이 시장 대응성, 혁신 속도, 고객 만족도, 운영 안정성에 직접적인 영향을 미치기 때문입니다. 급변하는 고객 요구와 지속 가능성 압박 속에서 민첩성과 정밀성이 매우 중요한 코팅과 같은 산업에서는 특히 더 중요했습니다.

자율 또는 반자율 AI 에이전트가 비즈니스 프로세스와 데이터 흐름을 능동적으로 관리하는 에이전트 시스템은 이전에는 많은 수작업이 필요했던 조정 및 분석 작업을 자동화할 수 있었기 때문에 최적의 솔루션이었습니다. 에이전트 시스템은 BASF Coatings와 같은 조직이 다음과 같은 역량을 갖추도록 지원할 수 있습니다.

• 여러 도메인에 AI를 원활하게 통합하여 영업, 조달, 공급망 관리의 일상적인 운영을 자동화합니다.
• 스마트한 상황별 추천을 제공하고 의사 결정 흐름을 자동화하여 병목 현상과 오류를 획기적으로 줄입니다.
• 여러 부서에 걸쳐 지원, Q&A 또는 워크플로 통합을 위해 '상시 작동' 채팅 어시스턴트를 활성화하여 사용자 경험을 개선하세요.
• 전사적으로 일상적인 AI 도구 도입을 촉진하여 비즈니스 이해관계자가 복잡한 디지털 역량을 쉽게 활용할 수 있게 하고 데이터 리터러시를 함양하세요.

에이전트가 아무리 강력하더라도, 이러한 시스템을 개발함에 따라 시간이 지나면서 점점 더 복잡해져 관리 및 확장이 어려워질 수 있습니다. 예를 들어, 에이전트가 사용할 수 있는 도구가 너무 많으면 다음에 호출할 도구에 대해 잘못된 결정을 내릴 수 있으며, 컨텍스트가 너무 복잡해져 단일 에이전트가 추적하기 어려워집니다. 시스템에는 여러 전문 분야가 필요합니다(예: 슈퍼바이저, 도메인 오케스트레이션, 주제 전문가 등)

이 과제를 다른 관점에서 보면 에이전트 시스템의 지식 기반을 형성하는 데이터의 다양성을 통해 살펴볼 수 있습니다. 우리 중 다수는 대규모 언어 모델(LLM)과 실시간 데이터 검색을 결합하여 응답의 정확성과 관련성을 개선하는 기술인 RAG (검색 증강 생성)에 이미 익숙합니다. 그러나 RAG 시스템은 미리 정의된 필드와 관계가 있는 정형 테이블보다는 문서, 웹페이지, PDF 또는 기타 형태의 자유 텍스트와 같은 비정형 데이터를 주로 처리하도록 설계되었습니다. 정형 데이터를 다룰 때 Text-to-SQL은 자연어 분석을 위한 가장 일반적인 접근 방식입니다. 하지만 이는 종종 미리 정의된 예시 SQL 쿼리에 의존하며 데이터 거버넌스 및 권한 제어를 위한 내장 메커니즘이 부족합니다.

솔루션: 정형 및 비정형 정보를 위한 엔드투엔드 멀티에이전트 슈퍼바이저

이러한 과제를 해결하기 위해, 저희는 애플리케이션을 여러 개의 더 작고 독립적인 에이전트로 분할하고 이를 다중 에이전트 시스템으로 구성하는 것을 제안합니다. 이 시스템은 Databricks Vector Store Retrieval 도구와 상호작용하는 전문 에이전트, 특히 Genie 에이전트와 함수 호출 에이전트를 조정하는 감독자 패턴 을 따릅니다.

Databricks에서 가장 인기 있는 기능 중 하나인 AI/BI Genie는 자연어 인터페이스를 활용하여 비즈니스 사용자가 Delta 테이블 및 뷰와 같은 정형 데이터에 직접 액세스할 수 있도록 설계되었습니다. 테이블 설명, PK/FK 관계, 열 이름/설명과 같은 Unity Catalog의 메타데이터를 활용합니다. 이 메타데이터는 Genie가 사용자 질문을 파싱하고, 정확한 SQL을 구성하며, 문맥에 맞는 답변을 제공하도록 안내하여 오류나 할루시네이션을 완화하는 데 도움이 됩니다. 또한 Genie 작성자는 로컬에서 메타데이터를 편집하고, 조인을 정의하며, 동의어를 추가하고, BASF 관련 지침을 큐레이션하여 공간을 향상시킬 수 있습니다. 이를 통해 데이터 스튜어드는 자신의 Genie 공간 품질을 적극적으로 관리하고 유지할 수 있으며, 귀중한 비즈니스 도메인 지식으로 에이전트 시스템에 직접 기여할 수 있습니다.

에이전트 오케스트레이션 프레임워크 내에서 Genie를 더 쉽게 사용할 수 있도록 Genie 에이전트 구축을 위한 전용 Python 래퍼를 지원하는 프레임워크가 있습니다(참조는 여기 를 확인하세요). 또한 Databricks 제품 팀은 사용자가 Genie와 함께 Mosaic AI Agent Framework를 사용하여 다중 에이전트 시스템을 설정하는 과정을 안내하는 예제 노트북 을 제공합니다. 이 예시는 LangGraph(오픈소스 에이전트 오케스트레이션 라이브러리)를 활용하며 Genie가 여러 전문 에이전트 중 하나인 워크플로를 구성하는 방법을 보여줍니다.

아키텍처 개요는 다음과 같습니다. Databricks의 Mosaic AI 프레임워크를 채택하여 AI 에이전트 수명 주기 관리의 복잡성을 단순화하고, 신속한 다중 에이전트 협업 프로토타이핑, 엄격한 평가, 효과적인 실시간 운영 모니터링을 위한 도구를 제공합니다. 특히, 배포된 슈퍼바이저 엔드포인트를 Microsoft Teams와 통합하여 실시간으로 에이전트를 실행하고, 대화형 배포 엔드포인트를 Teams 인터페이스에 직접 내장함으로써 데이터 플랫폼에 익숙하지 않은 비즈니스 이해관계자를 포함한 모든 유형의 사용자가 AI 기반 인사이트를 쉽게 사용할 수 있도록 합니다. 클라우드 리소스(Azure Bot Service, App Service)를 프로비저닝하고 엔드포인트를 Teams에 연결하기 위한 명확하고 재사용 가능한 액셀러레이터 가 있습니다.

실제 비즈니스 영향

BASF Coatings는 비즈니스 프로세스를 향상시킬 수 있는 AI 에이전트를 개발하고 있으며, 첫 번째 랜딩 존 프로젝트인 Marketmind는 영업 및 마케팅 부서에 중점을 둡니다. 이 사용 사례는 내부 Salesforce 고객 방문 보고서와 시장 소비 인사이트를 S&P 500 뉴스를 포함한 외부 시장 동향과 통합하여 고급 정량 및 정성 분석을 가능하게 합니다. 이 데이터 중 일부는 이미 처리되어 Delta 테이블 및 뷰 형태로 제공되는 반면, 나머지는 자유 텍스트 파일 및 PDF 문서로 존재하며, 각각 다른 속도로 수집되고 다양한 주기로 업데이트됩니다. 또한, 데이터는 여러 다른 팀과 스튜어드에 의해 관리됩니다. 예를 들어, 정형 테이블은 주로 BASF의 중앙 엔터프라이즈 데이터 레이크(EDL) 조직에서 제공하며, 영업 및 마케팅 비즈니스 전문가가 도메인별 메타데이터로 이를 보강합니다. 반면, 비정형 데이터는 주로 Coatings 데이터 및 AI 오피스 팀에서 개발하고 유지 관리하는 코드 우선 ETL 파이프라인을 통해 처리됩니다.

데이터 환경의 복잡성을 고려하여, 저희는 Marketmind 프로젝트에 다중 에이전트 감독자 아키텍처를 채택하고 템플릿 노트북을 시작점으로 사용했습니다. 저희는 정형 데이터를 위한 Genie 공간을 만들고, 이를 큐레이션된 테이블, 상세한 열 설명, Genie 로컬 조인 관계, 값 샘플링으로 보강했습니다. 정확도를 높이기 위해 저희는 Genie의 응답을 안내하는 SQL 예시와 명확한 지침을 추가했으며, 새 데이터가 들어올 때마다 정기적인 Benchmark 테스트를 수행하여 전반적인 성능을 평가했습니다.

Salesforce 방문 보고서 및 시장 뉴스와 같은 비정형 데이터의 경우, 임베딩을 사용하여 각 소스에 대한 벡터 검색 인덱스를 구축하여 컨텍스트 인식 유사성 검색이 가능하도록 했습니다. 그런 다음 Mosaic AI Vector Search 쿼리를 래핑하는 Unity Catalog functions 를 만들어 엔터프라이즈급 거버넌스, 검색 가능성 및 자동 MLflow 추적을 보장했습니다. 마지막으로, 슈퍼바이저가 전달한 특정 작업 요청을 처리하기 위해 벡터 검색 도구를 호출하는 함수 도구 호출 에이전트를 개발했습니다.

올해 4월 Marketmind 프로젝트의 범위 지정 단계가 시작되었으며, 그 후 5~6주간 개념 증명(PoC)이 진행되었습니다. 그 후 Databricks의 Mosaic AI 제품팀과 함께 기술 업스키링 워크숍, 아키텍처 검토, 제품 및 기능 논의를 진행하며 본격적인 구현 단계로 넘어갔습니다. 25명의 핵심 사용자와 함께 한 달간의 파일럿을 진행했으며, 현재는 10월 말 북미 지역 출시를 앞두고 최종 마무리 단계에 있습니다. 출시되면 전 세계 1,000명 이상의 영업 담당자가 Marketmind를 사용하게 되며, 입력값은 자주 업데이트됩니다.

Marketmind는 이미 BASF Coatings의 영업팀이 고객을 준비하고, 소통하며, 후속 조치를 취하는 방식을 바꾸고 있습니다. 영업 담당자들은 흩어져 있는 메모와 폴더에서 잠재 고객을 찾아다니는 대신, 시장의 최신 동향을 기반으로 한 추천 활동 및 전략과 함께 맞춤형 알림을 받습니다. 추가 정보가 필요할 경우, Marketmind는 사용하기 쉬운 채팅 인터페이스를 통해 기본 데이터와 보고서를 더 자세히 살펴볼 수 있는 옵션을 제공합니다. 아래 스크린샷은 이러한 변화를 보여줍니다. 시장에서 포착된 신호는 Microsoft Teams 내에서 실행 가능하고 대화형인 인터페이스로 제공되므로 Coating 영업팀은 '무슨 일이 있었나?'에서 '다음엔 무엇을 해야 할까?'로 초점을 옮길 수 있습니다. 도구를 전환할 필요 없이.

위에서 보듯이 영업팀은 Teams에서 Marketmind 챗봇에 직접 임시 질문을 할 수 있을 뿐만 아니라 매주 최신 시장 동향이 포함된 능동형 적응형 카드를 받을 수 있습니다. 사용자는 첨부된 URL을 클릭하여 관심 주제를 더 자세히 살펴볼 수 있으며, 이 URL은 원본 데이터 소스로 리디렉션됩니다. 에이전트의 품질을 더욱 향상시키기 위해 사용자가 빠르게 '좋아요' 또는 '싫어요'를 표시하거나 하단 필드에 더 자세한 서면 피드백을 제공할 수 있는 투표 메커니즘도 통합했습니다. 이 피드백은 모델 추론 테이블 에 캡처되어 기존 페이로드 데이터와 통합됩니다.

“Marketmind는 우리의 현장 상호작용을 시기적절한 AI 기반 조치로 전환하여 스마트한 후속 조치를 유도하고, 관련 기회를 포착하며, 비슷한 문제에 직면한 동료들을 연결해 줍니다. 그 결과, 준비는 더 빨라지고 고객과의 대화는 더 날카로워졌으며, 중요한 영업에 더 많은 시간을 할애할 수 있게 되었습니다.” — Adrian Fierro, BASF Coatings 글로벌 시장 인텔리전스 책임자

성공 요인

Genie를 에이전트로 사용하는 멀티 에이전트 아키텍처는 비즈니스 환경에서 AI를 효과적으로 활용하고자 하는 BASF와 같은 기업에 몇 가지 중요한 이점을 제공합니다. 주요 강점을 다음과 같은 측면으로 요약할 수 있습니다.

높은 확장성과 모듈성을 갖춘 전문 에이전트 기능: 다중 에이전트 시스템 내에서 다양한 에이전트는 특정 도메인이나 작업에 집중하여 다양한 쿼리와 데이터세트를 처리하는 데 더 깊은 전문성을 발휘할 수 있습니다. 또한 BASF와 같은 조직은 각 사업부가 중앙에서 오케스트레이션되면서도 독립적으로 운영될 수 있는 아키텍처를 통해 AI 솔루션으로의 관문을 확장할 수 있습니다. 이러한 모듈식 설계는 시간이 지남에 따라 복잡성을 관리하는 데 도움이 됩니다.

향상된 협업 및 개선된 사용자 경험: 에이전트가 서로 정보와 문맥을 공유할 수 있어 여러 소스의 데이터를 통합하는 더 포괄적인 응답이 가능합니다. 이를 통해 다양한 기업 기능 전반에 걸쳐 더 스마트하고 빠른 의사 결정을 촉진할 수 있습니다. AI 엔드포인트를 채팅 인터페이스로 MSFT Teams에 통합함으로써 사용자가 자연어를 사용하여 에이전트와 상호 작용할 수 있도록 하여 기술 지식이 없는 이해관계자도 더 쉽게 접근할 수 있도록 합니다.

거버넌스 및 규정 준수: 개인 및 고객 데이터를 보호하는 것은 Marketmind의 기본이며 당사의 최우선 과제입니다. 모든 상호 작용은 BASF의 데이터 보호 표준을 엄격하게 준수하여 구축되며, 세분화된 액세스 제어, 리니지 추적 및 감사 기능을 위해 Unity Catalog와 같은 Databricks의 엔터프라이즈급 거버넌스 기능을 활용합니다. 이를 통해 Marketmind가 인사이트 확보와 조치 실행을 가속화하는 동시에, 안전하고 투명하며 완벽하게 관리되는 환경 내에서 이 모든 것이 이루어지도록 보장합니다.

BASF, Databricks 및 파트너 간의 긴밀한 팀워크: 프로젝트 시작부터 BASF Coatings, Databricks 계정 및 제품 팀, 그리고 파트너인 Accenture는 워크숍에 적극적으로 참여했습니다. 이를 통해 비즈니스 목표, 기술 요구 사항, 제품 비전을 조율하여 성공적인 구현을 위한 강력한 기반을 마련했습니다. 시기적절한 핸즈온 세션을 통해 신속한 피드백 루프가 형성되었습니다. Databricks 제품 팀은 지속적인 전문가 가이드를 제공하여, BASF의 복잡하고 끊임없이 변화하는 요구에 맞춰 솔루션을 맞춤화하고 엔터프라이즈급 품질을 보장할 수 있도록 지원했습니다.

향후 전망: 다계층 오케스트레이션 및 Agent Bricks

Marketmind 멀티 에이전트 슈퍼바이저 솔루션의 성공에 힘입어, 회사는 이제 공급망, 조달, Chemetall(표면 처리 기술 자회사), 인사 및 문화(People & Culture) 등 더 넓은 운영 영역으로 비즈니스 영향력을 확대하고 있습니다. 저희는 제품 팀과 함께 각 부서가 자체 다중 에이전트 슈퍼바이저를 운영하고 상위 수준의 Coatings 전사적 오케스트레이터가 모든 사용자에게 서비스를 제공하는, 보다 확장 가능한 다중 계층 아키텍처를 검토하고 있습니다. 이 계층적 시스템, 즉 '슈퍼바이저들의 슈퍼바이저'는 적절한 균형을 유지합니다. 즉, 부서 범위의 데이터 및 도구 접근 제어를 지원하고, 에이전트 개발의 유연성을 보존하며, Coatings 전반의 '무엇이든 물어보세요(Ask Me Anything)' 기능을 지원합니다.

향후 개선 목표 중 하나는 올해 Data & AI Summit에서 소개된 Agent Bricks를 채택하는 것입니다. 현재 Mosaic AI 기반 솔루션이 다중 에이전트 오케스트레이션을 지원하지만, 여전히 코드 우선 방식이며 배포 및 관리가 더 복잡하고 실무적인 접근 방식이 필요합니다. Agent Bricks는 다중 에이전트 설정을 포함한 일반적인 사용 사례에 대해 도메인별 고품질 AI 에이전트 시스템을 구축하고 최적화하는 간소화된 방법을 제공합니다. 자동 최적화, 비용 및 품질 효율성, 사용자 주도 피드백 메커니즘과 같은 기능을 통해 에이전트 구현을 단순화하고 팀이 데이터, 측정항목, 문제 해결과 같은 핵심 과제에 집중할 수 있도록 합니다. 아직 지역적 가용성이 제한되어 모든 기능을 완전히 테스트하지는 못했지만, Agent Bricks를 비전 있는 방향으로 보고 있으며, 사용 가능해지면 통합하여 부서별 다중 에이전트 슈퍼바이저 개발을 가속화할 계획입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)