AI 스프롤을 유발하지 않고 에이전트 기반 애플리케이션을 확장하는 방법

에이전트를 구축하는 것이 점점 더 쉬워지고 있습니다. 더 강력한 성능의 모델과 코딩 에이전트 덕분에 더 빠르게 구축하고 반복할 수 있게 되었습니다. 하지만 기업 전체에서 수많은 에이전트를 운영하는 것은 전혀 다른 문제입니다.

에이전트가 단순히 질문에 답하는 수준을 넘어 행동을 취하는 단계로 발전함에 따라, 모델, 기업 데이터, 비즈니스 시맨틱, 도구 및 애플리케이션의 복잡한 네트워크에 점점 더 많이 의존하게 됩니다. 단일 워크플로우가 거버넌스가 적용된 데이터를 검색하고, 모델을 선택하고, 여러 도구를 호출하고, 다른 에이전트에게 작업을 전달하고, 비즈니스 시스템을 업데이트할 수 있습니다. 이 모든 과정은 적절한 권한 하에 작동하며 무슨 일이 일어났는지 이해할 수 있도록 충분한 추적 기록을 남기면서 진행됩니다.

각 팀이 이러한 요소들을 독립적으로 연결함에 따라 중복된 통합, 일관되지 않은 정책, AI 비용 증가, 파편화된 컨텍스트, 에이전트 수 증가에 따라 변경하기 어려워지는 애플리케이션 등 새로운 형태의 AI 스프롤(무질서한 확산) 현상이 나타날 수 있습니다.

과제는 각 애플리케이션마다 인프라를 배로 늘리지 않고 이러한 애플리케이션을 확장하는 것입니다.

저희는 최근 Databricks, OpenAI, Stellantis와 함께 자리를 마련하여 프로덕션 환경에서 에이전트 기반 애플리케이션을 확장하는 데 무엇이 필요한지 살펴보았습니다. 핵심 주제는 에이전트의 기능이 향상되고 자율성이 높아질수록 에이전트를 둘러싼 인프라가 더욱 중요해진다는 점이었습니다.

엔터프라이즈 규모에서 이러한 인프라는 세 가지를 제공해야 합니다. 선택권(choice)은 팀이 기술 발전에 맞춰 적절한 모델, 도구, 프레임워크를 사용할 수 있도록 하며, 컨텍스트(context)는 에이전트가 거버넌스가 적용된 기업 데이터 및 비즈니스 의미를 바탕으로 작동할 수 있도록 하고, 통제력(control)은 애플리케이션이 성장하더라도 권한, 정책, 평가, 관측 가능성(observability), 비용 관리가 일관되게 유지되도록 합니다.

Databricks에서 이러한 기반은 Agent Bricks, Omnigent, 및 Unity Gateway를 하나로 결합합니다. Agent Bricks는 에이전트 플릿을 구축, 거버닝 및 최적화하기 위한 통합 플랫폼을 제공합니다. Omnigent는 팀이 다양한 에이전트 하네스 전반에서 작업할 수 있는 공통 레이어를 제공하며, Unity Gateway는 이러한 애플리케이션이 사용하는 모델, 에이전트, 도구 전반의 액세스, 비용 제어 및 관측 가능성을 중앙 집중화합니다.

이러한 기능이 애플리케이션 전반에 걸쳐 공유되므로, 팀은 각 에이전트와 워크플로우를 별도의 통합 및 거버넌스 프로젝트로 만들지 않고도 새로운 에이전트와 워크플로우를 추가할 수 있습니다.

컨텍스트는 재구축하는 것이 아니라 공유되어야 합니다

엔터프라이즈 에이전트에게는 모델에 대한 액세스 권한 그 이상이 필요합니다. 당면한 작업을 이해하는 데 필요한 데이터, 비즈니스 정의, 문서, 애플리케이션 및 도구가 필요합니다.

그러한 컨텍스트는 이미 조직 전반에 존재하는 경우가 많습니다. 과제는 이를 거버넌스가 적용되고 재사용 가능한 형태로 에이전트가 사용할 수 있도록 만드는 것입니다.

서로 다른 팀을 지원하는 두 에이전트를 생각해 보세요. 영업 에이전트와 고객 지원 에이전트 모두 누가 활성 고객인지, 해당 고객이 어떤 제품을 보유하고 있는지, 계정 계층 구조가 어떻게 정의되어 있는지 이해해야 할 수 있습니다. 각 애플리케이션이 이러한 정의를 독립적으로 다시 생성하면 동일한 비즈니스 개념이 워크플로우마다 다르게 해석될 수 있습니다.

이러한 파편화는 팀이 에이전트를 고객 데이터, 제품 정의, 메트릭 및 내부 문서에 개별적으로 연결함에 따라 유지 관리해야 할 인프라를 더 많이 생성하게 됩니다.

Agent Bricks는 거버넌스가 적용된 기업 데이터 및 비즈니스 시맨틱을 중심으로 구축된 공유 컨텍스트 레이어를 활용합니다. Unity Catalog은 데이터 및 AI 자산에 대한 액세스를 제어하며, Genie Ontology는 에이전트에게 비즈니스 개념과 관계에 대한 공통된 이해를 제공합니다. Document Intelligence, AI Search, 및 Agent Memory와 같은 기능은 더 복잡한 워크플로우를 위해 문서 이해, 검색 및 이력을 통해 해당 컨텍스트를 확장할 수 있습니다.

그러면 팀은 매번 비즈니스 컨텍스트를 새로 만드는 대신 여러 애플리케이션에서 거버넌스가 적용된 동일한 비즈니스 컨텍스트를 재사용할 수 있습니다.

선택이 파편화를 초래해서는 안 됩니다

특정 작업에 가장 적합한 모델, 도구 또는 에이전트 하네스가 고정되어 있을 가능성은 낮습니다.

에이전트 기반 애플리케이션의 서로 다른 단계에서는 추론 품질, 지연 시간(latency), 비용 간에 서로 다른 절충안(tradeoff)이 필요할 수 있습니다. 새로운 모델과 하네스가 계속 등장하고 있으며, 복잡한 워크플로우에서는 이들 중 여러 개를 동시에 결합해야 할 수도 있습니다.

모든 하네스가 자체 인터페이스, 세션, 정책 및 실행 방식을 가질 때 이러한 유연성은 관리하기 어려워집니다.

Omnigent는 에이전트 하네스 위에 공통 레이어를 추가하므로, 팀은 서로 다른 하네스로 구축된 에이전트를 구성하고 적은 재작업으로 에이전트 간에 전환할 수 있습니다. Unity Gateway는 모델 및 하네스 레이어에서 선택을 처리하여 독점 및 오픈 모델에 대한 일관된 액세스와 함께 Smart Routing, 용량 및 비용 제어를 제공합니다.

이러한 레이어들을 결합함으로써 팀은 주변 인프라를 일관되게 유지하면서 애플리케이션의 기반이 되는 모델과 에이전트 기술을 변경할 수 있습니다.

통제는 모든 행동을 따라야 합니다

에이전트가 응답 생성에서 행동 취하기로 이동함에 따라 통제의 필요성이 커집니다.

에이전트는 회사 데이터를 읽고, 비즈니스 시스템을 호출하고, 코드를 실행하고, 워크플로우를 업데이트하거나 다른 에이전트를 호출할 수 있습니다. 기능이 추가될 때마다 애플리케이션이 수행할 수 있는 작업이 확장되고 거버닝해야 하는 상호 작용이 더 많이 생성됩니다.

고객 환불을 처리하는 에이전트를 생각해 보세요. 요청을 시작하는 직원은 고객 계정에 대한 광범위한 액세스 권한을 가질 수 있습니다. 반면, 에이전트에게는 주문 세부 정보, 관련 환불 정책 및 특정 거래를 수행할 수 있는 권한만 필요합니다. 에이전트의 권한은 완료하도록 요청받은 작업과 일치해야 합니다.

이를 위해서는 전체 AI 상호 작용에 걸친 통제가 필요합니다.

Unity Gateway는 모델, 에이전트, MCP 서버, 도구 및 기술 전반에 걸쳐 중앙 집중식 제어 플레인을 제공합니다. 팀은 액세스 정책 및 가드레일을 적용하고, 예산 및 속도 제한을 관리하고, 사용 가능한 AI 자산을 제어하고, 이러한 상호 작용 전반에 걸쳐 추적 기록을 보존할 수 있습니다. Unity Catalog과 함께 이러한 제어 기능은 요청 뒤에 있는 신원, 데이터 권한 및 컨텍스트를 반영할 수 있습니다.

코드를 실행하거나 도구를 사용하는 워크로드의 경우, Databricks Sandbox는 에이전트가 필요로 하는 데이터 및 시스템에 대해 축소된 범위의 액세스 권한을 가진 격리된 실행 환경을 추가합니다.

그 결과, 애플리케이션이 성장함에 따라 에이전트가 액세스할 수 있는 대상, 취할 수 있는 행동, 그리고 이러한 결정이 집행되는 방식에 대해 더 명확한 경계가 설정됩니다.

통제에는 무슨 일이 일어났는지에 대한 가시성도 필요합니다

애플리케이션이 컨텍스트를 검색하고, 모델을 선택하고, 도구를 호출하고, 여러 단계를 조정할 수 있게 되면 최종 응답은 전체 이야기의 일부만 보여줄 뿐입니다.

올바르게 보이는 답변 뒤에 실패한 검색, 잘못된 도구 호출 또는 예상치 못한 실행 경로가 숨겨져 있을 수 있습니다. 문제가 발생했을 때 팀은 애플리케이션이 결과에 도달한 과정을 재구성해야 합니다. 즉, 어떤 정보를 사용했는지, 어떤 도구를 호출했는지, 어떤 모델이 작업을 처리했는지, 어떤 정책이 적용되었는지, 그리고 어디서 예상과 다른 동작이 발생했는지 파악해야 합니다.

Unity Gateway는 추적(trace), 사용량, 비용 및 도구 활동을 포함하여 AI 상호 작용 전반의 텔레메트리를 중앙 집중화합니다. MLflow는 팀이 애플리케이션 동작을 검사하고, 데이터 세트에서 대표적인 상호 작용을 캡처하고, 프롬프트, 모델, 도구 또는 오케스트레이션의 변경 사항을 평가할 수 있는 추적 및 평가 워크플로우를 통해 이러한 운영 가시성을 보완합니다.

이러한 피드백은 애플리케이션의 다음 반복 개발에 정보를 제공할 수 있습니다. 팀은 더 광범위하게 배포하기 전에 변경 사항을 비교하고, 회귀(regression)를 식별하며, 프로덕션 동작을 활용하여 시간이 지남에 따라 품질, 신뢰성 및 비용을 개선할 수 있습니다.

공유 인프라를 통한 더 쉬운 구성

더 광범위한 비즈니스 워크플로우에는 흔히 둘 이상의 에이전트, 모델 또는 도구가 포함됩니다. 한 구성 요소는 사용자의 요청을 이해하고, 다른 구성 요소는 데이터를 분석하며, 결정론적 시스템은 계산을 수행하거나 비즈니스 프로세스를 업데이트할 수 있습니다.

이러한 요소들을 구성하는 기능은 주변 인프라가 이미 공유되어 있을 때 더욱 가치 있어집니다. Omnigent는 서로 다른 하네스로 구축된 에이전트를 위한 공통 인터페이스를 제공하는 반면, Agent Bricks는 결과물인 에이전트 플릿을 구축하고 운영할 수 있는 더 넓은 플랫폼을 제공합니다. 동일한 거버넌스 컨텍스트와 제어 기능이 워크플로우 전반에 걸쳐 적용될 수 있습니다.

팀이 더 많은 애플리케이션을 구축함에 따라 에이전트, 도구, 기술 및 비즈니스 컨텍스트는 재사용 가능한 빌딩 블록이 될 수 있습니다. 새로운 워크플로우는 또 다른 고립된 스택을 만드는 대신 기존의 거버넌스가 잘 적용되고 관찰 가능한 인프라를 활용할 수 있습니다.

선택권, 컨텍스트, 제어력을 위한 구축

에이전트의 기능이 더욱 강력해짐에 따라, 주변 아키텍처는 엔터프라이즈 규모에서 에이전트의 신뢰성을 확보해야 하는 더 많은 부담을 지게 됩니다.

선택권은 생태계가 변화함에 따라 팀이 새로운 모델, 하네스 및 도구를 채택할 수 있는 여유를 제공합니다. 

컨텍스트는 거버넌스가 적용된 엔터프라이즈 데이터와 비즈니스 시맨틱에 이러한 애플리케이션의 기반을 둡니다. 

제어력은 권한 및 정책부터 예산, 트레이스, 평가 및 비용에 이르기까지 결과 에이전트 플릿 전반에 걸쳐 일관된 거버넌스와 운영을 제공합니다.

Agent Bricks는 이러한 기능을 대규모 에이전트 플릿을 구축, 거버넌스 및 최적화하기 위한 통합 플랫폼으로 결합하며, Omnigent는 여러 하네스 간의 구성을 지원하고 Unity Gateway는 AI 상호 작용 전반에 걸쳐 공통 제어 평면을 제공합니다.

모델과 하네스는 계속해서 변화할 것입니다. 기업이 성공적으로 확장하기 위해 이들 중 하나를 표준화할 필요는 없습니다. 주변 인프라를 표준화해야 합니다. 그래야 새로운 에이전트가 또 다른 AI 난립 레이어를 생성하지 않고 동일한 컨텍스트, 제어 기능 및 운영 모델을 상속받을 수 있습니다.

자세히 알아보기

엔터프라이즈 환경에서 에이전트 기반 애플리케이션의 이면에 있는 인프라, 운영 모델 및 프로덕션 패턴에 대한 자세한 논의를 보려면 온디맨드로  Agents at Work: Shipping Agentic Apps at Scale 웨비나를 시청해 보세요.

시작하기

Agent Bricks CLI를 사용하면 쉽게 시작할 수 있습니다. 단 몇 줄의 코드만으로 모델 용량을 위한 Unity Gateway, Databricks 인프라에서 호스팅되는 런타임, MLflow 기반의 에이전트 트레이싱을 포함한 모든 Agent Bricks 기능과 통합된 에이전트를 개발할 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)