에이전트 브릭스: Data + AI Summit 2026

작년 Data + AI Summit에서 저희는 데이터를 기반으로 추론할 수 있는 고품질 에이전트를 구축하는 새로운 방법을 제시하는 Agent Bricks를 출시했습니다. 출시 이후 10만 개 이상의 에이전트가 구축되었으며, 현재 연간 1천조 개 이상의 에이전트 토큰을 처리하고 있습니다. AstraZeneca, 7-Eleven, Fox Corporation, Block과 같은 고객들이 Agent Bricks를 기반으로 구축된 에이전트를 배포했습니다. 올해 DAIS 2026에서 개발자를 위한 종합 에이전트 플랫폼으로 Agent Bricks의 확장을 발표하게 되어 기쁩니다.

놓치고 있는 99%

더 강력해진 프론티어 모델과 결합된 에이전트 기반 코딩(agentic coding)의 부상은 에이전트의 폭발적인 증가를 이끌어냈습니다. 에코시스템에 존재하는 다양한 에이전트 프레임워크나 하네스(harness)를 사용하여 에이전트를 구축하는 것이 그 어느 때보다 쉬워졌습니다. 하지만 지난 한 해 동안 저희는 핵심 에이전트 루프는 전체 작업의 1%에 불과하다는 것을 깨달았습니다. 나머지 99%는 토큰 용량, 배포, 보안, 평가, 모니터링, 컨텍스트, 공유와 같은 에이전트 시스템의 숨겨진 기술적 부채입니다(아래 그림 참조).

에이전트 플랫폼

그 결과, 개발자들이 에이전트가 아닌 인프라를 구축하는 데 갇혀 있는 현상을 목격했습니다. 지금은 개발자를 위한 에이전트 플랫폼이 필요한 시점입니다.

저희는 에이전트 플랫폼이 세 가지 중요한 과제를 해결해야 한다고 믿습니다:

1. 선택권(Choice). 에이전트는 점점 더 많은 서브에이전트(subagent)로 구성되고 있으며, 품질과 지연 시간(latency)의 적절한 균형을 맞추기 위해 모델의 다양성이 필요합니다. 각 모델 제품군(model family)은 고유한 동작을 보이며 출시될 때마다 서로를 능가하는 성능을 보여주고 있습니다. 개발자에게는 프론티어 독점 및 오픈 소스 모델부터 저렴하고 빠른 소형 모델, 기업 고유의 데이터에 맞춤화된 모델에 이르기까지 폭넓은 모델 선택권이 필요합니다.
2. 컨텍스트(Context). LLM은 강력한 추론 엔진이지만, 비즈니스에 적합한 올바른 결정을 내리기 위해서는 적절한 컨텍스트를 검색하고 처리하는 능력이 필요합니다. 이는 매우 까다로운 문제입니다. 데이터 자산(data estate)에 누락되거나 잘못된 정보가 가득할 수 있고, 필요한 컨텍스트가 특정 개인에게만 있거나 여러 소스에서 취합해야 할 수도 있기 때문입니다.
3. 제어(Control). 에이전트는 민감한 데이터에 액세스할 수 있는 기업 내 가장 권한이 높은 주체 중 하나입니다. 에이전트가 실수로 코드베이스를 삭제하거나 프롬프트 주입(prompt injection)을 통해 중요한 정보를 유출했다는 뉴스가 끊이지 않고 있습니다. 또한 직원들이 에이전트 기반 코딩 리더보드에서 '토큰을 남용(tokenmaxing)'하면서 비용이 폭발적으로 증가하고 있습니다. 개발자에게는 에이전트를 안전하게 배포하고 비용을 제어하여 비즈니스 규모에 맞게 에이전트를 대규모로 배포할 수 있는 방법이 필요합니다.

이러한 과제를 해결하는 에이전트 플랫폼을 구축하려면 데이터와 AI를 연결해야 합니다. 결국 에이전트는 도구와 컨텍스트를 통해 데이터를 소비할 뿐만 아니라, 이제 출력, 행동, 추론 추적(reasoning traces), 메모리 등에서 많은 데이터를 생성하며, 이 모든 데이터는 거버넌스를 거치고 분석되어야 합니다. 이러한 데이터와 AI의 통합은 Databricks만이 고유하게 해낼 수 있는 일입니다.

Agent Bricks

개발자 에이전트 플랫폼으로서 Agent Bricks의 다음 진화를 발표하게 되어 매우 기쁩니다. 에이전트 구축의 실험으로 시작된 것이 이제 개발자가 어떤 모델과 하네스를 사용하든 에이전트를 구축하고, 어디서나 데이터에 액세스하며, 자신 있게 배포 및 제어할 수 있는 종합 플랫폼으로 확장되었습니다. 안전한 샌드박스부터 에이전트 메모리, 개발자를 위한 토큰 용량에 이르기까지 모든 빌딩 블록을 갖추고 있습니다. 여러분이 영향력 있는 에이전트를 구축하는 동안 Databricks가 인프라를 처리합니다.

선택권

모델

Agent Bricks는 단일 플랫폼에서 모든 프론티어 독점 및 오픈 소스 모델을 제공하며, 이는 당사의 보안 경계 내에 기본적으로 통합되어 있습니다. 다양한 LLM 간에 쉽게 전환하고 테스트하여 에이전트 동작과 지연 시간 및 비용의 균형을 맞출 수 있습니다. OpenAI, Anthropic, Gemini, Qwen 외에도 방금 Kimi에 대한 지원을 추가했습니다. 또한 SpaceX와의 파트너십을 통해 Databricks에서 Grok 모델을 기본적으로 사용할 수 있게 되었음을 발표하게 되어 기쁩니다.

"Databricks는 요구 사항이 진화함에 따라 여러 모델을 실행하고 제공업체를 전환할 수 있는 안전하고 거버넌스가 확보된 기반을 제공합니다. 이 모든 과정에서 비용을 통제할 수 있습니다." — Gregory Rokita, Edmunds 기술 부사장(VP of Technology)

지난 3년 동안 저희는 맞춤형 모델을 개척해 왔습니다. 고객들은 프롬프트 최적화(prompt optimization), 미세 조정(fine-tuning), 또는 강화 학습(reinforcement learning)을 통해 기업 데이터에 특화된 모델을 구축하고 있습니다. 저희 연구팀은 서브에이전트 작업을 위한 소형 모델부터 핵심 에이전트 모델로서 대형 모델에 RL을 적용하는 것에 이르기까지 정기적으로 맞춤형 모델을 학습시킵니다. 최근 저희는 강화 학습을 사용하여 Genie 관련 작업에서 Opus 및 Sonnet과 같은 프론티어 모델과 경쟁할 수 있으면서도 쿼리당 비용은 훨씬 저렴한 맞춤형 데이터 에이전트를 학습시켰습니다(아래 그림 참조). 이제 Merck이나 First American과 같은 고객들은 AI Runtime을 사용하여 고유한 데이터에 특화된 LLM을 학습시키고 있습니다.

에이전트 하네스

저희는 LangGraph, Agno, CrewAI와 같은 오픈 소스 프레임워크부터 Claude Code SDK 또는 OpenAI Agent SDK와 같은 하네스에 이르기까지 개발자가 사용하고자 하는 모든 에이전트 하네스를 지원합니다. 이러한 에이전트를 수평적 오토스케일링(horizontal autoscaling)을 통해 Databricks Apps에 배포해 보세요. 또한 지난 주말에 출시한 오픈 소스 메타 하네스인 Omnigent의 관리형 버전을 제공하여 서로 다른 하네스를 오케스트레이션할 수 있도록 지원합니다.

컨텍스트

이제 올바른 데이터를 검색하는 것은 과거의 RAG 애플리케이션 수준에 머무르지 않습니다. 에이전트는 이제 추론 과정에서 데이터를 검색, 회수 및 조작하여 관련 컨텍스트를 식별할 수 있는 정교한 도구를 갖추고 있습니다. 하지만 오늘날 에이전트 기능에 요구되는 사항을 충족하려면 오래된 테이블, 정리되지 않은 Google Drive 폴더, 혼란스러운 웹 검색 페이지, 오해의 소지가 있는 문서 등 복잡하고 무질서한 데이터 환경을 탐색해야 합니다. 종종 필요한 컨텍스트가 아예 기록되지 않고 몇몇 핵심 인물의 머릿속에만 존재하는 경우도 있습니다. 또한 AI 슬롭(AI slop)의 증가로 인해 검증하기 어려운 "사실"들이 데이터 자산을 더욱 오염시키고 있습니다.

저희 연구팀은 에이전트 기반 검색(agentic search), 메모리 확장(memory scaling), 프로그래밍 가능한 스크래치 패드(programmable scratch pads), 평가(evaluation), 및 근거 기반 추론(grounded reasoning) 등 이 분야의 중요한 과제들을 해결해 왔습니다. Agent Bricks의 일부로서 이러한 혁신적인 기능들이 다음과 같은 몇 가지 핵심 구성 요소로 제공됩니다:

• 어디서나 에이전트를 데이터에 연결

Unity Catalog에 MCP 지원을 추가함으로써, Agent Bricks의 에이전트는 Google Drive, JIRA, Slack, Github 등과 같은 외부 데이터 소스에 안전하게 연결할 수 있습니다. 당사의 전문 검색 에이전트는 구조화된 메타데이터와 소스 텍스트를 모두 활용하여 필요한 정보를 효율적으로 찾을 수 있습니다.

• Genie Ontology

데이터에 대한 온톨로지를 지속적으로 학습하고 사람이 주석을 단 비즈니스 의미론을 통합함으로써, Genie Ontology는 Agent Bricks가 검색 및 분석을 안내할 수 있는 풍부한 정보에 액세스할 수 있도록 합니다. 회계연도는 언제 시작하나요? 영업 책임자는 누구인가요? 우리 비즈니스에서 이탈 고객은 무엇을 의미하나요? 올해 우리의 전략은 무엇인가요? 어떤 테이블이 가장 많이 사용되나요? 어떤 데이터 작성자가 가장 신뢰할 수 있는 이력을 가지고 있나요? Genie Ontology를 사용하면 에이전트가 호출할 때마다 컨텍스트를 다시 생성할 필요 없이 시작부터 비즈니스를 즉각적으로 이해할 수 있습니다.

• Databricks Agent Tools

Databricks는 연구 혁신 기술을 활용하여 Lakehouse의 데이터와 MCP를 통한 외부 데이터에 대해 동급 최고의 검색을 제공하는 Databricks 관리형 '내장형' 도구 세트를 출시했습니다. 예를 들어, 당사의 에이전트 기반 검색 연구를 통해 품질을 향상시키면서 이전보다 3배 더 빨라진 문서 검색 하위 에이전트를 개발했습니다. 이러한 도구는 Unity Catalog에서 중앙 집중식으로 액세스하고 제어할 수 있습니다.

• Agent memory service

에이전트를 구축하는 개발자는 이제 에이전트를 Databricks의 관리형 메모리에 연결할 수 있습니다. 내부적으로 Lakebase를 기반으로 작동하므로, 에이전트는 자체 컨텍스트와 세션 기록을 관리하고 이를 여러 세션에 걸쳐 유지하며, 궁극적으로는 여러 에이전트 간에도 유지할 수 있습니다.

• Document intelligence

작년에 출시된 이후, Document Intelligence (GA)라고 부르는 SQL 함수 세트를 통해 PDF 및 기타 문서에 대한 최첨단 파싱 및 분석이 가능해졌습니다. ai_parse_document, ai_extract, ai_classify를 사용하면 문서 처리 워크플로우나 하위 에이전트를 쉽게 구축할 수 있습니다. 엔터프라이즈 문서 분석 작업에 대한 자체 벤치마크를 기준으로 할 때, 당사 시스템은 최첨단 LLM 및 다른 제공업체의 전문 시스템과 비교하여 최고 품질과 최저 비용을 모두 제공합니다.

• Databricks Sandbox

컨텍스트에 안전하게 액세스하려면 신중한 격리 및 액세스 범위 지정이 필요합니다. Databricks Sandbox를 사용하면 컴퓨팅을 위한 보안 VM을 실행하고, Unity Catalog에 대한 데이터 액세스 범위를 축소할 수 있습니다. 이러한 샌드박스는 코드 인터프리터 도구를 포함하거나, 하위 에이전트 및 하네스를 실행하거나, 단순히 에이전트 실험을 위한 안전한 스크래치패드로 사용할 수 있습니다.

제어

에이전트, 모델, 도구의 폭발적인 증가에 대응하여, 이러한 에이전트를 안전하게 배포하고 비용을 관리하려면 그만큼 강력한 거버넌스가 필요합니다. Databricks 내부 및 외부에서 호스팅되는 모든 AI 자산을 아우르는 통합 거버넌스 레이어인 Unity AI Gateway를 발표하게 되어 기쁩니다. 모든 고객은 MCP부터 모델, 외부 에이전트에 이르기까지 AI 자산을 보호, 관찰 및 거버넌스하기 위해 Unity AI Gateway를 사용해야 합니다.

Unity AI Gateway에 거버넌스 플랫폼의 핵심 기능을 구현했습니다:

• 모든 에이전트, 모델, MCP, Skills 및 외부 에이전트의 카탈로그 검색
• 도구 및 에이전트에 대한 세분화된 액세스 제어 구성
• 비용 모니터링 및 사용자별/그룹별 예산 강제 적용
• 안정성, 예산 정책 또는 기타 제어 기준에 따른 지능형 트래픽 라우팅

하지만 Databricks와 같이 데이터와 AI가 결합된 플랫폼만이 제공할 수 있는 몇 가지 중요한 기능이 있습니다:

에이전트 추적 및 모니터링

에이전트는 추론 추적, 메모리 쓰기 및 생성 과정에서 대량의 데이터를 생성합니다. 이 데이터는 다른 벤더에 고립되어 저장되는 것이 아니라, 다른 데이터와 함께 Lakehouse에서 거버넌스가 수행되어야 합니다. 혜택은 여기서 끝나지 않습니다. 이제 데이터가 Lakehouse에 있으므로 Databricks의 모든 기능을 활용하여 이러한 추적을 분석하고, 에이전트 품질을 디버깅하고, AI 코딩 세션을 분석 및 최적화하고, 프로덕션에서의 동작을 모니터링할 수 있습니다. 이제 당사의 에이전트 보안 플랫폼인 LakeWatch와 통합되어 PII 위반에 대한 알림을 구성하고, 민감한 데이터 액세스를 감사하며, 보안 사고에 대응할 수 있습니다.

컨텍스트 기반 정책

에이전트는 상태 저장형이고 동적이며 컨텍스트에 따라 달라지므로, 이를 제어하는 보안 정책도 마찬가지여야 합니다. SQL(곧 Python도 지원 예정)에서 직접 도구에 대한 맞춤형 보안 정책과 에이전트용 가드레일을 구축해 보세요. 중요한 점은 이러한 정책이 상태를 유지하고 데이터 및 컨텍스트에 따라 반응할 수 있다는 것입니다.

예를 들어 아래 예시에서는 에이전트가 PII가 포함된 민감한 고객 데이터에 액세스하는 경우, 에이전트가 해당 데이터를 회사 웹사이트에 게시하는 것은 방지하되 동료에게 이메일로 전송하는 것은 허용하도록 정책을 작성할 수 있습니다. Salesforce 업데이트와 같은 다른 작업은 사람의 승인이 필요합니다.

에이전트, 도구 및 모델을 위한 Unity Catalog 레지스트리

에이전트, 도구, 모델을 Unity Catalog (UC)에 추가하여 전체 데이터 자산과 함께 이러한 자산을 관리할 수 있도록 했습니다. AI 거버넌스는 데이터 거버넌스와 분리될 수 없습니다. 에이전트, 모델, 도구는 궁극적으로 엔터프라이즈 데이터에서 작동합니다. 데이터와 AI를 함께 관리하면 일관된 정책, 엔드투엔드 가시성, 보안, 규정 준수 및 감사를 위한 단일 제어 평면이 제공됩니다.

AI 거버넌스에 대한 자세한 내용은 Unity AI Gateway 블로그를 참조하세요.

당사의 모든 기능을 갖춘 에이전트 플랫폼인 Agent Bricks를 발표하게 되어 매우 기쁩니다. 에이전트의 미래에는 개발자가 프로덕션에서 에이전트를 쉽게 구축하고 운영할 수 있도록 단일 플랫폼에서 데이터와 AI의 결합이 필요하다고 믿습니다. 모델 선택권, 관련 컨텍스트 및 완전한 거버넌스를 제공함으로써, Agent Bricks는 여러분의 에이전트 기반 애플리케이션을 구축할 준비가 되어 있습니다. 여러분이 무엇을 만들어낼지 정말 기대됩니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)