에이전트는 준비되었지만 아키텍처는 그렇지 않을 가능성이 높습니다

현재 이사회와 데이터 전략 회의에서 제기되는 질문은 다음과 같습니다. 왜 그렇게 많은 AI 이니셔티브가 가치를 창출하지 못하고 활동만 생성하는가? 답변을 시도하기 전까지는 간단해 보입니다.

Arsalan Tavakoli-Shiraji는 수백 건의 기업 대화를 통해 이러한 패턴이 반복되는 것을 지켜보았습니다. Databricks의 공동 창립자이자 현장 엔지니어링 수석 부사장으로서 그는 기술 아키텍처와 AI 비즈니스 전략의 교차점에 있습니다.

이 대화에서 Arsalan과 저는 CDO와 CTO가 에이전트 시스템을 프로덕션 환경에 도입하기 위해 이해해야 할 사항, AI가 출력을 생성하는 것에서 메시지 전송, 레코드 업데이트, 결정 실행 등 실제 행동을 취하는 것으로 전환될 때 발생하는 거버넌스 실패의 모습, 그리고 수년간 조직을 괴롭히는 AI 확산을 만들지 않고 의미 있는 성공을 찾는 방법에 대해 논의했습니다.

AI 활동과 AI 가치 사이의 거리

Catherine Brown: 귀하는 모든 단계의 AI 채택 기업과 협력하고 있습니다. 솔직히 말해서 대부분의 기업은 어디에 있습니까?

Arsalan Tavakoli-Shiraji: 몇 가지 다른 범주가 있습니다. 일부는 여전히 실험 중입니다. 모델을 다루고, 파일럿을 실행하고, 가능한 것을 보고 있습니다. 다른 일부는 더 나아가 특정 작업을 자동화하고 있습니다. 콘텐츠를 생성하거나, 메모를 전사하거나, 사람들이 자신의 데이터에 대해 질문할 수 있도록 합니다. 그리고 처음부터 AI 기능을 염두에 두고 설계하는 방법을 알아낸 훨씬 더 작은 그룹이 있습니다. 대부분의 조직은 여전히 ​​첫 번째 두 범주에 속해 있습니다. AI 확산이 많고 AI 활동이 많습니다. AI 가치는 훨씬 적습니다.

가장 큰 차이점은 시작점입니다. 의미 있는 가치를 얻는 기업은 원하는 결과, 즉 생산성 향상, 새로운 비즈니스 기능, 위험 감소를 시작점으로 삼고 거꾸로 작업합니다. 기술에서 시작하는 것이 아닙니다.

Catherine: 에이전트 시스템이 프로덕션에 도달하지 못하게 하는 가장 일반적인 아키텍처 실수는 무엇입니까?

Arsalan: 제가 가장 많이 보는 실수는 모델을 선택하는 것이 어려운 부분이라고 생각하는 것입니다. 현재 고품질 기반 모델을 얻는 것은 문제의 가장 쉬운 부분입니다. 가장 어려운 부분은 그 아래의 모든 것입니다.

기업에서는 몇 가지 사항을 고려해야 합니다. 데이터는 어디에 있으며 어떻게 연결합니까? 대부분의 조직은 데이터가 12개 이상의 다른 장소에 분산되어 있으며 서로 통신하지 않는 독점 형식으로 잠겨 있습니다. 그리고 에이전트를 해당 데이터에 연결하기 시작하면 심각한 거버넌스가 필요합니다. 데이터 자체에 대한 거버넌스뿐만 아니라 에이전트를 이해하는 거버넌스입니다. 에이전트가 무엇을 하고 있는지, 어떤 권한을 가지고 있는지, 어디로 가고 있는지, 여러 시스템의 여러 에이전트가 어떻게 연결되는지에 대한 거버넌스입니다. 마지막으로 에이전트는 조직에 대한 깊은 의미론적 이해가 필요합니다. 사실상 귀하를 대신하여 실행되는 가상 작업자입니다. 무엇이 좋은 것인지, 주요 정의와 지표는 무엇인지, 비즈니스의 실제 맥락은 무엇인지 알아야 합니다.

안티 패턴은 간단합니다. 데이터가 사일로에 갇혀 있고, 거버넌스가 건너뛰거나 부차적인 문제로 취급된 다음, 에이전트가 프로덕션에서 작동하지 않는 이유를 알아내기 위해 허둥대는 것입니다. 조직은 거의 항상 이 세 가지 사항에서 실패합니다.

대시보드와 배치 파이프라인이 잘못된 기반인 이유

Catherine: 구조적으로 대시보드와 배치 파이프라인이 기업이 나아가야 할 방향과 맞지 않는 이유는 무엇입니까?

Arsalan: 그것들은 임시방편입니다. 대시보드는 여전히 기업이 의사 결정을 내릴 때 중요한 시각적 참조점을 제공합니다. 하지만 대부분은 누군가가 한 번 물어본 질문에 답하기 위해 구축됩니다. 구축되고, 몇 번 보이고, 제가 '대시보드 무덤'이라고 부르는 것에 합류합니다.

대시보드는 또한 조사하기 어렵습니다. 데이터에서 무언가를 보고 그 이유를 알고 싶습니다. 이벤트에 연결하고, 그 아래를 파고들고, 후속 질문을 하고 싶습니다. 역사적으로 이는 누군가가 가서 기본 데이터를 가져와 분석을 실행하고 돌아오는 것을 의미했습니다. 빠르게 움직이는 세상에서는 이러한 지연이 치명적입니다.

배치 파이프라인도 비슷한 문제가 있습니다. 일별 또는 주별 데이터로 충분할 정도로 의사 결정이 느렸을 때는 배치 처리가 의미가 있었습니다. 그러나 에이전트 세계에서는 무언가를 보고 행동할 수 있는 시간 사이의 창이 빠르게 줄어들고 있습니다. 배치 주기로 실행되는 분리된 시스템이 있으면 에이전트가 요구하는 속도로 응답할 수 없습니다.

Lakebase가 실제로 해결하는 문제

Catherine: 기업이 AI 실험에서 에이전트 실행으로 전환함에 따라 Lakebase는 어디에 적합합니까?

Arsalan: 대부분의 조직이 분석 계층과 데이터 웨어하우스를 중심으로 구축한 인프라는 특정 종류의 작업, 즉 대규모 쿼리, 집계 인사이트, 인간 분석가가 보고서를 실행하는 데 설계되었습니다. 이는 에이전트 애플리케이션이 요구하는 것과는 근본적으로 다른 워크로드입니다.

에이전트를 위해 구축하기 시작하면 매우 다른 소비자를 위해 구축하는 것입니다. 모든 현장 기술자에게 지능형 애플리케이션을 제공하려는 통신 회사를 생각해 보십시오. 또는 각 어드바이저에게 AI 어시스턴트를 배포하는 자산 관리 회사. 또는 판매 시점에 실시간 추천을 제공하는 소매업체. 이러한 애플리케이션은 매우 낮은 지연 시간으로 수많은 사용자를 동시에 지원해야 합니다. 그리고 이 모든 것이 규모에 맞게 합리적인 비용으로 이루어져야 합니다.

이것이 바로 Lakebase가 필요한 곳입니다. 에이전트에는 분석 데이터베이스가 아닌 트랜잭션 데이터베이스가 필요합니다. 그리고 에이전트 세계의 요구 사항을 위해 특별히 구축된 데이터베이스가 필요합니다. Lakebase가 바로 그 기반입니다. 이를 통해 조직은 AI 실험에서 실제 프로덕션에서 규모로 실행하고 인프라가 부하로 인해 붕괴되지 않도록 할 수 있습니다. 그리고 기존 분석 계층과 함께 작동합니다. 대체가 아닙니다. 누락된 부분입니다.

에이전트가 행동할 때 발생하는 거버넌스 실패

Catherine: 시스템이 출력을 생성하는 것에서 실제로 행동을 취하는 것으로 전환될 때 어떤 거버넌스 실패가 나타나는 경향이 있습니까?

Arsalan:

사람이 가진 권한을 에이전트도 가져야 한다고 가정하는 것이 일반적입니다. 그리고 그 논리는 타당하지만, 현실은 거의 모든 조직이 모든 사람과 모든 시스템에 대해 완벽한 권한을 올바르게 설정하지 못했다는 것입니다. 인간은 이러한 현실을 불완전하게 탐색하지만, 직감이 있기 때문에 문제점을 해결할 수 있습니다. 우리는 '네, 기술적으로는 이것을 할 수 있습니다. 하지만 확인하기 전에 아마도 하지 말아야 합니다.'라고 말하는 맥락에 대한 인식이 있습니다. 에이전트에는 이러한 상황 인식이 없습니다. 목표와 일련의 제약 조건이 있습니다. 그리고 제약 조건 내에서 목표를 향한 경로를 찾습니다.

에이전트가 출력을 생성하는 경우 최악의 시나리오는 저품질 콘텐츠를 생성하는 것입니다. 에이전트가 행동을 취하고, 메시지를 보내고, 주문을 하고, 레코드를 삭제하고, 귀하를 대신하여 통신하기 시작하면 상황이 완전히 달라집니다. 거버넌스는 에이전트로부터 실제로 가치를 창출할 수 있는지 여부를 결정하는 핵심 요소 중 하나입니다. 이를 올바르게 수행할 기업은 거버넌스를 사후 고려 사항이 아닌 전제 조건으로 취급하는 기업입니다.

성공으로 가는 가장 빠른 길

Catherine: 기술적 확산을 더 많이 만들지 않고 AI 에이전트의 성공적인 배포로 가는 가장 빠른 길은 무엇이라고 보십니까?

Arsalan: 두 가지가 두드러집니다. 첫째, 시작하기 전에 성공이 무엇인지 명확히 하는 것입니다. 당연하게 들리지만 대부분의 팀은 이를 건너뜁니다. 특정 결과(생산성 향상, 새로운 수익 역량, 비용 절감, 위험 회피 등)를 정의할 수 없다면 올바른 접근 방식으로 거꾸로 작업할 수 없습니다. 기술이 목표는 아닙니다.

두 번째는 격리입니다. 대부분의 팀이 일상 업무를 수행하면서 내부에서 대규모의 중요한 팀을 변화시키는 것은 실제로 어렵습니다. 제가 효과가 있다고 보는 것은 명확하게 정의된 사용 사례를 가진 작고 집중된 파일럿 팀을 구성하고, 빠르게 반복할 수 있는 자유를 부여하며, 레거시 기술 부채와 기존 정책 제약에서 벗어나게 하는 것입니다. 그들은 방해받지 않으므로 빠르게 움직입니다. 실제 맥락에서 무엇이 좋은 것인지 알게 됩니다. 그런 다음 이러한 학습을 바탕으로 더 넓은 조직을 확장하고 지원할 방법을 찾습니다. 무엇이 효과가 있는지 빠르게 파악하고, 일단 파악되면 빠르게 확장할 수 있기를 바랍니다.

에이전트 시대에 대한 불편한 진실

Catherine: 리더들이 이 순간을 위해 재설계하는 것에 대해 받아들여야 할 불편한 진실은 무엇입니까?

Arsalan: 인프라 관점에서 에이전트 시대는 함께 작동해야 하는 핵심 구성 요소 세트를 요구합니다. 거버넌스된 분석 계층, 에이전트가 요구하는 속도와 규모를 처리할 수 있는 트랜잭션 데이터베이스, 해당 에이전트를 구축하고 모니터링할 플랫폼, 그리고 사람들이 실제로 사용할 수 있는 애플리케이션 계층입니다.

Databricks에서 Lakebase는 트랜잭션 측면을 지원합니다. AgentBricks는 에이전트를 대규모로 구축하고 관리하기 위한 개발 및 모니터링 계층을 제공합니다. Databricks Apps는 최종 사용자에게 해당 환경을 제공하기 위한 애플리케이션 계층을 제공합니다. 그리고 Genie는 사람들이 실제로 데이터와 대화하는 방식, 즉 비즈니스 사용자가 데이터 분석가 없이 질문하고 답변을 얻을 수 있는 대화형 인터페이스입니다. 수십 개가 아닌 잠재적으로 수천 개의 에이전트를 실행하는 규모에 도달하면, 처음부터 함께 작동하도록 구축된 시스템이 필요합니다.

하지만 더 어려운 진실은 이렇습니다. 이 순간을 최대한 활용할 기업은 기존 프로세션 위에 AI를 추가하는 것이 아니라 근본적인 프로세스를 재고할 의지가 있는 기업입니다. 산업 혁명 시대의 잘 알려진 예가 있습니다. 증기 기관을 전기 기관으로 교체했지만 동일한 공장 배치를 유지한 공장은 효율성 향상을 거의 얻지 못했습니다. 기술은 바뀌었지만 시스템은 바뀌지 않았습니다. 이것이 바로 현재 많은 조직이 처한 상황입니다.

"AI 기능을 염두에 두고 처음부터 구축한다면 어떻게 될까?"라고 묻기 시작하는 팀들이 있습니다. 이러한 팀들이 혁신적인 결과를 보게 될 것입니다. 여기에는 변경 관리, 역량 강화, 그리고 무엇이 좋은지에 대한 명확한 정의가 필요합니다. 이 중 어느 것도 쉽지 않습니다. 하지만 성공적인 조직은 한 번에 하나씩이 아니라 이 모든 것을 함께 해결하고 있습니다.

시스템이 전략이다

CDO와 CTO가 지금 당장 고민해야 할 질문은 에이전트 AI에 투자할 것인지 여부가 아닙니다. 그 결정은 이미 시장에 의해 내려졌습니다. 질문은 데이터 아키텍처, 거버넌스 계층, 트랜잭션 인프라, 개발 플랫폼인 기본 시스템이 실제로 그들이 하려는 일을 위해 구축되었는지 여부입니다.

엔터프라이즈 전반에 AI를 통합하기 위한 로드맵 개발에 대해 자세히 알아보려면 State of AI Agents를 다운로드하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)