기업이 에이전틱 AI에 대비하는 방법

기업들이 생성형 AI의 초기 실험 단계를 넘어 에이전트 기반의 목표 지향적 시스템을 구축함에 따라 경영진이 던지는 질문도 달라졌습니다. 이제 대화의 초점은 AI가 무엇을 할 수 있는지보다는 어떻게 AI를 신뢰하고, 관리하며, 실제 비즈니스 운영 방식에 통합할 수 있는지에 맞춰져 있습니다.

선도적인 조직들이 이 다음 단계를 어떻게 준비하고 있는지 알아보기 위해, 저는 Executive Lens 시리즈의 일환으로 Databricks의 제품 부문 수석 디렉터인 Craig Wiley와 이야기를 나누었습니다. 이 시리즈는 실시간으로 이러한 변화를 헤쳐나가고 있는 경영진과의 직접적인 대화를 통해 엔터프라이즈 데이터와 AI를 형성하는 전략적 변화를 조명하도록 기획되었습니다.

Craig와 저는 진정한 준비 상태란 무엇인지, 아키텍처와 거버넌스는 어떻게 발전해야 하는지, 리더십 팀과 이사회가 에이전트 시스템을 확장하기 시작할 때 어떤 마일스톤을 계획해야 하는지에 대해 솔직하게 이야기했습니다.

Craig Wiley는 Databricks의 인공지능 제품 부문 수석 디렉터입니다. 이전에는 AWS SageMaker의 창립 총괄 관리자였으며 Google Cloud에서 AI 제품을 이끌었습니다. 그는 기업이 데이터와 지능형 시스템을 실용적이고 지속 가능한 방식으로 통합하도록 돕는 확장 가능한 머신러닝 및 AI 플랫폼을 구축한 풍부한 경험을 보유하고 있습니다.

GenAI 실험에서 리더가 신뢰할 수 있는 시스템까지

Catherine: 최근에 많은 CIO, CDO, CTO와 이야기를 나누셨죠. 기업들이 GenAI 실험에서 더 나아가 에이전트 기반의 목표 지향적 시스템으로 전환하면서 어떤 변화를 보고 계신가요?

Craig: 초기에는 많은 분들이 GenAI를 어떻게 유용하게 활용할 수 있는지에 대해 혼란스러워했던 것 같습니다. 저희는 여전히 매우 결정론적인 유스케이스가 상당 부분을 차지한다고 듣습니다. 사람들은 공급망이든, 고객 서비스 관리든, 무엇이든 간에 "이런 일을 하는 시스템을 만들고 싶다"고 말합니다.

초기 GenAI의 문제는 결정론적인 것을 구축하거나 배포하는 것이 정말 어려웠다는 점입니다. 에이전트를 사용하면 이제 GenAI를 사용하여 거의 결정론적인 시스템을 구축할 수 있으며 정확도에 대해서도 훨씬 더 스마트해질 수 있습니다.

CXO가 에이전틱 솔루션 배포에 동의하게 하려면 무엇이 필요한지 생각해 보면, 결국 제어와 정확성 문제로 귀결됩니다. "내가 이것을 제어할 수 있는가, 그리고 실제로 작동하는가?"입니다. 이러한 에이전트로의 전환 덕분에 모든 것이 프롬프트-응답 기반이었을 때는 도달할 수 없었던 수준의 정확도를 달성하는 것이 가능해졌습니다.

가장 흥미롭지 않은 대답이 여전히 정답입니다

Catherine: 어떤 점을 보고 조직이 에이전트 AI를 도입할 준비가 되었다고 판단하시나요?

Craig: 뻔한 대답이 정답입니다. 데이터가 잘 정리되어 있나요?

에이전트 AI에 대해 매우 기대할 수는 있지만, 기업의 입장에서는 결국 맥락의 문제로 귀결됩니다. 그리고 우리가 맥락이라고 할 때, 이는 데이터와 정보를 의미합니다. 에이전트가 추론하는 바로 그 순간에 올바른 정보를 전달할 수 있습니까?

이런 일은 항상 일어납니다. 더 작고, 저렴하며, 덜 정교한 모델이라도 적시에 적절한 컨텍스트를 얻으면 가장 발전된 모델만큼 좋은 성능을 낼 수 있습니다. 지름길은 없습니다. 강력한 메타데이터를 갖춘 잘 선별된 데이터 레이크가 필요합니다. 그렇지 않다면 고전적인 머신러닝과 매우 유사합니다. “이 모델을 구축합시다”라고 말하고 나면 데이터 정리에 두 달 반이 걸리고, 마지막 몇 주가 되어서야 실제로 시스템을 구축하게 됩니다. 데이터 작업 없이는 성공도 없습니다.

데이터가 준비되지 않았을 때 나아갈 두 가지 길

Catherine: 많은 조직이 기대만큼 데이터 성숙도가 높지 않습니다. 만약 경영진이 자신의 환경을 보고 "엉망진창인데, 어디서부터 시작해야 하지?"라고 생각한다면, 어떤 방법이 효과가 있었다고 보시나요?

Craig: 실제로 두 가지 길이 있습니다.

하나는 상향식입니다. 모든 데이터를 보면서 '이 데이터를 어떻게 제대로 정리할 수 있을까?'라고 생각합니다. 좋은 소식은 도구가 극적으로 개선되었다는 것입니다. 레거시 시스템에서 데이터를 이전하는 것이 더 쉬워졌으며, GenAI가 데이터 이전에 필요한 코드 일부를 작성하는 데 도움을 줄 수도 있습니다.

다른 하나는 유스케이스 중심의 접근 방식입니다. 만약 CEO나 CIO가 "에이전트 시스템에 대한 큰 포부가 있고 X를 하고 싶다"고 말하는데 데이터가 엉망이라면, "이 유스케이스에 실제로 어떤 데이터가 필요한가?"라고 질문하는 것부터 시작할 수 있습니다. 그런 다음 해당 데이터 조각들을 찾아 현대화하고, 그 목표를 달성하기 위해 활용합니다.

어느 접근 방식도 보편적으로 더 낫지는 않습니다. 상향식은 나중에 더 많은 유연성을 제공합니다. 사용 사례 우선 접근 방식은 문제가 비즈니스의 생존과 직결될 때 더 빠를 수 있습니다. 유일한 실수는 데이터에 필요한 시간과 노력을 기울이지 않는 것입니다.

초기 성공 사례가 채팅을 넘어서는 이유

Catherine: 현재 얼리 어답터들은 어디에 집중하고 있나요? 어떤 종류의 사용 사례가 주목받고 있다고 보시나요?

Craig: 1년 전만 해도 많은 얼리 어답터들이 모델의 생성적 특성이 부담이 되지 않는 마케팅 및 기타 유스케이스에 집중했습니다. 이제 툴 콜링이나 향상된 정확도 덕분에 고객들은 훨씬 더 많은 것을 추구할 수 있게 되었습니다. 사람들은 여전히 매우 채팅 중심적입니다. "우리 직원들이 무언가와 대화했으면 좋겠다." "고객들이 무언가와 대화했으면 좋겠다."

하지만 제가 보는 진정한 흥미로운 지점은 자동화 및 워크플로 최적화에 있습니다. 최근에 전체 대출 신청 절차를 에이전트화하려는 한 대형 은행과 이야기를 나눴습니다. 이전에는 사람이 몇 시간 동안 서류를 검토해야 했던 일이었습니다. 이제 그들은 긴밀한 인간의 감독 하에 이 과정을 완전히 에이전트로 실행되도록 만들기를 바라고 있습니다. 이는 그저 또 다른 챗봇에 불과한 것보다 훨씬 더 설득력 있는 결과입니다.

에이전트가 사용자가 되면 거버넌스가 더 어려워집니다

캐서린: 시스템이 더욱 자율화됨에 따라 리더들은 아키텍처와 거버넌스를 어떻게 재고하고 있나요?

Craig: 수십 년 동안 우리는 정형 데이터를 관리하고, 적절한 사람은 액세스 권한을 갖고 그렇지 않은 사람은 갖지 못하도록 하는 데 집중해 왔습니다. 이제 우리는 비정형 데이터에 대해서도 그렇게 생각해야 하며, 에이전트를 새로운 개체로 여겨야 합니다. 어떻게 하면 이 에이전트가 적시에 올바른 데이터에 액세스하도록 할 수 있을까요?

에이전트 건너편에 있는 사용자에 대해서도 생각해야 합니다. 대표적인 예는 Jira를 기반으로 챗봇을 구축하는 것입니다. Jira나 다른 유사한 시스템에는 기밀 정보가 포함되어 있는 경우가 많습니다. 통제되지 않으면 누구나 그 정보에 접근할 수 있습니다. 따라서 에이전트가 무엇에 액세스할 수 있는지에 대한 문제만이 아닙니다. 또한 누가 요청하는지에 따라 에이전트가 무엇을 반환할 수 있는지에 대한 문제이기도 합니다. 기본 구성 요소는 존재하지만 거버넌스는 나중에 생각할 문제가 아니라 최우선 문제로 다루어져야 합니다.

ID, 액세스, 에이전트에 대한 간단한 생각

Catherine: 이건 ID 및 액세스 관리와 매우 유사하게 들리네요. 리더들은 준비하면서 이 점에 대해 어떻게 생각해야 할까요?

Craig: 근본적으로는 ID 및 액세스 관리이지만, 에이전트라는 새로운 종류의 ID가 추가됩니다.

강력한 ID 및 액세스 정책이 없다면 세상은 훨씬 더 힘들어질 것입니다. 만약 있다면, 이것이 더 자연스럽게 맞아떨어집니다.

간단하게 생각하는 방법은 다음과 같습니다.

• 누구 인가? 인간과 비인간 행위자 모두에게 작동하는 강력한 ID 시스템입니다.
• 에이전트 는 무엇을 할 수 있도록 허용되나요? APIs와 데이터 전반에 걸친 거버넌스입니다.
• 어떻게 할 수 있을까요? 문서화와 메타데이터입니다. 이 테이블에 무엇이 들어있나요? 이 API는 어떤 역할을 하나요?

ID 시스템과 문서화가 잘 되어 있다면 에이전트를 지정하고 신속하게 움직이기가 훨씬 쉬워집니다.

향후 12~24개월: ROI를 쫓기 전에 기초 역량을 구축하세요

캐서린: 향후 1~2년 동안 에이전트 시스템이 확장됨에 따라 리더십 팀은 무엇을 계획해야 할까요?

Craig: 많은 기업이 구축과 구매 사이에서 고민하고 있습니다. 제가 CEO라면 그 점을 명확히 하고 싶을 겁니다. 제 생각에는 구축할 수 있어야 합니다. 대기업을 운영하면서 모든 소프트웨어 개발을 아웃소싱한다는 것은 상상할 수 없습니다.

개발자가 있다면 이러한 역량을 키울 계획을 세워야 합니다. 단기적으로는 ROI보다 우리 팀원들이 이러한 시스템을 구축하고 제공할 수 있는지 여부에 훨씬 더 신경을 씁니다. 경쟁에 앞서 연습이 우선입니다. 처음 6개월 안에 인재를 제대로 확보하세요. 6개월에서 12개월 사이에는 자랑스러워할 만한 결과물을 만드세요. 그 후에는 실질적인 비즈니스 성과를 창출하기 시작하세요.

구매해야 할 때도 있습니다. 기능이 차별화의 핵심이 아니라면 구매를 고려해야 합니다. 하지만 이미 소프트웨어를 구축하여 회사를 차별화하고 있다면, 여러분의 팀은 에이전트를 구축하여 회사를 차별화해야 합니다.

진전을 완전히 멈추게 하는 오해

캐서린: 기업들이 에이전틱 AI를 처음 시도할 때 가장 크게 오해하는 점은 무엇인가요?

Craig: 실패 후 기각.

무언가를 만들었는데 한 번 잘못된 답변을 하면 "거봐요."라고 말하죠. 내가 틀릴 거라고 했잖아요. 이제 그만할래요." 성장은 그런 식으로 이루어지지 않습니다. 틀렸다면 왜 그런지 질문해야 합니다. 근본 원인을 해결하고 앞으로 나아가야 합니다.

GenAI는 처음에는 쉬워 보였기 때문에 사람들은 항상 쉬울 것이라고 기대합니다. 하지만 훌륭한 AI 시스템을 구축하는 것은 어렵습니다. 실패는 당연히 겪게 됩니다. 성공이란 처음부터 완벽하게 해내는 것이 아니라 지속적으로 개선해 나가는 것입니다.

몇 년 전 강연에서 한 글로벌 금융 서비스 회사가 콜센터 직원의 빠른 온보딩을 돕기 위해 구축한 에이전트에 대해 이야기한 적이 있습니다. 저는 성공을 어떻게 측정했는지 물었습니다. 대답은 다음과 같았습니다. “그것이 핵심이 아니었습니다. 핵심은 우리 팀이 구축 경험을 쌓게 하는 것이었습니다.”

그 사고방식이 제게 깊이 각인되었습니다. 그런 태도를 보이는 기업이 결국 승리할 것입니다.

Catherine: 성장 마인드셋입니다.

Craig: 맞습니다.

마무리하며

이 대화에서 가장 인상 깊었던 점은 에이전트 AI에는 편법이 통하지 않는다는 것입니다. 가장 빠르게 움직이는 조직은 어려운 부분을 건너뛰지 않습니다. 그들은 데이터, ID, 거버넌스, 문서화와 관련된 궂은일을 하고, 내부 역량 구축에 조기에 투자하고 있습니다.

에이전트 시스템은 기술이 할 수 있는 것만 바꾸는 것이 아닙니다. 그들은 조직이 기술을 잘 사용하기 위해 얼마나 준비되어야 하는지에 대한 기준을 높입니다.

효과적인 운영 모델 구축에 대해 더 자세히 알아보려면 Databricks AI 성숙도 모델을 다운로드하세요. 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)