거버넌스 측면에서 리테일 기업은 맥락을 파악할 수 있는 컨트롤 플레인이 필요합니다.

소매업체들이 AI 도입의 새로운 단계에 진입하고 있습니다.

생성형 AI에 대한 초기 논의는 주로 실험에 관한 것이었습니다. 어떤 모델을 시도해야 할까? 어떤 챗봇을 만들어야 할까? 어떤 팀이 첫 번째 파일럿을 운영해야 할까? AI가 검색을 개선하고, 문서를 요약하고, 제품 콘텐츠를 풍부하게 하거나, 내부 질문에 답변할 수 있을까?

그것들은 중요한 출발점이었습니다. 많은 소매업체, 식료품점, 유통업체, 소비자 대면 기업들이 이러한 초기 노력을 통해 실제 가치를 창출했습니다.

2023년 말, 저희와 함께 일한 한 대형 유통업체는 기존의 머신러닝과 대규모 언어 모델(LLM)을 결합하여 제품 카탈로그 운영을 개선할 기회를 포착했습니다. 새로운 제품이 카탈로그에 추가되면 머신러닝 모델이 항목을 분류하고 매칭하는 데 도움을 주었고, 대규모 언어 모델은 더 풍부한 제품 설명을 생성했습니다.

당시로서는 획기적인 일이었습니다.

이 이니셔티브를 성공시키기 위해서는 시스템 통합업체(SI), 집중적인 태스크포스(타이거 팀), 그리고 팀이 아키텍처, 데이터 액세스, 모델 동작, 비즈니스 워크플로의 메커니즘을 해결하는 동안 가치를 증명하기 위한 약 100일간의 스프린트가 필요했습니다. 이는 수백만 달러를 절감하고 AI가 비즈니스에 중요한 프로세스를 실질적으로 개선할 수 있음을 증명한 매우 성공적인 이니셔티브였습니다.

하지만 이는 또한 하나의 팀, 하나의 유스케이스, 하나의 아키텍처, 하나의 집중된 스프린트라는 일반적인 1차 파도의 패턴을 보여주었습니다.

오늘날 이러한 AI 기반 워크플로는 기본 요건(table stakes)이 되고 있습니다. 대화의 주제는 "AI가 이 문제를 해결할 수 있을까?"에서 "AI가 이 문제를 해결하는 데 반드시 도움을 주어야 하며, 비즈니스 속도를 늦추지 않으려면 적절한 데이터가 빠르게 필요하다"로 이동하고 있습니다. 이러한 변화는 기업이 직면한 과제를 바꾸어 놓았습니다.

리테일 AI의 다음 단계는 단순히 더 나은 모델을 갖추는 것만이 아닙니다. 모든 AI 경험에 적절한 비즈니스 컨텍스트를 제공하는 것입니다.

기업용 AI를 유용하게 만드는 것은 컨텍스트입니다

리테일 컨텍스트가 없는 모델은 일반적인 답변만 제공할 수 있습니다.

적절한 컨텍스트를 갖춘 모델은 상품 기획자(MD)가 구색 리스크를 평가하고, 매장 관리자가 하루의 우선순위를 정하며, 임원이 매출 및 마진에 대해 신뢰할 수 있는 답변을 얻도록 도울 수 있습니다. 리테일 업체의 경우, 이러한 컨텍스트는 재고 및 가격 책정부터 누가 무엇을 볼 수 있는지 결정하는 권한 및 정책에 이르기까지 모든 것을 아우릅니다.

이러한 컨텍스트가 바로 AI를 유용하게 만드는 요소입니다. 하지만 컨텍스트는 시스템에 리스크가 유입되는 경로이기도 합니다.

AI가 어떤 데이터를 보아야 할까요? 어떤 비즈니스 정의를 신뢰해야 할까요? 어떤 사용자가 어떤 질문을 할 수 있도록 허용해야 할까요? 에이전트가 어떤 도구를 호출할 수 있을까요? 어떤 모델이 작업을 처리해야 할까요? 해당 상호작용에 드는 비용은 얼마여야 할까요? 기업은 발생한 일을 어떻게 감사해야 할까요?

이것이 바로 리테일 AI에 컨텍스트를 위한 컨트롤 플레인, 즉 모든 AI 경험이 사용할 수 있는 데이터, 모델, 도구를 거버닝하는 단일 레이어가 필요한 이유입니다.

거버넌스는 속도를 가능하게 합니다

거버넌스는 때로 팀의 속도를 늦추는 요소로 여겨지기도 합니다. 하지만 리테일 업체의 경우 그 반대입니다.

거버넌스의 목적은 더 많은 팀에게 AI를 안전하게 사용할 수 있는 더 많은 자유를 주는 것입니다.

적절한 제어 장치가 마련되어 있다면, 새로운 AI 유스케이스를 도입할 때마다 일회성 보안, 조달, 아키텍처 검토 과정을 거칠 필요가 없습니다. 팀들은 모델 액세스, 권한, 로깅, 추적, 비용 제어 기능이 이미 플랫폼에 내장되어 있으므로 리테일 기업 전반의 팀들이 더 빠르게 움직일 수 있습니다.

이것이 바로 리테일 분야에서 AI 거버넌스가 중요한 이유입니다.

이는 거버넌스 자체를 위한 거버넌스가 아닙니다. 직원들이 더 자신 있게 AI를 사용하고, 고객에게 더 나은 서비스를 제공하며, 신뢰할 수 있는 데이터를 바탕으로 더 빠른 의사결정을 내릴 수 있도록 하기 위한 거버넌스입니다.

팀들은 워크플로에 내장된 AI에 점점 더 익숙해지고 있습니다. 이들이 자유롭게 탐색하고, 구축하고, 결과를 도출할 수 있도록 지원해야 합니다. 하지만 팀에 자율성을 부여한다고 해서 제어 장치를 없애는 것은 아닙니다. 적절한 데이터, 적절한 모델, 적절한 권한, 적절한 비용 제어가 이미 마련된 상태에서 거버닝된 방식으로 신속하게 움직일 수 있도록 하는 것을 의미합니다.

다음 단계는 전사적인 AI 도입입니다

리테일 기술 리더들과 협력하면서 저는 대화가 세 단계를 거쳐 발전하는 것을 보았습니다.

1. 첫째, 팀들은 생성형 AI를 어디서부터 시작해야 할지 물었습니다.
2. 그 다음에는 제품 매칭, 카탈로그 풍부화, 검색, 요약, 내부 지식 어시스턴트, 콘텐츠 생성과 같은 집중적인 유스케이스를 구축했습니다.
3. 이제 대화는 다시 이동하고 있습니다. 파편화된 거버넌스, 통제되지 않는 모델 비용 지출, 또는 기업 데이터에 대한 일관성 없는 액세스를 유발하지 않으면서 매장, 본사 팀, 디지털 채널 전반에 걸쳐 어떻게 AI를 확장할 수 있을까요?

이는 리테일이 단일 사용자, 단일 워크플로의 산업이 아니기 때문에 중요합니다.

이러한 직원 대부분은 책상에 앉아 AI 도구를 선택하고 있지 않습니다. 이들의 AI 경험은 매장 앱, 대시보드, 이미 사용 중인 워크플로에 내장되어 있으며, 각 역할마다 서로 다른 질문에 답해야 합니다. 각 부서마다 필요한 데이터가 다르고, 권한도 다르며, 필요한 모델도 다를 수 있습니다. 또한 부서마다 비용 프로필과 리스크 프로필도 다릅니다.

이것이 바로 리테일 AI를 하나의 모델로 해결할 수 없는 이유입니다.

리테일 업체는 어떤 사용자가 어떤 데이터에 액세스할 수 있는지, 어떤 모델을 사용할 수 있는지, 비용을 얼마나 지출하는지, 그리고 이러한 상호작용이 어떻게 모니터링되는지 제어하는 동시에, 비즈니스 전반에 걸쳐 수많은 AI 경험을 제공할 수 있는 거버닝된 방법이 필요합니다.

어려운 점은 통제력을 잃지 않으면서 확장하는 것입니다

AI가 기업 전반으로 확산됨에 따라, 리테일 업체는 파편화된 운영 모델을 만들게 될 위험이 있습니다.

한 팀은 Claude를 직접 사용하고, 다른 팀은 RAG 앱을 구축합니다. 또 다른 팀은 Copilot을 사용합니다. 개발자들은 Cursor를 활용하고, 비즈니스 사용자는 Claude Cowork를 실험합니다. 데이터 팀은 자체적인 에이전트 기반 워크플로를 구축합니다.

각 도구는 자체적인 모델 액세스, 데이터 액세스, 로그, 권한, 비용 및 거버넌스 프로세스를 가질 수 있습니다.

이는 실험 단계에서는 작동할 수 있지만, 기업용 AI의 운영 모델로서는 작동하지 않습니다.

컨트롤 플레인이 없다면 리테일 업체는 다음과 같은 상황에 빠르게 직면할 수 있습니다.

• 개별적인 모델 제공업체 계약
• 개별적인 AI 도구 및 에이전트 프레임워크
• 개별적인 프롬프트 및 응답 로그
• 개별적인 비용 센터
• 개별적인 권한 모델
• 비즈니스 로직이 존재하는 개별적인 위치
• 동일한 비즈니스 질문에 대한 서로 다른 답변

리테일 업체들은 데이터와 분석의 파편화를 줄이기 위해 수년 동안 노력해 왔습니다. AI가 새로운 형태로 동일한 문제를 다시 야기해서는 안 됩니다.

리테일 업체에는 폐쇄적인 AI의 막다른 골목이 아니라 개방형 AI 하네스가 필요합니다

AI 도입이 확장됨에 따라 또 다른 질문이 제기되고 있습니다. AI 하네스는 어디에 위치해야 할까요?

일부 하네스는 폐쇄적입니다. 사용자는 패키지화된 AI 경험, 기본 모델을 제공받으며 데이터, 도구, 프롬프트, 비용 및 모델 선택이 거버닝되는 방식에 대해 제한적인 제어 권한만 갖게 됩니다. 이는 개인의 생산성에는 유용할 수 있지만, 기업이 사용되는 모델, 데이터 액세스 방식, 비용 관리 방식, AI 상호작용 감사 방식을 제어하고자 할 때는 한계가 있습니다.

다른 하네스는 더 개방적입니다. 기업이 작업에 적합한 모델을 선택하고, 거버닝된 데이터 및 도구에 연결하며, 중앙 게이트웨이를 통해 모델 호출을 라우팅하고, 모델 환경이 변화함에 따라 유연성을 유지할 수 있도록 지원합니다.

이러한 차이는 중요합니다.

최근 한 만찬 대화에서 한 할인점의 CIO는 CIO 피어 그룹들이 저비용 오픈소스 모델을 활용하기 위해 GPU를 조달해야 하는지에 대해 활발히 논의하고 있다고 공유했습니다. 동시에 팀들은 이미 다양한 AI 영역을 실험하고 있습니다. 개발자들은 Cursor 및 코딩 어시스턴트를 사용하고, 비즈니스 팀은 Claude Cowork를 탐색하며, 기업 팀은 Copilot 스타일의 경험을 평가하고, 데이터 팀은 맞춤형 에이전트 및 애플리케이션을 구축하고 있습니다.

이것이 대부분의 소매업체가 직면한 현실입니다. AI 도입은 하나의 모델, 하나의 어시스턴트 또는 하나의 공급업체를 중심으로 깔끔하게 표준화되지 않을 것입니다.

그리고 CIO들에게 어떤 모델이 승리할 것이라고 생각하는지 물으면, 대답은 거의 항상 "모르겠습니다"라는 식입니다. 이는 합리적인 답변입니다. 모델 환경이 너무 빠르게 변화하고 있기 때문에, 어떤 CIO도 오늘날 선호하는 툴에 포함된 기본 모델에 기업의 AI 전략을 걸 수는 없습니다.

소매업체에는 모델 혼란 없는 모델 유연성이 필요합니다.

소매업체는 품질과 추론이 중요한 프론티어 모델을 지원해야 합니다. 또한 비용, 제어 또는 전문화가 중요한 오픈소스 모델에 액세스할 수 있어야 합니다. 코딩 어시스턴트, 비즈니스 에이전트, 직원용 앱 및 맞춤형 애플리케이션을 지원해야 합니다. 하지만 동시에 액세스를 제어하고, 사용량을 모니터링하고, 지출을 통제하고, 상호작용을 기록하며, AI가 신뢰할 수 있는 기업 컨텍스트에 기반하도록 보장하는 공통된 방법도 필요합니다.

이것이 바로 AI 컨트롤 플레인의 역할입니다.

선택권을 유지하면서 모델 벤치마킹하기

모델 환경이 너무 빠르게 변화하고 있기 때문에 소매업체가 단일 모델 제공업체나 단일 기본 어시스턴트를 중심으로 장기적인 아키텍처 결정을 내리기는 어렵습니다.

Databricks 연구에 따르면, 얼마 전까지만 해도 프리미엄 프론티어 모델이 필요했던 점점 더 복잡한 작업들을 오픈소스 모델이 처리하고 있는 것으로 나타났습니다. 이는 마진이 박하고 대규모 AI 사용으로 인해 비용이 빠르게 증가할 수 있는 소매업체, 특히 식료품점과 할인 소매업체에 매우 중요한 부분입니다.

하지만 오픈소스 모델이 항상 충분히 좋다고 가정하는 것이 답은 아닙니다. 답은 벤치마킹하는 것입니다.

제품 콘텐츠 워크플로는 저비용 또는 오픈소스 모델에서도 잘 작동할 수 있습니다. 복잡한 머천다이징 분석에는 더 강력한 추론 모델이 필요할 수 있습니다. 매장 직원용 어시스턴트는 낮은 지연 시간, 엄격한 권한 및 예측 가능한 비용이 필요할 수 있습니다. 코딩 어시스턴트나 다단계 계획 에이전트는 프론티어 모델의 이점을 누릴 수 있습니다. 적합한 모델은 작업, 데이터, 정확도 요구사항, 지연 시간 요구사항 및 비용 프로필에 따라 달라집니다.

이것이 바로 소매업체에 모델 혼란 없는 모델 유연성이 필요한 이유입니다. "어떤 모델이 승리할 것인가?"라는 질문은 적절하지 않습니다. 더 좋은 질문은 "이 컨텍스트, 이 비용, 이 거버넌스 요구사항에서 이 작업에 가장 적합한 모델은 무엇인가?"입니다.

폐쇄형 AI 환경은 종종 이러한 선택을 숨기거나 제한합니다. 개방형 컨트롤 플레인을 사용하면 소매업체는 시장 변화에 따라 모델을 벤치마킹하고, 전환하고, 최적화할 수 있습니다.

소매 AI 컨텍스트를 위한 컨트롤 플레인

이것이 실제로 구현된 컨트롤 플레인의 모습입니다. 이를 제공하기 위해 Unity Catalog, Unity AI Gateway, Foundation Model APIs, Genie 등 네 가지 Databricks 기능이 함께 작동합니다.

• Unity Catalog은 데이터, 권한, 계보(lineage), 모델 및 신뢰할 수 있는 정의 등 비즈니스 컨텍스트를 제어합니다.
• Unity AI Gateway는 라우팅, 사용량 시각화, 로깅, 예산 및 속도 제한 등 모델 액세스를 제어합니다.
• Foundation Model APIs는 상용, 오픈소스 및 맞춤형 모델에 대한 중앙 집중식 액세스를 제공합니다.
• Genie를 사용하면 비즈니스 사용자가 제어되는 데이터를 대상으로 자연어 질문을 할 수 있으므로, 답변이 신뢰할 수 있는 컨텍스트에 기반을 둘 수 있습니다.

이러한 기능들이 결합되어 소매업체가 고립된 AI 성과에서 벗어나 전사적인 AI 도입으로 나아갈 수 있도록 지원합니다.

핵심은 모든 사용자가 하나의 AI 애플리케이션을 사용하도록 강제하는 것이 아닙니다. 직원이 어떤 애플리케이션, 에이전트 또는 인터페이스를 사용하든 상관없이 유지되는 단일 거버넌스 및 모델 액세스 전략을 기업에 제공하는 것입니다.

목표는 팀이 선호하는 AI 툴을 사용하지 못하게 막는 것이 아닙니다. 목표는 팀이 더 빠르게 움직일 수 있도록 지원하는 동시에, 기업이 모델, 데이터, 컨텍스트, 비용 및 리스크를 제어할 수 있도록 하는 것입니다.

소매 부서 전반에서 이것이 어떻게 적용되는지

최근 한 할인 소매업체의 CIO가 시사하는 바가 큰 사례를 공유했습니다. 해당 업체의 CEO는 AI가 더 광범위한 회사 데이터에 기반하여 경영진의 의사 결정에 진정으로 유용하게 활용되기를 원했습니다.

이 요청은 기업의 AI 과제를 완벽하게 보여줍니다. CEO는 더 똑똑한 모델을 요구한 것이 아니었습니다. 비즈니스를 믿고 맡길 수 있는 모델을 요구한 것이었습니다. 이러한 직관은 맞습니다. AI는 비즈니스를 이해할 때 더 가치 있어집니다. CEO는 일반적인 수치가 아닌 자사의 실제 수치에 기반한 답변을 원합니다.

해답은 단순히 모든 AI 툴에 모든 원시 데이터 세트에 대한 무제한 액세스 권한을 부여하는 것이 아닙니다. 해답은 각 사용자에게 적절한 권한, 계보, 정의 및 감사 가능성을 갖추고 적절한 데이터에 기반한 올바른 AI 경험을 제공하는 것입니다.

또 다른 단절된 AI 레이어 방지하기

많은 소매업체가 이미 데이터 거버넌스, 레이크하우스 현대화 및 신뢰할 수 있는 분석에 막대한 투자를 하고 있습니다. AI 도입이 가속화됨에 따라, 제어되는 데이터 자산 외부에서 실행되는 별도의 AI 레이어가 생성될 위험이 있습니다. 

이는 심각한 문제를 야기할 수 있습니다.

• 비즈니스 로직이 데이터 플랫폼 외부에서 중복될 수 있습니다. 
• 여러 시스템에서 권한을 다시 생성해야 할 수 있습니다. 
• AI 에이전트가 일관된 계보 없이 데이터에 액세스할 수 있습니다. 
• 모델 사용이 여러 제공업체와 계약에 걸쳐 분산될 수 있습니다. 
• 비용 가시성이 팀이나 애플리케이션별로 파편화될 수 있습니다. 
• 프롬프트 및 답변 로그가 거버넌스 워크플로와 단절될 수 있습니다.

소매업체는 데이터와 분석 분야에서 제거하기 위해 수년 동안 노력해 온 것과 동일한 파편화를 다시 만들지 않아야 합니다.

에이전트 중심 소매의 미래를 위해서는 비즈니스 로직, 권한 및 신뢰할 수 있는 컨텍스트를 다른 단절된 레이어로 이동하는 것이 아니라, AI가 제어되는 데이터로 직접 찾아와야 합니다.

이미 Unity Catalog에 투자하고 있는 소매업체의 다음 단계는 그 위에 구축된 AI 시스템을 제어하는 것입니다. 그렇게 하면 모든 새로운 AI 사용 사례가 처음부터 다시 시작할 필요 없이 이미 마련된 동일한 권한, 감사 추적 및 비용 통제를 그대로 상속받게 됩니다.

비즈니스 결과: 더 많은 통제력을 통한 더 많은 자유

제어되는 AI 컨트롤 플레인을 통해 소매업체는 기업의 통제력을 유지하면서 팀이 자유롭게 더 빠르게 움직이도록 지원할 수 있습니다. 매장 현장에서 재무 팀에 이르기까지 모든 부서가 일회성 보안 또는 조달 검토를 기다릴 필요 없이 실제 업무 방식에 맞게 구축된 AI를 활용할 수 있습니다.

동시에 IT 리더는 누가 어떤 모델을 사용하고 있는지, 어떤 데이터에 액세스하고 있는지, 각 워크플로의 비용은 얼마인지, AI 상호작용이 어떻게 제어되는지에 대한 가시성을 유지할 수 있습니다.

이것이 바로 소매업체에 필요한 균형입니다. 하나의 챗봇이 아닙니다. 하나의 모델이 아닙니다. 또 다른 단절된 AI 플랫폼이 아닙니다.

컨텍스트를 위한 컨트롤 플레인입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)