데이터 기반 현대화가 모든 AI 전략에서 중요한 첫 단계인 이유
작성자: 앨리 맥그루
AI 현대화에 대해 흔히 하는 이야기가 있습니다. 바로 플랫폼을 먼저 구축한 다음 유스케이스를 고민하라는 것입니다. 하지만 안쿠르 자인(Ankur Jain)은 이것이 완전히 거꾸로 된 방식이며, 대부분의 기업들이 직접 고생하며 이 사실을 깨닫고 있다고 말합니다.
안쿠르는 글로벌 브랜드가 채널 전반에서 고객 식별 정보를 통합하고, 10,000개 이상의 속성으로 고객 프로필을 풍부하게 하며, 고객 유치, 유지 및 개인화 전반에서 성과를 달성하도록 지원하는 커넥티드 데이터 및 기술 기반 기업인 액시엄(Acxiom)의 클라우드 및 데이터 현대화 부문 최고 책임자입니다.
안쿠르는 제품 엔지니어링과 고객 대상 솔루션 엔지니어링을 모두 이끌고 있습니다. 즉, 액시엄이 무엇을 구축하는지뿐만 아니라 이러한 기능이 고객이 실제로 운영하는 환경에 어떻게 내장되는지까지 책임지고 있습니다.
입사한 지 2년도 채 되지 않아 안쿠르는 액시엄의 핵심 인프라, 데이터 파이프라인, 레거시 아키텍처 및 기본 기술 스택의 현대화를 이끌었습니다. 오늘날 액시엄은 전체 마케팅 가치 사슬을 자동화하는 에이전틱 워크플로우를 적극적으로 구축하고 있습니다.
Aly McGue: 많은 기업이 에이전틱 AI로 전환하기를 원하지만, 여전히 레거시 인프라에서 핵심 워크로드를 실행하고 있습니다. 이를 위해 설계되지 않은 기반 위에 인공지능을 구축하려고 할 때의 위험은 무엇인가요?
Ankur Jain: 위험은 거의 즉시 한계에 부딪힌다는 점입니다. 제가 액시엄에 합류했을 때 제품과 고객 솔루션은 대부분 온프레미스에서 호스팅되고 있었습니다. 제품과 솔루션이 데이터 센터에 국한되면 확장성이 제한됩니다. 성능은 고객이 요구하는 실시간 유스케이스에 미치지 못했습니다. 게다가 레거시 기술이 너무 많아서 스택을 새로 고치고 클라우드 네이티브 아키텍처가 어떤 모습일지 재구상해야 했습니다.
또한 수동 파이프라인이 많았고, 데이터 중복이 심했으며, 여러 곳에 동일한 데이터 복사본이 존재했습니다. 프로세스 자체도 그리 효율 적이지 않았습니다. 파편화되거나 레거시 기반 위에서 에이전틱 기능을 구축하려는 조직은 제품을 만드는 것보다 인프라를 관리하는 데 더 많은 시간을 소비하게 될 것입니다.
저희의 전략적 비전은 데이터 현대화와 에이전틱 마케팅이라는 두 가지 지향점으로 요약됩니다. 이 두 가지는 병렬이 아니라 순차적입니다. 레거시 기반 위에서는 에이전틱 마케팅 생태계를 구축할 수 없습니다.
Aly: 온프레미스 Hadoop에서 Databricks로 이전하셨습니다. 이러한 전환을 통해 이전에는 불가능했던 어떤 일이 가능해졌나요?
Ankur: 성능 측면에서 다양한 유형의 워크로드와 파이프라인 전반에 걸쳐 전반적인 개선을 확인했으며, 실행 시간이 거의 80~90% 빨라졌습니다. 예전에는 50시간 이상, 때로는 90시간 이상 걸리던 워크로드(며칠, 심지어 일주일까지 걸리던 작업)가 이제는 2~3시간 만에 완료됩니다. 동일한 워크로드가 단 2~3시간 만에 끝나는 것이죠.
또한 인력의 여유도 생겼습니다. 어떤 경우에는 인프라 관리 대신 가치 창출 성과에 더 집중할 수 있도록 여러 정규직 역할을 확보할 수 있었습니다. 가장 큰 성과는 엔지니어링 팀이 기본 인프라에 대해 걱정하는 대신 비즈니스 성과에 더 집중할 수 있게 되었다는 점입니다. 사소한 성과처럼 들릴지 모르지만, 엔지니어들이 단순히 시스템을 유지하는 데 시간을 쓰는 대신 제품을 구축하고 고객 솔루션을 제공하는 데 시간을 쓰게 되면 시도할 수 있는 일의 차원이 달라집니다.
Aly: 오늘날 에이전틱 AI가 실제 마케팅 워크플로우를 어떻게 재편하고 있으며, 그 비전은 어디까지 확장되나요?
Ankur: 액시엄의 핵심 비즈니스는 매우 데이터 중심적입니다. 저희는 CRM, 이커머스, Adobe Analytics, Google Analytics 등 여러 플랫폼에서 마케팅 데이터를 가져와 브랜드가 통합된 고객 뷰를 구축하고, 이를 풍부하게 하며, 성과를 낼 수 있도록 지원합니다. 기존에는 데이터 엔지니어와 데이터 아키텍트 팀이 모든 것을 모델링하고 파이프라인을 수동으로 구축해야 했습니다. ETL은 항상 가장 많은 시간이 소요되는 작업이었으며, 완료하는 데 몇 달이 걸리기도 했습니다.
AI를 통해 이 전체 주기가 단축됩니다. 프롬프트를 통한 코드 생성, 결과물의 자동화된 테스트, 가속화된 CI/CD 파이프라인 등이 가능해집니다. 마케팅 측면에서는 광고의 다양한 버전을 제작하는 데 대행사에서 몇 달씩 걸리곤 했습니다. 이제는 머신러닝을 통해 대규모로 광고를 분석하고, 그 결과를 AI 엔진에 입력하여 몇 분 만에 고도로 맞춤화된 버전을 생성할 수 있습니다.
가장 큰 변화를 체감하는 부분은 실행 단계입니다. 오디언스 기획을 예로 들면, 마케터가 캠페인 목표와 타겟 프로필을 설명하는 프롬프트를 입력하면 에이전트가 액시엄 데이터를 사용하여 샘플 페르소나와 함께 오디언스 세그먼트를 구축하고, 다양한 인구통계학적 및 행동적 차원을 제시하여 마케터가 이를 바탕으로 세부 조정할 수 있도록 합니다. 다양한 기술을 가진 여러 사람의 노력과 많은 리드 타임이 필요했던 작업이 이제는 에이전틱 방식으로 몇 분 만에 완료됩니다. 미디어 바잉에서도 동일한 패턴을 확인했습니다. 에이전트가 가용 인벤토리를 조회 및 평가하고, 구매 결정을 내린 다음, 여러 채널에서 오디언스를 활성화합니다.
목표는 오디언스 설계부터 미디어 바잉, 활성화, 성과 분석에 이르는 전체 파이프라인을 에이전틱 프레임워크로 연결하는 것입니다. Databricks가 Genie 및 에이전틱 생태계를 통해 구축하고 있는 전체 AI for BI 기능은 저희와 같은 마케팅 워크로드가 나아가고 있는 방향과 정확히 일치합니다. 이 모든 것을 엔드투엔드로 작동시킬 수 있습니다.
Aly: 액시엄은 규제가 엄격한 산업 분야에서 비즈니스를 운영하고 있으며, 에이전트를 배포하려면 높은 수준의 신뢰가 필요합니다. 이러한 점이 에이전틱 워크플로우에 거버넌스를 설계하는 방식에 어떤 영향을 미치나요?
Ankur: 저희가 처리하는 데이터에는 PII가 포함되어 있으므로, 저희가 구축하는 모든 에이전틱 워크플로우는 개인정보 보호를 아키텍처 원칙으로 삼고 시작합니다.
실제로는 AI가 생성한 콘텐츠가 라이브 캠페인에 직접 반영되지 않는다는 것을 의미합니다. 콘텐츠가 고객에게 도달하기 전에 법무 팀에서 크리에이티브와 메시지를 검토하는 승인 워크플로우를 거칩니다. 에이전트는 파이프라인에 내장된 보안 및 개인정보 보호 제어 기능을 통해 정의된 경계 내에서 작동하며, 규제나 브랜드 리스크가 있는 모든 의사 결정 시점에는 사람이 개입하게 됩니다. 목표는 속도를 늦추는 것이 아닙니다. 고객, 브랜드, 그리고 액시엄 모두에게 속도가 신뢰를 저해하지 않도록 보장하는 것입니다.
Aly: 액시엄의 제품이 AI 네이티브가 된다는 것은 어떤 의미이며, 고객이 실제로 경험하는 것은 어떻게 달라지나요?
Ankur: AI 네이티브란 퍼스트 파티 데이터 수집, 고객 식별 정보 통합, 액시엄의 데이터 자산을 활용한 프로필 보강, 오디언스 세그먼트 구축, 미디어 바잉 계획, 채널 간 캠페인 활성화, 성과 분석 결과를 다음 주기에 다시 반영하는 등 전체 마케팅 가치 사슬에 인공지능이 내장됨을 의미합니다. 이제 이러한 각 단계를 수동으로 조율하는 대신 AI 기반으로 실행할 수 있습니다.
고객에게 가장 큰 변화는 투명성입니다. 기존에는 저희가 제공하는 많은 서비스가 블랙박스 형태로 작동했습니다. 브랜드가 데이터를 보내면 결과가 돌아왔고, 그 사이의 논리는 불투명했습니다. 이제는 고객이 이미 사용 중인 플랫폼 내에서 의사 결정이 어떻게 내려지는지 완전히 시각화하여 협업 방식으로 동일한 기능을 제공할 수 있습니다. 이것이 바로 고객이 요구하는 사항입니다. 고객이 있는 곳에서 만나고, 고객의 환경에서 작동하며, 프로세스를 투명하게 만드는 것입니다.
그리고 이는 조직 내부뿐만 아니라 고객으로부터 직접 전달되는 강력한 원동력이기도 합니다. 고객들은 저희에게 어떻게 하면 더 비용 효율적으로 만들 수 있는지, 어떻게 성능을 더 높일 수 있는지, 어떻게 더 빠르게 만들 수 있는지 묻고 있습니다. 이러한 질문에 정직하게 답하려면 AI를 도입해야만 합니다.
Aly: 데이터 자산은 액시엄이 판매하는 핵심 요소입니다. 고객에게 데이터를 제공하는 방식이 어떻게 발전하고 있으며, 이를 통해 어떤 가능성이 열리나요?
Ankur: 액시엄은 고객이 고객 데이터를 최대한 활용할 수 있도 록 돕습니다. 데이터를 활용하고 수익화할 수 있도록 지원합니다. 저희는 브랜드가 다른 방법으로는 확보하기 어려운 자동차, 리테일, 헬스케어, 제약 분야의 데이터 자산을 제공합니다. 과거에는 전통적인 방식인 SFTP를 통해 데이터를 전달했습니다. 브랜드가 데이터 보강을 요청하면 계약을 체결하고 파일을 전송하는 방식이었습니다. 그것이 과거의 방식이었습니다.
이제 저희는 자체 플랫폼이나 고객의 환경에 직접 에이전틱 방식으로 데이터를 내장하고 있습니다. 저희는 데이터 자산을 기본적으로 사용할 수 있는 주요 마텍(martech) 플랫폼과 파트너십을 맺고 있습니다. 고객이 자체 AI 플랫폼을 구축하는 경우, 에이전틱 방식으로 통합하여 저희 자산을 호출하고 직접 제공할 수 있도록 지원합니다. 또한 Databricks와의 파트너십을 통해 클린룸 솔루션을 개발하고 있으며, 이를 통해 고객은 자체 생태계 내에서 개인정보를 안전하게 보호하는 방식으로 액시엄 데이터와 통합할 수 있습니다.
저희와 협력하는 브랜드들은 퍼스트 파티 데이터가 가장 가치 있는 자산이라는 점을 잘 알고 있습니다. 이 데이터를 취급하고 처리할 때 데이터 프라이버시는 매우 중요한 역할을 합니다. 브랜드들은 더 큰 통제권을 행사하기를 원하며 마케팅 역량을 끊임없이 내재화하고 있습니다. 대행사가 브랜드의 플랫폼과 거버넌스 프레임워크 내에서 작업해야 한다는 기대치로 변화하고 있습니다. 이러한 환경에 네이티브하게 작동하여 성과를 낼 수 있는 대행사만이 필수적인 존재가 될 것입니다.
Aly: 이제 막 AI 도입을 확장하기 시작한 C-suite 동료에게 조언을 하신다면, 가장 강조하고 싶은 한 가지는 무엇인가요?
Ankur: 기반을 탄탄히 다지는 것입니다. AI에 대한 수많은 열풍이 불었었고, 이는 이제 단순한 열풍이 아니라 현실이 되었습니다. 하지만 전체 AI 이니셔티브의 성패를 가르는 것은 그 기반이 되는 토대입니다. 저희의 경우, 온프레미스에서 클라우드로의 전환은 단순한 포부가 아니었습니다. 미래를 염두에 두었을 때, AI 여정에서 진정한 플레이어가 되기 위한 필수 과제였습니다. 탄탄한 데이터 기반, 클라우드 네이티브 아키텍처, 데이터 거버넌스 및 보안이 바로 핵심 요소입니다. 이 단계를 건너뛰는 조직은 결국 이것이 선택 사항이 아니었음을 깨닫게 될 것입니다.
Acxiom의 사례는 어디에 에너지를 집중해야 할지 고민하는 경영진에게 유용한 프레임워크를 제공합니다. 기반을 현대화하는 것과 에이전틱 AI(agentic AI)를 추구하는 것은 예산과 관심을 두고 경쟁하는 별개의 두 프로그램이 아닙니다. 이는 순차적으로 진행되는 동일한 베팅입니다. 데이터 레이어를 올바르게 구축하고, 집중적인 파일럿을 통해 가치를 증명한 다음, 고객이 실제로 필요로 하는 곳에 차별화된 역량을 내장하십시오.
Ankur가 설명하는 변화, 즉 파일 전송을 통해 데이터를 전달하던 방식에서 고객 환경 내에 지능을 네이티브하게 내장하는 방식으로의 전환은 단순한 아키텍처 업그레이드가 아닙니다. 이는 Acxiom이 어떤 회사인지를 근본적으로 바꿉니다. 이러한 재포지셔닝은 온프레미스 스택에 AI를 단순히 덧붙이는 것만으로는 불가능합니다. 기반이 먼저 마련되어야 합니다.
Databricks와의 파트너십을 통해 제작된 Economist Enterprise의 "Making AI Deliver" 보고서를 확인하고, 25명 이상의 업계 전문가와 1,200명 이상의 경영진급 설문 응답자가 성공적인 AI 배포를 위해 어떻게 길을 개척하고 있는지 알아보세요.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.