AI 에이전트의 실시간 의사 결정: 먼저 고객 컨텍스트 레이어가 필요한 이유

Scott Brinker의 Databricks와 함께하는 새로운 보고서는 제가 수년간 형성되는 것을 지켜봐 온 것을 명확히 합니다. 즉, 친숙한 상자 배열인 마테크 "스택"이 해체되기 시작하고 있다는 것입니다. 그 자리에 등장하는 것은 Scott이 구성 가능한 캔버스라고 부르는 것입니다. 즉, AI 에이전트와 사용자 정의 소프트웨어가 통합 파이프라인을 통해 싸우는 대신 공유 데이터에서 작동하는 유동적이고 데이터 중심적인 아키텍처입니다.

보고서를 읽으면서 여러 번 고개를 끄덕였습니다. 이것이 쉬운 주장이 아니기 때문입니다(실제로 기업이 마케팅 기술에 대해 생각하는 방식을 상당히 급진적으로 재구성한 것입니다). 하지만 이것은 저희 Snowplow가 오랫동안 전념해 왔으며 종종 이를 위한 공유 어휘가 있기 전에 전념해 왔던 아키텍처 방향을 설명합니다.

몇 가지 반응을 공유하고 싶습니다. 보고서가 강력하게 공감하는 부분, Snowplow가 설명하는 아키텍처에 어떻게 적합하다고 생각하는지, 그리고 AI 에이전트가 고객 상호 작용에서 더 큰 역할을 맡게 됨에 따라 더 중요해진다고 생각하는 모델에 추가할 한 가지 차원입니다.

데이터 플랫폼은 이제 실시간 의사 결정의 중심입니다

보고서의 핵심 구조적 주장은 데이터 플랫폼(Databricks, Snowflake, BigQuery 등)이 전체 마테크 스택의 중력 중심이 되었다는 것입니다. 애플리케이션, 에이전트 및 분석은 더 이상 데이터 위에 있지 않습니다. 그것은 데이터 내에서 작동합니다. 데이터 플랫폼은 더 이상 스택 하단의 저장소가 아닙니다. 그것이 스택입니다.

이것은 Snowplow에서 오랫동안 가지고 있던 관점이며, 제품을 어떻게 구축할지에 대한 초기 결정에 많은 영향을 미쳤습니다. 2012년에 Snowplow를 처음 만들었을 때, 지배적인 모델은 공급업체 시스템 내에 고객 데이터를 축적하고 액세스를 관리하는 것이었습니다. 우리는 반대 입장을 취했습니다. 귀하의 데이터는 귀하의 인프라에 속하며, 귀하의 규칙에 따라 관리되고, 귀하가 선택한 도구로 쿼리할 수 있습니다. 당시에는 원칙적인 아키텍처 입장이었고, 약간 반대되는 입장이었을 수도 있습니다. 이 보고서에서 명확히 알 수 있듯이, 이제 규모에 맞는 유일한 아키텍처입니다.

고객 컨텍스트 레이어란 무엇인가요? 그리고 실시간 의사 결정이 이에 의존하는 이유는 무엇인가요?

보고서는 통합 기반으로 수렴되는 다섯 가지 데이터 클래스를 설명합니다. 고객 데이터, 회사 데이터, 콘텐츠 데이터, 코드 데이터 및 제어 데이터입니다. 고객 데이터: "개인 및 계정 프로필, 거래 내역, 행동 신호(웹 방문, 제품 사용)"가 모든 것의 중심에 있습니다.

이것이 Snowplow가 작동하는 곳입니다. 하지만 보고서보다 프레임을 약간 더 밀어붙일 것입니다.

고객 레코드와 고객 컨텍스트 사이에는 의미 있는 차이가 있습니다. CRM 및 CDP는 오랫동안 전자를 잘 관리해 왔습니다. 고객이 누구인지, 어떤 거래를 하고 있는지, 어떤 세그먼트에 속해 있는지 등입니다. 일관되게 제공하기 어려웠던 것은 후자, 즉 현재 무엇을 하고 있는지, 그리고 그 행동이 의도에 대해 무엇을 알려주는가입니다?

행동 이벤트 스트림, 즉 고객이 제품, 웹사이트, 앱과 상호 작용하는 방식에 대한 연속적이고 세분화된 기록은 의사 결정을 내리려는 모든 AI 에이전트에게 사용 가능한 가장 풍부한 실시간 신호입니다. 그리고 이를 제대로 얻는 것은 악명 높게 어렵습니다. 이벤트는 수집 시점에 구조화되고, 스키마에 대해 검증되며, 데이터 기반에 도달하기 전에 강화되어야 합니다. 통합 플랫폼으로 들어가는 행동 데이터가 노이즈가 많거나, 일관성이 없거나, 잘못 모델링된 경우, 이를 기반으로 작동하는 AI 에이전트는 이러한 오류를 규모에 맞게 증폭할 것입니다.

Snowplow는 고객 컨텍스트 레이어입니다. 고객이 무언가를 하는 순간(클릭, 제품 이벤트, 검색, 스크롤)과 이를 기반으로 작동해야 하는 데이터 플랫폼 사이에 위치합니다. 우리의 임무는 행동 데이터가 생성되는 순간부터 구조화되고, 잘 관리되며, 의미론적으로 일관되도록 보장하는 것입니다.

그리고 신원 없는 컨텍스트는 노이즈입니다. 풍부한 행동 스트림은 터치포인트, 장치 및 세션에 걸쳐, 익명 및 인증 상태 간의 전환을 포함하여 알려지고 해결된 개인에게 이를 연결하는 능력만큼만 유용합니다. Snowplow의 ID는 데이터가 플랫폼에 도달하기 전에 수집 계층에서 이 작업을 수행합니다. 결과는 단순히 이벤트 스트림이 아닙니다. 데이터 플랫폼, 분석가 및 AI 에이전트가 모두 자신 있게 작동할 수 있는 각 고객 여정의 해결되고 연속적인 그림입니다.

구성 가능성은 항상 아키텍처였지 기능이 아니었습니다

보고서의 구성 가능성 주장은 가장 강력한 주장 중 하나입니다. 진정한 구성 가능한 캔버스를 위한 전제 조건으로 개방형 데이터 형식(Linux Foundation Delta Lake, Apache Iceberg), 개방형 프로토콜(에이전트용 MCP) 및 개방형 표준을 옹호합니다. 원칙: 위에 실행되는 모든 것을 다양화할 수 있도록 기반을 표준화합니다.

우리는 이것을 깊이 믿으며 처음부터 Snowplow를 기반으로 구축했습니다. 우리는 개방형 코어 표준을 믿습니다. 당사의 데이터 구조는 Apache Iceberg 및 Linux Foundation Delta Lake에서 기본적으로 실행됩니다. 당사는 귀하의 클라우드 계정(Scott의 글에서 하이퍼스케일러라고 언급됨: AWS, GCP 또는 Azure) 내에서 실행되므로 귀하의 행동 데이터는 귀하의 환경을 벗어나지 않습니다. 종속성이나 마이그레이션 위험이 되는 독점적인 Snowplow 데이터 저장소는 없습니다. 스택의 일부를 교체하거나 확장하려고 할 때 행동 데이터는 이미 필요한 곳에 있습니다. 즉, 플랫폼에 개방형 형식으로 구성할 준비가 되어 있습니다.

보고서는 구성 가능한 CDP가 데이터를 CDP로 가져오는 대신 데이터에 CDP 기능을 가져옴으로써 전통적인 모델을 "뒤집는다"고 언급합니다. Snowplow는 이 범주에 이름이 붙기 전에 이 작업을 수행했습니다. 왜냐하면 우리에게 구성 가능성은 추가한 기능이 아니라 제품이 구축된 창립 원칙이었기 때문입니다.

의미론적 계층은 플랫폼 이전에 시작됩니다

보고서가 개발하는 가장 중요한 아이디어 중 하나는 의미론적 계층의 역할, 특히 "일관성의 수호자"라고 부르는 것입니다. 이것은 모든 에이전트와 애플리케이션이 사용하는 데이터를 의미 있고 일관성 있게 만드는 공유 어휘입니다. "고객"이 팀 전체에서 무엇을 의미하는지. "전환"이 어떻게 계산되는지. "자격을 갖춘 리드"를 구성하는 것은 무엇인지.

우리의 관점에서 볼 때, 한 가지 실용적인 관찰을 추가하고 싶습니다. 이러한 질문의 대부분은 데이터가 플랫폼에 도달한 후가 아니라 이전에 답해야 합니다. 특히 행동 데이터는 잘못 수집하기가 매우 쉽습니다. 이벤트는 일관되지 않은 이름, 누락된 속성, 정의되지 않은 스키마로 도착합니다. 데이터가 플랫폼에 도달할 때쯤이면 이미 일관성이 없습니다. 잘못된 데이터 위에 의미론적 계층을 구축할 수는 있지만, 구조적 문제를 해결하는 것이 아니라 덮어쓰는 것입니다.

Snowplow의 스키마 레지스트리와 이벤트 스튜디오를 통한 이벤트 유효성 검사는 수집 시점에 의미론적 일관성을 강제합니다. 데이터 플랫폼에 도달하기 전에 정의된 구조를 준수하지 않는 이벤트를 거부하거나 플래그를 지정합니다. 보고서에서 설명하는 구성 가능한 캔버스에서는 수십 개의 에이전트와 애플리케이션이 동일한 행동 데이터를 사용하므로 해당 데이터의 품질이 그 위에 구축된 모든 것을 신뢰할 수 있는지 여부를 결정합니다.

에이전트 피드백 루프: 실시간 의사 결정이 실제로 완료되는 방법

보고서는 훨씬 더 강조할 가치가 있는 점을 지적합니다. AI 에이전트는 "컨텍스트에 굶주려" 있습니다. 고객 레코드만 필요한 것이 아니라, 의도, 긴급성 및 기회를 나타내는 행동 신호인 현재 상황을 이해해야 합니다.

Scott이 제시한 모델에 무언가를 추가하고 싶습니다. 보고서는 데이터가 에이전트를 향해 흐르는 것, 즉 에이전트가 의사 결정을 내리기 위해 사용하는 기반으로 프레임을 잡습니다. 완전히 개발되지 않은 것은 에이전트가 행동한 후에 발생하는 루프이며, 왜 이 루프를 닫는 것이 마테크에서 가장 전략적으로 중요한 데이터 문제가 되고 있는지입니다. 이것은 Snowplow에서 우리가 많이 생각하는 것이며, 구성 가능한 캔버스가 실제로 실제로 작동하는 방식의 핵심입니다.

루프는 네 단계로 구성됩니다:

1. 수집 단계는 인간 및 AI 기반 상호 작용의 행동 이벤트를 데이터 플랫폼으로 지속적으로 흐르는 구조화되고 스키마가 검증된 데이터로 캡처합니다. 하지만 "행동 데이터"의 정의는 대부분의 아키텍처에서 아직 잘 포착하지 못하는 두 번째 유형의 활동을 포함하도록 확장되어야 합니다. 이 두 번째 유형에는 두 가지 뚜렷한 측면이 있습니다. 첫 번째는 AI 에이전트 분석입니다. 고객이 대화형 에이전트와 상호 작용하거나, 개인화된 추천을 받거나, 자동화된 의사 결정 시스템에 의해 여정이 형성되는 경우, 이러한 에이전트 주도 상호 작용 자체는 인간 행동만큼 엄격하게 수집해야 하는 이벤트입니다. 두 번째는 에이전트 분석입니다. 사용자를 대신하여 조사를 수행하는 AI입니다. AI가 고객의 대리인으로서 귀하의 제품 페이지를 탐색하거나, 문서를 읽거나, 옵션을 비교할 때 해당 트래픽은 의도이지만 비인간 행위자를 통해 표현됩니다. 이를 필터링해야 할 봇 노이즈로 취급하면 고객이 평가하는 것에 대한 실제 정보를 알려주는 신호를 폐기하는 것입니다. Snowplow는 이러한 두 가지를 인간의 직접적인 상호 작용과 분리되지만 의도를 이해하고 의사 결정에 정보를 제공하는 데 동등하게 의미 있는 구조화된 행동 이벤트로 구별하고 캡처합니다.
2. 해결 및 강화 단계는 ID 확인, 세션, 장치 및 터치포인트를 알려진 개인에게 연결하여 원시 이벤트 스트림을 일관된 고객 그림으로 변환합니다. 이곳에서 행동 스트림이 일관된 그림이 됩니다. "사용자가 세 페이지를 방문했다"가 아니라 "현재 평가 후반 단계에 있는 이 계정에서 지난 48시간 동안 세 명의 임원이 가격 책정을 조사했습니다."
3. 서빙 단계는 실시간 세션 내 개인화와 AI 에이전트 의사 결정을 위한 실시간 및 기록 데이터 결합의 두 가지 동시 모드로 강화된 행동 컨텍스트를 제공합니다. 세션 내 개인화의 경우 실시간입니다. 데이터 플랫폼은 고객이 지금 이 세션에서 하고 있는 일을 반영하는 경험을 렌더링할 수 있도록 충분히 빠르게 행동 신호를 노출합니다. AI 에이전트 의사 결정의 경우 실시간 및 기록 데이터 모두입니다. 계정에 대한 다음 최적의 조치를 조정하는 에이전트는 실시간 행동 스트림과 전체 고객 기록을 활용합니다. 질문은 "이 고객이 무엇을 하고 있는가?"뿐만 아니라 "이 행동이 그들과 유사한 고객에 대해 우리가 아는 모든 것을 고려할 때 무엇을 의미하는가?"입니다.
4. 학습 단계는 모든 에이전트 결정의 결과를 1급 행동 이벤트로 데이터 기반으로 라우팅하여 피드백 루프를 닫습니다. 모든 에이전트 결정, 모든 개인화된 경험, 모든 자동화된 조치의 결과는 그 자체로 행동 이벤트입니다. 추천된 제품이 장바구니에 추가되었습니까? 개인화된 이메일이 열렸습니까? 세션 내 개입이 세션의 궤적을 변경했습니까? AI 조사 에이전트의 탐색 세션이 궁극적으로 전환되었습니까? 이러한 결과는 원래 결정을 지원한 것과 동일한 데이터 기반으로 다시 흐르도록 해야 합니다. 이 피드백 없이는 AI 에이전트가 매일 더 오래된 기록 데이터로 작동합니다. 이를 통해 시스템은 진정으로 자체 개선됩니다.

이곳에서 AI 에이전트 분석 및 에이전트 분석이 루프를 완성합니다. AI 에이전트 행동 이벤트를 1급 데이터로 수집했습니다. 이제 인간 행동에 적용하는 것과 동일한 엄격함으로 분석할 수 있습니다. 어떤 에이전트가 성과를 내고 있습니까? 어떤 의사 결정 모델이 저하되고 있습니까? AI 생성 조사 트래픽은 어디에서 전환되고 어디에서 중단됩니까? 이러한 질문은 처음부터 수집이 올바르게 이루어졌을 때만 답할 수 있습니다. AI 에이전트 및 에이전트 분석은 나중에 추가하는 보고 계층이 아닙니다. 처음부터 데이터를 수집한 방식의 결과입니다.

이것은 행동 데이터 인프라를 올바르게 구축하는 데 고유한 피드백 루프입니다. 파이프라인이 아닙니다. 플라이휠입니다.

분석에서 의사 결정으로: 실시간 의사 결정을 위한 올바른 도구

보고서에서 마케팅 및 데이터 리더가 AI가 실제로 스택에 요구하는 것에 대해 생각할 때 더 많은 공간을 할애할 가치가 있다고 생각하는 점은 행동 데이터를 분석에 사용하는 것에서 의사 결정에 사용하는 것으로의 전환은 단순히 사용 사례 확장이 아니라 의미 있는 아키텍처 변경이라는 것입니다.

분석은 과거를 돌아봅니다. 이벤트를 수집하고, 모델링하고, 결과를 쿼리합니다. 몇 분 또는 몇 시간의 지연 시간은 허용됩니다. 데이터는 결정을 내리는 인간에게 정보를 제공합니다.

의사 결정은 미래를 내다보고 실시간입니다. AI 에이전트는 이 고객에게, 이 세션에서, 지금 당장 어떤 경험을 제공할지 결정하기 위해 밀리초 내에 행동 컨텍스트가 필요합니다. 인프라 요구 사항이 다릅니다. 오류가 다음 주에 누군가가 발견하는 대시보드 이상 현상으로 나타나는 것이 아니라 즉각적으로 대규모로 제공되는 열악한 고객 경험으로 나타나기 때문에 데이터 품질 요구 사항이 더 높습니다.

안타깝게도 대부분의 데이터 파이프라인은 절충을 강요합니다. 일부는 속도를 최적화하지만 기록 깊이를 잃게 합니다. 다른 일부는 풍부함을 최적화하지만 실시간 의사 결정에 필요한 지연 시간 헤드룸을 잃게 합니다.

구성 가능한 캔버스는 동일한 데이터에서 동시에 두 가지 모두를 요구합니다. 이는 생각보다 어려운 인프라 문제이며, 에이전트가 밀리초 속도로 결정을 내리고 기록 컨텍스트가 별도의 저장소에 있다는 것을 깨달았을 때 나중에 패치하려고 하기보다는 기반에서 해결할 가치가 있습니다.

컨텍스트 그래프 및 행동 데이터

보고서는 제가 진정으로 흥미롭게 생각한 개념인 컨텍스트 그래프를 소개합니다. 이는 단순히 무엇이 발생했는지뿐만 아니라 왜 발생하도록 허용되었는지를 캡처하는 의사 결정 추적의 살아있는 기록입니다. 의사 결정 근거, 예외 부여, 승인 체인. 현재 Slack 스레드와 사람들의 머릿속에 있는 기관의 기억과 같은 것입니다.

저는 행동 이벤트 스트림이 고객 측 컨텍스트 그래프의 자연스러운 원자재라고 주장할 것입니다. 고객과 관련된 모든 에이전트 작업(추천, 세그먼트 트리거, 메시지 전송)은 이를 촉발한 행동 신호로 추적할 수 있어야 합니다. Snowplow의 이벤트 모델은 신호가 발생한 것, 관찰된 데이터, 임계값이 교차한 것과 같이 정확히 이 인과 관계를 캡처하도록 구조화되어 있습니다.

컨텍스트 그래프가 아키텍처 패턴으로 성숙함에 따라 행동 데이터 계층이 이를 위한 기반이 될 것입니다. 무엇이 발생했는지와 왜 발생했는지 모두 처음부터 올바르게 수집하면 이벤트 스트림에 인코딩됩니다.

확장 가능한 실시간 의사 결정 기반 구축 방법

보고서에서 설명하는 구성 가능한 캔버스를 구축하는 모든 조직에게 행동 데이터 인프라를 올바르게 구축하는 것이 첫 번째이자 가장 높은 레버리지 투자입니다. 가장 흥미롭기 때문이 아니라 모든 것이 그 위에 실행되기 때문입니다.

이는 처음부터 네 가지를 올바르게 수행해야 함을 의미합니다.

• 첫날부터 스키마 유효성 검사가 내장된 구조화된 수집
• 수집 계층에서의 ID 확인, 나중에 소급 적용하는 것이 아님
• 동일한 데이터에서 실시간 의사 결정 및 기록 분석을 위해 구축된 파이프라인
• 처음부터 피드백 루프를 닫기 위해 AI 에이전트 상호 작용 출력을 1급 행동 이벤트로 수집하는 규율

구성 가능한 아키텍처는 또한 오늘날 내리는 공급업체 결정이 되돌릴 수 있어야 함을 의미합니다. 행동 데이터 파이프라인이 자체 클라우드 인프라의 개방형 형식에 쓰는 경우 옵션을 유지합니다. 독점 저장소에 쓰는 경우 스택에 대한 모든 향후 결정을 제한하는 종속성을 만들었습니다.

일찍 투자한 사람들에게는 이미 3번째 시대가 도래했습니다

보고서는 Martech의 3번째 시대를 3-5년의 기간으로 프레임합니다. 여기에 설명된 아키텍처 투자를 이미 수행한 Snowplow 고객, 즉 데이터 플랫폼을 운영 코어로, 행동 데이터를 실시간 에이전트에 공급하고, 전체 의사 결정-분석 피드백 루프를 구성 가능한 기반에서 실행하는 경우 이는 미래 상태가 아닙니다. 오늘날 그들은 이미 그렇게 운영하고 있습니다.

이것은 Snowplow에 대한 특정 주장이 아닙니다. 아키텍처가 현재 달성 가능하며 이를 우선시하려는 조직에게는 증거입니다. 구성 가능한 캔버스는 새로운 기술을 기다리지 않습니다. 아키텍처 결정과 이를 내릴 수 있는 확신을 기다립니다.

Scott의 보고서는 이러한 결정이 무엇이어야 하는지에 대한 명확하고 관대한 설명입니다. 우리는 이 대화가 이 정도 깊이로 이루어지고 있다는 것을 기쁘게 생각하며, 그 일부가 된 것을 기쁘게 생각합니다!

Scott Brinker의 전체 연구 보고서 읽기: AI 시대의 새로운 Martech "스택"

AI를 위한 Martech의 진화 방식에 대한 Scott Brinker, Samsara의 CMO, HP의 마케팅 데이터 과학 부사장이 참여하는 라이브 웨비나: 웨비나 등록

에이전트 분석을 위한 데이터 기반이 실제로 어떻게 보아야 하는지에 대해 더 깊이 알고 싶다면 Snowplow 팀이 자세히 설명했습니다: 에이전트 분석이란 무엇입니까? 데이터 리더를 위한 가이드

FAQ: FAQ

실시간 의사 결정은 배치 처리와 어떻게 다른가요? 배치 처리는 상호작용이 발생한 후 종종 몇 시간 뒤에 데이터를 예약된 간격으로 수집하고 분석합니다. 실시간 의사 결정은 행동 신호가 생성되는 즉시 처리하고 동일한 세션 내에서 종종 밀리초 내에 작업을 트리거합니다. 인프라 요구 사항, 데이터 품질 표준 및 지연 시간 허용 오차는 두 접근 방식 간에 근본적으로 다릅니다.

AI 에이전트가 고객 컨텍스트 계층이 필요한 이유는 무엇인가요? 세션 내 의사 결정을 내리는 AI 에이전트는 어제 무엇을 했는지가 아니라 지금 고객이 무엇을 하고 있는지를 반영하는 행동 컨텍스트가 필요합니다. 고객 컨텍스트 계층은 AI 에이전트가 실시간으로 쿼리할 수 있는 구조화된, ID가 확인된 행동 이벤트 스트림을 제공합니다. 이것이 없으면 에이전트는 규모에 따라 의사 결정 품질을 저하시키는 오래된 데이터를 기반으로 작동하게 됩니다.

고객 레코드와 고객 컨텍스트의 차이점은 무엇인가요? 고객 레코드는 고객이 누구인지, 즉 프로필, 구매 내역, 계정 상태 및 세그먼트 멤버십을 설명합니다. 고객 컨텍스트는 현재 순간에 고객이 무엇을 하고 있는지, 즉 방문한 페이지, 검색한 내용, 참여한 시간 및 해당 행동이 의도를 어떻게 나타내는지 설명합니다. 실시간 의사 결정에는 둘 다 필요하지만, 대부분의 데이터 스택은 후자보다 전자에 더 능숙합니다.

에이전트 피드백 루프의 네 가지 단계는 무엇인가요? 에이전트 피드백 루프는 (1) 수집 — 구조화된 데이터로 인간 및 AI 기반 상호 작용에서 행동 이벤트를 캡처합니다. (2) 확인 및 강화 — 이벤트를 알려진 ID에 연결하고 일관된 고객 그림을 구축합니다. (3) 제공 — 실시간으로 강화된 컨텍스트를 AI 에이전트 및 개인화 시스템에 전달합니다. (4) 학습 — 시스템이 지속적으로 개선되도록 모든 에이전트 결정의 결과를 데이터 기반으로 다시 피드합니다. 이 네 가지 단계를 거칩니다.

실시간 의사 결정을 위해 어떤 데이터 인프라가 필요한가요? 실시간 의사 결정에는 네 가지 기본 기능이 필요합니다. 캡처 시 스키마 유효성 검사를 포함한 구조화된 이벤트 수집; 나중에 재작업하는 대신 수집 계층에서의 ID 확인; 실시간 및 과거 컨텍스트를 동시에 제공할 수 있는 데이터 파이프라인; 그리고 AI 에이전트 상호 작용 출력을 시스템에 다시 피드하는 최우선 행동 이벤트로 취급하는 규율입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)