오디언스 인텔리전스를 위한 멀티 에이전트 접근 방식

북극성 정의하기

모든 광고 캠페인은 동일한 핵심 목표를 공유합니다. 바로 올바른 잠재고객에게 도달하고, 의미 있는 참여를 유도하며, 측정 가능한 결과를 제공하는 것입니다. 캠페인이 달라지는 지점은 이러한 목표를 추구하는 방식입니다. 전략 단계에서부터 차이가 발생하며, 이곳에서 기획자와 전략가는 명확한 목표에 동의합니다. 이 목표가 효과적으로 실행될 때 원하는 결과를 이끌어낼 수 있습니다. 이 단계에서는 비즈니스가 주도권을 잡고, 브랜드, 메시지, 과거 캠페인 성과에 대한 수년간의 경험을 바탕으로 의사결정을 내립니다. 그 결과로 캠페인 브리프가 생성되며, 이는 잠재고객 생성, 데이터 과학 모델링, 활성화 등 모든 후속 활동의 북극성 역할을 합니다. 이 블로그에서는 오늘날 광고주가 직면하는 일반적인 문제들을 Databricks의 AI 기반 잠재고객 생성 솔루션을 통해 어떻게 해결할 수 있는지 살펴봅니다.

전략과 실행 사이의 간극

비즈니스와 데이터 팀 간의 캠페인 브리프 교환 과정에서 에이전시와 광고주는 핵심 전략과 실행을 일치시키는 데 어려움을 겪기 시작합니다. 여기에는 다음이 포함됩니다:

1. 전략 희석: 브리프는 명확하고 구체적인 정의를 의도하지만, 전략을 “데이터 용어”로 번역하는 것은 모든 분석가에게 어려운 과제입니다. 필연적으로 커뮤니케이션 과정에서 정보가 손실되며, 가장 중요한 정보를 잃지 않는 것이 매우 중요합니다.
2. 불완전한 전략: 반대로, 데이터 팀의 인사이트가 항상 비즈니스에 전달되지 않아 명확하지 않은 패턴을 기반으로 행동하고 경쟁 우위를 창출하는 능력이 제한됩니다. 에이전시와 광고주는 이러한 데이터 기반 발견을 통해 차별화되며, 경쟁사의 기존 관행과 가정을 뒤엎고 독특한 방식으로 시장에 접근합니다.
3. 데이터 사각지대: 양측 모두 제약 속에서 운영됩니다. 기획자는 제한된 신호에 의존하는 반면, 데이터 팀은 익숙한 속성에 지나치게 의존할 수 있습니다. 데이터 세트가 방대하고 복잡하기 때문에 어느 그룹도 완전히 데이터 기반 의사결정을 내리지 못합니다. 대부분의 에이전시와 광고주는 수백만 명의 기존 및 잠재 고객에 대한 수천 개의 속성을 포함하는 데이터 세트를 보유하고 있으므로, 가장 경험이 많은 데이터 사용자조차도 사각지대가 있다고 가정하는 것이 합리적입니다.

이러한 어려움을 요약하자면, 이는 모두 파편화된 프로세스의 증상입니다. 즉:

• 전략에 가장 가까운 사람들이 데이터와는 가장 멀리 떨어져 있습니다.
• 데이터에 가장 가까운 사람들은 전략적 맥락을 완전히 이해하지 못합니다.
• 데이터에 대한 접근 여부와 관계없이, 각자의 범위는 제한적입니다.

Databricks에서 다리 놓기

이러한 비효율적인 프로세스가 굳어지는 데 기술이 어떤 역할을 했는지 무시할 수 없습니다. 기술은 의도를 정확하게 번역하는 능력이 부족했고, 데이터 플랫폼 자체는 비즈니스를 위해 의미 있는 방식으로 데이터 인사이트를 종합하는 도구를 거의 제공하지 못했습니다. 이 두 그룹 간의 가장 효과적인 연결고리는 데이터에 대한 호기심이 많은 전략가나 조직의 사명, 제품-시장 적합성, 전략적 목표를 설명할 수 있는 데이터 분석가였습니다. 이는 또한 전략가가 데이터베이스에 접근할 수 있고 분석가가 비즈니스의 의견을 들을 수 있다는 가정 하에 가능합니다(이는 큰 가정입니다).

오늘날에도 지속되는 의도와 실행 간의 간극을 해결하기 위해, Databricks Data Intelligence Platform을 기반으로 구축된 당사의 AI 기반 솔루션은 광고주와 에이전시가 자연어를 사용하여 잠재고객을 구축하고, 데이터에서 이전에 알지 못했던 패턴을 발견하며, 보다 효과적인 캠페인을 실행할 수 있도록 지원합니다.

1. 데이터 소스: 첫 번째 파티 데이터 및 파트너/라이선스 데이터가 플랫폼으로 수집됩니다.
2. 데이터 큐레이션: Spark 선언적 파이프라인은 원시 데이터를 정리, 변환 및 통합하여 Unity Catalog의 잠재고객 속성 테이블로 만듭니다.
3. Audience Genie Space: 잠재고객 테이블 위에 구축된 큐레이션된 Genie Space는 자연어 요청을 잠재고객 세그먼트로 변환합니다.
4. Affinity Agent: UC 도구는 통계적 패턴을 계산하여 추가 잠재고객 선호도를 분석합니다.
5. Supervisor Agent: Agent Bricks는 멀티 에이전트 시스템을 조정하여 Genie 및 Affinity 하위 에이전트로 요청을 라우팅합니다.
6. 앱: Databricks 앱은 광고주에게 잠재고객을 설명하고, 선호도를 확인하며, 인사이트를 탐색할 수 있는 직관적인 인터페이스를 제공합니다.
7. 활성화 및 저장: 잠재고객은 Unity Catalog의 테이블로 저장되며 다운스트림 실행 채널(예: DSP, 이메일 플랫폼, 소셜 미디어 등)로 활성화됩니다.

이 솔루션은 본질적으로 에이전트 AI의 최신 발전 기술인 Genie, 사용자 정의 도구 호출 에이전트, Agent Bricks를 활용하여 광고주에게 인사이트를 보다 효과적으로 제공하고 수억 명의 소비자 및 수천 개의 속성에 걸친 통합 잠재고객 데이터 세트에 대한 더 빠른 잠재고객 세분화를 가능하게 합니다.

이를 구체적으로 이해하기 위해, 고급 리조트 패키지를 홍보하는 럭셔리 여행 브랜드를 위한 캠페인 기획자가 브리프를 준비하는 예를 들어보겠습니다. 브리프에는 “프리미엄 경험을 자주 예약하는 35-54세의 부유한 여행객”이 포함됩니다. 전통적으로 이 브리프는 분석가의 책상에 전달되어, 잠재고객을 세분화하고 임시 분석을 수행하기 위한 SQL 쿼리로 번역됩니다. 이는 합리적인 접근 방식이지만, 필연적으로 전략적 의도를 몇 가지 익숙한 속성으로 좁힙니다.

SQL을 수동으로 생성할 필요 없이, 당사의 솔루션을 통해 기획자는 해당 잠재고객을 자연어로 직접 설명할 수 있습니다. Genie는 몇 초 만에 수백만 건의 기록에 대한 정확한 쿼리로 이를 번역하며, 완전한 투명성을 위해 그 뒤에 있는 SQL 로직도 함께 제공합니다.

하지만 진정한 잠금 해제는 다음에 있습니다. 시스템은 이 잠재고객을 정의하는 추가 행동 및 속성을 자동으로 분석하여 아직 발견되지 않은 패턴을 식별합니다. 이러한 발견과 새로운 인사이트는 게임 체인저입니다. 이 세그먼트에 대한 예는 다음과 같습니다:

• 전체 인구 대비 초기 기술 채택자로서의 비율이 높음
• 기준율의 2.5배에 달하는 암호화폐 투자
• 웰빙 및 스파 콘텐츠에 대한 강한 선호도 표시(예: 5.7배의 뛰어난 피트니스 헌신)

가장 좋은 점은 이것이 가정이 아니라는 것입니다. 이는 전체 인구 대비 통계적으로 검증된 리프트 계산입니다. 기획자는 더 이상 브리프만 가지고 작업하는 것이 아니라, 크리에이티브 전략, 미디어 배치, 채널 선택을 재구성할 수 있는 발견으로 풍부해진 브리프를 가지고 작업합니다.

또한 이 솔루션은 실질적이고 복합적인 비즈니스 영향을 창출합니다:

• 이전에는 며칠 또는 몇 주가 걸렸던 계획 주기를 단축하여 캠페인이 아이디어에서 실행까지 더 빠르게 진행됩니다.
• 기획자는 분석가 대기열을 기다리지 않고 실시간으로 시장 변화, 페이싱 문제 또는 고객 요청에 대응할 수 있습니다.
• 잠재고객 생성 프로세스에 전략적 의도를 직접 내장하면 더 나은 타겟팅과 캠페인 성과를 얻을 수 있습니다.

하지만 이 경험을 원활하게 만들기 위해서는 백엔드에서의 세심한 조정이 필요합니다. 다음 섹션에서는 이 솔루션을 구동하는 세 가지 핵심 구성 요소를 자세히 살펴보고, 각 구성 요소가 어떻게 작동하는지, 왜 그렇게 구축되었는지, 그리고 이 시스템이 프로덕션 준비 상태임을 보장하는 설계 결정 사항을 설명합니다.

Databricks Genie: 자연어를 데이터에 연결

모든 잠재고객 워크플로에서 팀이 취하는 첫 번째 단계는 도달해야 할 캠페인의 “누구”를 정의하는 것입니다. Genie Spaces를 통해 광고주는 “프리미엄 경험을 자주 예약하는 35-54세의 부유한 여행객 찾기”와 같은 요청을 데이터 팀과 직접 상호 작용하지 않고도 잠재고객 테이블에 대해 실행되는 관리형 SQL 쿼리로 변환하여 이를 수행할 수 있습니다.

Genie는 전략 팀과 데이터 팀 간의 직접적인 상호 작용을 줄일 수 있지만, 데이터 팀은 백엔드 레이어를 꼼꼼하게 큐레이션하여 이 워크플로우에서 여전히 중요한 역할을 합니다. Genie Space는 제공되는 컨텍스트와 데이터만큼만 유용하며, 잠재고객 생성을 위해서는 다음 네 가지 영역에 투자해야 합니다:

1. 사전 조인되거나 정규화되지 않은 골드 테이블 및 메트릭 보기를 포함한 강력한 데이터 모델
2. 테이블의 모든 속성에 대한 설명 열 주석
3. Genie에게 데이터의 패턴과 규칙을 알려주는 예제 SQL 쿼리
4. 모델이 알 수 없는 비즈니스 용어와 채점 로직을 정의하는 텍스트 지침

데이터 레이어와 메타데이터를 큐레이션하는 데 시간을 투자함으로써 데이터 팀의 전문 지식은 한 번 인코딩되고 시간이 지남에 따라 지속적으로 개선되며 조직 전체에 확장됩니다. 모든 임원, 기획자 및 전략가는 수동, 임시 분석을 수행하거나 티켓을 제출할 필요 없이 동일한 큐레이션된 로직의 이점을 누릴 수 있습니다.

예를 들어, 이 솔루션의 Genie는 "신용 점수 750점 이상인 자동차 구매 의향이 있는 소비자 찾기"부터 "고액 자산가가 있는 도시 지역의 럭셔리 여행자 식별"에 이르기까지 일반적인 잠재고객 패턴을 포괄하는 30개 이상의 큐레이션된 예제 쿼리로 구성됩니다. 이러한 예는 정확도를 향상시킬 뿐만 아니라 Genie에게 조직이 데이터를 어떻게 생각하는지 가르쳐줍니다.

그 결과 기획자가 특정 캠페인 브리프에 대한 대상 잠재고객을 설명하고 정확한 세그먼트 데이터, 잠재고객 규모, 전체 인구 대비 백분율 비교 및 샘플 데이터를 몇 초 안에 받을 수 있는 시스템이 만들어집니다.

궁극적으로 Genie는 마케팅 팀이 잠재고객 세그먼트를 구축하고 새로운 캠페인을 실행하는 방식을 근본적으로 변화시킵니다.

• 잠재고객 생성을 기술적인 작업에서 전략적인 대화로 전환하여 데이터 액세스를 민주화합니다. 모든 기획자는 기본 테이블 스키마 또는 SQL 구문에 대한 지식 없이 필요한 잠재고객을 설명할 수 있습니다.
• 반복 주기를 며칠에서 몇 초로 압축하여 팀이 더 많은 가설을 테스트하고 실시간으로 타겟팅을 개선할 수 있도록 하여 분석가 대기열을 기다릴 필요가 없습니다.
• 기관 지식을 캡처합니다. 모든 큐레이션된 쿼리, 열 주석 및 텍스트 지침은 조직의 데이터 전문 지식을 재사용 가능한 레이어로 인코딩하여 신규 팀원을 온보딩하고 캠페인 전반에 걸쳐 잠재고객 구축 방식을 표준화합니다.
• 모든 잠재고객에 대한 자연어 의도와 생성된 SQL을 기록하여 감사 추적을 생성함으로써 거버넌스를 강화합니다. 이 감사 추적은 기술 및 비기술 이해 관계자 모두가 읽을 수 있습니다.

이러한 이점들이 결합되어 잠재고객 생성을 병목 현상에서 경쟁 우위로 전환합니다.

Affinity Agent: 알려지지 않은 관계 및 잠재고객 발견

포괄적인 잠재고객 빌더 솔루션을 구축할 때 잠재고객을 정의하는 것은 싸움의 절반에 불과합니다. 실제 전략적 가치는 잠재고객에 대한 "그 외 무엇"을 이해하는 데서 나옵니다. 즉, 전체 캠페인 배포 전략을 강화할 수 있는 생각지도 못한 패턴, 행동, 경향 및 친밀도가 있습니까? Affinity Agent가 차별화되는 지점입니다.

Genie가 세그먼트를 구축하면 Affinity Agent는 해당 세그먼트를 자동으로 가져와 전체 인구를 대상으로 분석하여 통계적으로 유의미한 패턴을 찾아냅니다. 광고 용어로, 모든 전략가가 스스로에게 물어야 하지만 시간이나 도구가 부족하여 추구하기 어려운 질문에 답합니다. "내가 지정한 기준 외에 이 잠재고객을 독특하게 만드는 것은 무엇인가?"

이 솔루션에서 답은 리프트(lift)의 형태로 제공됩니다. 이 간단하면서도 강력한 메트릭은 특정 잠재고객 세그먼트에서 속성이 일반 인구에 비해 얼마나 자주 나타나는지 비교합니다. 2.0x의 리프트는 해당 잠재고객이 해당 특성을 나타낼 가능성이 두 배라는 것을 의미합니다. 캠페인 기획자에게 이러한 통찰력은 즉시 실행 가능합니다. 예를 들어, 웰빙 콘텐츠와 암호화폐 투자에 대해 높은 비율을 보이는 럭셔리 여행 잠재고객을 살펴보겠습니다. 이러한 신호는 실행에 직접적인 영향을 미치며, 광범위한 라이프스타일 채널에서 표준 여행 광고를 실행하는 대신 미디어 팀은 프리미엄 웰빙 출판물, 개인 금융 분야의 팟캐스트 스폰서십 또는 핀테크 플랫폼의 프로그래밍 방식 배치로 지출을 전환할 수 있습니다. 한편, 크리에이티브 팀은 일반적인 리조트 이미지가 아닌 경험적 웰빙 휴양지에 대한 메시지를 중심으로 할 수 있습니다.

백엔드에서 Affinity Agent는 의도적인 디자인 패턴을 따르며, 이는 LLM에 주어진 잠재고객에 대한 통계 분석을 실행하는 도구를 제공합니다. 에이전트는 어떤 분석을 실행할지 추론하지만 모든 숫자는 결정론적 도구에 의해 계산됩니다. 이러한 도구는 미리 등록되어 Unity Catalog에서 관리되는 함수입니다.

실제로는 주어진 잠재고객이 입력 데이터 역할을 하며, 에이전트는 Unity Catalog 함수를 활용하여 기준 인구 대비 리프트를 계산하고 최소 신뢰도 및 지원 임계값을 충족하는 결과만 반환합니다. 다음은 의사 코드 스니펫으로 이 함수가 어떻게 작동하는지 설명합니다.

추론과 계산 간의 이러한 분리는 광고에 있어 의도적이고 중요한 선택입니다. 수백만 달러의 미디어 지출이 잠재고객 통찰력에 달려 있을 때, 이러한 통찰력은 감사 가능하고 재현 가능하며 실제 데이터에 기반해야 합니다. Unity Catalog를 통해 모든 분석 함수를 관리함으로써 시스템은 자연어 질문에서 SQL 실행 및 통계 결과에 이르기까지 명확한 계보를 제공합니다. LLM은 위험을 초래하지 않고 워크플로우에 지능을 더합니다.

Agent Bricks: 다중 에이전트 잠재고객 인텔리전스 생성

Genie가 잠재고객 생성을 처리하고 Affinity Agent가 숨겨진 패턴을 찾아내는 가운데, 마지막 조각은 이러한 구성 요소가 분리된 도구가 아닌 단일하고 일관된 경험으로 함께 작동하도록 보장하는 지능형 오케스트레이션 레이어를 조립하는 것입니다.

Agent Bricks는 몇 번의 클릭만으로 몇 분 안에 이를 가능하게 합니다. 사전 구축된 Supervisor Agent는 모든 사용자 요청을 수신하고, 이를 처리할 가장 적합한 하위 에이전트를 결정하고, 해당 에이전트로 라우팅합니다. "자주 여행하는 럭셔리 여행자 잠재고객을 만들어 줘"와 같은 요청은 Genie로 이동합니다. "이 그룹을 정의하는 다른 것은 무엇인가?"와 같은 후속 요청은 Affinity Agent로 라우팅됩니다. 그리고 "고소득 야외 활동 애호가를 찾아서 그들을 독특하게 만드는 것이 무엇인지 알려줘"와 같은 복잡한 질문을 하면 Supervisor는 두 에이전트를 함께 연결합니다. Genie가 세그먼트를 구축한 다음 Affinity Agent가 분석하여 통합된 응답을 반환합니다.

이 다중 에이전트 시스템의 최종 사용자의 경우, Supervisor Agent가 하위 에이전트와 협력하여 요청을 처리하므로 어떤 에이전트가 작업을 수행하는지 알 필요가 없다는 점이 강력합니다. 결과적으로 경험은 원활하며 단일 대화처럼 느껴집니다.

라우팅 외에도 Supervisor는 개별 에이전트를 복합 시스템으로 전환하는 역할을 합니다. Genie와 Affinity Agent 간의 핸드오프를 오케스트레이션함으로써 전통적인 워크플로우에는 존재하지 않는 인간 의도와 데이터 검색 간의 피드백 루프를 생성합니다. 기획자는 잠재고객을 구축하고, 발견된 친밀도를 검토하고, 동일한 대화 내에서 학습한 내용을 기반으로 세그먼트를 즉시 개선할 수 있습니다. 이는 일반적으로 브리프, 분석가 대기열, QA 및 반복에 며칠에서 몇 주가 걸리는 주기를 몇 분으로 단축하여 팀이 더 많은 가설을 테스트하고 더 강력한 잠재고객을 더 빠르게 확보할 수 있도록 합니다. 시간이 지남에 따라 모든 상호 작용은 잠재고객 정의 및 발견된 패턴의 증가하는 라이브러리를 구축하여 각 캠페인과 함께 복합되는 기관 지식으로 이어지고 조직의 모든 사용자에게 확장됩니다.

완성된 제품

지금까지 Genie가 전략적 의도를 거버넌스된 잠재고객 세그먼트로 변환하는 방법, Affinity Agent가 아무도 찾으려고 생각하지 않았던 패턴을 발견하는 방법, Supervisor Agent가 두 하위 에이전트를 원활한 워크플로우로 오케스트레이션하는 방법을 살펴보았습니다. 그러나 이러한 기능은 가장 필요한 사람들이 Databricks 작업 공간, 노트북 또는 API 엔드포인트를 탐색하지 않고도 액세스할 수 있어야만 가치를 제공합니다. Databricks Apps는 이러한 장벽을 제거하여 전체 다중 에이전트 시스템을 최종 사용자를 위해 특별히 제작된 단일의 직관적인 인터페이스로 가져오는 네이티브 애플리케이션 레이어를 제공합니다.

이 앱 내에서 광고주는 다음을 수행할 수 있습니다.

자연어를 통해 잠재고객 세그먼트를 구축하고, 탐색하고, 반복하세요.

생성된 SQL 코드, 관심도 요약, 배치 및 캠페인 전략에 대한 권장 사항을 포함하여 잠재고객에 대한 세부 정보를 탐색하세요.

앱 내에 직접 포함된 통합 AI/BI 대시보드를 사용하여 잠재고객 세그먼트를 더 깊이 분석하세요.

잠재고객을 Unity Catalog에 영구 테이블로 저장하여 향후 조회, 관리 및 감사할 수 있도록 하고, 캠페인 활성화를 위해 실행 채널로 잠재고객을 내보내세요.

잠재고객 생성의 미래 민주화

수년 동안 전략적 의도와 데이터 실행 간의 격차는 해소되지 않았습니다. 이는 조직에 데이터가 부족해서가 아니라, 도구가 이를 연결하도록 구축되지 않았기 때문입니다. Databricks의 에이전트 AI 기능을 통해 이제 그 연결이 가능해졌으며, 모든 페르소나가 차별화되는 고품질 잠재고객을 탐색하고 구축할 수 있는 도구를 갖추게 되었습니다. 찾고 있는지 몰랐던 잠재고객은 이미 데이터에 존재합니다. 단지 그것을 찾고 큐레이션할 올바른 시스템이 필요했을 뿐입니다.

효과적인 Genie Space 구축을 위한 모범 사례에 대해 자세히 알아보려면 이 가이드를 확인하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)