Databricks의 MarTech 부문 AVP가 올바른 데이터 기반 구축부터 신뢰 확보 및 도입 유지에 이르기까지, Genie를 통해 마케터에게 거버넌스가 확보된 빠른 답변을 제공하기 위한 실용적인 플레이북을 공유합니다.
작성자: Elizabeth Dobbs, 토마스 러셀, 케이티 위안 , Sydney Sundell
대부분의 마케팅 팀은 데이터 기반이 되기를 원합니다. 하지만 실제로 의사결정이 필요한 순간에 신뢰할 수 있는 답변을 얻으려면 여전히 며칠이 걸릴 수 있습니다.
Databricks에서는 거버넌스가 확보된 레이크하우스에 마케팅 데이터를 통합하고, Genie Agents를 마케팅에 도입한 Marge를 구축하여 이 문제를 해결했습니다. Marge를 통해 마케터는 자연어로 질문하고 단 몇 초 만에 거버넌스가 적용된 답변을 받을 수 있습니다.
그 결과, 우리 조직의 업무 방식이 완전히 바뀌었습니다:
이러한 성과는 대화형 분석을 지속적인 제품 및 운영 모델로 취급한 덕분입니다. 거버넌스가 확보된 데이터를 기반으로 구축하고, Genie에게 비즈니스 용어를 학습시켰으며, 유스케이스를 하나씩 해결하며 신뢰를 쌓았고, 이를 마케터들이 이미 일하는 방식에 직접 통합했습니다.
저는 Databricks의 마케팅 기술 부문 AVP인 Liz Dobbs입니다. 이 비디오에서는 저희 팀이 Databricks 마케팅 부서에서 의사결정에 데이터를 3배 더 자주 활용할 수 있도록 지원한 실용적인 플레이북을 공유합니다:
마케팅 데이터는 캠페인 플랫폼, 웹 분석, CRM 시스템, 이벤트 도구, 광고 채널 및 영업 데이터에 걸쳐 있습니다. 각 시스템은 고유한 정의, 식별자 및 보고 로직을 가지고 있습니다. 대시보드가 있더라도 마케터는 어떤 지표가 최신인지, 어떤 소스가 신뢰할 수 있는지, 또는 대시보드가 해결하도록 설계되지 않은 다음 질문에 어떻게 답변해야 할지 파악하는 데 어려움을 겪는 경우가 많습니다.
저희 마케팅 조직도 동일한 문제에 직면해 있었습니다:
저희는 먼저 마케팅, 재무, 영업, 제품 부서가 공유하는 전사적 Databricks 레이크하우스 내에 마케팅 레이크하우스를 만들었습니다. 이는 시장 진출 데이터에 대해 거버넌스가 확보된 단일 진실 공급원(source of truth)이 되었으며, 일관된 정의와 지표를 중심으로 캠페인 및 영업 정보를 정렬했습니다.
이러한 기반 덕분에 Marge가 가능해졌습니다.
Marge는 Genie Agents로 구축된 대화형 분석 어시스턴트입니다. 이는 Databricks 마케터가 지역, 제품, 채널, 캠페인, 회계 기간 및 파이프라인에 사용하는 정의를 포함하여 마케팅 레이크하우스의 데이터 및 비즈니스 컨텍스트를 기반으로 합니다.
마케터는 다음과 같이 쉬운 영어로 질문할 수 있습니다:
Marge는 이러한 질문을 분석 쿼리로 변환하고 거버넌스가 확보된 엔터프라이즈 데이터를 기반으로 답변을 반환합니다. Unity Catalog는 중앙 집중식 거버넌스, 리니지(lineage) 및 역할 기반 액세스 제어를 제공하므로 각 사용자는 액세스 권한이 있는 데이터만 볼 수 있습니다.
마케터는 대시보드, Genie Agents, 앱 및 심층 분석을 결합한 비즈니스 사용자용 AI 협업 환경인 Genie One을 통해 Marge에 액세스합니다. Genie One은 해당하는 경우 각 요청을 적절한 Genie Agent로 자동으로 라우팅합니다. 또한 웹 성능, 디지털 분석, 마케팅 계획과 같은 도메인에 특화된 에이전트를 만들어 각 에이전트가 더 좁고 관련성 높은 컨텍스트에서 작동할 수 있도록 했습니다.
더 복잡한 질문의 경우, 에이전트(Agent) 모드가 여러 단계를 평가하고 더 심층적인 분석을 생성할 수 있습니다. 이러한 경험을 통해 마케터는 비즈니스 질문에서 근거 있는 답변과 권장되는 다음 단계로 더 빠르게 나아갈 수 있습니다.
초기 파일럿부터 광범위한 배포에 이르기까지 신뢰는 저희의 최우선 과제였습니다. 완벽한 AI 시스템은 없으므로, 저희는 Marge를 더욱 정확하고 신뢰할 수 있으며 투명하게 만드는 4가지 메커니즘에 집중했습니다:
Genie에게는 신입 분석가에게 필요한 것과 동일한 컨텍스트가 필요합니다. 이는 테이블이 어떻게 관련되어 있고 어떻게 조인되어야 하는지를 포함하는 명확한 데이터 모델에서 시작됩니다.
저희는 Unity Catalog를 사용하여 메타데이터, 테이블 설명, 열 주석, 리니지 및 액세스 제어를 중앙 집중화합니다. AI가 생성한 설명은 유용한 초안을 제공했지만, 마케팅 이해관계자와 데이터 전문가가 이를 검토하고 조직 내부 사람들만 알 수 있는 비즈니스 컨텍스트를 추가하여 보완했습니다.
실제 사례로는 다음과 같은 사항을 문서화하는 것이 있습니다:
명확한 메타데이터는 Genie가 쿼리를 생성하기 전에 질문을 올바르게 해석하는 데 도움이 됩니다.
자주 묻는 가치가 높은 질문의 경우, 도메인 전문가가 검토한 신뢰할 수 있는 자산과 검증된 로직을 제공합니다. 여기에는 전환율, 고객 평생 가치(LTV), 이벤트 등록 등의 영역이 포함됩니다. 사용자는 답변이 검증된 로직을 기반으로 하는지 확인할 수 있어 신뢰도를 높이는 중요한 신호가 됩니다.
또한 복잡하거나 자주 묻는 질문에 대한 예시 질문 및 쿼리 쌍을 추가합니다. 이러한 예시는 Genie에게 알려진 시나리오를 처리하는 방법을 가르치고 유사한 질문에 동일한 패턴을 일반화하는 데 도움이 됩니다.
기본적인 원칙은 다음과 같습니다:
모든 조직에는 단순해 보이지만 특정 의미를 담고 있는 용어가 있습니다. "파이프라인", "지역", "회계 연도", "캠페인"은 회사마다 정의가 다를 수 있습니다.
저희는 Marge에게 이러한 용어를 해석하고 모호성을 처리하기 위한 명확한 행동 지침을 제공합니다. 예를 들어, 실제 필드 이름이 "cost"일 때 사용자는 "지출(spend)" 또는 "투자(investment)"라고 말할 수 있습니다. Marge는 이러한 단어들이 동일한 개념을 가리킨다는 것을 이해해야 합니다.
또한 요청에 기간, 채널, 지역 등 중요한 정보가 누락된 경우 Marge가 명확한 질문을 하도록 지시합니다. 추측하기보다는 모호한 부분을 드러내는 것이 목표입니다.
모든 응답은 사용자에게 긍정적 또는 부정적 피드백을 제공할 기회를 줍니다. 마케팅 분석 팀은 모니터링 대시보드에서 평점과 댓글을 검토하고, 문제를 조사하며, 필요에 따라 에이전트를 업데이트합니다.
또한 성능을 체계적으로 평가하기 위해 이미 알고 있는 답변을 기준으로 벤치마크 질문을 실행합니다. 벤치마크 정확도가 크게 떨어지면 데이터 모델, 정의 또는 에이전트 컨텍스트에 주의가 필요하다는 신호입니다.
이러한 관리는 가볍게 이루어집니다. 현재 한 명의 BI 매니저가 일주일에 약 1시간을 투자하여 피드백을 검토하고 Marge를 유지 관리하고 있습니다. 이처럼 적지만 꾸준한 투자 덕분에 잘못된 답변으로 플래그가 지정되는 비율이 25% 감소했습니다.
기술적 품질은 작업의 절반에 불과했습니다. 마케터들에게 Marge가 자신들의 요구 사항을 이해하고 일상적인 워크플로우에 자연스럽게 녹아들 수 있다는 믿음을 주는 것도 필요했습니다.
동료들에게 자주 말하듯이, 이것은 "만들어 놓기만 하면 사람들이 알아서 찾아오는" 제품이 아닙니다. 구축한다고 해서 사람들이 사용할 것이라는 보장은 없습니다. 저희는 4가지 도입 실천 방식에 집중했습니다:
저희는 마케터들과 직접 협력하여 그들이 가장 자주 묻는 질문, 이미 사용 중인 대시보드, 업무를 설명할 때 사용하는 언어를 파악했습니다. 이들의 의견은 Marge를 구성하는 데 사용된 데이터, 예시, 지침의 뼈대가 되었습니다.
이를 통해 마케터들은 제품의 적극적인 참여자가 될 수 있었습니다. 자신들과 함께, 그리고 자신들을 위해 이 경험이 구축되고 있음을 직접 확인할 수 있었습니다.
첫 번째 사용 사례는 이메일 캠페인 성과였습니다. 해당 질문에 답변하는 데 필요한 필수 캠페인, 수신자 및 참여 데이터만 포함했습니다.
좁은 범위에서 시작한 덕분에 정확성을 검증하고, 신뢰를 구축하며, 가치를 빠르게 보여주기가 더 쉬웠습니다. 이후 주로 사용자의 요청에 따라 계정 데이터, 기여도 및 기타 도메인을 추가했습니다.
저희는 분석 지원 프로세스에 Marge를 내장했습니다. 모든 마케팅 분석 티켓은 “Genie에게 물어보셨나요?”라는 자동 응답을 받게 됩니다. 분석가는 요청자가 Genie를 시도해 보았다고 표시한 후에만 개입합니다.
이 간단한 변화를 통해 기본적인 질문은 셀프 서비스 분석으로 유도하고, 분석가 의 시간은 더 복잡한 작업을 위해 아낄 수 있습니다. 저희 팀은 이러한 변화를 분석가들이 기초적인(101, 201 레벨) 요청에서 벗어나 심화된(301, 401 레벨) 분석에 집중할 수 있게 된 것으로 자주 설명합니다.
저희는 사용자 피드백을 바탕으로 메타데이터, 예시, 신뢰할 수 있는 답변, 지침을 지속적으로 업데이트합니다. 신속한 개선은 마케터들에게 자신들의 의견이 중요하게 다뤄지고 있음을 보여주며, 반복을 거듭할수록 Marge가 더 유용해지도록 돕습니다.
또한 피드백 루프는 체계적으로 확장하는 데 도움이 됩니다. 출시 시점에 발생할 수 있는 모든 질문을 미리 예측하려 하기보다, 실제로 확인된 수요에 대응하여 데이터와 기능을 추가합니다.
Marge는 마케팅 분석 팀의 시간을 절약해 주는 가장 큰 도구가 되었습니다. 마케터는 거버넌스가 적용된 답변을 몇 초 만에 얻을 수 있고, 분석가와 엔지니어는 반복적인 데이터 추출 작업을 처리하는 데 시간을 덜 쓰게 되었습니다.
그렇게 확보된 여력은 실험, 모델 설계, 기초 데이터 제품 개선 등 더 가치 있는 작업으로 전환되었습니다. 이제 캠페인 출시나 분기별 비즈니스 검토(QBR)와 같은 일반적인 활동에서 기술적 대역폭이 더 이상 병목 현상이 되지 않습니다.
마케터들도 더 빠르게 행동할 수 있습니다. 신뢰할 수 있는 데이터에 더 쉽게 액세스할 수 있게 되면서 캠페인을 더 신속하게 조정하고, 더 스마트하게 세분화하며, 더 정보에 기반한 예산 배분이 가능해졌습니다. 가장 중요한 것은 데이터가 조직 전반의 일상적인 의사 결정에 더 많이 활용되기 시작했다는 점입니다.
이와 유사한 여정을 시작하려는 마케팅 테크놀로지(martech) 및 데이터 팀에게는 다음 순서를 권장합니다:
저희의 경험에서 얻은 세 가지 교훈이 눈에 띕니다.
첫째, 셀프 서비스 분석은 강력한 데이터 기반에 달려 있습니다. 기본 데이터는 거버넌스가 적용되고 신뢰할 수 있어야 하며 일관된 정의를 통해 연결되어야 합니다. AI는 이러한 컨텍스트에 더 쉽게 액세스할 수 있도록 돕지만, 서로 충돌하는 소스 데이터와 불분명한 비즈니스 로직까지 보완해 주지는 못합니다.
둘째, 중앙 집중식 거버넌스는 팀이 안심하고 액세스를 확장하는 데 도움이 됩니다. Unity Catalog 덕분에 도입이 늘어남에 따라 민감한 데이터에 대한 정의, 계보(lineage), 역할 기반 액세스를 한곳에서 관리할 수 있었습니다.
셋째, 신뢰는 사용자 경험을 통해 얻어집니다. 소규모로 시작하여 마케터들이 실제로 어떻게 일하는지 관찰하고, 그들의 피드백을 바탕으로 시스템을 개선하세요. 사용자가 에이전트가 자신의 언어를 이해하고, 자신의 액세스 권한을 존중하며, 피드백을 통해 점점 더 유용해지는 것을 보 게 되면 자연스럽게 도입으로 이어집니다.
Marge는 사용자 10명과 하나의 사용 사례를 위한 프로토타입으로 시작했습니다. 오늘날 Marge는 마케팅 조직의 85% 이상을 지원하며 5,000개 이상의 질문에 답변했습니다. 파일럿에서 대규모 확장으로 가는 길은 신뢰할 수 있는 답변을 하나씩 쌓아가며 만들어졌습니다.
Liz Dobbs와의 인터뷰 전체 영상 시청, Genie Agent 문서 살펴보기, 또는 다음 관련 블로그 확인하기:
Genie Agents는 마케팅 및 비즈니스 팀에 거버넌스가 적용된 비즈데이 데이터에 대한 자연어 인터페이스를 제공합니다. 마케터는 SQL을 작성하지 않고도 캠페인 성과, 파이프라인, 웹 활동, 이벤트 및 기타 승인된 데이터에 대해 질문할 수 있습니다. 각 응답은 사용자의 Unity Catalog 권한을 준수합니다.
신뢰할 수 있는 소규모 데이터 세트가 지원하는, 빈도가 높고 잘 정의된 질문을 선택하세요. Databricks는 캠페인, 수신자, 참여 테이블을 사용하는 이메일 캠페인 성과로 시작하여 사용자 수요에 따라 확장했습니다.
테이블 및 관계를 문서화하고, 비즈니스 지표를 정의하며, 예시 SQL 및 신뢰할 수 있는 자산을 추가하고, 구체적인 명확화 지침을 제공하며, 사용자 피드백을 검토하고 벤치마크 질문을 기준으로 테스트하세요. 집중된 컨텍스트와 지속적인 평가를 통해 정확도가 향상됩니다.
Genie는 반복적이고 복잡도가 낮은 많은 질문을 처리하므로, 분석가는 실험, 모델 설계 및 전략적 분석에 더 많은 시간을 할애할 수 있습니다. Databricks에서는 이러한 전환을 통해 마케팅 분석 팀이 인원을 늘리지 않고도 더 광범위한 사용을 지원할 수 있었습니다.
필요한 노력은 범위와 데이터 복잡성에 따라 다릅니다. Databricks의 경우, 현재 지속적인 관리를 위해 한 명의 BI 관리자가 매주 약 1시간 동안 피드백을 검토하고, 문제를 조사하며, 컨텍스트를 업데이트하고 있습니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.