AI/BI Genie를 이용한 자가 서비스 마케팅 인사이트를 위한 5가지 핵심 교훈

마케터들이 신뢰할 수 있는 고품질의 Genie 공간을 구축하는 방법

Published: May 29, 2025

제품2분 소요

Summary

Databricks AI/BI Genie를 효과적으로 구현하여 자체 서비스 마케팅 통찰력을 얻기 위한 다섯 가지 핵심 학습.
작게 시작하고, 데이터를 철저히 주석 처리하고, Genie의 성능을 최적화하기 위한 명확한 지시사항을 제공하는 등의 실용적인 전략을 배웁니다.
지속적인 피드백과 개선의 중요성을 이해하여 시간이 지남에 따라 정확하고 관련성 있는 데이터 인사이트를 보장합니다.

소개

마케팅 팀은 자주 데이터에 접근하는 데 어려움을 겪으며, 종종 기술 팀에게 그 데이터를 실행 가능한 통찰력으로 변환하도록 의존하게 됩니다. 이 차이를 줄이기 위해, 우리의 Databricks 마케팅 팀은 AI/BI Genie 를 도입했습니다 - 이는 LLM 기반의 노코드 경험을 제공하며, 마케터들이 자연어 질문을 하고 그 데이터로부터 직접적이고 신뢰할 수 있는 답변을 받을 수 있게 합니다.

한 가지 중점적인 사용 사례를 위해 10명의 사용자에게 제공되던 프로토타입이 200명 이상의 마케터들이 한 달에 800회 이상의 쿼리를 처리하는 신뢰할 수 있는 자체 서비스 도구로 발전했습니다. 이 과정에서 우리는 간단한 프로토타입을 신뢰할 수 있는 자가 서비스 경험으로 전환하는 방법을 배웠습니다.

“Marge”의 부상

우리의 마케팅 지니, 애칭 "Marge"는 2024 데이터 + AI 서밋 이전에 실험으로 시작되었습니다. Thomas Russell, Senior Marketing Analytics Manager는 Genie의 잠재력을 인식하고 고객 계정, 프로그램 성능, 캠페인 속성 등 관련 Unity Catalog 테이블이 포함된 Genie 공간을 구성했습니다.

위의 이미지는 우리의 마케팅 지니 "Marge"가 활동하는 모습을 보여줍니다. 데이터는 정제되었지만, 일반적인 아이디어를 제공해야 합니다.

출시 이후로 Marge는 분석 팀에 의존하지 않고도 빠르고 신뢰할 수 있는 통찰력을 필요로 하는 마케터들에게 가장 먼저 찾는 자원이 되었습니다. 우리는 Genie를 비슷한 방식으로 보고 있습니다: 지도를 받으면 훌륭한 결과를 내지만, 보다 복잡한 작업에는 구조가 필요한 똑똑한 인턴 같은 존재입니다. 이러한 관점에서, 여기 Genie를 강력한 마케팅 도구로 만드는 데 도움이 된 5가지 주요 교훈을 제시합니다.

교훈 1: 작고 집중적으로 시작하라

Genie 공간을 만들 때, 모든 가능한 데이터를 포함하고 싶은 유혹이 있습니다. 그러나, 효과적인 공간을 구축하기 위한 핵심은 작고 집중적으로 시작하는 것입니다. 이렇게 생각해 보세요: 데이터 포인트가 적을수록 Genie의 오류 가능성이 줄어듭니다. LLM은 확률적이므로, 그들이 가질 수 있는 옵션이 많을수록 혼란의 가능성이 커집니다.

그렇다면 이것은 무엇을 의미하는가? 실질적인 용어로:

관련 테이블과 열만 선택: 당신이 답하고자 하는 초기 질문 세트를 해결하는 데 필요한 최소한의 테이블과 열을 포함시키세요. 스키마의 모든 테이블을 포함하는 것보다는 일관성 있고 관리 가능한 데이터셋을 목표로 하세요.
테이블과 열을 반복적으로 확장: 최소한의 설정으로 시작하여 사용자 피드백에 기반하여 반복적으로 확장하세요. 사용자가 더 많은 데이터가 필요하다고 판단한 후에만 추가 테이블과 열을 포함시키세요. 이는 프로세스를 간소화하고 공간이 실제 사용자의 필요에 맞게 자연스럽게 발전하도록 돕습니다.

예시: 우리의 첫 번째 마케팅 사례는 이메일 캠페인 성과를 분석하는 것이었으므로, 캠페인 세부 정보, 수신자 목록, 참여 메트릭스와 같은 이메일 캠페인 데이터가 있는 테이블만 포함하여 시작했습니다. 그런 다음 사용자들이 더 많은 데이터를 요청하는 피드백을 제공한 후에만 추가 데이터, 예를 들어 계정 세부 정보와 캠페인 속성을 천천히 포함시켰습니다.

수업 2: 데이터를 철저하게 주석 처리하고 문서화하십시오

세계에서 가장 똑똑한 데이터 분석가조차도 특정 비즈니스 개념, 용어, 그리고 프로세스를 먼저 이해하지 않으면 통찰력 있는 답변을 제공하는데 어려움을 겪을 것입니다. 예를 들어, 표준 달력 정의 대신에 여러분의 팀에서 "Q1"이라는 용어가 3월부터 5월을 의미한다면, 가장 숙련된 전문가도 이를 정확하게 해석하기 위해선 명확한 지침이 필요할 것입니다. 지니는 거의 같은 방식으로 작동합니다 - 이는 강력한 도구이지만, 최상의 성능을 발휘하기 위해서는 명확한 맥락과 잘 문서화된 데이터가 필요합니다. 이 목적을 위해 적절한 주석과 문서화는 매우 중요합니다. 여기에는 다음이 포함됩니다.

데이터 모델 정의 (기본 키 및 외래 키): 기본 키와 외래 키 관계를 테이블에 직접 추가하면 Genie가 정확하고 의미 있는 응답을 생성하는 능력이 크게 향상됩니다. 데이터가 어떻게 연결되는지 명확하게 정의함으로써, Genie가 테이블이 서로 어떻게 관련되어 있는지 이해하게 도와, 쿼리에서 조인을 생성할 수 있게 합니다.
메타데이터를 위해 Unity 카탈로그를 활용하십시오: Unity 카탈로그를 사용하여 설명 메타데이터를 효과적으로 관리하십시오. Unity Catalog는 세분화된 접근 제어, 감사 로그, 그리고 Databricks 환경의 모든 데이터 자산에 걸쳐 데이터 분류와 설명을 정의하고 관리할 수 있는 통합된 거버넌스 솔루션입니다. 메타데이터 관리를 중앙화함으로써, 데이터 설명이 일관되고 정확하며 쉽게 접근할 수 있도록 보장합니다.
AI 생성 댓글 활용: Unity 카탈로그는 초기 메타데이터 설명을 생성하는 데 AI를 활용할 수 있습니다. 이 자동화는 문서화 과정을 가속화하지만, 최종 설명은 정확성과 관련성을 보장하기 위해 지식이 풍부한 사람들에 의해 검토, 수정, 승인되어야 합니다. 그렇지 않으면, 부정확하거나 불완전한 메타데이터는 Genie를 혼란스럽게 만듭니다.
상세한 비즈니스 맥락 제공: 기본적인 설명을 넘어서, 주석은 데이터에 비즈니스 맥락을 제공해야 합니다. 이는 각 메트릭이 조직의 용어와 비즈니스 프로세스에 맞는 용어로 무엇을 나타내는지 설명하는 것을 의미합니다. 예를 들어, "open_rate"가 이메일을 열어본 수신자의 비율을 나타낸다면, 이는 열 설명에 명확하게 포함되어야 합니다. 데이터에서 일부 예제 값을 추가하는 것도 매우 도움이 됩니다.

예시: campaign_country 에 대한 컬럼 주석을 만들고, 설명으로 “값은 ISO 3166-1 알파-2 형식으로, 예를 들어: ‘US’, ‘DE’, ‘FR’, ‘BR’.”라고 적습니다. 이렇게 하면 Genie가 쿼리를 생성할 때 "Germany" 대신 "DE"를 사용하도록 알게 됩니다.

교훈 3: 명확한 예제 쿼리, 신뢰할 수 있는 자산, 그리고 텍스트 지침을 제공하라

Databricks Genie 공간의 효과적인 구현은 예제 SQL, 신뢰할 수 있는 자산, 그리고 명확한 텍스트 지시사항을 제공하는 데 크게 의존합니다. 이러한 기법들은 자연어 질문을 SQL 쿼리로 정확하게 번역하고 일관되고 신뢰할 수 있는 응답을 보장합니다.

명확한 지시사항, 예제 쿼리, 그리고 신뢰할 수 있는 자산의 사용을 결합함으로써, 당신은 Genie에게 정확하고 신뢰할 수 있는 통찰력을 생성하는 종합적인 도구를 제공합니다. 이 결합된 접근법은 우리의 마케팅 팀이 Genie에게 일관된 데이터 통찰력을 의존할 수 있게 하여, 의사결정을 향상시키고 성공적인 마케팅 전략을 추진합니다.

효과적인 지시사항 추가를 위한 팁:

작게 시작하십시오: 처음에는 필수 지침에 집중하십시오. 너무 많은 지시사항이나 예시를 upfront에 넣어 공간을 과부하시키지 마세요. 작고 관리 가능한 수의 지시사항은 공간을 효율적으로 유지하고 토큰 제한을 피합니다.
반복적으로: 실제 사용자 피드백과 테스트를 기반으로 점진적으로 자세한 지침을 추가합니다. 공간을 세밀화하고 간극을 식별하면서 (예: 이해하지 못한 쿼리나 반복적인 문제), 모든 것을 예방하려고 시도하는 대신 이러한 특정 필요성을 해결하기 위해 새로운 지시사항을 도입합니다.
집중력과 명확성: 각 지시사항이 특정 목적을 제공하도록 합니다. 중복되거나 과도하게 복잡한 지시사항은 처리를 간소화하고 응답 품질을 향상시키기 위해 피해야 합니다.
모니터링 및 조정: 생성된 쿼리를 검토하고 비즈니스 사용자로부터 피드백을 수집함으로써 공간의 성능을 지속적으로 테스트합니다. 정확성을 향상시키거나 단점을 해결하기 위해 필요한 경우에만 추가 지침을 포함시키세요.
일반 지침 사용: 일반 지침 을 활용해야 하는 몇 가지 예시는 다음과 같습니다:
1. 도메인 특정 전문 용어나 용어를 설명하기 위해 (예: “우리 회사에서 회계 연도가 무엇을 의미하는가?”).
2. 기본 행동이나 우선 순위를 명확히 하기 위해 (예: “누군가가 '상위 10개'를 요청하면, 수익 순으로 내림차순으로 결과를 반환하라.”).
3. 일반적인 유형의 쿼리를 해석하기 위한 전체적인 가이드라인을 설정합니다. 예를 들어, 다음과 같은 접근 방식이 있습니다.
  - “우리의 회계 연도는 2월에 시작되며, 'Q1'은 2월부터 4월까지를 가리킵니다.”
  - “질문이 '활성 캠페인'을 참조할 때, 캠페인의 상태 = '활성' 및 end_date >= today로 필터링하세요.”
예제 쿼리 추가: 우리는 예제 쿼리 가 다음과 같이 사용될 때 가장 큰 영향을 미친다는 것을 발견했습니다:
1. 테이블 메타데이터만으로는 Genie가 정확하게 답변할 수 없는 질문을 해결하기 위해.
2. 파생 개념이나 복잡한 논리를 포함하는 시나리오를 처리하는 방법을 보여주기 위해.
3. 사용자들이 종종 비슷하지만 약간 다른 질문을 자주 묻는 경우, 예시 쿼리는 Genie가 접근 방식을 일반화하는 데 도움이 됩니다.
  
  다음은 예시 쿼리에 대한 좋은 사용 사례입니다:
  - 사용자 질문: “Q1에서 각 캠페인에 속한 총 매출은 얼마인가요?”
  - 예제 SQL 답변:
신뢰할 수 있는 자산 활용: 신뢰할 수 있는 자산 은 일반적인 사용자 질문에 대한 검증된 답변을 제공하기 위해 설계된 미리 정의된 함수와 예제 쿼리입니다. 사용자가 신뢰할 수 있는 자산을 트리거하는 질문을 제출하면, 응답은 그것을 나타내어 결과의 정확성에 대한 추가적인 확신을 제공합니다. 우리는 신뢰할 수 있는 자산을 사용하는 가장 좋은 방법 중 일부를 발견했습니다:
1. 정확하고, 검증된 답변이 필요한 잘 정립된, 자주 묻는 질문에 대해.
2. 일관성과 정확성이 타협될 수 없는 고가치 또는 핵심적인 시나리오에서.
3. 질문이 응답에 절대적인 확신을 요구하거나 미리 설정된 논리에 의존하는 경우.
  
  다음은 신뢰할 수 있는 자산에 대한 훌륭한 사용 사례입니다:
  - 질문: “첫 번째 분기에 EMEA 지역에서 총 참여는 얼마였나요?
  - 예제 SQL 답변 (매개변수 포함):
  - 예시 SQL 답변 (함수):

수업 4: 데이터 전처리를 통해 복잡한 로직을 단순화하십시오

Genie는 자연어 쿼리를 해석하고 SQL로 번역할 수 있는 강력한 도구이지만, 복잡한 로직을 데이터셋 내에서 직접 전처리하는 것이 종종 더 효율적이고 정확합니다. Genie가 작업해야 하는 데이터를 단순화함으로써, 응답의 품질과 신뢰성을 향상시킬 수 있습니다. 예를 들어, 다음과 같은 접근 방식이 있습니다.

복잡한 필드 전처리: 복잡한 논리를 파싱하기 위해 Genie에 지시사항이나 예시를 제공하는 대신, 해석 과정을 단순화하는 새로운 컬럼을 만듭니다.
Boolean 컬럼: 복잡한 상태를 나타내기 위해 새로운 컬럼에 Boolean 값을 사용합니다. 이렇게 하면 데이터가 더 명확해지고 Genie가 이해하고 쿼리를 수행하기 쉬워집니다.
테이블 사전 결합: 결합해야 하는 여러 정규화된 테이블을 사용하는 대신, 이 테이블들을 단일, 비정규화된 뷰에서 사전 결합하세요. 이는 Genie가 관계를 추론하거나 복잡한 조인을 구성하는 필요성을 제거하며, 모든 관련 데이터를 한 곳에서 접근할 수 있게 하여 쿼리를 더 빠르고 정확하게 만듭니다.
Unity Catalog Metric Views 활용 (곧 출시 예정): Unity Catalog의 메트릭 뷰를 사용하여 전환율이나 고객 생애 가치와 같은 핵심 성과 지표를 미리 정의합니다. 이러한 뷰는 복잡한 계산의 논리를 중앙화함으로써 일관성을 보장하고, 이러한 메트릭을 참조하는 모든 쿼리에 대해 Genie가 신뢰할 수 있는 표준화된 결과를 제공하도록 합니다.

예시: event_status 라는 필드가 있고, 값은 "Registered - In Person," "Registered - Virtual," "Attended - In Person," 그리고 "Attended - Virtual."라고 가정해봅시다. 이 필드를 파싱하는 방법을 Genie에 지시하거나 수많은 예시 쿼리를 제공하는 대신, 이 데이터를 단순화하는 새로운 열을 만들 수 있습니다:

is_registered (event_status가 'Registered'를 포함하면 True)
is_attended (event_status가 'Attended'를 포함하면 True)
is_virtual ('Virtual'이 event_status에 포함되어 있으면 True)
is_inperson (event_status가 'In Person'을 포함하면 True)

Lesson 5: 지속적인 피드백과 개선

Genie 공간을 설정하는 것은 일회성 작업이 아닙니다. 사용자와의 상호작용 및 피드백에 기반한 지속적인 개선은 정확성과 관련성을 유지하는 데 중요합니다.

상호작용 모니터링: Genie의 모니터링 도구를 사용하여 사용자와의 상호작용을 검토하고 혼란스럽거나 오류가 발생하는 공통적인 부분을 파악합니다. 사용자들이 “이것이 맞습니까?”라는 프롬프트에 응답하여 적극적으로 피드백을 제공하도록 격려합니다. "예", "수정하기" 또는 "리뷰 요청하기"로 응답할 수 있습니다. 또한, 사용자들이 개선이 필요하거나 추가 조사가 필요한 부분에 대한 자세한 코멘트를 추가하도록 격려합니다. 이 피드백 루프는 Genie 공간을 지속적으로 개선하고 마케팅 팀의 요구에 더 잘 부응하도록 발전시키는 데 필수적입니다.
피드백 통합: 사용자 피드백에 기반한 업데이트된 테이블 메타데이터, 예제 쿼리, 새로운 지침으로 정기적으로 공간을 업데이트합니다. 이 반복적인 과정은 시간이 지남에 따라 Genie의 성능을 향상시킵니다.
벤치마크 구축 및 실행: 이들은 미리 정의된 "골드 스탠다드" SQL 답변과 비교하여 시스템적인 정확성 평가를 가능하게 합니다. 데이터 또는 지시사항 업데이트 후 이러한 벤치마크를 실행하면 Genie가 어디서 개선되거나 악화되는지를 파악하고, 대상을 정확하게 개선하는 데 도움이 됩니다. 이 반복적인 과정은 신뢰할 수 있는 인사이트를 보장하고 Genie 공간이 변화하는 비즈니스 요구 사항과 일치하도록 유지하는 데 도움이 됩니다.

예시: 사용자들이 세그먼트 특정 데이터를 쿼리할 때 자주 잘못된 결과를 얻는다면, 세그먼트화 로직을 더 잘 정의하고 해당 예제 쿼리를 개선하기 위해 지시사항을 업데이트합니다.

결론

마케팅 인사이트 또는 다른 비즈니스 사용 사례에 맞게 맞춤화된 효과적인 Databricks AI/BI Genie를 구현하는 것은 집중적이고 반복적인 접근 방식을 필요로 합니다. 작게 시작하여 데이터를 철저히 문서화하고, 명확한 지시사항과 예제 쿼리를 제공하고, 신뢰할 수 있는 자산을 활용하고, 사용자 피드백에 기반하여 공간을 지속적으로 개선함으로써, Genie의 잠재력을 최대화하여 고품질, 정확한 답변을 제공할 수 있습니다.

이러한 전략을 Databricks 마케팅 조직 내에서 적용함으로써, 우리는 상당한 개선을 이루어냈습니다. 우리의 Genie 사용량은 분기 대비 거의 50% 증가했으며, 플래그가 표시된 잘못된 응답의 수는 25% 감소했습니다. 이로 인해 우리의 마케팅 팀은 더 깊은 통찰력을 얻고, 답변을 신뢰하고, 자신감 있게 데이터 기반의 결정을 내릴 수 있게 되었습니다.

자세한 정보가 필요하신가요?

이 사용 사례에 대해 더 자세히 알고 싶다면, 올해 샌프란시스코에서 열리는 Data and AI Summit 에서 Thomas Russell에게 직접 참여할 수 있습니다. 그의 세션, “How We Turned 200+ Business Users Into Analysts With AI/BI Genie”는 놓치지 않아야 할 것입니다—반드시 달력에 추가하세요!

이 블로그에서 얻은 주요 학습 내용 외에도 AI/BI Genie의 모범 사례에 대해 더 알아보기 위한 다양한 기사와 비디오가 이미 게시되어 있습니다. 우리의 제품 문서에서 권장하는 모범 사례를 확인해 볼 수 있습니다. Medium에서는 읽을 수 있는 블로그가 많이 있습니다, 포함하여:

읽기보다 시청하는 것을 선호한다면, 이 YouTube 비디오들을 확인해 볼 수 있습니다:

또한 우리가 만든 새로운 AI/BI Genie 온보딩이라는 블로그를 확인해 보시기 바랍니다.

AI/BI Genie와 대시보드에 대해 더 탐색하고 배우고 싶다면, 다음 옵션 중 하나를 선택할 수 있습니다:

무료 체험: 무료 체험에 가입하여 직접 경험해 보세요.
문서: 우리의 문서를 통해 더 자세한 내용을 알아보세요.
웹페이지: 자세한 내용을 알아보려면 웹페이지 를 방문하십시오.
데모: 데모 비디오, 제품 투어 를 보고, 이러한 AI/BI가 작동하는 모습을 직접 보기 위한 튜토리얼을 받으십시오.
교육: Databricks Academy를 통해 무료 제품 교육 을 시작하세요.
eBook: Business Intelligence meets AI eBook을 다운로드하세요.

이렇게까지 읽어주셔서 감사합니다. 곧 더 좋은 AI/BI 콘텐츠가 출시될 예정이니 기대해주세요!

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

다음은 무엇인가요?

January 27, 2025/1분 이내 소요

Databricks로의 마이그레이션 탐색: 아키텍처와 전략적 접근법

January 31, 2025/1분 이내 소요