5 lições chave da implementação do AI/BI Genie para insights de marketing de autoatendimento

Introdução

As equipes de marketing frequentemente encontram desafios para acessar seus dados, muitas vezes dependendo de equipes técnicas para traduzir esses dados em insights acionáveis. Para preencher essa lacuna, nossa equipe de Marketing da Databricks adotou o AI/BI Genie - uma experiência sem código, alimentada por LLM, que permite aos profissionais de marketing fazer perguntas em linguagem natural e receber respostas confiáveis e governadas diretamente de seus dados.

O que começou como um protótipo atendendo 10 usuários para um caso de uso específico, evoluiu para uma ferramenta de autoatendimento confiável usada por mais de 200 profissionais de marketing, lidando com mais de 800 consultas por mês. Ao longo do caminho, aprendemos como transformar um simples protótipo em uma experiência de autoatendimento confiável.

A Ascensão da “Marge”

Nossa Genie de Marketing, carinhosamente chamada de “Marge”, começou como um experimento antes do Data + AI Summit de 2024. Thomas Russell, Gerente Sênior de Análise de Marketing, reconheceu o potencial da Genie e configurou um espaço Genie com tabelas relevantes do Catálogo Unity, incluindo contas de clientes, desempenho do programa e atribuição de campanha.

A imagem acima mostra nossa "Marge", a Genie de Marketing, em ação. Embora os dados tenham sido higienizados, eles devem dar uma ideia geral.

Desde o lançamento, Marge se tornou um recurso indispensável para os profissionais de marketing que precisam de insights rápidos e confiáveis, sem depender das equipes de análise. Vemos o Genie de maneira semelhante: como um estagiário inteligente que pode entregar ótimos resultados com orientação, mas ainda precisa de estrutura para tarefas mais complexas. Com essa perspectiva, aqui estão cinco lições chave que ajudaram a moldar o Genie em uma ferramenta poderosa para o marketing.

Lição 1: Comece pequeno e focado

Ao criar um espaço Genie, é tentador incluir todos os dados disponíveis. No entanto, começar pequeno e focado é a chave para construir um espaço eficaz. Pense desta maneira: menos pontos de dados significam menos chances de erro para o Genie. LLMs são probabilísticos, o que significa que quanto mais opções eles têm, maior a chance de confusão.

Então, o que isso significa? Em termos práticos:

• Selecione apenas tabelas e colunas relevantes: Inclua as menores quantidades de tabelas e colunas necessárias para responder ao conjunto inicial de perguntas que você deseja responder. Mire em um conjunto de dados coeso e gerenciável, em vez de incluir todas as tabelas em um esquema.
• Expanda tabelas e colunas iterativamente: Comece com uma configuração mínima e expanda iterativamente com base no feedback do usuário. Incorpore tabelas e colunas adicionais apenas depois que os usuários identificarem a necessidade de mais dados. Isso ajuda a otimizar o processo e garante que o espaço evolua organicamente para atender às necessidades reais do usuário.

Exemplo: Nosso primeiro caso de uso de marketing envolveu a análise do desempenho de campanhas de email, então começamos incluindo apenas tabelas com dados de campanha de email, como detalhes da campanha, listas de destinatários e métricas de engajamento. Depois, expandimos lentamente para incluir dados adicionais, como detalhes da conta e atribuição de campanha, apenas depois que os usuários forneceram feedback solicitando mais dados.

Lição 2: Anote e documente seus dados completamente

Mesmo o analista de dados mais inteligente do mundo teria dificuldades para fornecer respostas perspicazes sem primeiro entender seus conceitos de negócios específicos, terminologia e processos. Por exemplo, se um termo como "Q1" significa março a maio para sua equipe, em vez da definição padrão do calendário, até o especialista mais habilidoso precisaria de orientações claras para interpretá-lo corretamente. O Genie funciona de maneira muito semelhante - é uma ferramenta poderosa, mas para ter um desempenho ótimo, precisa de um contexto claro e dados bem documentados para trabalhar. A anotação e documentação adequadas são críticas para este propósito. Isso inclui:

• Defina seu modelo de dados (chaves primárias e estrangeiras): Adicionar relações de chaves primárias e estrangeiras diretamente às tabelas irá melhorar significativamente a capacidade do Genie de gerar respostas precisas e significativas. Ao definir explicitamente como seus dados estão conectados, você ajuda o Genie a entender como as tabelas se relacionam umas com as outras, permitindo que ele crie junções em consultas.
• Adote o Unity Catalog para seus metadados: Utilize o Unity Catalog para gerenciar seus metadados descritivos de forma eficaz. O Catálogo Unity é uma solução unificada de governança que oferece controles de acesso refinados, registros de auditoria e a capacidade de definir e gerenciar classificações e descrições de dados em todos os ativos de dados em seu ambiente Databricks. Ao centralizar o gerenciamento de metadados, você garante que as descrições de seus dados sejam consistentes, precisas e facilmente acessíveis.
• Aproveite os comentários gerados por IA: O Catálogo Unity pode usar IA para ajudar a gerar descrições de metadados iniciais. Embora essa automação acelere o processo de documentação, as descrições finais devem ser revisadas, modificadas e aprovadas por humanos conhecedores para garantir precisão e relevância. Caso contrário, metadados imprecisos ou incompletos confundirão o Genie.
• Forneça contexto de negócios detalhado: Além das descrições básicas, as anotações devem fornecer contexto de negócios para seus dados. Isso significa explicar o que cada métrica representa em termos que se alinham com a terminologia e os processos de negócios da sua organização. Por exemplo, se "open_rate" se refere à porcentagem de destinatários que abriram um e-mail, isso deve estar claramente incluído na descrição da coluna. Adicionar alguns valores de exemplo dos dados também é extremamente útil.

Exemplo: Crie uma anotação de coluna para campaign_country com a descrição “Os valores estão no formato ISO 3166-1 alfa-2, por exemplo: ‘US’, ‘DE’, ‘FR’, ‘BR’.” Isso ajudará a Genie a usar “DE” em vez de “Alemanha” quando ela cria consultas.

Lição 3: Forneça consultas de exemplo claras, ativos confiáveis e instruções de texto

A implementação eficaz de um espaço Genie do Databricks depende muito do fornecimento de exemplos de SQL, aproveitando ativos confiáveis e instruções claras em texto. Essas técnicas garantem a tradução precisa de perguntas de linguagem natural em consultas SQL e respostas consistentes e confiáveis.

Ao combinar instruções claras, consultas de exemplo e o uso de ativos confiáveis, você fornece ao Genie um conjunto de ferramentas abrangente para gerar insights precisos e confiáveis. Essa abordagem combinada garante que nossa equipe de marketing possa contar com o Genie para insights de dados consistentes, aprimorando a tomada de decisões e impulsionando estratégias de marketing bem-sucedidas.

Dicas para adicionar instruções eficazes:

• Comece pequeno: Concentre-se nas instruções essenciais inicialmente. Evite sobrecarregar o espaço com muitas instruções ou exemplos de uma vez. Um pequeno número gerenciável de instruções garante que o espaço permaneça eficiente e evita limites de tokens.
• Seja iterativo: Adicione instruções detalhadas progressivamente com base no feedback real do usuário e nos testes. À medida que você refina o espaço e identifica lacunas (por exemplo, consultas mal compreendidas ou problemas recorrentes), introduza novas instruções para atender a essas necessidades específicas em vez de tentar antecipar tudo.
• Foco e clareza: Certifique-se de que cada instrução serve a um propósito específico. Instruções redundantes ou excessivamente complexas devem ser evitadas para simplificar o processamento e melhorar a qualidade da resposta.
• Monitore e ajuste: Teste continuamente o desempenho do espaço, examinando as consultas geradas e coletando feedback dos usuários de negócios. Incorpore instruções adicionais apenas onde necessário para melhorar a precisão ou abordar deficiências.
• Use instruções gerais: Alguns exemplos de quando usar instruções gerais incluem:
  1. Para explicar jargões ou terminologia específicos do domínio (por exemplo, "O que significa ano fiscal em nossa empresa?").
  2. Para esclarecer comportamentos ou prioridades padrão (por exemplo, "Quando alguém pede 'top 10', retorne os resultados em ordem decrescente de receita.").
  3. Para estabelecer diretrizes gerais para a interpretação de tipos gerais de consultas. Por exemplo:
     • “Nosso ano fiscal começa em fevereiro, e 'Q1' se refere a fevereiro a abril.”
     • "Quando uma pergunta se refere a 'campanhas ativas', filtre por campanhas com status = 'ativo' e end_date >= hoje."
       
• Adicione consultas de exemplo: Descobrimos que consultas de exemplo têm o maior impacto quando usadas da seguinte maneira:
  1. Para responder perguntas que o Genie não consegue responder corretamente com base apenas nos metadados da tabela.
  2. Para demonstrar como lidar com conceitos derivados ou cenários que envolvem lógica complexa.
  3. Quando os usuários frequentemente fazem perguntas semelhantes, mas ligeiramente variáveis, as consultas de exemplo permitem que o Genie generalize a abordagem.
     
     O seguinte é um ótimo caso de uso para uma consulta de exemplo:
     • Pergunta do usuário: “Quais são as vendas totais atribuídas a cada campanha no Q1?”
     • Exemplo de Resposta SQL:
• Aproveite os ativos confiáveis: Ativos confiáveis são funções predefinidas e consultas de exemplo projetadas para fornecer respostas verificadas para perguntas comuns dos usuários. Quando um usuário envia uma pergunta que aciona um ativo confiável, a resposta indicará isso - adicionando uma camada extra de garantia sobre a precisão dos resultados. Descobrimos que algumas das melhores maneiras de usar ativos confiáveis incluem:
  1. Para perguntas bem estabelecidas, frequentemente feitas, que requerem uma resposta exata e verificada.
  2. Em cenários de alto valor ou missão crítica onde consistência e precisão são inegociáveis.
  3. Quando a pergunta exige total confiança na resposta ou depende de uma lógica pré-estabelecida.
     
     O seguinte é um ótimo caso de uso para um ativo confiável:
     • Pergunta: “Qual foi o total de engajamentos na região EMEA no primeiro trimestre?
     • Exemplo de resposta SQL (Com parâmetros):
     • Exemplo de resposta SQL (Função):

Lição 4: Simplifique a lógica complexa pré-processando os dados

Embora o Genie seja uma ferramenta poderosa capaz de interpretar consultas em linguagem natural e traduzi-las em SQL, muitas vezes é mais eficiente e preciso pré-processar a lógica complexa diretamente dentro do conjunto de dados. Ao simplificar os dados com os quais o Genie tem que trabalhar, você pode melhorar a qualidade e a confiabilidade das respostas. Por exemplo:

• Pré-processe campos complexos: Em vez de dar ao Genie instruções ou exemplos para analisar lógicas complexas, crie novas colunas que simplifiquem o processo de interpretação.
• Colunas Booleanas: Use valores Booleanos em novas colunas para representar estados complexos. Isso torna os dados mais explícitos e mais fáceis para o Genie entender e consultar.
• Pré-junte tabelas: Em vez de usar várias tabelas normalizadas que precisam ser unidas, pré-junte essas tabelas em uma única visão desnormalizada. Isso elimina a necessidade do Genie inferir relações ou construir junções complexas, garantindo que todos os dados relevantes estejam acessíveis em um único lugar e tornando as consultas mais rápidas e precisas.
• Aproveite as Visualizações de Métricas do Catálogo Unity (em breve): Use as visualizações de métricas no Catálogo Unity para pré-definir métricas de desempenho chave, como taxas de conversão ou valor do tempo de vida do cliente. Essas visualizações garantem consistência ao centralizar a lógica por trás de cálculos complexos, permitindo que o Genie entregue resultados confiáveis e padronizados em todas as consultas que referenciam essas métricas.

Exemplo: Digamos que existe um campo chamado event_status com os valores "Registrado - Presencial," "Registrado - Virtual," "Participou - Presencial," e "Participou - Virtual." Em vez de instruir o Genie sobre como analisar este campo ou fornecer várias consultas de exemplo, você pode criar novas colunas que simplificam esses dados:

• is_registered (Verdadeiro se o status do evento incluir 'Registrado')
• is_attended (Verdadeiro se o status do evento incluir 'Participou')
• is_virtual (Verdadeiro se o event_status incluir 'Virtual')
• is_inperson (Verdadeiro se o status do evento incluir 'Presencial')

Lição 5: Feedback contínuo e refinamento

A configuração dos espaços Genie não é uma tarefa única. O refinamento contínuo com base nas interações do usuário e no feedback é crucial para manter a precisão e a relevância.

• Monitore as interações: Use as ferramentas de monitoramento da Genie para revisar as interações dos usuários e identificar pontos comuns de confusão ou erro. Incentive os usuários a contribuir ativamente com feedback respondendo à pergunta "Isso está correto?" com “Sim”, “Corrigir” ou “Solicitar Revisão.” Além disso, incentive os usuários a complementar essas respostas com comentários detalhados sobre onde são necessárias melhorias ou mais investigações. Este ciclo de feedback é essencial para refinar continuamente o espaço Genie e garantir que ele evolua para atender melhor às necessidades da sua equipe de marketing.
• Incorpore o feedback: Atualize regularmente o espaço com metadados de tabela atualizados, consultas de exemplo e novas instruções com base no feedback do usuário. Este processo iterativo ajuda o Genie a melhorar com o tempo.
• Construir e executar benchmarks: Estes permitem avaliações sistemáticas de precisão ao comparar respostas com respostas SQL "padrão-ouro" predefinidas. Executar esses benchmarks após atualizações de dados ou instruções identifica onde o Genie está melhorando ou piorando, orientando refinamentos direcionados. Este processo iterativo garante insights confiáveis e ajuda a manter o alinhamento dos espaços Genie com as necessidades de negócios em evolução.

Exemplo: Se os usuários frequentemente obtêm resultados incorretos ao consultar dados específicos do segmento, atualize as instruções para definir melhor a lógica de segmentação e refinar as consultas de exemplo correspondentes.

Conclusão

Implementar um Genie AI/BI Databricks eficaz, personalizado para insights de marketing ou qualquer outro caso de uso de negócios, envolve uma abordagem focada e iterativa. Começando pequeno, documentando completamente seus dados, fornecendo instruções claras e consultas de exemplo, aproveitando ativos confiáveis e refinando continuamente seu espaço com base no feedback do usuário, você pode maximizar o potencial do Genie para fornecer respostas de alta qualidade e precisas.

Seguindo essas estratégias dentro da organização de marketing do Databricks, conseguimos impulsionar melhorias significativas. Nosso uso da Genie cresceu quase 50% trimestre a trimestre, enquanto o número de respostas incorretas sinalizadas caiu 25%. Isso capacitou nossa equipe de marketing a obter insights mais profundos, confiar nas respostas e tomar decisões baseadas em dados com confiança.

Quer saber mais?

Se você gostaria de saber mais sobre este caso de uso, pode se juntar a Thomas Russell pessoalmente no Data and AI Summit deste ano em San Francisco. Sua sessão, “Como Transformamos Mais de 200 Usuários de Negócios em Analistas com o Gênio da IA/BI,” é uma que você não vai querer perder—certifique-se de adicioná-la ao seu calendário!

Além das principais lições deste blog, existem toneladas de outros artigos e vídeos já publicados para ajudá-lo a aprender mais sobre as melhores práticas do AI/BI Genie. Você pode conferir as melhores práticas recomendadas em nossa documentação do produto. No Medium, existem vários blogs que você pode ler, incluindo:

• Melhores práticas para espaços Genie AI/BI no Databricks
• 7 Técnicas de Modelagem Semântica para Databricks Genie
• Como implementar o Databricks Genie: Melhores práticas e dicas de sucesso — SunnyData

Se você prefere assistir em vez de ler, pode conferir esses vídeos no YouTube:

• Melhores Práticas do Genie AI/BI
• Melhores Práticas para Implementações do Genie AI/BI da Databricks

Você também deve conferir o blog que criamos intitulado Integrando seu novo Genie AI/BI.

Se você está pronto para explorar e aprender mais sobre AI/BI Genie e Dashboards em geral, você pode escolher qualquer uma das seguintes opções:

• Teste gratuito: Ganhe experiência prática inscrevendo-se para um teste gratuito.
• Documentação: Aprofunde-se nos detalhes com nossa documentação.
• Página da web: Visite nossa página da web para saber mais.
• Demonstrações: Assista nossos vídeos de demonstração, faça tours pelos produtos e obtenha tutoriais práticos para ver esses AI/BI em ação.
• Treinamento: Comece com o treinamento gratuito do produto através da Databricks Academy.
• eBook: Baixe o eBook de Inteligência de Negócios encontra IA eBook.

Obrigado por ler até aqui e fique de olho em mais conteúdo incrível de AI/BI em breve!

(This blog post has been translated using AI-powered tools) Original Post