Desbloqueie campanhas de marketing contínuas e econômicas com o Lakebase

Recentemente, a Deichmann publicou uma história de cliente descrevendo como o Lakebase permitiu marketing omnichannel integrado. Este blog aborda o lado técnico da história.

Toda empresa de varejo precisa alavancar dados para entregar campanhas de marketing personalizadas e de alta performance. No entanto, vemos algumas ineficiências em toda a indústria:

• Empresas pagam por recursos de banco de dados subutilizados: segmentos de clientes usados para campanhas personalizadas são frequentemente armazenados em um banco de dados OLTP do qual as ferramentas de marketing os leem. Quando as campanhas de marketing são lançadas, há um pico nas requisições do banco de dados, mas, fora isso, a utilização do banco de dados é baixa.
• As necessidades em constante mudança das equipes de marketing adicionam um fardo operacional às equipes de dados: os praticantes de dados criam novos segmentos de clientes no Lakehouse, e cada nova solicitação do Marketing resulta em um pacote de pipelines de sincronização Lakehouse-para-OLTP para criar, manter e monitorar.

Um lakebase é uma arquitetura nova e aberta que combina os melhores elementos de bancos de dados transacionais com a flexibilidade e a economia do data lake. O Databricks Lakebase Postgres, nossa implementação da arquitetura lakebase, resolve esses problemas:

• Ao separar o armazenamento da computação, os dados podem ser armazenados de forma barata em object stores sem escalar a computação linearmente. Isso significa que o número e a diversidade de atributos de clientes podem aumentar significativamente sem exigir recursos de computação adicionais. À medida que os dados crescem, mas o tráfego do banco de dados não, os custos do Lakebase permanecem inferiores aos dos bancos de dados OLTP tradicionais.
• Alimentado por uma computação Postgres elástica e serverless, o Lakebase escala instantaneamente com a demanda e reduz a escala quando ocioso em menos de um segundo. Os custos se alinham diretamente com o uso, tornando-o ideal para cargas de trabalho intermitentes, como campanhas de marketing agendadas. Os clientes do Lakebase pagam apenas pelos recursos de que precisam, reduzindo custos e eliminando a necessidade de dimensionar e planejar sua computação com antecedência.
• Ao integrar-se perfeitamente com o Lakehouse, a sincronização entre o Lakebase e o Lakehouse é totalmente gerenciada, confiável e eficiente, tirando o fardo da criação e manutenção de pipelines dos Praticantes de Dados.

Integrando Lakebase com SAP Engagement Cloud

Para ilustrar os benefícios de usar o Lakebase como banco de dados de backend para nossa plataforma de campanha de marketing, mostraremos como integrar o Lakebase com o SAP Engagement Cloud, uma plataforma de marketing omnichannel, e lançar uma campanha de marketing personalizada com base em segmentos de clientes criados anteriormente no Lakehouse.

Etapa 1: Criar e configurar um novo projeto Lakebase

Configuramos nossa instância Postgres criando um novo projeto Lakebase Autoscaling. Um projeto é o contêiner de nível superior para nossos recursos de banco de dados. Um projeto recém-criado inclui um banco de dados de produção, que será a instância PostgreSQL à qual o SAP Engagement Cloud se conectará.

Campanhas de marketing dependem de gatilhos baseados em tempo. Quando uma campanha é acionada, o SAP Engagement Cloud consulta o banco de dados para recuperar prospects que atendem aos critérios especificados. Esses mecanismos induzem picos periódicos em baixas estendidas. Por esse motivo, para computação, escalamos para 0 para as baixas estendidas, eliminando custos de computação para esses períodos, e definimos uma capacidade média de 16 CU (~32 GB de RAM) como o máximo para os picos. Mesmo que a faixa de memória escolhida seja relativamente grande, a velocidade e a reatividade de autoescalonamento do Lakebase eliminam o risco de subutilização de recursos, o que reduz o TCO e a necessidade de dimensionamento e provisionamento de nosso banco de dados.

Uma vez configurada a computação do Lakebase, precisamos criar as roles necessárias para o SAP Engagement Cloud. O Lakebase suporta roles OAuth para identidades Databricks e roles de senha Postgres Nativas. Como o Engagement Cloud não consegue lidar com a rotação de tokens horária que ocorre para roles OAuth, usaremos roles Postgres nativas. Roles Postgres podem ser criadas de várias maneiras; usaremos a UI do Lakebase para gerar uma senha de alta entropia. Capture a senha imediatamente e armazene-a em um gerenciador de segredos. Recomendamos rotacionar senhas gerando novas em uma programação regular.

Em seguida, concedemos as permissões necessárias à role Postgres recém-criada do SAP Engagement Cloud para nosso schema usado para nossos segmentos de clientes sincronizados, executando estes comandos no console SQL do Lakebase.

Etapa 2: Conectar SAP Engagement Cloud ao Lakebase

O SAP Engagement Cloud requer um certificado CA para se conectar a uma instância PostgreSQL. O Lakebase usa certificados emitidos pela Let's Encrypt, portanto, o certificado raiz necessário é ISRG Root X1.

Podemos obter o certificado raiz com:

Podemos inspecionar o certificado exportado para confirmar que ele está correto:

Ao configurar nossa nova conexão PostgreSQL no SAP Engagement Cloud, colaremos o conteúdo deste arquivo quando solicitado um certificado CA.

Etapa 3: Sincronizar os segmentos de clientes com o Lakebase

Com a conexão e a role criadas, podemos sincronizar nossos segmentos de clientes do Lakehouse para o Lakebase. Para isso, precisamos criar uma tabela sincronizada a partir da tabela a ser sincronizada. As Tabelas Sincronizadas do Databricks criam uma cópia gerenciada de nossos dados do Unity Catalog no Lakebase, tornando-os disponíveis para aplicativos que precisam de consultas de baixa latência no estilo OLTP.

Vários modos de sincronização estão disponíveis: snapshot, triggered e continuous. Em nosso caso, e com muita frequência, os segmentos de clientes são recomputados diariamente em lote, substituindo uma parte significativa do conjunto de dados. Quando mais de 10% dos dados são atualizados, recomendamos o modo snapshot, que oferece um desempenho 10x melhor do que o modo triggered. A partir daí, um pipeline gerenciado é criado e os dados são sincronizados. Tornar novos segmentos de clientes disponíveis para o Engagement Cloud agora leva apenas alguns cliques, acelerando o tempo de lançamento no mercado e reduzindo o fardo operacional.

Além disso, devido à separação de computação e armazenamento do Lakebase, o tamanho e a diversidade dos dados disponíveis para o Engagement Cloud podem crescer sem a necessidade de escalar recursos de computação como em bancos de dados clássicos, mantendo os custos baixos. No entanto, é importante ter em mente que o Databricks Lakebase é otimizado para lookups pontuais de alta concorrência e consultas OLTP curtas, não para grandes scans ou OLAP clássico.

Sincronizar Dados Operacionais para o Lakehouse

Além dos segmentos de clientes gerados, as campanhas de marketing podem incorporar dados de outros aplicativos. Por exemplo, os clientes podem se inscrever para receber notificações sobre reposição de estoque de produtos ou novas chegadas em uma categoria ou marca específica. Os aplicativos podem usar o Lakebase como um banco de dados Postgres padrão para armazenar esses dados de notificação, tornando-os disponíveis para o Engagement Cloud para segmentação de campanhas. Quaisquer dados gravados no Lakebase podem então ser sincronizados com o Lakehouse para análise via Lakehouse Sync — um pipeline nativo e contínuo baseado em CDC do Lakebase Postgres para tabelas Delta do Unity Catalog que torna os dados operacionais disponíveis para análises mais ricas e IA.

Otimização de Performance

Lakebase é Postgres, e podemos otimizar o desempenho de forma semelhante a um banco de dados Postgres clássico.

A construção de índices é uma das otimizações mais fáceis, impactantes e comuns. Quando campanhas de marketing são acionadas, o SAP Engagement Cloud dispara consultas para recuperar IDs de clientes filtrados por uma cláusula WHERE.

Crie um índice com base nessa condição de filtragem. Índices podem ser criados no Lakebase escrevendo no console SQL do Lakebase:

No caso do SAP Engagement Cloud, os índices já devem nos dar o desempenho que precisamos. Se otimizações adicionais forem necessárias, devemos primeiro identificar as consultas mais longas e frequentes usando pg_stat_statements ou usando a interface do Databricks Lakebase, que fornece o desempenho das consultas e um conjunto de métricas para monitorar o banco de dados.

As consultas mais longas e problemáticas podem ser analisadas usando:

PREFETCH e FILECACHE são específicos do Lakebase e mostram, respectivamente, quantas requisições de prefetch foram emitidas/atingidas/desperdiçadas e quais foram os acertos/erros contra o Cache de Arquivos Local (LFC). A interface do Databricks Lakebase também fornece uma interface útil para executar essas análises.

A partir daí, poderíamos explorar opções de otimização adicionais como:

• Alterar a configuração do work_mem - aumentá-lo para 256 MB para computação maior pode ser benéfico.
• Ajustar autovacuum_vacuum_scale_factor para um valor menor em tabelas com alta taxa de rotatividade, observe o inchaço com pg_stat_user_tables.

Conclusão

O Lakebase, com sua tecnologia única e forte integração com o Lakehouse, pode fornecer serviço de baixa latência de segmentos de clientes criados por cargas de trabalho analíticas e de IA.

O Lakebase reduz drasticamente o TCO ao escalar automaticamente e escalar para zero quando os recursos não estão em uso, eliminando custos de recursos ociosos.

A integração do Lakebase com o Lakehouse remove o ônus operacional de manter pipelines de sincronização, reduz o tempo de lançamento no mercado para novos segmentos de clientes e permite campanhas de marketing mais personalizadas, impulsionando maior engajamento em um período de tempo mais curto.

Pronto para modernizar sua pilha de marketing? Experimente o Databricks Lakebase Postgres hoje e veja como o OLTP sem servidor combinado com o Lakehouse pode reduzir seu TCO e acelerar a entrega de campanhas. Visite a página do produto Lakebase da Databricks, leia a história do cliente Deichmann ou entre em contato com sua equipe de contas da Databricks para dimensionar um prova de conceito adaptada às suas cargas de trabalho de campanha de marketing.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original