Fizz acelera a análise de e-commerce com Databricks SQL

O Databricks SQL abre possibilidades para quase tudo o que queremos fazer. É uma plataforma completa com inteligência de dados total. É majoritariamente automático nos bastidores, então você não precisa se preocupar – você pode simplesmente construir.— Tamas Bacskai, Head de Dados, Fizz.hu

Fizz.hu é um marketplace de e-commerce em rápido crescimento, apoiado pelo OTP Group. Lançado há apenas dois anos como parte da estratégia “beyond banking” da OTP, o Fizz abriga mais de 500 comerciantes oferecendo mais de 1,5 milhão de ofertas de produtos ativos em eletrônicos, artigos para o lar e muito mais.

Desde o início, os dados foram uma prioridade. Mas a empresa começou com uma base simples: Microsoft SQL Server e Power BI, executando cargas de lote diárias para relatórios. À medida que os catálogos de produtos se expandiam e novos casos de uso surgiam, essa configuração começou a mostrar seus limites.

A Fizz precisava de mais do que um data warehouse tradicional. Precisava de uma plataforma completa que pudesse suportar SQL, Python e futuras iniciativas de IA sem adicionar complexidade operacional. A equipe encontrou isso no Databricks SQL e decidiu migrar para uma arquitetura lakehouse construída para escalar com o negócio.

Uma migração pragmática, entregue em três meses

Quando Tamas Bacskai ingressou como Head de Dados, seu mandato era claro: construir uma equipe orientada a dados e definir um caminho escalável para o futuro. O ambiente SQL Server existente funcionava como um data warehouse básico, mas as cargas de trabalho Python eram executadas em uma máquina virtual separada, a governança era limitada e escalar significava aumentar os gastos com infraestrutura.

A equipe avaliou três opções: continuar focando apenas em data warehousing, dividir cargas de trabalho avançadas para outra equipe de desenvolvimento ou adotar uma arquitetura lakehouse que pudesse unificar SQL e Python. O modelo lakehouse “preencheu todos os requisitos”, disse Bacskai — incluindo a expansão futura para machine learning e IA.

Em vez de buscar um redesenho perfeito, a Fizz adotou uma abordagem MVP-first (mínimo produto viável). Com o apoio de um parceiro externo, eles migraram aproximadamente 50 tabelas e vários stored procedures, recriando visualizações principais no Databricks SQL. O objetivo era simples: manter os relatórios funcionando, mas direcioná-los para um novo motor.

“Foi pouco ortodoxo”, disse Bacskai. “Não queríamos uma migração perfeita onde tudo fosse reescrito. Queríamos nos mover o mais rápido possível e refinar e modernizar depois. É muito mais fácil fazer isso depois que os dados estão no Databricks.”

Em três meses, o SQL Server legado foi completamente desativado. Os relatórios do Power BI continuaram sem problemas, agora impulsionados pelo Databricks. “Não foi impossível, apenas ambicioso”, disse Bacskai, “mas previsível e alcançável.”

Relatórios mais rápidos e melhores níveis de serviço

O impacto imediato foi no desempenho. Anteriormente, os ciclos diários de ETL podiam levar de três a quatro horas, e os relatórios não estavam disponíveis de forma confiável até as 7h ou 8h da manhã. Isso criou atrito com os usuários de negócios que começavam o dia mais cedo.

Com o Databricks SQL, a Fizz reduziu sua janela de processamento noturno de ponta a ponta para aproximadamente 90 minutos. Os relatórios agora estão consistentemente prontos às 4h30, mesmo nos fins de semana e feriados. Os ciclos de atualização do Power BI foram reduzidos em aproximadamente 50%, e exportações em escala de gigabytes agora são concluídas em minutos.

Os ganhos não foram resultado de infraestrutura superprovisionada. A Fizz executa cargas de trabalho relativamente moderadas — cerca de 10 TB no total nas camadas bronze e silver — mas o novo motor SQL e as capacidades de auto-otimização proporcionaram melhorias mensuráveis sem ajuste constante.

“Não é que simplesmente jogamos mais dinheiro ou clusters maiores nisso”, esclareceu Bacskai. “O motor de execução SQL é simplesmente mais rápido. Ele se auto-otimiza e tudo está lá para nós.” 

Igualmente importante, o Databricks eliminou a necessidade de ambientes separados para executar Python. Todos os jobs agora rodam nativamente na plataforma, simplificando as operações e criando uma base mais limpa para futuras iniciativas de machine learning.

Expandindo capacidades com IA e autoatendimento

Desde o início, a Fizz queria uma plataforma que não limitasse suas ambições de IA. Mesmo durante a migração, a equipe antecipou a crescente demanda por machine learning, IA generativa e governança de dados mais avançada.

Hoje, o Databricks pode suportar cargas de trabalho de SQL, Python e machine learning em um único ambiente. A equipe está explorando políticas de mascaramento e controles de governança para fortalecer a prontidão para o GDPR e o AI Act da UE. Funções de SQL com IA ajudarão a limpar e padronizar nomes de produtos, reduzindo a dependência de expressões regulares complexas e acelerando a preparação de dados.

O autoatendimento de análise também está se expandindo através do Databricks Genie. Usuários de negócios podem fazer perguntas em linguagem natural, em húngaro, sem escrever SQL. Cerca de 20 usuários ativos dependem do Genie hoje, recuperando aproximadamente 20% do tempo de um analista anteriormente gasto respondendo a solicitações ad hoc – liberando a equipe para esforços de maior valor agregado.

“Nossa configuração do Genie ainda não está completa”, observou Bacskai, “mas significa que não precisamos aprender SQL para fazer uma pergunta. Você pode simplesmente conversar com seus dados.”

Para uma empresa de e-commerce em crescimento, o valor se estende além da velocidade. O Databricks fornece uma base unificada e pronta para IA que escala com novos casos de uso, desde a integração de dados de marketing até endpoints de serviço de modelos, sem exigir uma equipe maior para gerenciá-la.

“O Databricks SQL foi muito melhor do que antecipávamos”, disse Bacskai. “É algo com o qual adoramos trabalhar. Ele pode fazer tudo o que queremos, então podemos simplesmente construir e criar o que quisermos.” 

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original