Fizz acelera el análisis de comercio electrónico con Databricks SQL

Databricks SQL abre posibilidades para casi todo lo que queremos hacer. Es una plataforma todo en uno con inteligencia de datos completa. Es mayormente automático bajo el capó, así que no tienes que preocuparte, solo puedes construir.— Tamas Bacskai, Head of Data, Fizz.hu

Fizz.hu es un mercado de comercio electrónico de rápido crecimiento respaldado por OTP Group. Lanzado hace solo dos años como parte de la estrategia “más allá de la banca” de OTP, Fizz alberga a más de 500 comerciantes que ofrecen más de 1.5 millones de ofertas de productos activas en electrónica, artículos para el hogar y más.

Desde el principio, los datos fueron una prioridad. Pero la empresa comenzó con una base simple: Microsoft SQL Server y Power BI, ejecutando cargas diarias por lotes para informes. A medida que los catálogos de productos se expandieron y surgieron nuevos casos de uso, esa configuración comenzó a mostrar sus límites.

Fizz necesitaba más que un almacén de datos tradicional. Necesitaba una plataforma todo en uno que pudiera soportar SQL, Python e iniciativas futuras de IA sin agregar complejidad operativa. El equipo encontró eso en Databricks SQL y decidió migrar a una arquitectura de lakehouse construida para escalar con el negocio.

Una migración pragmática, entregada en tres meses

Cuando Tamas Bacskai se unió como Head of Data, su mandato era claro: construir un equipo orientado a los datos y definir un camino escalable hacia adelante. El entorno SQL Server existente funcionaba como un almacén básico, pero las cargas de trabajo de Python se ejecutaban en una máquina virtual separada, la gobernanza era limitada y escalar significaba aumentar el gasto en infraestructura.

El equipo evaluó tres opciones: continuar enfocándose solo en el almacenamiento de datos, dividir las cargas de trabajo avanzadas a otro equipo de desarrollo o adoptar una arquitectura de lakehouse que pudiera unificar SQL y Python. El modelo de lakehouse “cumplió todos los requisitos”, dijo Bacskai, incluida la expansión futura al machine learning y la IA.

En lugar de apuntar a un rediseño perfecto, Fizz adoptó un enfoque MVP (Producto Mínimo Viable) primero. Con el apoyo de un socio externo, migraron aproximadamente 50 tablas y varios procedimientos almacenados, recreando vistas principales en Databricks SQL. El objetivo era simple: mantener los informes en funcionamiento, pero dirigirlos a un nuevo motor.

“Fue poco ortodoxo”, dijo Bacskai. “No queríamos una migración perfecta donde todo se reescribiera. Queríamos movernos lo más rápido posible y refinar y modernizar después. Es mucho más fácil hacerlo una vez que los datos están en Databricks”.

En tres meses, el SQL Server heredado se apagó por completo. Los informes de Power BI continuaron sin problemas, ahora impulsados por Databricks. “No fue imposible, solo ambicioso”, dijo Bacskai, “pero predecible y alcanzable”.

Informes más rápidos y mejores niveles de servicio

El impacto inmediato fue en el rendimiento. Anteriormente, los ciclos diarios de ETL podían llevar de tres a cuatro horas, y los informes no estaban disponibles de manera confiable hasta las 7:00 u 8:00 a.m. Eso creó fricción con los usuarios de negocios que comenzaban su día más temprano.

Con Databricks SQL, Fizz redujo su ventana de procesamiento nocturno de extremo a extremo a aproximadamente 90 minutos. Los informes ahora están listos consistentemente para las 4:30 a.m., incluso los fines de semana y días festivos. Los ciclos de actualización de Power BI se redujeron aproximadamente en un 50%, y las exportaciones a escala de gigabytes ahora se completan en minutos.

Las ganancias no fueron el resultado de una infraestructura sobreprovisionada. Fizz ejecuta cargas de trabajo relativamente moderadas, alrededor de 10 TB en total en las capas de bronce y plata, pero el nuevo motor SQL y las capacidades de autooptimización ofrecieron mejoras medibles sin ajustes constantes.

“No es que simplemente le hayamos echado más dinero o clústeres más grandes”, aclaró Bacskai. “El motor de ejecución SQL es simplemente más rápido. Se autooptimiza y todo está ahí para nosotros”.

Igualmente importante, Databricks eliminó la necesidad de entornos separados para ejecutar Python. Todos los trabajos ahora se ejecutan de forma nativa dentro de la plataforma, lo que simplifica las operaciones y crea una base más limpia para futuras iniciativas de machine learning.

Ampliando capacidades con IA y autoservicio

Desde el principio, Fizz quería una plataforma que no limitara sus ambiciones de IA. Incluso durante la migración, el equipo anticipó la creciente demanda de machine learning, IA generativa y gobernanza de datos más avanzada.

Hoy, Databricks puede soportar cargas de trabajo de SQL, Python y machine learning en un solo entorno. El equipo está explorando políticas de enmascaramiento y controles de gobernanza para fortalecer la preparación para GDPR y la Ley de IA de la UE. Las funciones SQL impulsadas por IA ayudarán a limpiar y estandarizar los nombres de los productos, reduciendo la dependencia de expresiones regulares complejas y acelerando la preparación de datos.

El análisis de autoservicio también se está expandiendo a través de Databricks Genie. Los usuarios de negocios pueden hacer preguntas en lenguaje natural, en húngaro, sin escribir SQL. Aproximadamente 20 usuarios activos dependen de Genie hoy en día, recuperando aproximadamente el 20% del tiempo de un analista que antes se dedicaba a responder solicitudes ad hoc, liberando al equipo para esfuerzos de mayor valor.

“Nuestra configuración de Genie aún no está completa”, señaló Bacskai, “pero significa que no tenemos que aprender SQL para hacer una pregunta. Simplemente puedes chatear con tus datos”.

Para una empresa de comercio electrónico en crecimiento, el valor se extiende más allá de la velocidad. Databricks proporciona una base unificada y lista para IA que escala con nuevos casos de uso, desde la integración de datos de marketing hasta puntos finales de servicio de modelos, sin requerir un equipo más grande para administrarla.

“Databricks SQL fue mucho mejor de lo que anticipamos”, dijo Bacskai. “Es algo con lo que nos encanta trabajar. Puede hacer todo lo que queremos, así que solo podemos construir y crear lo que queramos”.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original