Fizz accélère l'analyse e-commerce avec Databricks SQL

Databricks SQL ouvre des possibilités pour presque tout ce que nous voulons faire. C’est une plateforme tout-en-un avec une intelligence de données complète. C’est en grande partie automatique en coulisses, donc vous n’avez pas à vous inquiéter – vous pouvez simplement construire.— Tamas Bacskai, Head of Data, Fizz.hu

Fizz.hu est une place de marché e-commerce en croissance rapide, soutenue par OTP Group. Lancé il y a seulement deux ans dans le cadre de la stratégie « au-delà de la banque » d’OTP, Fizz accueille plus de 500 marchands proposant plus de 1,5 million d’offres de produits actives dans l’électronique, les articles ménagers, et plus encore.

Dès le début, les données étaient une priorité. Mais l’entreprise a commencé avec une base simple : Microsoft SQL Server et Power BI, exécutant des chargements par lots quotidiens pour le reporting. À mesure que les catalogues de produits s’agrandissaient et que de nouveaux cas d’utilisation émergeaient, cette configuration commençait à montrer ses limites.

Fizz avait besoin de plus qu’un entrepôt de données traditionnel. Il avait besoin d’une plateforme tout-en-un capable de prendre en charge SQL, Python et les futures initiatives d’IA sans ajouter de complexité opérationnelle. L’équipe a trouvé cela dans Databricks SQL et a décidé de migrer vers une architecture lakehouse conçue pour évoluer avec l’entreprise.

Une migration pragmatique, livrée en trois mois

Lorsque Tamas Bacskai a rejoint l’équipe en tant que Head of Data, son mandat était clair : constituer une équipe axée sur les données et définir une voie évolutive. L’environnement SQL Server existant fonctionnait comme un entrepôt de base, mais les charges de travail Python s’exécutaient sur une machine virtuelle séparée, la gouvernance était limitée et la mise à l’échelle signifiait une augmentation des dépenses d’infrastructure.

L’équipe a évalué trois options : continuer à se concentrer uniquement sur l’entreposage, diviser les charges de travail avancées à une autre équipe de développement, ou adopter une architecture lakehouse capable d’unifier SQL et Python. Le modèle lakehouse « cochait toutes les cases », a déclaré Bacskai – y compris l’expansion future vers le machine learning et l’IA.

Plutôt que de viser une refonte parfaite, Fizz a adopté une approche MVP (Minimum Viable Product) d’abord. Avec le soutien d’un partenaire externe, ils ont migré environ 50 tables et plusieurs procédures stockées, recréant les vues principales dans Databricks SQL. L’objectif était simple : maintenir les rapports en cours d’exécution, mais les faire pointer vers un nouveau moteur.

« C’était peu orthodoxe », a déclaré Bacskai. « Nous ne voulions pas d’une migration parfaite où tout est réécrit. Nous voulions avancer aussi vite que possible et affiner et moderniser après. C’est beaucoup plus facile une fois que les données sont dans Databricks. »

En trois mois, le système SQL Server existant a été complètement désactivé. Les rapports Power BI ont continué sans interruption, désormais alimentés par Databricks. « Ce n’était pas impossible, seulement ambitieux », a déclaré Bacskai, « mais prévisible et réalisable. »

Reporting plus rapide et meilleurs niveaux de service

L’impact immédiat a été sur les performances. Auparavant, les cycles ETL quotidiens pouvaient prendre trois à quatre heures, et le reporting n’était pas toujours disponible avant 7h00 ou 8h00 du matin. Cela créait des frictions avec les utilisateurs métier qui commençaient leur journée plus tôt.

Avec Databricks SQL, Fizz a réduit sa fenêtre de traitement nocturne de bout en bout à environ 90 minutes. Les rapports sont maintenant prêts de manière cohérente à 4h30 du matin, même le week-end et les jours fériés. Les cycles de rafraîchissement Power BI ont été réduits d’environ 50 %, et les exportations à l’échelle du gigaoctet s’achèvent maintenant en quelques minutes.

Ces gains n’étaient pas le résultat d’une infrastructure surprovisionnée. Fizz exécute des charges de travail relativement modérées – environ 10 To au total sur les couches bronze et argent – mais le nouveau moteur SQL et les capacités d’auto-optimisation ont apporté des améliorations mesurables sans réglage constant.

« Ce n’est pas que nous avons simplement investi plus d’argent ou utilisé des clusters plus grands », a clarifié Bacskai. « Le moteur d’exécution SQL est tout simplement plus rapide. Il s’auto-optimise et tout est là pour nous. » 

Tout aussi important, Databricks a éliminé le besoin d’environnements séparés pour exécuter Python. Tous les jobs s’exécutent désormais nativement au sein de la plateforme, simplifiant les opérations et créant une base plus propre pour les futures initiatives de machine learning.

Capacités étendues avec l’IA et le libre-service

Dès le départ, Fizz souhaitait une plateforme qui ne limiterait pas ses ambitions en matière d’IA. Même pendant la migration, l’équipe anticipait une demande croissante pour le machine learning, l’IA générative et une gouvernance des données plus avancée.

Aujourd’hui, Databricks peut prendre en charge les charges de travail SQL, Python et machine learning dans un environnement unique. L’équipe explore les politiques de masquage et les contrôles de gouvernance pour renforcer la préparation aux réglementations GDPR et EU AI Act. Les fonctions SQL alimentées par l’IA aideront à nettoyer et standardiser les noms de produits, réduisant la dépendance aux expressions régulières complexes et accélérant la préparation des données.

L’analyse en libre-service se développe également grâce à Databricks Genie. Les utilisateurs métier peuvent poser des questions en langage naturel, en hongrois, sans écrire de SQL. Environ 20 utilisateurs actifs s’appuient aujourd’hui sur Genie, récupérant environ 20 % du temps d’un analyste précédemment consacré à répondre aux demandes ad hoc – libérant ainsi l’équipe pour des efforts à plus forte valeur ajoutée.

« Notre configuration Genie n’est pas encore terminée », a noté Bacskai, « mais cela signifie que nous n’avons pas à apprendre le SQL pour poser une question. Vous pouvez simplement discuter avec vos données. »

Pour une entreprise e-commerce en pleine croissance, la valeur va au-delà de la rapidité. Databricks fournit une base unifiée, prête pour l’IA, qui évolue avec de nouveaux cas d’utilisation, de l’intégration des données marketing aux points de terminaison de service de modèles, sans nécessiter une équipe plus importante pour la gérer.

« Databricks SQL était bien meilleur que ce que nous avions anticipé », a déclaré Bacskai. « C’est quelque chose avec lequel nous aimons travailler. Il peut faire tout ce que nous voulons, donc nous pouvons simplement construire et créer ce que nous voulons. » 

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original