Description des produits:
Mirakl, leader des solutions logicielles d'e-commerce, avait besoin d'un socle de données moderne pour gérer ses grands datasets en toute sécurité. L'entreprise voulait faire converger la data science, le data engineering et l'analytique sur une plateforme unique, et opérationnaliser les cas d'usage de l'IA générative. L'objectif était de développer à la fois l'analytique et l'IA en évitant de cloisonner les workflows et les sources de données. En adoptant la Databricks Data Intelligence Platform comme base de normalisation, Mirakl a consolidé ses données pour produire une source unique de vérité. L'équipe a ainsi pu développer son produit phare, Catalog Transformer : cette solution 100 % IA générative fait passer le temps nécessaire à l'intégration des catalogues fournisseurs de plusieurs semaines à moins d'une journée, avec des coûts opérationnels plus faibles et une meilleure collaboration entre les équipes.
Éviter le cloisonnement des équipes de données et les freins à la rentabilisation de l'IA
La plateforme de e-commerce de Mirakl soutient plus de 100 000 commerçants dans le monde entier. Ses activités génèrent des volumes croissants de données opérationnelles et produit.
Le développement de l'entreprise s'est accompagné d'une complexification analogue de son paysage de données.
Les équipes de data science, de data engineering et d'analytique cherchaient un moyen d'éviter de travailler dans des environnements déconnectés et dépourvus de source d'information centrale. Elles tenaient à pouvoir partager leur travail, réutiliser les pipelines et mesurer leurs performances de manière cohérente.
Parallèlement à cela, Mirakl devait répondre à des exigences strictes en matière de gouvernance des données. « Nous ne pouvons pas transmettre les données client de nos clients à des tiers en raison des réglementations sur la gouvernance des données, » précise Clément Labrugère, data scientist senior et ingénieur en machine learning, chez Mirakl. « Nous devons contrôler l'emplacement où les données résident et ce que nous en faisons. » Ces contraintes sont devenues particulièrement problématiques lorsque Mirakl a commencé à explorer les possibilités des grands modèles de langage (LLM) pour automatiser l'intégration des catalogues fournisseur. Il fallait habituellement 28 jours pour traiter chaque nouveau catalogue de fournisseur.
Pour répondre aux attentes des commerçants et déployer l'IA générative à grande échelle, Mirakl avait besoin d'une plateforme unique et sécurisée capable de centraliser les données, de prendre en charge des workflows sophistiqués de ML et de LLM, et de doter chaque équipe de données d'un accès partagé et gouverné.
Des données unifiées et un socle robuste pour Catalog Transformer et Mirakl Nexus avec Databricks
Pour décloisonner les services et déployer l'IA de bout en bout, Mirakl a choisi Databricks comme colonne vertébrale de son infrastructure de données et de machine learning. L'équipe de data engineering a d'abord créé une plateforme de données rationalisée pour rassembler les données de la marketplace en temps quasi réel. Dans cet environnement central, les équipes internes peuvent interroger toutes les données dont elles ont besoin. Les normes de gouvernance encadrant la sécurité et l'accès des utilisateurs ont également été centralisées : Mirakl maintient ainsi un contrôle strict sur les données client sensibles tout en favorisant la collaboration grâce à des autorisations basées sur le rôle.
Sur cette base, Mirakl a développé Catalog Transformer, une solution complète d'IA générative qui automatise entièrement l'intégration des catalogues fournisseur. Toutes les données de catalogue sont stockées et gérées dans des tables Delta dans un souci de fiabilité, de performances et de suivi des transactions. Unity Catalog gouverne les données et les assets de ML en appliquant un système cohérent d'autorisations, de data lineage et de traçabilité, tandis que MLflow gère l'ensemble du cycle de vie du modèle, de l'expérimentation au déploiement en passant par le registre.
« Avec Databricks, nous traitons les modèles et les données comme des assets gouvernés de première catégorie, » affirme Pierre Lourdelet, data scientist chez Mirakl. « Nous expérimentons rapidement, nous avons confiance dans le passage en production et nous savons exactement quelle version de modèle et quel dataset ont été utilisés pour chaque décision. »
Un pipeline à plusieurs étapes, orchestré avec Lakeflow Jobs, dessert les points de terminaison via Model Serving. Ce service exécute différents modèles – GPT, Llama, Mistral et des modèles multimodaux comme CLIP – pour catégoriser, extraire, enrichir et réécrire automatiquement les données des fournisseurs. Spark parallélise le traitement des catalogues les plus volumineux, ce qui permet au système de gérer des milliers de références simultanément. Grâce à une approche multicouche des modèles, quelques lignes de configuration suffisent à l'équipe pour alterner entre différents fournisseurs (OpenAI, Mistral AI, Anthropic) et modèles open source affinés ; elles n'ont pas besoin de réécrire la logique métier.
Étendre la base à Mirakl Nexus
Mirakl a pris appui sur le succès de Catalog Transformer pour Mirakl Nexus. Cette couche d'intelligence neutre reprend le socle Databricks pour mettre en œuvre le commerce agentique : des workflows autonomes pour les acheteurs et les commerçants sur les plateformes d'IA. Mirakl Nexus s'appuie sur des données gouvernées, une orchestration flexible et une expérimentation rapide pour enrichir les workflows essentiels du commerce : découverte des produits, comparaison des catalogues, paniers multi-commerçants, exécution des transactions et le support post-vente.
Mirakl Nexus fait appel à Agent Bricks pour orchestrer ses agents. Utilisables en production, ils sont capables de raisonner en toute sécurité sur les données des détaillants, des commerçants et des catalogues. Unity Catalog sécurise tous les accès aux données ; MLflow gère les versions des agents et des modèles, et Lakeflow Jobs coordonne les workflows multi-étapes et assure leur traçabilité. Une des clés du développement de Catalog Transformer et de Mirakl Nexus a été la disponibilité native des modèles GPT d'OpenAI sur Databricks : c'est AI Gateway qui gère l'accès à ces modèles, les surveille et veille à ce qu'ils soient auditables. Mirakl peut ainsi créer des agents qui interprètent les attributs des produits, évaluent les contraintes des politiques, extraient des données structurées, prennent des décisions en fonction des règles des détaillants et coordonnent des actions sur plusieurs workflows en toute autonomie.
En combinant la base d'intelligence des données de Databricks avec ces capacités agentiques, Mirakl crée des agents spécialisés en temps réel qui agissent pour le compte des acheteurs et des commerçants. Le résultat : des expériences d'achat et de vente plus rapides et plus intelligentes.
De 28 jours à moins de 24 heures : maximiser l'impact de l'IA et réduire les coûts
En migrant ses charges de données et d'IA générative sur Databricks, Mirakl a considérablement accéléré la création de valeur pour ses clients, tout en faisant un usage optimal de ses ressources. Aujourd'hui, il faut moins de 24 heures à Catalog Transformer pour convertir les catalogues fournisseurs hétérogènes en données produit enrichies et normalisées. Autrefois largement manuel, ce processus prenait 28 jours en moyenne. Sa durée a donc été divisée par 30.
Ce gain de temps a plusieurs avantages pour les opérateurs de marketplace : ils lancent plus rapidement de nouveaux commerçants, ils élargissent leur assortiment et leurs données produit sont bien plus propres. « Ce processus de plusieurs semaines, propice aux erreurs, est aujourd'hui un pipeline entièrement traçable qui s'achève en une journée, » résume Pierre. « Libérées de ce travail manuel, les équipes des commerçants peuvent être réaffectées à des activités plus productives et génératrices de revenus. » Grâce aux modèles OpenAI exécutés nativement sur Databricks, Catalog Transformer réduit le temps d'intégration de 91 % et divise par deux le nombre d'erreurs de catégorisation. L'impact sur le délai de rentabilité des commerçants et sur l'expérience d'achat des clients finaux est immédiat.
Sur le plan opérationnel, Databricks a allégé la charge de la gestion de l'infrastructure. Les équipes de data engineering gardent un contrôle total sur la résidence des données et les personnes qui peuvent y accéder. En revanche, grâce aux clusters à redimensionnement automatique et aux services gérés, elles n'ont plus à provisionner et ajuster manuellement les ressources. Selon Nicolas Achereiner, data engineer senior, l'entreprise aurait besoin de cinq ingénieurs de plus pour maintenir une infrastructure équivalente par ses propres moyens.
La plateforme commune a également des effets positifs sur la collaboration et le moral des équipes. Les data scientists créent et déploient des modèles là où se trouvent les données, les analystes ont confiance dans la cohérence des métriques d'un cas d'usage à l'autre, et les équipes produit peuvent compter sur une source de vérité unique et gouvernée. « Cette plateforme commune et ces ressources partagées ont vraiment amélioré le moral, la collaboration et la performance des équipes, » s'enthousiasme Samuel Baker, ingénieur référent en analytique chez Mirakl. « Nous avons vraiment l'impression de faire maintenant partie d'une grande famille de la data, où chaque équipe travaille harmonieusement avec les autres. »
Mirakl Nexus s'appuie sur cette expérience réussie en prolongeant l'utilisation de l'IA générative au-delà de l'intégration pour l'appliquer aux flux de commerce. Les interactions pilotées par des agents sont prometteuses : des conversions plus rapides, un processus de découverte plus riche, des données de meilleure qualité dans tout l'écosystème de la marketplace, et des opérations plus efficaces pour les marchands et les détaillants. Ensemble, Catalog Transformer et Mirakl Nexus offrent une illustration parfaite des possibilités du partenariat entre Databricks et OpenAI : en déployant la puissance de l'IA à l'échelle de ses équipes et de ses produits, Mirakl transforme à la fois la productivité interne et l'expérience client.