De "Que s'est-il passé ?" à "Que va-t-il se passer ?"

La business intelligence a toujours consisté à répondre à des questions. Pour la plupart des organisations, ces questions étaient descriptives — que s'est-il passé au dernier trimestre ? — ou diagnostiques — pourquoi le taux d'attrition a-t-il grimpé en flèche dans le Sud-Est ? Databricks Genie a rendu ces questions radicalement plus accessibles, permettant aux utilisateurs métier d'obtenir des réponses en langage naturel sans avoir à écrire de requêtes SQL ni à attendre l'aide d'un analyste.

Mais les questions qui guident les décisions les plus cruciales sont prédictives. Quels clients sont susceptibles de partir au prochain trimestre ? Comment la demande va-t-elle évoluer si nous ajustons nos tarifs ? Quelle est la probabilité que ce demandeur de prêt fasse défaut ? Y répondre a historiquement nécessité un ensemble d'outils, de compétences et d'équipes totalement différent — un data scientist pour explorer les données, valider leur adéquation pour la prédiction, concevoir des caractéristiques (feature engineering), entraîner un modèle et le maintenir à mesure que les conditions changent. Résultat : une frontière stricte entre le monde de la BI, où les utilisateurs métier opèrent en toute confiance, et le monde de l'analyse prédictive, où seules des équipes spécialisées peuvent s'aventurer.

Dans un article de blog précédent, nous avons montré comment TabPFN — un modèle de fondation pour les données tabulaires de Prior Labs — simplifie considérablement ce flux de travail prédictif en fournissant des prédictions de qualité production en un seul passage avant. Mais un goulot d'étranglement subsistait : quelqu'un devait encore traduire la question métier en un ensemble de données bien structuré avant que TabPFN ne puisse générer une prédiction. Le modèle a beau être instantané, le travail nécessaire pour l'alimenter ne l'est pas.

Genie pour l'ingénierie des caractéristiques, TabPFN comme modèle universel

C'est là que le rôle de Genie passe de la simple réponse aux questions à la facilitation des prédictions. Genie comprend déjà les données d'une organisation — ses schémas, ses relations et sa sémantique métier. En combinant Genie et TabPFN au sein d'un orchestrateur multi-agent, nous créons une boucle fermée : Genie traduit dynamiquement une question en langage naturel en données d'entrée précises dont TabPFN a besoin, et TabPFN transforme ces données en une prédiction en un seul passage avant. Chaque question prédictive posée au cours de la conversation reçoit une réponse sur mesure à la volée. Le champ des questions auxquelles vous pouvez répondre devient pratiquement illimité — toute question pouvant être formulée sous la forme « sur la base de données historiques avec un résultat donné, prédire le résultat pour un nouveau scénario » peut obtenir une réponse en quelques secondes.

Le résultat est une expérience unique et gouvernée — ancrée dans les données du Lakehouse avec un lignage complet et un contrôle d'accès via Unity Catalog — où les utilisateurs métier posent des questions prédictives dans la même interface conversationnelle que celle qu'ils utilisent pour l'analyse descriptive.

Dans cet article, nous détaillons l'architecture applicative qui rend cela possible, en présentant chaque composant technique et en montrant comment ils s'associent pour offrir une intelligence prédictive directement au sein de la BI conversationnelle.

Vidéo 1. Interaction avec un superviseur multi-agent avec Genie et TabPFN via une interface Databricks Apps

Architecture : un superviseur multi-agent

Le système est conçu comme un orchestrateur multi-agent déployé sous forme de Databricks App, qui connecte les composants principaux à l'aide d' Agent Bricks, une plateforme de création et de déploiement d'agents d'entreprise sur Databricks. Genie agit comme un sous-agent pour l'analyse SQL structurée sur des données Lakehouse gouvernées. TabPFN est connecté à Unity Catalog en tant que serveur MCP externe. Le système prend également en charge des sous-agents et des points de terminaison de service supplémentaires ; d'autres applications Databricks ou des serveurs MCP additionnels peuvent être ajoutés selon les besoins.

Lorsqu'une question prédictive est reçue, l'orchestrateur exécute un flux de travail agentique. Il interprète l'intention métier de l'utilisateur. Si la réponse à la question nécessite une analyse prédictive, il interroge Genie pour extraire les données étiquetées appropriées du Lakehouse. Une fois toutes les données nécessaires rassemblées, il appelle TabPFN en lui transmettant ces données dans le bon format. Enfin, le superviseur interprète les prédictions et fournit une recommandation exploitable à l'utilisateur (Figure 1).

L'idée centrale en action

Pour rendre cela concret, prenons l'exemple d'un responsable commercial qui demande : « Quel type de promotion serait le plus susceptible de conclure l'opportunité Horton-Cross ? »

Dans un flux de travail traditionnel, répondre à cette question nécessite qu'un data scientist comprenne la question et identifie les tables et colonnes pertinentes ; extrait le bon ensemble d'entraînement à partir des opportunités historiques incluant les types de promotion et les résultats de gain/perte ; sélectionne un algorithme, ajuste les hyperparamètres et valide les performances ; prépare les données d'inférence spécifiques à l'opportunité Horton-Cross ; exécute le modèle ; et traduise le résultat en une recommandation métier. Chacune de ces étapes demande du temps, de l'expertise et des itérations. Et la question suivante — « Quelle est la date de relance optimale pour maximiser la probabilité de gain ? » — nécessite un tout autre modèle créé de toutes pièces.

Voyons maintenant ce qui se passe avec Genie et TabPFN sous le contrôle du même superviseur multi-agent. Le superviseur interprète la question en langage naturel et son intention sémantique, puis traduit cette intention en une demande spécifique pour que Genie génère un ensemble de données. Genie reconnaît que répondre à cette question nécessite de joindre les opportunités historiques avec les promotions et les comptes, en utilisant le gain ou la perte comme étiquette, et génère instantanément le code SQL précis pour extraire ces données.

TabPFN reçoit cet ensemble de données et génère des prédictions en un seul passage avant — sans prétraitement des caractéristiques, sans sélection de modèle, ni ajustement des hyperparamètres. Enfin, le superviseur renvoie une recommandation claire et basée sur les données. L'ensemble du pipeline — de la question à la prédiction — s'assemble de lui-même à partir du langage naturel en un seul tour de conversation.

Évaluation de la qualité et limites

Ce modèle présente des limites : TabPFN ne vaut que ce que valent les données produites par Genie. Si Genie ne peut pas construire un ensemble de données pertinent avec une colonne d'étiquette claire pour une question donnée, parce que le schéma ne capture pas le bon signal, que les jointures nécessaires n'existent pas ou que le résultat n'est pas représenté dans les données, alors la prédiction ne sera pas fiable, quelle que soit l'efficacité de TabPFN. Consultez les meilleures pratiques pour créer un espace Genie efficace ici. De plus, il existe également un risque plus large qu'un agent hallucine ou omette des informations clés lors d'une conversation à plusieurs tours.

C'est précisément pourquoi une évaluation systématique est essentielle. Contrairement à un pipeline ML statique qui doit être validé une fois avant le déploiement, ce système construit dynamiquement un problème ML distinct pour chaque question. Nous avons besoin d'un framework d'évaluation pour comprendre où se situe la limite : quelles catégories de questions produisent des prédictions fiables, et lesquelles dépassent ce que Genie peut exprimer sous forme d'un ensemble d'entraînement bien structuré.

L'accélérateur de solution est fourni avec un harnais d'évaluation complet basé sur le framework d'évaluation GenAI de MLflow. Il s'exécute sur l'agent actif et enregistre les résultats dans MLflow Experiment Tracking, offrant aux équipes une interface unique pour évaluer et suivre la qualité au fil du temps. Vous trouverez tous les détails ici.

Vidéo 2. Évaluation d'un superviseur multi-agent avec Genie et TabPFN via l'interface Databricks Experiments.

Sans cette boucle d'évaluation, le système pourrait renvoyer des prédictions avec assurance sans aucun moyen de distinguer celles qui sont fiables de celles qui ne le sont pas. Cette approche rigoureuse garantit une couverture à tous les niveaux : elle détecte les régressions conversationnelles et comportementales tout en validant l'exactitude de bout en bout du pipeline prédictif. Ensemble, ces vérifications donnent aux équipes la confiance nécessaire pour déployer ce modèle en production, avec une compréhension claire des catégories de questions qui produisent des prédictions fiables et des limites du système.

Pour commencer

La combinaison de Genie, TabPFN et Agent Bricks redéfinit la relation entre l'analyse descriptive et l'analyse prédictive. Genie devient la couche de feature engineering. TabPFN élimine la surcharge liée à l'entraînement et à la maintenance. Agent Bricks fournit le socle d'orchestration et de gouvernance, tandis que MLflow évalue et suit la qualité des réponses. Ainsi, les utilisateurs métier peuvent poser des questions prédictives dans la même interface conversationnelle que celle qu'ils utilisent déjà pour l'analyse descriptive.

L'accélérateur de solutions complet est disponible ici. Le dépôt comprend la génération d'exemples de données, la configuration de Genie Space et le système d'évaluation de bout en bout décrit ci-dessus. Ce modèle est indépendant du domaine : bien que l'accélérateur présente des analyses de ventes d'entreprise, la même architecture s'applique à tout domaine disposant de données structurées associées à des résultats, notamment l'évaluation des risques de santé, la prédiction de la qualité industrielle, la détection des fraudes financières, l'analyse de l'attrition client, et bien plus encore.

Lancez-vous dès aujourd'hui et apportez l'intelligence prédictive au cœur des conversations de vos équipes.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original