De « Qu'est-il arrivé ? » à « Que va-t-il arriver ? »

L'intelligence d'affaires a toujours consisté à répondre à des questions. Pour la plupart des organisations, ces questions étaient descriptives — qu’est-il arrivé au dernier trimestre ? — ou diagnostiques — pourquoi le taux d’attrition a-t-il grimpé dans le Sud-Est ? Databricks Genie a rendu ces questions radicalement plus accessibles, permettant aux utilisateurs professionnels d’obtenir des réponses en langage naturel sans écrire de SQL ni attendre un analyste.

Mais les questions qui motivent les décisions les plus importantes sont prédictives. Quels clients sont susceptibles de résilier leur abonnement au prochain trimestre ? Comment la demande va-t-elle évoluer si nous ajustons nos prix ? Quelle est la probabilité que ce demandeur de prêt fasse défaut ? Répondre à ces questions nécessitait historiquement un ensemble d’outils, de compétences et d’équipes entièrement différent — un scientifique des données explorant les données, validant leur adéquation à la prédiction, créant des caractéristiques, entraînant un modèle et maintenant ce modèle à mesure que les conditions changent. Le résultat : une limite claire entre le monde de la BI, où les utilisateurs professionnels opèrent avec confiance, et le monde de l’analyse prédictive, où seules des équipes spécialisées peuvent s’aventurer.

Dans un article de blog précédent, nous avons montré comment TabPFN — un modèle de fondation pour les données tabulaires de Prior Labs — réduit une grande partie de ce flux de travail prédictif en fournissant des prédictions de qualité production en une seule passe avant. Mais un goulot d’étranglement clé subsistait : il fallait toujours quelqu’un pour traduire la question métier en un jeu de données bien formé avant que TabPFN puisse faire une prédiction. Le modèle peut être instantané, mais le travail qui le nourrit ne l’est pas.

Genie comme ingénieur de caractéristiques, TabPFN comme modèle universel

C’est là que le rôle de Genie passe de la réponse aux questions à la facilitation des prédictions. Genie comprend déjà les données d’une organisation — ses schémas, ses relations et sa sémantique métier. En combinant Genie et TabPFN au sein d’un orchestrateur multi-agents, nous créons une boucle fermée : Genie traduit dynamiquement une question en langage naturel en données d’entrée précises dont TabPFN a besoin, et TabPFN transforme ces données en une prédiction en une seule passe avant. Chaque question prédictive posée pendant la conversation a reçu une réponse personnalisée à la volée. L’espace des questions auxquelles vous pouvez répondre devient essentiellement illimité — toute question qui peut être formulée comme « étant donné des données historiques avec un résultat, prédire un résultat pour un nouveau scénario » peut être répondue en quelques secondes.

Le résultat est une expérience unique et gouvernée — ancrée dans les données du Lakehouse avec une lignée complète et un contrôle d’accès via Unity Catalog — où les utilisateurs professionnels posent des questions prédictives dans la même interface conversationnelle qu’ils utilisent pour l’analyse descriptive.

Dans cet article, nous examinons l’architecture de l’application qui rend cela possible, en présentant chaque composant technique et en montrant comment ils s’assemblent pour fournir une intelligence prédictive directement dans la BI conversationnelle.

Vidéo 1. Interaction avec un superviseur multi-agents avec Genie et TabPFN via une interface Databricks Apps

Architecture : un superviseur multi-agents

Le système est construit comme un orchestrateur multi-agents déployé en tant qu’application Databricks, qui connecte les composants principaux à l’aide d'Agent Bricks, une plateforme pour construire et déployer des agents d’entreprise sur Databricks. Genie agit comme un sous-agent pour l’analyse SQL structurée sur des données Lakehouse gouvernées. TabPFN est connecté à Unity Catalog en tant que serveur MCP externe. Le système prend également en charge des sous-agents et des points de terminaison de service supplémentaires ; d’autres applications Databricks, ou des serveurs MCP supplémentaires, peuvent être ajoutés si nécessaire.

Lorsqu’une question prédictive arrive, l’orchestrateur exécute un flux de travail agentique. Il interprète l’intention métier de l’utilisateur. Si répondre à la question nécessite une analyse prédictive, il interroge Genie pour extraire les données étiquetées appropriées du Lakehouse. Une fois qu’il a rassemblé toutes les données nécessaires, il appelle TabPFN, en passant ces données au modèle dans le bon format. Enfin, le superviseur interprète les prédictions et fournit une recommandation exploitable à l’utilisateur (Figure 1).

">

L’idée principale en action

Pour concrétiser, considérons ce qui se passe lorsqu’un responsable des ventes demande : « Quel type de promotion serait le plus susceptible de conclure l’accord Horton-Cross ? »

Dans un flux de travail traditionnel, répondre à cette question nécessite qu’un scientifique des données comprenne la question et identifie les tables et colonnes pertinentes ; extraie l’ensemble d’entraînement approprié à partir des transactions historiques incluant les types de promotion et les résultats de gain/perte ; sélectionne un algorithme, ajuste les hyperparamètres et valide les performances ; prépare des données d’inférence spécifiques à l’accord Horton-Cross ; exécute le modèle ; et traduit la sortie en une recommandation métier. Chacune de ces étapes prend du temps, de l’expertise et des itérations. Et la question suivante — « Quelle est la date optimale de suivi pour maximiser la probabilité de gain ? » — nécessite un modèle entièrement différent construit à partir de zéro.

Considérez maintenant ce qui se passe avec Genie et TabPFN sous le même superviseur multi-agents. Le superviseur interprète la question en langage naturel et son intention sémantique, puis traduit cette intention en une requête spécifique pour que Genie génère un jeu de données. Genie reconnaît que répondre à cette question nécessite de joindre les opportunités historiques avec les promotions et les comptes, en utilisant le gain ou la perte comme étiquette, et génère un SQL précis pour extraire ces données instantanément.

TabPFN reçoit ce jeu de données et génère des prédictions en une seule passe avant — aucun prétraitement des caractéristiques, aucune sélection de modèle, aucun réglage des hyperparamètres. Enfin, le superviseur interprète les prédictions et renvoie une recommandation claire et basée sur les données. L’ensemble du pipeline — de la question à la prédiction — s’assemble à partir du langage naturel en un seul tour de conversation.

Évaluation de la qualité et des limites

Le modèle a des limites : TabPFN n’est aussi bon que les données que Genie produit. Si Genie ne parvient pas à construire un jeu de données significatif avec une colonne d’étiquette claire pour une question donnée, parce que le schéma ne capture pas le bon signal, que les jointures nécessaires n’existent pas, ou que le résultat n’est pas représenté dans les données, alors la prédiction ne sera pas fiable, quelle que soit la capacité de TabPFN. Consultez les meilleures pratiques pour construire un espace Genie efficace ici. De plus, il existe un risque plus large qu’un agent puisse halluciner ou omettre des informations clés lors d’une conversation multi-tours.

C’est précisément pourquoi une évaluation systématique est essentielle. Contrairement à un pipeline ML statique qui doit être validé une fois avant le déploiement, ce système construit dynamiquement un problème ML distinct pour chaque question. Nous avons besoin d’un cadre d’évaluation pour comprendre où se situe la limite : quelles classes de questions produisent des prédictions fiables, et lesquelles dépassent ce que Genie peut exprimer comme un ensemble d’entraînement bien formé.

L'accélérateur de solution est livré avec un harnais d’évaluation complet basé sur le cadre d’évaluation GenAI de MLflow. Il s’exécute sur l’agent en direct et enregistre les résultats dans le suivi des expériences MLflow, donnant aux équipes une seule fenêtre pour évaluer et surveiller la qualité au fil du temps. Vous pouvez trouver tous les détails ici.

Vidéo 2. Évaluation d’un superviseur multi-agents avec Genie et TabPFN via l’interface Databricks Experiments.

Sans cette boucle d’évaluation, le système peut renvoyer avec confiance des prédictions sans moyen de distinguer les informations fiables des informations peu fiables. Cette approche rigoureuse garantit une couverture à tous les niveaux : elle détecte les régressions conversationnelles et comportementales tout en validant la correction de bout en bout du pipeline prédictif. Ensemble, ces vérifications donnent aux équipes la confiance nécessaire pour déployer ce modèle en production, avec une compréhension claire des classes de questions qui produisent des prédictions fiables et des limites du système.

Pour commencer

La combinaison de Genie, TabPFN et Agent Bricks redéfinit la relation entre l'analyse descriptive et l'analyse prédictive. Genie devient la couche d'ingénierie des caractéristiques. TabPFN élimine les frais généraux de formation et de maintenance. Agent Bricks fournit l'épine dorsale d'orchestration et de gouvernance, tandis que MLflow évalue et surveille la qualité des réponses. Le résultat est que les utilisateurs professionnels peuvent poser des questions prédictives dans la même interface conversationnelle qu'ils utilisent déjà pour l'analyse descriptive.

L'accélérateur de solution complet est disponible ici. Le dépôt comprend la génération de données d'exemple, la configuration de Genie Space et le harnais d'évaluation de bout en bout décrit ci-dessus. Le modèle est indépendant du domaine : bien que l'accélérateur démontre l'analyse des ventes d'entreprise, la même architecture s'applique à tout domaine où des données structurées avec des résultats existent, y compris la notation des risques dans le domaine de la santé, la prédiction de la qualité dans la fabrication, la détection de fraude financière, l'analyse du désabonnement des clients, et plus encore.

Commencez dès aujourd'hui et apportez l'intelligence prédictive aux conversations que vos équipes ont déjà.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original