Richard Tomlinson, directeur du marketing produit chez Databricks, explique pourquoi la confiance, et non la rapidité, est le véritable test d'un tableau de bord généré par AI.
Richard Tomlinson a passé la majeure partie de sa carrière à aider les organisations à exploiter leurs propres données, notamment en incitant leurs collaborateurs à leur faire confiance. Que ce soit dans des rôles décisionnels (BI) ou de gestion de produits, il a vu le même schéma d'échec se répéter : des tableaux de bord créés avec de bonnes intentions que les utilisateurs ont discrètement abandonnés. À l'heure où l'AI peut générer un graphique en quelques secondes, son expérience lui montre que le « libre-service » doit signifier bien plus que la simple rapidité.
Dans cet échange, Richard explique pourquoi les tableaux de bord perdent la confiance des utilisateurs bien avant de perdre leur qualité de conception, ce que l'AI change réellement à ce problème et ce que les humains doivent apporter à un graphique qu'aucune assistance AI ne peut fournir seule.
Parlez-moi d'un tableau de bord que vous avez vu échouer. Pas un modèle mal conçu visuellement, mais un outil que les gens ont tout simplement arrêté d'ouvrir.
Richard Tomlinson : Les tableaux de bord qui échouent ne sont pas nécessairement laids. Souvent, ils échouent parce qu'un utilisateur voit un chiffre auquel il ne croit pas et ne parvient pas à comprendre rapidement d'où il vient.
Imaginez un dirigeant qui ouvre un tableau de bord des revenus le lundi matin et y découvre un chiffre différent de celui du rapport diffusé par la Finance le vendredi. Il ne sait pas si le tableau de bord utilise une autre définition du revenu, un autre intervalle de rafraîchissement, un autre filtre ou tout simplement de mauvaises données. S'il doit solliciter un analyste pour le savoir, le tableau de bord a déjà échoué dans l'une de ses missions les plus importantes.
La confiance se perd bien plus vite qu'elle ne se gagne. Les utilisateurs créent rarement un ticket pour signaler qu'ils n'ont plus confiance dans la plateforme de BI. Ils cessent discrètement de l'ouvrir et retournent à leurs feuilles de calcul, à leurs analystes ou à leurs rapports préparés manuellement.
C'est pourquoi je pense qu'une bonne visualisation commence bien avant la création du graphique lui-même. Un graphique clair ne peut pas compenser une métrique floue, une source douteuse ou une définition métier incohérente. Dans un environnement d'analyse optimisé par l'AI, cela est encore plus crucial, car les utilisateurs peuvent générer beaucoup plus d'analyses, et bien plus vite. Si les données sous-jacentes, la sémantique et la gouvernance manquent de cohérence, l'AI finira simplement par vous aider à produire des graphiques incohérents plus rapidement.
Les meilleures expériences d'analyse modernes relient la visualisation à ses données et à leur signification, de sorte qu'il n'y ait qu'une seule version de la vérité sur tous les supports, et non cinq. Par exemple, les jeux de données des tableaux de bord Databricks AI/BI héritent de la gouvernance de Unity Catalog, et la plateforme maintient le lignage entre les actifs de données. Ainsi, un utilisateur qui doute d'un chiffre peut remonter jusqu'à sa source plutôt que de rejeter l'ensemble du système.
Alors que l'AI transforme notre façon d'utiliser les données et d'interagir avec elles, quelles doivent être les priorités des dirigeants lors de l'adoption de nouveaux outils de tableaux de bord basés sur l'AI ?
Richard Tomlinson : J'aime l'idée de « dette de confiance », car les organisations l'accumulent chaque fois que les utilisateurs sont confrontés à deux versions d'une même métrique, à un écart inexpliqué, à un tableau de bord obsolète ou à une réponse qu'ils ne peuvent pas vérifier.
L'AI peut aggraver considérablement cette dette, car elle modifie l'économie de l'analyse de données. Auparavant, les organisations mettaient des années à concevoir des centaines, voire des milliers de tableaux de bord structurés. Avec l'AI générative, n'importe qui peut créer un nouveau graphique en quelques secondes et, grâce à la création assistée par agents, l'AI peut désormais concevoir rapidement un tableau de bord multipage complet, comprenant les jeux de données, les visualisations, les filtres et la mise en page.
Le Genie Code de Databricks, par exemple, peut prendre un objectif formulé en langage naturel, trouver les données pertinentes, concevoir des jeux de données, créer des visualisations, configurer des filtres, organiser des pages et affiner le résultat bien plus rapidement qu'auparavant. C'est un véritable gain de productivité, mais cela change la donne en matière de gouvernance pour les dirigeants, car il est impossible de vérifier manuellement chaque graphique généré par l'AI.
Ma réponse est donc que je donnerais la priorité à quatre éléments :
Une bonne gouvernance favorise en réalité un meilleur libre-service. Grâce à des bases solides, l'AI peut générer en toute sécurité un bien plus grand nombre d'expériences analytiques, sans qu'une équipe BI centrale n'ait à concevoir chacune d'elles manuellement.
Lorsqu'un assistant AI génère un graphique, il prend des décisions basées sur la structure des données, et non sur la décision que l'utilisateur essaie de prendre. Où cela pose-t-il problème ?
Richard Tomlinson : Je nuancerais un peu ce point de départ. Les assistants AI modernes ne se limitent pas à la structure des données. Ils peuvent également interpréter la demande et son contexte. Si je dis : « Montre l'évolution du chiffre d'affaires sur les 12 derniers mois », cela implique une série temporelle. Si je demande : « Quelles sont les cinq régions qui génèrent le plus de revenus ? », les mêmes données orienteront plutôt vers un diagramme à barres classé. Idéalement, les créateurs devraient pouvoir décrire les visualisations en langage naturel, c'est pourquoi Databricks permet déjà à Genie Code de planifier et de concevoir plusieurs visualisations dans le cadre d'un objectif global de tableau de bord.
Là où l'AI éprouve encore des difficultés, c'est sur l'intention. Un jeu de données vous indique quelles valeurs sont disponibles. Un prompt vous indique ce qui a été demandé. Mais aucun des deux ne vous dit de manière fiable qui va utiliser la visualisation, quelle décision cette personne cherche à prendre, quelle comparaison importe le plus, ce qui doit attirer l'attention en premier, quel niveau de précision est requis, quel contexte le public comprend déjà ou ce qui pourrait être mal interprété.
Imaginons qu'une métrique soit passée de 94 % à 91 %. L'AI peut représenter cette baisse correctement, mais savoir s'il s'agit d'une catastrophe ou d'un bruit insignifiant dépend entièrement du contexte métier, qui ne figure nulle part dans le jeu de données. C'est pourquoi le rôle de l'humain évolue : il ne s'agit plus de dessiner des graphiques, mais de définir l'intention et d'exercer son jugement. L'AI peut se charger de la partie mécanique de la création d'une visualisation, mais il appartient toujours à un humain de décider de ce qu'elle doit communiquer et de vérifier son exactitude.
Quels sont les autres défis qui surgissent dans les systèmes existants, au-delà des données inexactes ou manquantes ?
Richard Tomlinson : Les problèmes les plus complexes ne proviennent pas de lignes manquantes, mais d'un manque de contexte. Un environnement de BI traditionnel peut contenir des données exactes et pourtant produire des analyses erronées parce que la logique métier s'est fragmentée entre les tableaux de bord, les champs calculés, les extraits, les modèles sémantiques, les feuilles de calcul et les connaissances informelles.
On se retrouve alors avec cinq définitions différentes d'un même KPI, et personne ne sait quel tableau de bord fait autorité. La logique de calcul réside au sein de rapports individuels, les utilisateurs doivent savoir quel outil et quel onglet contiennent la réponse, et modifier une définition implique de retrouver tous les endroits où elle a été dupliquée.
L'AI met ce problème en lumière très rapidement. Un assistant peut parfaitement comprendre la question sans pour autant disposer d'un moyen fiable de déterminer laquelle des cinq définitions du chiffre d'affaires fait autorité au sein de l'entreprise. C'est pourquoi la pièce manquante ne consiste pas simplement à greffer un modèle de langage sur une couche de visualisation. Les tableaux de bord optimisés par l'AI ont besoin d'un socle de données gouvernées, associé à une sémantique et à un contexte métier réutilisables.
Même Microsoft avertit dans ses recommandations actuelles pour Power BI que les résultats de Copilot peuvent être de piètre qualité ou trompeurs si les données sous-jacentes, le modèle sémantique et les utilisateurs n'ont pas été correctement préparés. Databricks aborde ce problème en réunissant les tableaux de bord, les jeux de données gouvernés, la sémantique métier et l'analyse conversationnelle sur un socle unique de données gouvernées. Les jeux de données AI/BI peuvent s'appuyer directement sur des tables, des vues et des Metric Views, tout en héritant des autorisations de Unity Catalog. Cette architecture est d'autant plus cruciale dans un monde axé sur l'AI, car celle-ci doit réutiliser la sémantique métier plutôt que de la reconstruire à chaque fois qu'elle crée un graphique.
Quelles sont les habitudes des personnes qui obtiennent systématiquement ce dont elles ont besoin d'un assistant AI sans avoir à faire trois séries de questions complémentaires ?
Richard Tomlinson : Les utilisateurs qui réussissent fournissent un contexte de décision, et pas seulement des instructions de graphique. Un prompt faible serait : « Montre les ventes par produit ». Un prompt bien plus efficace serait : « Je prépare notre revue hebdomadaire des ventes. Montre quelles catégories de produits ont le plus contribué à la variation du chiffre d'affaires par rapport au trimestre dernier. Fais en sorte que les principaux contributeurs positifs et négatifs soient faciles à identifier ». Cette seconde version indique à l'AI le public cible, la comparaison à effectuer, la métrique et l'objectif de la visualisation.
Fournir ce type de contexte peut améliorer considérablement les prompts analytiques. Qu'est-ce que j'essaie de comprendre ? Formulez la question métier plutôt que de simplement nommer un jeu de données. Que dois-je comparer ? Des périodes, des régions, des segments, le prévisionnel par rapport au réel, ou l'avant/après ? Quelle définition de métrique est importante ? En cas d'ambiguïté, spécifiez la métrique métier au lieu de laisser l'AI en inventer une. À qui cela s'adresse-t-il ? Un tableau de bord pour la direction et l'exploration d'un analyste nécessitent généralement des niveaux de détail totalement différents. Et quelle décision cela doit-il appuyer ? C'est l'élément que les gens oublient le plus souvent.
Un autre changement est également en cours. De meilleurs systèmes d'AI devraient réduire la quantité de prompt engineering nécessaire dès le départ. Les systèmes agentiques peuvent de plus en plus clarifier les exigences ambiguës, inspecter les données disponibles, élaborer un plan d'analyse et itérer sur le résultat. Par exemple, Genie Code peut découvrir des données, construire des ensembles de données et des visualisations, et affiner progressivement un tableau de bord plutôt que d'exiger de l'auteur qu'il détaille chaque étape de mise en œuvre. Cela ne signifie pas qu'à l'avenir, tout le monde devra devenir un prompt engineer de classe mondiale ; il s'agit plutôt pour les humains de réussir à exprimer leur intention pendant que les agents s'améliorent dans la gestion de l'exécution.
Alors que les utilisateurs commencent à interroger directement l'AI sur des tableaux de bord, des requêtes et des pipelines, comment les caractéristiques d'une « bonne » conception de visualisation évoluent-elles ?
Richard Tomlinson : C'est peut-être le changement le plus intéressant de tous. Auparavant, la visualisation était la destination finale. Un utilisateur ouvrait un tableau de bord pour regarder des graphiques prédéfinis par un analyste. Cela l'aidait à comprendre les données, mais le transfert d'informations s'arrêtait là.
Avec l'AI, l'interaction avec les visualisations ressemble davantage à une conversation. Un utilisateur pose une question, le système génère une réponse et éventuellement un graphique, le graphique révèle quelque chose d'intéressant, l'utilisateur pose une question à ce sujet, puis le système lance une autre analyse et produit une autre visualisation. L'expérience est dynamique, et non prédéfinie.
Les tableaux de bord AI/BI prennent déjà cela en compte. Un tableau de bord publié peut inclure un Genie Agent d'accompagnement qui permet aux lecteurs de poser des questions en langage naturel sur les données sous-jacentes au lieu de se limiter à un contenu statique.
Cela signifie que le premier graphique n'a pas besoin d'anticiper toutes les questions possibles. Il doit simplement communiquer clairement l'information clé et rendre la question suivante évidente et facile à poser.
Tout cela mène aux quatre caractéristiques que vous souhaitez retrouver dans vos visualisations à l'ère de l'AI. Elles doivent être :
Il y a également une implication plus profonde ici. Les tableaux de bord, les requêtes, les pipelines et les documents ne sont plus seulement consommés par les humains. Les artefacts analytiques peuvent désormais faire partie des connaissances lisibles par machine d'une organisation, et pas seulement de sa couche de présentation. Ils peuvent devenir le contexte que les systèmes d'AI utilisent pour comprendre le fonctionnement de l'organisation. Par exemple, Genie Code permet déjà aux auteurs de référencer des tables, des pipelines, des notebooks, des requêtes et des fichiers comme contexte lors de la création d'une expérience analytique.
Quel est le schéma juste avant que quelqu'un ne cesse de faire confiance aux analyses en libre-service et ne recommence à s'adresser directement à un analyste ?
Richard Tomlinson : Généralement, le problème n'est pas que le système ne donne rien à l'utilisateur. Au contraire, il lui donne quelque chose de plausible qu'il ne peut pas concilier avec ce qu'il sait déjà. Peut-être qu'un chiffre semble faux, ou qu'il modifie un filtre et obtient un résultat inattendu, ou encore que deux tableaux de bord ne concordent pas et qu'il ne sait pas quelle définition est utilisée. Il peut poser une question de suivi et obtenir un autre graphique, mais cela n'explique pas l'écart.
À ce stade, l'utilisateur a deux choix : continuer à déboguer lui-même le système analytique ou envoyer un message à quelqu'un pour lui demander. Dès lors qu'interroger une personne est plus rapide que de vérifier la réponse du libre-service, le libre-service a déjà échoué.
C'est pourquoi la métrique essentielle pour la BI moderne ne devrait pas seulement être le temps de réponse. Ce devrait également être le temps nécessaire pour accorder sa confiance. L'AI améliore considérablement la première métrique. Les requêtes, les visualisations et des tableaux de bord entiers peuvent être générés en quelques secondes. Mais si la seconde métrique ne s'améliore pas elle aussi, vous n'aurez fait qu'accélérer la production d'éléments auxquels les gens ne font pas confiance.
Pour y parvenir, il faut combiner trois éléments que la BI traditionnelle a souvent traités séparément : des réponses faciles à comprendre, des preuves qui rendent la réponse crédible et un moyen d'enquêter lorsque quelque chose ne semble pas correct. Une bonne expérience en libre-service n'est pas celle qui écarte à tout prix l'analyste du processus. C'est celle où les utilisateurs n'ont besoin de l'analyste que lorsqu'une question requiert réellement une expertise humaine, et non parce qu'ils ne peuvent pas comprendre ou faire confiance au système qu'ils ont sous les yeux.
C'est en fin de compte pourquoi la visualisation reste importante à l'ère agentique. L'AI peut générer une quantité énorme d'analyses. Une bonne visualisation permet d'inspecter cette analyse, de la remettre en question et, surtout, de l'utiliser pour passer à l'action.
Découvrez comment la création assistée par AI et les données gouvernées permettent de concevoir des tableaux de bord de confiance. Explorez les tableaux de bord AI/BI.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.