Analyse alimentée par l'IA : créer des visualisations de données en langage naturel ou en SQL

Richard Tomlinson, responsable du marketing produit pour les solutions d'intelligence d'affaires et d'analyse de Databricks, a consacré sa carrière à promouvoir des technologies qui maîtrisent les données pour aider les individus à prendre de meilleures décisions et à alimenter l'innovation. Dans cet échange, il explique comment l'interrogation en langage naturel pour les visualisations peut enfin apporter plus que le SQL, comment s'assurer que les analyses basées sur l'AI sont fiables et pourquoi le contexte métier est essentiel.

Pourquoi l'interrogation en langage naturel pour les visualisations n'a pas tenu ses promesses

L'interrogation en langage naturel pour les visualisations existe depuis une décennie. Pourquoi n'a-t-elle pas été à la hauteur des attentes ?

Richard Tomlinson : La promesse existe depuis les débuts de l'analyse guidée par la recherche, mais elle a constamment déçu parce que les systèmes pouvaient analyser la question, mais ne pouvaient pas comprendre le métier.

Les anciennes générations de NL-to-SQL traitaient le problème comme une simple traduction du langage vers un schéma : associer des mots à des colonnes, générer une requête et renvoyer un graphique. Cela fonctionne pour des recherches simples, mais s'effondre face à la complexité des données d'entreprise. Dans la réalité, plusieurs équipes peuvent avoir des définitions divergentes d'un même indicateur, des jointures ambiguës entre les tables, des règles métier qui existent uniquement dans l'esprit des collaborateurs plutôt que dans les métadonnées, et aucun moyen de déterminer quelle source fait foi en cas de conflit entre deux chiffres.

Le goulot d'étranglement ne venait pas des LLM, mais du contexte. Même avec l'amélioration spectaculaire des modèles, ceux-ci devinaient toujours le sens à partir de noms de tables bruts et d'en-têtes de colonnes, ce qui explique pourquoi une même question posée deux fois pouvait donner deux réponses différentes.

Ce qui a changé, ce n'est pas seulement l'amélioration des modèles, c'est la prise de conscience qu'il faut une couche sémantique gouvernée sous le modèle de langage. Celle-ci indique à l'agent ce que signifie le « chiffre d'affaires » pour une équipe donnée, quelle table constitue la source certifiée, comment les exercices fiscaux sont définis et quels filtres doivent toujours s'appliquer. Sans cela, l'interrogation en langage naturel restait une démonstration séduisante en salle de réunion, mais inefficace sur de vraies données d'entreprise.

Générer des réponses fiables pour chaque utilisateur

Le langage naturel a démocratisé l'analyse basée sur l'AI pour tous. Mais comment s'assurer que les non-spécialistes obtiennent des réponses auxquelles ils peuvent faire confiance ?

Richard Tomlinson : Permettre à un plus grand nombre de personnes de poser des questions est la partie la plus simple. Le plus difficile est de rendre les réponses suffisamment fiables pour permettre la prise de décision. Trois conditions sous-jacentes doivent être réunies.

Tout d'abord, les données elles-mêmes doivent être gouvernées. Vous avez besoin de données propres et bien structurées, articulées autour du fonctionnement réel de l'entreprise, où les catégories sont cohérentes dans toute l'organisation, chaque enregistrement est clairement défini et il n'y a aucun doublon de clients ou de produits. Tout doit être sécurisé au moyen de contrôles d'accès granulaires pour que chaque utilisateur ne voie que ce qu'il est autorisé à voir.

Deuxièmement, la signification de ces données doit être explicite et lisible par une machine, et non enfouie dans un savoir informel ou dans le tableur de quelqu'un. Vous avez besoin de définitions d'indicateurs gouvernées, de termes métier documentés, de relations entre clés primaires et étrangères clairement définies et de sources certifiées, le tout enregistré dans un système comme Unity Catalog, où un agent AI peut les exploiter lors de la requête.

Troisièmement, il doit y avoir une couche de confiance et de vérification, capable de retracer chaque réponse générée par l'AI jusqu'aux définitions, sources et autorisations qui l'ont produite. Cela permet à un utilisateur métier de vérifier pourquoi le système a donné cette réponse, et pas seulement ce qu'il a répondu. C'est le principe fondateur de Genie One : des données gouvernées, une sémantique explicite et une traçabilité contrôlable. Sans cela, vous donnez simplement à tout le monde un moyen plus rapide d'obtenir une mauvaise réponse.

Comment l'ancrage sémantique change la donne

Qu'est-ce que l'ancrage sémantique et comment contribue-t-il à des visualisations de données efficaces basées sur le langage naturel ?

Richard Tomlinson : L'ancrage sémantique est le processus qui consiste à adosser l'interprétation d'une question par un agent AI aux définitions, relations et règles métier réelles de l'entreprise, au lieu de laisser le modèle déduire le sens à partir des noms de colonnes en espérant le meilleur.

En pratique, cela signifie qu'avant même de générer la moindre ligne de SQL, l'agent sait déjà que le « chiffre d'affaires net » repose sur un calcul approuvé spécifique, qu'il doit être extrait d'une table financière certifiée plutôt que d'un résumé marketing, que les trimestres fiscaux commencent en février et que les utilisateurs en essai gratuit sont exclus des indicateurs de rétention, par exemple.

Chez Databricks, Genie Ontology fournit une couche de contexte unifiée qui associe des connaissances modélisées de manière explicite — telles que des vues d'indicateurs, des pages gouvernées, des domaines et des sources certifiées — avec du contexte appris automatiquement à partir du fonctionnement réel de l'organisation. Ce contexte est extrait directement des tableaux de bord, requêtes, notebooks et autres ressources de l'entreprise.

Chaque élément de contexte appris, appelé Ontology Snippet, possède un score d'autorité basé sur sa source, sa fréquence d'utilisation, sa fraîcheur et son statut de certification. Au moment de la requête, un système de classement évalue les extraits concurrents selon leur pertinence et leur autorité, résout les conflits et ne fournit que le contexte que l'utilisateur est autorisé à voir.

Une visualisation créée selon ce processus n'est pas seulement un graphique esthétique. Elle s'appuie sur les mêmes définitions et la même logique que les experts métier de l'entreprise utiliseraient, ce qui fait toute la différence entre une réponse plausible et une réponse fiable.

Une bonne gouvernance rend tout cela possible

Quel est le rôle de la gouvernance pour réussir à créer des visualisations de données en utilisant le langage naturel au lieu du SQL ?

Richard Tomlinson : La gouvernance est l'infrastructure portante qui rend l'analyse en langage naturel possible à l'échelle de l'entreprise, et non une simple case de conformité que l'on rajoute après coup.

Lorsqu'un utilisateur métier pose une question en langage naturel, le système doit prendre une série de décisions qui façonnent la réponse, notamment déterminer les tables à interroger, les jointures à utiliser, la définition d'indicateur à appliquer, ainsi que les lignes et colonnes qu'un utilisateur spécifique a le droit de voir. Dans un environnement SQL, c'est un analyste qualifié qui prend ces décisions. Dans un monde axé sur le langage naturel, c'est l'agent AI qui s'en charge, ce qui signifie que la gouvernance doit guider chaque décision de l'agent, et non s'appliquer a posteriori.

Unity Catalog fournit ce socle grâce à des contrôles d'accès granulaires, des filtres de lignes et des masques de colonnes appliqués par utilisateur, des signaux de certification qui indiquent à l'agent quelles ressources l'entreprise valide, et des indicateurs d'obsolescence qui détournent l'agent des sources périmées.

La gouvernance s'étend également à la couche sémantique elle-même. Les Ontology Snippets appliquent les mêmes autorisations Unity Catalog que les données qu'ils décrivent, garantissant que l'agent n'utilise que le contexte métier que l'utilisateur est autorisé à voir. Avec une gouvernance adéquate, les entreprises peuvent ouvrir l'analyse en libre-service à un public bien plus large en toute confiance, car les garde-fous sont appliqués directement par le système.

Maintenir le fil de la conversation sur les rails

Comment l'analyse basée sur l'AI conserve-t-elle le contexte tout au long d'une conversation, y compris pour les questions de suivi ?

Richard Tomlinson : C'est l'un des défis techniques les plus sous-estimés dans l'analyse conversationnelle, et c'est là que la plupart des systèmes NL-to-SQL échouent. Par exemple, lorsqu'un utilisateur demande « Quel était le chiffre d'affaires au trimestre dernier ? » puis enchaîne avec « Ventile ces données par région », le système doit comprendre que « ces données » fait référence à l'indicateur, à la période et aux filtres de la requête précédente, et réutiliser ce contexte dans sa réponse.

Genie conserve le contexte conversationnel au sein d'un fil de discussion en maintenant l'état de la conversation. Les métadonnées des tables et des colonnes, les instructions fournies par les éditeurs de l'agent et le contexte des échanges précédents contribuent tous à interpréter la question suivante. Si la relance est ambiguë, Genie peut poser une question de clarification plutôt que de deviner.

Genie peut également s'appuyer sur des conversations passées pour élaborer ses réponses. Un utilisateur peut faire référence à un travail antérieur (« Tu te souviens quand nous avons parlé de l'ARR au dernier trimestre ? Détaillons cela par région ») et le système intègre ce contexte dans la conversation en cours sans que l'utilisateur n'ait à quitter la page.

La combinaison de l'ancrage sémantique et du filtrage conversationnel garantit des réponses cohérentes au fur et à mesure que les échanges se prolongent. L'ontologie fournit des définitions stables qui persistent au fil des tours, de sorte que le « chiffre d'affaires » conserve la même signification au cinquième échange qu'au premier. Pendant ce temps, la gestion de la conversation sélectionne le contexte pertinent plutôt que de tout ajouter naïvement, ce qui finirait par saturer la fenêtre de contexte et provoquer le type de dérive rencontré dans des systèmes moins sophistiqués.

Intégrer Genie aux outils du quotidien avec une gouvernance intégrée

Comment les entreprises peuvent-elles intégrer Genie dans les applications et outils AI que leurs équipes utilisent déjà, et comment les autorisations d'accès aux données sont-elles appliquées ?

Richard Tomlinson : Databricks offre plusieurs moyens d'intégration. L'API Genie Conversation permet aux développeurs d'intégrer l'interrogation de données en langage naturel directement dans leurs propres applications, chatbots et frameworks d'agents. Via l'API, les utilisateurs peuvent poser des questions, récupérer le SQL généré ainsi que les résultats des requêtes, et obtenir des réponses au cours de conversations multi-tours qui conservent le contexte précédent.

Les entreprises peuvent également utiliser Genie depuis les assistants IA sur lesquels elles s'appuient déjà, comme Claude, ChatGPT, Microsoft Copilot ou Cursor, grâce au serveur Genie One MCP. Les réponses utilisent les mêmes définitions métier et autorisations de données qu'au sein de Databricks.

Les agents Genie peuvent également être intégrés dans d'autres applications tout en conservant les autorisations. Les requêtes s'exécutent sur un SQL warehouse à l'aide des identifiants créés par l'auteur de l'agent, mais Unity Catalog détermine ce que chaque utilisateur final peut voir en fonction de ses droits d'accès. Les filtres de lignes, les masques de colonnes et les privilèges au niveau de la table s'appliquent tous par utilisateur.

Le modèle d'authentification recommandé pour les intégrations externes est OAuth on-behalf-of (OBO), où l'assistant externe agit au nom de l'utilisateur et Genie applique les autorisations de cette personne à chaque requête. Ainsi, deux personnes peuvent poser la même question au même chatbot et obtenir des réponses appropriées basées uniquement sur les données qu'elles sont autorisées à voir, sans configuration spécifique pour chaque utilisateur.

Une connexion directe à une base de données se contente de transmettre des données. Une intégration d'analyse gouvernée contrôle qui voit quelles métriques et comment elles sont calculées.

Tenir la promesse de l'analyse en langage naturel

L'analyse en langage naturel promet depuis longtemps que n'importe qui peut poser une question et obtenir une visualisation de données. En réalité, les résultats n'étaient souvent pas assez fiables pour passer à l'action. À mesure que l'IA prend en charge des décisions traditionnellement confiées aux analystes, le contexte sous-jacent devient essentiel. Des réponses fiables reposent sur des données gouvernées, des définitions partagées, des autorisations claires et un moyen de vérifier comment chaque réponse a été générée. Les systèmes doivent également conserver le contexte au fil de la conversation et intégrer l'analyse propulsée par l'IA dans les outils que les employés utilisent déjà. Grâce à ces fondations, les entreprises peuvent donner en toute confiance aux employés de l'ensemble de l'organisation l'accès à des analyses fiables, quel que soit leur lieu de travail, pour les aider à prendre des décisions éclairées.

Découvrez comment Genie transforme les questions métier en réponses gouvernées et en actions.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original