Pourquoi l'analyse agentique commence par une couche de données bien gouvernée

Alors que l’IA transforme la manière dont les dirigeants interagissent avec les données, l’analyse sort de l’ère des tableaux de bord pour entrer dans un modèle opérationnel beaucoup plus dynamique. Les interfaces en langage naturel, les informations générées par l’IA et les flux de travail basés sur des agents promettent un accès plus large à l’intelligence, mais ils exposent également un problème que de nombreuses organisations gèrent depuis des années : des définitions fragmentées, des métriques incohérentes et des modèles de gouvernance qui n’ont jamais été conçus pour l’échelle de l’IA.

Pour décortiquer ce que cela signifie en pratique, j’ai parlé avec Nick Eayrs, Vice-président de l’ingénierie terrain pour l’Asie-Pacifique et le Japon chez Databricks. Avec près de 25 ans d’expérience en leadership dans plusieurs régions, Eayrs a une vision large de la manière dont les informations issues des données peuvent accélérer les organisations et de ce qu’il faut pour réussir dans la nouvelle ère de l’analyse basée sur des agents. Ce parcours lui donne une vision globale de la manière dont les stratégies de données et d’IA se déploient sur les marchés, les modèles opérationnels et les différents niveaux de maturité des entreprises.

Le fil conducteur de notre conversation a été sa conviction que l’IA n’élimine pas le besoin de sémantique et de gouvernance. Elle les rend beaucoup plus importants. Selon lui, les organisations n’obtiendront pas de résultats d’IA fiables tant qu’elles n’auront pas corrigé la couche de données sous-jacente : les définitions métier, la lignée des données, les contrôles d’accès et les normes ouvertes qui permettent à l’intelligence de s’étendre sans s’effondrer sous le poids des coûts et de la complexité.

L’IA réécrit les règles de l’analyse

Catherine Brown : Pourquoi l’IA exerce-t-elle une pression sur la sémantique et la gouvernance de l’analyse d’une manière que la BI traditionnelle n’a jamais eu à gérer ?

Nick Eayrs : La BI traditionnelle était vraiment un monde de tableaux de bord statiques et de rapports prédéfinis. Les utilisateurs métier devaient naviguer dans des interfaces assez complexes et, s’ils avaient une question de suivi ou souhaitaient explorer quelque chose plus en profondeur, ils avaient généralement besoin d’un support spécialisé. Il y avait très peu de véritable libre-service.

La couche sémantique sous-jacente à la BI traditionnelle était également relativement statique et lente à changer. Si l’entreprise avait besoin d’une nouvelle définition pour les revenus, le taux d’attrition ou la valeur vie client, cela impliquait généralement de retourner voir l’IT ou les équipes spécialisées pour mettre à jour la couche sémantique et reconstruire les rapports. C’était un modèle très prédéterminé.

L’IA change cela complètement. Elle n’a plus besoin d’être statique, et elle n’a plus besoin d’être purement descriptive. La BI traditionnelle est souvent une analyse rétroviseur. Elle vous dit ce qui s’est passé. Avec l’IA, vous pouvez commencer à prédire ce qui pourrait se passer, demander pourquoi cela s’est produit et comprendre quoi faire ensuite. Vous pouvez raisonner sur beaucoup plus de données vous-même et générer des informations en temps réel.

Mais la sémantique ne disparaît pas dans ce monde. Au contraire, elle devient plus importante. L’IA et les agents sont toujours informés par les données sous-jacentes. Cela nous ramène au vieux principe : « garbage in, garbage out ». Plus vous avez de données fiables et de haute qualité, avec le bon contexte métier autour de vos produits, services, taxonomie et terminologie, meilleure sera l’expérience IA.

Si quelqu’un demande : « Pourquoi n’avons-nous pas atteint nos objectifs du T3 ? », le système doit comprendre ce que « objectifs » signifie dans cette organisation, à quelle période l’utilisateur fait référence et comment ces métriques sont définies. Sans ce contexte sémantique, le système ne fait que deviner. Il peut produire des réponses génériques, mais pas des réponses fiables.

Il y a aussi un autre point important ici. Du point de vue de Databricks, la couche sémantique doit être ouverte et interopérable. Les fournisseurs de BI traditionnels enferment souvent le modèle sémantique dans leur propre outil, ce qui signifie que tout doit passer par cette interface. Cela devient une contrainte majeure. Si vous voulez que les expériences IA et basées sur des agents soient évolutives, un exemple personnalisé solide dans APJ serait Takeda. Avec les bonnes fondations de données et les garde-fous en place, ils ont pu développer plusieurs cas d’utilisation de l’IA dans les fonctions commerciales, R&D, de fabrication et de back-office.

Catherine : Pouvez-vous parler plus spécifiquement de la pression de gouvernance que l’IA exerce sur l’analyse ?

Nick : Tant du côté de la BI que du côté de l’IA, la gouvernance se résume à la confiance, à la lignée des données et à la traçabilité.

Si vous produisez des tableaux de bord ou des informations de business intelligence, vous devez comprendre comment ils ont été construits. Quelles données sous-jacentes ont été utilisées ? Comment les métriques ont-elles été définies ? Si vous ne le savez pas, vous ne pouvez pas faire confiance à ce que vous regardez.

Il en va de même pour l’IA. Vous ne ferez pas confiance au résultat d’un modèle, d’un agent ou d’une application basée sur des agents si vous ne pouvez pas comprendre comment ce résultat a été obtenu. De quelle table provient-il ? Quelles caractéristiques ont été utilisées ? Quel modèle a servi à l’inférence ? Cette lignée de bout en bout est essentielle.

Il y a aussi une dimension de conformité. Dans les industries fortement réglementées, les organisations seront de plus en plus tenues de prouver cette traçabilité. Si une décision pilotée par l’IA est exposée extérieurement aux consommateurs, aux citoyens ou aux patients, vous devez être en mesure de la justifier et d’auditer sa création. L’IA exerce une pression accrue sur l’analyse car les attentes en matière de confiance et de traçabilité augmentent.

Les métriques fragmentées ralentissent les décisions

Catherine : Quels sont les modèles de métriques conflictuelles les plus courants que vous observez, et quel est leur coût pour les organisations ?

Nick : Le plus gros problème est la fragmentation. La plupart des organisations ont plusieurs outils de BI dans leur parc, et chacun de ces outils peut avoir son propre modèle sémantique et sa propre interprétation des métriques métier. Cela signifie que vous vous retrouvez sans source unique de vérité et avec beaucoup de logique dupliquée qui peut ne pas être alignée.

Un tableau de bord peut définir les revenus d’une manière. Un autre outil peut les définir différemment. Quelqu’un des finances peut travailler à partir d’une autre version dans Excel. À ce stade, la confiance s’érode très rapidement. La prise de décision ralentit car les gens ne débattent plus de la décision elle-même. Ils débattent de quel chiffre est le bon.

Pourquoi les modèles de BI traditionnels échouent à l’échelle de l’IA

Catherine : Pourquoi la logique des tableaux de bord, lorsqu’elle est piégée dans des outils, s’effondre-t-elle à l’échelle de l’IA ?

Nick : Les outils de BI traditionnels extraient souvent des données des systèmes sources, les agrègent pour un résultat de reporting spécifique, les déplacent vers un stockage propriétaire, puis superposent des sémantiques et des tableaux de bord propriétaires. Tout est verrouillé dans l’outil.

Cela devient un réel problème dans un monde d’IA car les utilisateurs ont toujours des questions de suivi. Ils veulent aller plus loin. Ils veulent exposer cette logique à d’autres systèmes. Ils veulent que les data scientists ou les équipes de machine learning s’appuient dessus. Si tout est piégé dans une seule couche propriétaire, cela ne fonctionne pas bien. Vous devez constamment revenir à la source, extraire plus de données, les transformer à nouveau et reconstruire la logique. Cela devient répétitif et coûteux.

Si, au lieu de cela, tout est construit sur des formats de données ouverts et des interfaces ouvertes, alors la BI, l’IA, les notebooks, les agents et les équipes de data science peuvent tous travailler à partir de la même fondation gouvernée. Vous stockez et traitez les données une seule fois. Tout le monde peut interagir avec elles en langage naturel. Tout le monde peut s’en servir. C’est un bien meilleur modèle pour l’échelle.

Il y a aussi un fardeau d’ingénierie important dans l’ancienne méthode. Vous finissez par maintenir de nombreux pipelines de synchronisation et beaucoup de code personnalisé juste pour maintenir l’alignement des systèmes fragmentés. Cette complexité devient très difficile à justifier.

À quoi ressemble une couche sémantique lisible par machine

Catherine : À quoi ressemble une couche sémantique lisible par machine en pratique ?

Nick : Premièrement, les métriques métier doivent être traitées comme un pilier fondamental. Cela signifie que les définitions de choses comme les revenus, le taux d’attrition ou la valeur vie client doivent être explicitement définies, certifiées et réutilisables dans toute l’organisation.

Deuxièmement, ces métriques doivent être accessibles via des langages standard, principalement SQL, et elles doivent être consommables non seulement par les outils de BI, mais aussi par les interfaces IA, les notebooks et les agents. Si elles ne sont pas accessibles et réutilisables, vous n’avez pas vraiment résolu le problème.

Troisièmement, vous avez besoin d’ouverture et d’interopérabilité. Vous ne voulez pas intégrer toute votre logique métier dans un système dont vous ne pouvez pas la récupérer. Les normes ouvertes sont importantes car elles vous donnent des options et une stratégie de sortie sûre si vous avez un jour besoin de changer de système ou de fournisseur.

Vous avez également besoin d’une gouvernance activée par l’IA. Dans un monde basé sur des agents, vous pouvez avoir des milliers de modèles ou d’agents interagissant constamment avec la couche sémantique. Maintenir à jour les métadonnées, les commentaires et les métriques métier est un défi énorme si tout cela est fait manuellement. L’IA peut aider à générer et à maintenir ces métadonnées afin que la couche sémantique reste utilisable à grande échelle.

Et puis, bien sûr, vous avez besoin d’une intelligence conversationnelle et contextuelle par-dessus, afin que les agents et les applications puissent interagir avec cette couche via des API et des interfaces en langage naturel.

Catherine : Où l’évaluation s’intègre-t-elle dans tout cela ? La certification des données se fait-elle en premier, puis la couche IA et les évaluations viennent-elles après ?

Nick : Oui. Les fondations de données viennent en premier. Vous avez besoin des métadonnées, de la logique métier, des commentaires et des métriques métier en place avant que l’IA ne puisse bien utiliser ces données.

Ensuite, vous construisez la couche IA ou basée sur des agents par-dessus. Après cela, les cadres d’évaluation entrent en jeu pour valider si les résultats sont conformes aux attentes et pour affiner ce que fait le système. Mais la couche d’évaluation ne remplace pas la nécessité d’avoir de bonnes fondations. Elle dépend de ces fondations.

Pourquoi les modèles de BI par siège limitent l’adoption et la valeur

Catherine: Où les modèles BI par siège limitent-ils activement l'adoption et la création de valeur ?

Nick: L'objectif de la démocratisation des données et de l'IA devrait être de mettre l'intelligence entre les mains de chaque travailleur du savoir de l'organisation. Un modèle par siège va directement à l'encontre de cet objectif.

Il contraint la démocratisation car il oblige les organisations à choisir quels utilisateurs, équipes ou unités commerciales ont accès. Il contraint également l'innovation car vous décidez maintenant quels projets sont autorisés à avancer en fonction de la disponibilité des licences plutôt que de la valeur commerciale.

Cela affecte également la création de valeur. Les meilleurs résultats proviennent souvent lorsque des équipes diverses se réunissent autour d'un problème commercial. Si seul un sous-ensemble de ces équipes peut accéder au système, vous limitez la collaboration et vous limitez la capacité de l'organisation à créer de la valeur.

L'autre problème est l'efficacité. Dans un modèle basé sur la consommation, vous payez pour ce que vous utilisez. Si l'utilisation augmente, vous payez pour l'utilisation accrue. Si elle tombe à zéro, vous payez zéro. C'est un modèle beaucoup plus rationnel que de payer pour des licences par siège qui peuvent être sous-utilisées ou surprovisionnées.

Catherine: Certaines organisations pourraient soutenir que les limites de licence agissent effectivement comme une couche de gouvernance. Que diriez-vous à cela ?

Nick: Si vous essayez de gouverner l'accès aux données en limitant les licences, vous allez échouer. C'est le mauvais point de contrôle.

Une bonne gouvernance commence au niveau de la plateforme et des données. Elle commence par des contrôles basés sur les rôles et les attributs, avec une authentification et une autorisation liées à vos systèmes d'identité, et avec une ségrégation et une classification claires des actifs de données. Vous résolvez les droits d'accès et l'application des politiques au préalable.

Si vous faites cela correctement, vous pouvez déployer l'accès largement tout en vous assurant que les gens ne voient que ce qu'ils sont censés voir. Utiliser des licences par siège comme mécanisme de gouvernance n'est pas évolutif et ne remplace pas le travail de gouvernance sous-jacent.

Le moyen le plus rapide d'améliorer la confiance et de réduire les coûts

Catherine: Quelle est la mesure architecturale la plus rapide que les organisations peuvent prendre pour améliorer la confiance et réduire les coûts d'analyse en même temps ?

Nick: La mesure la plus importante est d'établir une couche sémantique unifiée ancrée dans une solide base de gouvernance.

Cela commence par la décision du catalogue. Comment allez-vous gouverner vos actifs de données et d'IA ? Une fois que vous avez un catalogue en place, vous pouvez y définir vos sémantiques, y certifier les métriques commerciales et créer une source unique de vérité. Dans le modèle Databricks, cette source de vérité est ouverte et interopérable, ce qui est très important.

Une fois que vous faites cela, plusieurs choses se produisent. Vous obtenez la confiance car vous avez la lignée, la gouvernance, l'auditabilité et les définitions certifiées. Vous obtenez une simplification car vous évitez la duplication inutile et la répétition des ETL. Et vous réduisez le fardeau informatique car vous ne reconstruisez plus la logique chaque fois que quelqu'un pose une nouvelle question.

Le modèle d'implémentation est assez clair. Premièrement, assurez-vous que les fondations de données sont correctes. Deuxièmement, construisez la couche sémantique et certifiez les métriques commerciales. Troisièmement, superposez l'IA, puis utilisez des cadres d'évaluation pour surveiller et affiner ces résultats. Cette séquence est importante. NTT Docomo en est un excellent exemple. Après avoir utilisé Databricks Lakehouse, Unity Catalog et les workflows pour automatiser l'analyse des journaux, ils ont réduit le temps de traitement manuel de 66 heures par mois à 6 heures et amélioré l'efficacité de l'analyse de 90 %. C'est un excellent exemple de gouvernance et de fondation permettant une prise de décision beaucoup plus rapide.

Pourquoi l'APJ progresse plus rapidement dans la monétisation des données et de l'IA

Catherine: Qu'est-ce que les entreprises de l'APJ font différemment ou plus rapidement en ce qui concerne la monétisation de la couche de données pour l'IA ?

Nick: L'APJ est un marché fascinant car il est incroyablement diversifié. Vous avez affaire à des pays, des langues, des niveaux de maturité et des environnements réglementaires très différents. Mais l'un des modèles communs est que les organisations ont tendance à progresser très rapidement dans la transformation numérique, et de nombreux gouvernements de la région ont des stratégies nationales claires en matière d'IA.

Ce que nous constatons chez les clients, c'est qu'ils commencent souvent par la couche de gouvernance et de fondation de données, puis progressent rapidement vers des applications natives d'IA une fois cette base en place. Cette séquence est importante.

Nous constatons également ce modèle dans des secteurs tels que les services financiers, où les clients consolident l'analyse sur une couche de données gouvernée, puis démocratisent l'accès.

Un autre exemple est Net One Systems au Japon. Une fois la fondation en place, ils ont construit un outil de connaissance infusé d'IA intégré à d'autres systèmes et ont obtenu une réduction de 75 % du temps de réponse aux requêtes de support tout en économisant 10 000 heures de travail par an.

L'une des choses particulièrement uniques dans l'APJ est la dimension multilingue. Les clients développent des capacités en japonais, mandarin, cantonais, thaï et autres langues locales. C'est puissant, mais cela ne fonctionne que si la couche de données sous-jacente est suffisamment gouvernée et structurée pour la supporter.

Les clients de l'APJ ont tendance à bien établir les fondations rapidement, puis à pivoter rapidement vers le développement d'applications axées sur l'IA sur cette base. Dans de nombreux cas, ils progressent plus rapidement que d'autres régions.

Réflexions finales

Le point de Nick est à la fois technique et stratégique. Les organisations qui créent de la valeur à partir de l'IA ne traitent pas l'analyse, la sémantique et la gouvernance comme des conversations distinctes. Elles les traitent comme une seule fondation. Pour les dirigeants, cela est important car le retour sur investissement n'est pas seulement une meilleure architecture. C'est une prise de décision plus rapide, un accès plus large aux informations et un coût d'analyse réduit à grande échelle. L'IA ne résoudra pas une couche de données fragmentée. Elle l'exposera. Les entreprises qui passeront le plus rapidement de l'expérimentation à l'intelligence de confiance seront celles qui définiront clairement leurs métriques, les gouverneront centralement et les rendront suffisamment ouvertes pour que l'analyse et l'IA puissent s'appuyer sur la même vérité.

Pour en savoir plus sur la construction d'un modèle opérationnel efficace, téléchargez le Modèle de maturité IA de Databricks.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original