La gouvernance de l'IA, c'est la stratégie : pourquoi le succès des initiatives d'IA commence par le contrôle et non par le code

L'IA s'intègre de plus en plus aux flux de travail, aux interactions avec les clients et à la prise de décision au sein des organisations. Pour les conseils d'administration et les PDG, ce changement modifie la nature du débat. La question centrale n'est plus « À quelle vitesse pouvons-nous adopter l'IA ? » mais plutôt : « Pouvons-nous la gouverner assez bien pour lui faire confiance en Monter en charge ? »

Lexy Kassan, haute responsable Technologie chez Databricks en charge de la stratégie et de la gouvernance de l'IA d'entreprise, possède une grande expérience à l'intersection des données, de l'IA et des Transformations des entreprises. Sa perspective n'est pas ancrée dans la théorie, mais dans les réalités du déploiement de systèmes génératifs et agentiques au sein de grandes organisations, où le ton, les biais, le monitoring et la responsabilité ne sont pas des risques abstraits, mais des exigences opérationnelles.

Ce qui suit est une conversation sur les raisons pour lesquelles la gouvernance est une condition préalable à la mise à l'échelle d'une IA d'entreprise de haute qualité.

La gouvernance de l'IA génère des résultats fiables et pertinents.

Catherine Brown : Lorsque les dirigeants disent qu'ils « font de la gouvernance de l'IA », que comprennent-ils mal de ce qu'il faut réellement pour monter en charge l'IA en production ?

Lexy Kassan : Généralement, lorsque j'entends des organisations aborder la gouvernance de l'IA, cela se résume à une démarche du type : « Nous avons une politique, une série de processus documentés et des personnes qui approuveront les choses. Tant que quelqu'un a coché les cases et suivi les étapes, alors tout va bien. »

En réalité, la gouvernance a un impact sur les initiatives d'IA, aussi bien dans la phase de développement que dans leur réussite continue à Monter en charge. Une gouvernance solide mène à une IA en production digne de confiance, qui continue de s'améliorer et de soutenir l'organisation comme prévu. Monter en charge ne vient pas de l'obtention des approbations. Monter en charge découle de l'exploitation de l'IA en continu. Et cela demande bien plus que la simple équipe chargée des données et de l'IA.

La gouvernance de l'IA pour instaurer la confiance à Monter en charge repose sur trois piliers : la communication, la collaboration et l'itération. Communiquez les attentes à la fois du point de vue de la politique et de l'atténuation des risques, et de l'intention et de l'utilisation métier. Collaborez avec les experts du domaine, les experts techniques, les experts en risques et en sécurité, et d'autres parties prenantes pour répondre aux préoccupations et créer des systèmes de confiance. Et itérez au fil du temps pour que les systèmes d'IA restent pertinents, fiables et utiles.

La gouvernance comme moteur de la valeur de l'IA

Catherine : À quel moment la gouvernance de l'IA cesse-t-elle d'être une question de conformité pour devenir une exigence opérationnelle pour l'entreprise ?

Lexy : La gouvernance a connu une transformation au cours des dernières années, notamment en raison de l'IA. Il y a cinq ou dix ans, la gouvernance était souvent présentée comme une atténuation des risques et une mise en conformité. Elle était presque considérée comme l'antithèse de l'innovation. Aujourd'hui, la gouvernance est mieux comprise sous sa forme la plus authentique : comme le catalyseur de la création de valeur. Sans gouvernance, il est très difficile de faire confiance aux données ou à l'IA. Et sans confiance, personne ne les utilise. Et c'est de l'utilisation que provient la valeur.

Si personne n'a confiance en votre IA, vous avez investi des ressources sans en tirer aucune valeur. 

La gouvernance est donc déjà une exigence si vous souhaitez une adoption généralisée et pour monter en charge.

La surcharge de processus ralentit l'innovation

Catherine : Que se passe-t-il lorsque les organisations se contentent d'ajouter l'IA à leurs processus de révision existants au lieu de repenser le modèle opérationnel ?

Lexy : C'est là que l'on a tendance à introduire une quantité excessive de processus.

Les organisations disent : « Au lieu de trouver une voie plus simple pour l'IA, nous allons simplement reprendre nos processus existants (évaluations de la confidentialité, revues d'architecture, revues de sécurité) et y ajouter des éléments. » On se retrouve avec des comités déconnectés qui se réunissent peut-être une fois par mois. On superpose l'IA à une gouvernance lente plutôt que de repenser la gouvernance pour l'IA.

S'il faut six mois pour obtenir une approbation, et que les capacités de l'IA évoluent chaque mois, vous vous condamnez structurellement à prendre du retard. La gouvernance ne devrait pas être synonyme de surcharge administrative. Elle devrait plutôt permettre d'identifier un chemin balisé — une architecture et un framework qui atténuent déjà les risques, afin que vous n'ayez pas à repartir de zéro à chaque fois.

Passer de l'insight à l'action modifie le profil de risque

Catherine : Comment la conversation sur la gouvernance évolue-t-elle lorsque les systèmes d'IA passent de la génération d'informations à la prise de mesures par le biais d'agents et d'applications ?

Lexy : Lorsque nous réfléchissons à l'intégration de l'IA dans un processus, nous pensons souvent à un continuum allant du contrôle à la confiance. D'un côté, vous avez des processus entièrement contrôlés par des humains. À l'autre extrémité, vous avez des systèmes agentiques et entièrement automatisés. Lorsque l'IA passe de la génération d'insight à l'action, les enjeux changent. Vous cédez plus de contrôle et devez donc être en mesure de faire davantage confiance au système. 

Pour atteindre les niveaux de confiance nécessaires à une action autonome, la majeure partie de la responsabilité de la gouvernance de l'IA doit être transférée aux experts métier. Une approche par étapes pour les tests, le feedback, le développement de garde-fous et l'évaluation aide à renforcer la confiance dans la capacité des agents à agir de manière appropriée la grande majorité du temps. Et cette responsabilité se poursuit en production, où des retours supplémentaires et Data Engineering des prompts permettent aux systèmes de rester sur la bonne voie. 

Cela couvre l'aspect contenu et action, mais qu'en est-il de la partie technique ? C'est là que les mécanismes de fallback du système, la résilience et la robustesse deviennent essentiels. Que se passe-t-il si l'IA est en panne ? Que se passe-t-il si vous devez réentraîner un modèle ou refactoriser une chaîne ? La gouvernance consiste notamment à planifier ces scénarios. Vers quoi se replie-t-il ? Vers qui se replie-t-il ? À quoi cela ressemble-t-il ?

La responsabilisation avant la mise en production

Catherine : Quelles décisions les équipes de direction doivent-elles prendre en amont concernant la responsabilité, les procédures d'escalade et la supervision humaine avant que l'IA n'arrive en production ?

Lexy : De plus en plus, les organisations considèrent les agents presque comme des employés. Certaines entreprises intègrent des agents dans des outils de gestion des effectifs, les affectent à des managers et tiennent ces derniers responsables de leurs performances. On peut appliquer aux agents une logique de gestion de la performance, tout comme on le ferait pour un employé humain. Quelles sont ses performances ? Respecte-t-il le cadre défini ? Produit-il les résultats pour lesquels il a été conçu ? Il est plus facile à certains égards de corriger les agents — on peut modifier les instructions ou ré-entraîner les modèles — mais c'est aussi différent. Les agents n'ont pas les mêmes motivations que les humains.

Les équipes de direction doivent décider comment la performance sera mesurée, comment la confiance sera évaluée, ce qu'il faut pour retirer un élément de la production — et ce qu'il faut pour le rétablir. La confiance est facile à perdre et beaucoup plus difficile à regagner. Cela s'applique à l'IA tout comme aux humains.

Se développer de manière responsable sans ralentir

Catherine : Parmi les organisations avec lesquelles vous travaillez, quels schémas distinguent les équipes qui montent en charge l'IA de manière responsable tout en continuant à avancer rapidement ?

Lexy : Le premier est le chemin balisé dont j'ai parlé plus tôt. Ils arrivent à un point où ils n'ont plus besoin de débattre de la technologie à chaque fois. Ils disposent d'une architecture gouvernée avec une traçabilité, une auditabilité et une responsabilité intégrées. Cela leur permet d'avancer rapidement, car les garde-fous sont déjà en place.

Le deuxième point consiste à impliquer directement les experts métier dans le processus. La mise à l'échelle est plus rapide lorsqu'il n'y a pas d'échanges constants entre les équipes métier et de technologie pour traduire les exigences. Les équipes métier apportent le contexte — ce qui est considéré comme bon, ce qui est valide et ce qui ne l'est pas.

La gouvernance n'est plus seulement l'affaire des experts techniques. Il s'agit de faire converger le métier et la technologie au sein d'un cadre commun.

La confiance doit être pensée et mesurée

Catherine : Comment les dirigeants devraient-ils aborder la confiance — comme quelque chose à concevoir, mesurer et gérer — à la fois en interne et avec les clients ?

Lexy : La confiance est difficile à mesurer directement. Nous nous appuyons donc sur des indicateurs indirects. Nous mesurons la qualité des données, les performances du système, l'adoption et l'utilisation. Nous évaluons si le système reste dans les limites définies et produit des résultats acceptables.

On peut voir ça comme la gestion de la performance d'une personne. À quel point les autres comptent-ils sur elle ? À quel point est-elle productive ? Avec quelle régularité répondent-ils aux attentes ?

La confiance elle-même est peut-être difficile à quantifier, mais les performances, la cohérence et le respect des normes sont mesurables. Avec le temps, ces mesures aident à établir la confiance.

La gouvernance s'ancre grâce aux boucles de rétroaction.

Catherine : Si un PDG vous demandait un changement concret à apporter dans les 90 prochains jours pour garantir que la gouvernance de l'IA soit réellement pérenne, que recommanderiez-vous ?

Lexy : Assurez-vous d'avoir un retour — que ce soit sur l'utilisation ou pour comprendre pourquoi quelque chose n'est pas utilisé. Si les gens interagissent avec l'IA, fournissent-ils des commentaires sur la qualité des résultats ? Évaluent-ils les résultats ? Et si personne n'interagit directement avec, nous devons tout de même évaluer ces résultats. Qui fait partie de ce cycle de révision ?

La gouvernance prend racine lorsque les retours entraînent des changements significatifs. Lorsque les gens voient que leur contribution améliore le système et leur propre façon de travailler, ils s'y impliquent.

Et en fin de compte, assurez-vous de donner la priorité à la valeur. Construisez ce qui vaut la peine d'être construit. Ensuite, établissez ce chemin balisé afin qu'il soit plus facile de dire oui à la prochaine initiative d'IA utile.

La gouvernance est la condition du Monter en charge

La gouvernance de l'IA est souvent présentée comme un mécanisme de contrôle. En pratique, il s'agit d'une discipline opérationnelle. La mise à l'échelle de l'IA ne consiste pas à ajouter plus de comités d'examen ou plus de documentation. Il s'agit d'intégrer des garde-fous dans l'architecture, d'établir des boucles de rétroaction et de concevoir des systèmes fiables dans le temps.

Pour les équipes de direction, la conclusion est simple : ce n'est pas la gouvernance qui ralentit l'IA, mais une gouvernance mal conçue. Lorsque la gouvernance est intégrée à la plateforme, alignée sur la responsabilité métier et renforcée par la mesure et le feedback, elle devient la condition qui permet à l'IA de monter en charge de manière responsable — et durable.

Consultez le rapport Databricks, Delivering a Secure Data and AI Strategy, pour découvrir comment les entreprises leaders intègrent la gouvernance, la sécurité et la confiance directement dans leurs modèles opérationnels d'IA.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original