Transparence de l'AI : gouvernance, explicabilité et pratiques en matière de données

La transparence de l'AI est la pratique consistant à rendre les données, le comportement du modèle et les processus de prise de décision d'un système d'intelligence artificielle visibles et compréhensibles pour les personnes concernées. Les systèmes d'AI transparents documentent la manière dont les données d'entraînement ont été collectées, comment un modèle parvient à un résultat et qui est responsable lorsque ce résultat cause un préjudice. La transparence de l'AI se distingue de l'explicabilité, qui traite de la manière dont un modèle arrive à une prédiction spécifique, et de l'interprétabilité, qui décrit la mesure dans laquelle un être humain peut retracer directement la logique interne d'un modèle. Ce guide fournit aux développeurs, auditeurs, décideurs politiques et équipes produit une référence de travail pour concevoir une AI digne de confiance et gouverner des systèmes d'AI transparents.

Qu'est-ce que la transparence de l'AI dans les systèmes d'intelligence artificielle ?

La transparence de l'AI consiste à fournir aux parties prenantes des informations utiles sur la manière dont un système d'AI a été conçu, sur les données qui l'ont entraîné et sur la façon dont il produit ses résultats. Les systèmes d'AI transparents documentent leurs modèles d'AI, leurs algorithmes d'AI et leurs processus d'AI afin que les développeurs, les régulateurs et les utilisateurs finaux puissent évaluer si le système se comporte comme prévu.

La transparence de l'AI englobe l'ensemble de l'écosystème de l'AI : les données sous-jacentes, les algorithmes de machine learning qui leur sont appliqués, les métriques d'évaluation utilisées pour valider les performances et les structures de gouvernance qui encadrent le déploiement. Un système d'AI transparent n'est pas nécessairement simple ; les réseaux de neurones complexes et les modèles de fondation peuvent tout de même être transparents si les organisations documentent les données d'entraînement, signalent les limites et fournissent des canaux de supervision humaine.

Cette distinction a une importance opérationnelle : une équipe peut publier une fiche de modèle (model card) détaillée tout en échouant sur le plan de l'explicabilité si le modèle lui-même est un modèle boîte noire qui résiste à l'inspection.

Pourquoi la transparence de l'AI est importante pour la prise de décision

La transparence de l'AI est importante pour la prise de décision car les parties prenantes font confiance à l'AI lorsqu'elles comprennent les processus décisionnels qui la sous-tendent. Lorsqu'un modèle d'AI fonctionne comme une boîte noire, les chefs d'entreprise, les régulateurs et les clients n'ont aucun élément pour évaluer si ses résultats sont équitables, précis ou sûrs. Les systèmes d'AI transparents comblent cette lacune en exposant la logique, les données d'entrée et les niveaux de confiance qui sous-tendent les décisions générées par l'AI.

L'intérêt commercial est mesurable : 75 % des entreprises craignent qu'un manque de transparence n'augmente la perte de clients (churn), et 65 % des leaders de la CX considèrent la transparence de l'AI comme cruciale pour renforcer la confiance et comme un impératif stratégique plutôt que comme une simple case de conformité à cocher.

La pression réglementaire renforce ce point : l'EU AI Act est le premier cadre réglementaire complet sur l'AI, liant les exigences de transparence à la conformité légale pour les systèmes d'AI déployés dans l'Union européenne. Les décisions d'AI à enjeux élevés, notamment les approbations de crédit, les recommandations d'embauche et le tri médical, amplifient ces risques, car le coût d'une erreur inexpliquée est le plus élevé là où la transparence est la plus difficile à obtenir.

Composants clés : modèles d'AI, algorithmes et explicabilité

Un programme d'AI transparent documente quatre artefacts pour chaque modèle en production, englobant à la fois les technologies d'AI sous-jacentes et le processus de développement d'AI qui les a produites : l'architecture et l'historique des versions du modèle d'AI, les algorithmes d'AI utilisés pour l'entraînement et l'inférence, les données d'entraînement et leur provenance, ainsi que les outils d'explicabilité utilisés pour interpréter les résultats. Chaque artefact doit coexister avec le modèle dans un registre central, régi par la même discipline de gouvernance des données que celle appliquée aux données de production, afin que toute personne auditant le système puisse reconstituer la façon dont il a été conçu.

La documentation de la famille d'algorithmes, des hyperparamètres et de la logique de post-traitement évite les litiges lorsque deux équipes déboguant la même décision générée par l'AI ne parviennent pas à s'accorder sur la cause racine.

L'explicabilité comme exigence de conception

L'explicabilité doit être une exigence de conception, et non un ajustement a posteriori. L'intégrer dès la sélection de l'architecture du modèle, plutôt que d'ajouter une couche d'explication après le déploiement, permet de produire des explications plus fiables et cohérentes.

Méthodes d'explicabilité de l'AI

L'AI explicable (XAI) aide les utilisateurs à comprendre les processus décisionnels de l'AI en traduisant les calculs internes du modèle en un raisonnement lisible par l'homme, et elle s'applique tout autant aux systèmes d'AI générative qu'aux classificateurs traditionnels. L'explicabilité de l'AI permet aux utilisateurs de comprendre clairement les résultats de l'AI, ce qui est une condition préalable à la confiance dans toute décision générée par l'AI affectant les finances, la santé ou le statut juridique d'une personne.

Les techniques d'explication agnostiques au modèle fonctionnent sur toutes les familles de modèles car elles traitent le modèle comme une boîte noire et le sondent avec des entrées variées pour en déduire les frontières de décision, ce qui est utile lorsqu'une organisation ne peut pas modifier un modèle de fondation tiers consommé via une API.

Les techniques d'explicabilité locale expliquent une seule prédiction, par exemple pourquoi une demande de prêt spécifique a été refusée, tandis que les techniques globales décrivent le comportement général du modèle sur l'ensemble de données d'entraînement. Les deux sont importantes : les explications locales satisfont les utilisateurs individuels, tandis que les explications globales satisfont les auditeurs qui évaluent les biais systémiques.

Les visualisations rendent l'explicabilité accessible aux publics non techniques et améliorent la compréhension humaine du fonctionnement des systèmes d'AI. Les graphiques d'importance des variables et les affichages d'intervalles de confiance traduisent les résultats statistiques dans un format qu'un responsable de la conformité peut interpréter. L'explicabilité réduit les biais dans les modèles d'AI et favorise l'équité car elle rend ces biais visibles pour les personnes qui ne sont pas des data scientists, soutenant ainsi une utilisation éthique des décisions générées par l'AI dans toute l'organisation.

Interprétabilité des modèles et modèles d'AI

L'interprétabilité de l'AI aide les utilisateurs à comprendre comment les modèles prennent des décisions en exposant directement le fonctionnement interne des algorithmes d'AI, plutôt qu'à travers une couche d'explication post-hoc. Cela la distingue de l'explicabilité dans les systèmes d'AI : l'explicabilité répond à la question « pourquoi ce résultat », tandis que l'interprétabilité répond à la manière dont un modèle d'AI donné fonctionne en interne et dont des modèles similaires fonctionnent sur l'ensemble d'une gamme de produits.

L'interprétabilité de l'AI est cruciale pour évaluer les prédictions et les décisions de l'AI avant qu'elles n'atteignent la production, permettant aux développeurs de remonter à la source d'un défaut jusqu'à une couche ou une variable spécifique, et fournit des informations utiles sur la logique du modèle qui facilitent à la fois le débogage et la documentation réglementaire.

Documentation pour chaque version de modèle

Chaque version de modèle doit comporter un enregistrement de son architecture, des ressources de calcul d'entraînement de l'AI, des métriques d'évaluation et de la date de mise en production. Sans documentation versionnée, les équipes perdent la capacité d'expliquer pourquoi les décisions générées par l'AI diffèrent au fil du temps, ce qui constitue un obstacle majeur pour rendre la transparence de l'AI durable en tant que programme plutôt que comme un simple exercice de lancement ponctuel. L'enregistrement des métriques de performance par sous-groupes démographiques, et pas seulement de manière globale, est essentiel pour identifier les biais qu'un score de précision global masquerait.

Pratiques de gestion des données et documentation pour les ensembles de données

L'identification des biais exige d'être transparent sur les données d'entraînement, ce qui signifie que chaque ensemble de données utilisé pour entraîner ou affiner un modèle d'AI a besoin d'une fiche technique (datasheet) correspondante documentant sa provenance : d'où proviennent les données, comment elles ont été échantillonnées et quelles étapes de prétraitement ont été appliquées. Le même principe qui s'applique à la documentation des modèles s'applique à la documentation des données : les artefacts non documentés ne peuvent pas être audités.

Les data scientists qui préparent les données d'entraînement doivent enregistrer explicitement les exclusions et les lacunes connues, car un ensemble de données qui sous-représente un groupe démographique doit faire apparaître cette lacune dans sa fiche technique plutôt que de la laisser se révéler plus tard à travers des performances de modèle disparates. Une communication claire sur les sources de données offre aux auditeurs un point de départ lors de l'investigation d'une décision d'AI inattendue.

Ce qu'une fiche technique doit contenir

Une fiche technique complète ajoute la période de collecte, les contraintes de licence et les biais de population connus aux détails de provenance ci-dessus. Les organisations doivent documenter les méthodes de collecte et de traitement des données de manière permanente, et non comme un exercice ponctuel réalisé uniquement à la demande d'un régulateur.

Processus de prise de décision et auditabilité

La transparence permet de retracer les résultats de l'AI à des fins de responsabilité, ce qui nécessite de cartographier chaque décision d'AI par rapport au flux de travail humain qu'elle alimente. Un modèle d'AI qui évalue les demandes de prêt doit avoir un parcours documenté indiquant quel résultat déclenche une approbation automatique, lequel déclenche un examen humain et qui est responsable de cette étape.

Les journaux d'audit (audit logs) constituent l'épine dorsale mécanique de cette cartographie : chaque décision d'AI à enjeux élevés doit générer une entrée de journal capturant la version du modèle, les variables d'entrée (features), le score de sortie et le niveau de confiance, afin que les réviseurs puissent distinguer une prédiction à haut niveau de confiance d'une prédiction limite.

L'auditabilité permet d'identifier les biais et de garantir l'équité de l'AI, mais seulement si un réviseur humain désigné dispose à la fois de l'autorité et des outils d'interprétabilité nécessaires pour intervenir.

Gouvernance de l'AI, responsabilité et gestion des risques

La gouvernance de l'AI est la structure organisationnelle qui transforme les principes de transparence en pratiques applicables dans le cadre d'un programme plus large de gestion des risques liés à l'AI, reliant la documentation technique à la conformité réglementaire et aux obligations de protection des données. Un comité de gouvernance de l'AI, composé de membres des services d'ingénierie, juridiques, de sécurité et commerciaux, doit être responsable du flux d'approbation de tout modèle classé comme à haut risque, en examinant les fiches de modèle (model cards), les fiches techniques (datasheets) et les résultats d'évaluation avant la mise en production.

Les pratiques d'AI responsable dépendent de cette couche de gouvernance, car la transparence technique seule ne garantit pas une utilisation éthique de l'AI. Un modèle bien documenté peut tout de même être déployé de manière irresponsable si aucun processus de gouvernance n'évalue si le cas d'usage est approprié. Des évaluations de risques périodiques, planifiées à intervalles réguliers, permettent de détecter la dérive du modèle avant qu'elle ne cause des dommages.

Exigences de l'EU AI Act

L'EU AI Act introduit des obligations de documentation pour les modèles d'AI à usage général, exigeant des développeurs qu'ils divulguent la méthodologie d'entraînement et les limites connues. L'article 13 impose la transparence pour les systèmes d'AI à haut risque, exigeant que les utilisateurs reçoivent des informations suffisantes pour interpréter et utiliser correctement les résultats du système. L'article 50 exige une divulgation lorsqu'une personne interagit avec un système d'AI plutôt qu'avec un humain. La transparence est essentielle pour se conformer aux réglementations d'AI en constante évolution, et celle-ci est susceptible d'influencer les cadres de gouvernance de l'AI bien au-delà de l'Union européenne.

Gestion des fournisseurs pour les modèles de fondation et les API

Les organisations qui s'appuient sur des modèles de fondation tiers, y compris les grands modèles de langage, héritent d'un manque de transparence, à moins que les fiches de modèle (model cards) et les résumés d'entraînement fournis par le fournisseur ne soient une exigence contractuelle et non une simple courtoisie. Les fournisseurs de modèles de fondation publient fréquemment de nouvelles versions de modèles avec des comportements différents qu'une organisation consommant un modèle via une API ne peut pas contrôler. Les obligations contractuelles de transparence devraient imposer aux fournisseurs d'informer les clients avant de déployer une version sensiblement différente et de divulguer toute découverte importante concernant la sécurité de l'AI, donnant ainsi aux équipes en aval le temps de réexécuter les métriques d'évaluation.

Divulgations et communication destinées aux utilisateurs

Les utilisateurs doivent savoir quand ils interagissent avec des systèmes d'AI, que ce système soit un chatbot, l'un des nombreux assistants virtuels désormais intégrés aux applications d'AI grand public, ou un moteur de décision automatisé. Un avis de divulgation concis, fourni au moment de l'interaction plutôt que noyé dans les conditions d'utilisation, répond à la fois aux directives éthiques et, en vertu de l'EU AI Act, aux exigences légales. Le contenu synthétique et généré par AI doit être clairement étiqueté partout où un lecteur pourrait raisonnablement supposer une création humaine, et un utilisateur qui conteste une décision générée par AI doit disposer d'une voie d'escalade définie vers un examen humain, visible au moment où la décision est rendue.

Opérationnaliser la transparence dans les systèmes en production

Une transparence qui n'existe que dans un document de politique ne résiste pas à un cycle de publication rapide. Les meilleures pratiques pour la transparence de l'AI combinent des outils techniques d'AI avec la gouvernance : les fiches de modèle doivent être directement associées aux entrées du registre de modèles, et un modèle ne doit pas être déployé en production à moins que sa fiche de modèle, ses métriques d'évaluation et sa fiche technique (data sheet) ne passent un contrôle d'exhaustivité automatisé lié aux workflows de CI/CD et de publication.

L'enregistrement des traces de prompts, de récupération (retrieval) et d'appels d'outils est désormais au cœur de tout système basé sur la génération augmentée de récupération (RAG) ou sur une architecture d'agent, car un résultat à l'apparence plausible peut tout de même être erroné s'il repose sur une source récupérée incorrecte.

Mesurer la transparence et surveiller l'efficacité

Les programmes de transparence ont besoin d'indicateurs clés de performance (KPI) mesurables, sous peine de dériver vers des déclarations d'intention sans mécanisme d'application. L'exhaustivité de la documentation, mesurée par le pourcentage de modèles en production disposant d'une fiche de modèle et d'une fiche technique à jour, est le KPI le plus simple à automatiser.

La surveillance des biais est essentielle pour la transparence de l'AI, c'est pourquoi des audits de transparence réguliers et des analyses d'écarts doivent être menés à un rythme fixe, en se renforçant pour tout modèle opérant dans un domaine à enjeux élevés tel que le crédit, le recrutement ou la santé.

Les retours des parties prenantes permettent de boucler la boucle. Recueillir les commentaires des auditeurs et des utilisateurs finaux qui consomment les livrables de transparence permet de savoir si une fiche de modèle fournit des informations utiles ou si elle se contente de cocher une case.

Défis courants et compromis

Des compromis existent entre la transparence et la protection de la propriété intellectuelle (IP), en particulier pour les organisations qui considèrent la préparation des données d'entraînement et l'architecture des modèles comme des avantages concurrentiels. La divulgation complète d'une méthodologie propriétaire peut exposer des secrets commerciaux, c'est pourquoi de nombreux cadres de transparence exigent une documentation qui donne satisfaction aux auditeurs sans nécessiter la divulgation publique de chaque détail d'implémentation.

Les modèles d'AI complexes, y compris les réseaux de neurones à grande échelle et les modèles de fondation, peuvent être difficiles à expliquer simplement, et beaucoup fonctionnent comme des modèles de boîte noire, même pour les équipes qui les ont conçus : un modèle de régression logistique peut s'expliquer en une phrase, tandis qu'un transformer de plusieurs milliards de paramètres ne le peut pas, même avec des outils d'explicabilité de pointe.

L'absence de pratiques standardisées complique les efforts de transparence de l'AI dans tous les secteurs, car différents régulateurs et articles de recherche proposent des formats de documentation différents. Les modèles d'AI évoluent, ce qui rend difficile une transparence cohérente, car une fiche de modèle rédigée pour la version un peut ne pas décrire la version quatre après plusieurs cycles de réglage fin (fine-tuning), et une dérive non documentée peut produire des conséquences imprévues qui ne font surface qu'une fois le système largement déployé. Équilibrer la transparence face à ces contraintes, aux côtés de véritables considérations éthiques et de préoccupations sociétales plus larges, implique de définir un seuil minimal de documentation que chaque modèle doit respecter.

Liste de contrôle des meilleures pratiques pour la transparence de l'AI

Les organisations qui adoptent la transparence comme une valeur fondamentale, plutôt que comme une contrainte de conformité de dernière minute, considèrent ce qui suit comme un seuil minimal pour leurs initiatives d'AI transparente, et non comme un objectif lointain. La publication périodique de rapports de transparence aux côtés de ces livrables aide à généraliser les pratiques d'AI transparente au sein des équipes.

• Produire une fiche de modèle minimale viable pour chaque modèle en production : utilisation prévue, limites connues, métriques d'évaluation.
• Publier des résumés des données d'entraînement pour tout modèle public ou à usage général, y compris les lacunes connues.
• Conserver des journaux d'audit liés pour chaque décision d'AI à fort impact : version du modèle, entrées, niveau de confiance.
• Planifier des revues de transparence récurrentes avec le comité de gouvernance de l'AI plutôt que de s'en remettre à des audits ad hoc.
• Documenter les méthodes de collecte et de traitement des données au moment de la collecte, et non de manière rétroactive.
• Réaliser des évaluations régulières pour identifier et éliminer les biais dans l'AI avant qu'elle n'arrive en production.

Réponse aux incidents, remédiation et amélioration continue

Chaque organisation qui déploie des systèmes d'AI a besoin d'un guide de réponse aux incidents (playbook) pour les défaillances d'AI, défini avant qu'un incident ne se produise. Le playbook doit spécifier qui est informé, quels journaux sont extraits et à quelle vitesse un modèle peut être restauré à une version antérieure si un audit révèle qu'il produit des décisions générées par AI biaisées ou dangereuses.

Les étapes de remédiation et les métriques de résultats doivent être enregistrées pour chaque incident, créant ainsi un historique interne des cas, et la documentation doit également être mise à jour afin qu'une correction apportée à une limite connue se propage immédiatement plutôt qu'au moment de la prochaine revue planifiée.

Études de cas et exemples à inclure

Exemple de décision à enjeux élevés : une organisation de services financiers documente son modèle d'AI d'évaluation du crédit avec un résumé public des facteurs pris en compte, associé à une fiche de modèle interne détaillant les métriques d'évaluation pour différents sous-groupes démographiques.

Exemple de divulgation d'AI générative : un déploiement de support client étiquette visiblement chaque réponse générée par AI et enregistre les sources de récupération derrière chaque réponse, de sorte qu'une réponse contestée puisse être tracée jusqu'à sa source. Une variante de conformité des fournisseurs exige que le fournisseur de modèles fournisse une fiche de modèle et un préavis de trente jours avant toute mise à jour de version, le tout inscrit dans le contrat.

Références, modèles et livrables de départ

Les équipes qui mettent en place un programme de transparence de l'AI ont tout intérêt à commencer par trois modèles plutôt qu'à créer des formats de documentation à partir de zéro : un modèle de fiche de modèle, un modèle de fiche technique (data sheet) et un exemple de texte de divulgation. La standardisation de ces modèles au sein des équipes transforme la documentation en un partage de connaissances plutôt qu'en une paperasse ponctuelle liée à un seul effort de développement de modèle.

Les fiches de modèle doivent inclure au minimum l'utilisation prévue et les limites connues, car ces champs répondent aux questions que les auditeurs posent le plus souvent. Un modèle de fiche technique (data sheet) reflète les champs de provenance et de prétraitement abordés précédemment. L'exemple de texte de divulgation doit indiquer clairement qu'une personne interagit avec un système d'AI et fournir un accès direct à un examen humain, dans un langage qu'un utilisateur non technique peut comprendre.

Foire aux questions

Qu'est-ce que la transparence de l'AI ?

La transparence de l'AI est la pratique consistant à documenter et à divulguer le fonctionnement des données, des modèles et des processus de prise de décision d'un système d'AI afin que les développeurs, les régulateurs et les utilisateurs puissent évaluer ses résultats et s'y fier. Elle couvre la provenance des données d'entraînement, la documentation des modèles et la supervision de la gouvernance.

En quoi la transparence de l'AI diffère-t-elle de l'explicabilité ?

La transparence de l'AI est la pratique plus large consistant à documenter les données et la gouvernance d'un système d'AI, tandis que l'explicabilité s'intéresse à la manière dont un modèle parvient à un résultat individuel. Un système peut être transparent sur ses données tout en ayant besoin d'outils d'explicabilité dédiés pour des prédictions spécifiques.

Pourquoi l'EU AI Act est-il important pour la transparence de l'AI ?

Le règlement européen sur l'IA (EU AI Act) est le premier cadre réglementaire complet sur l'IA, établissant des exigences de transparence contraignantes pour les systèmes d'IA à haut risque et les modèles d'IA à usage général. L'article 13 exige des informations suffisantes pour une utilisation correcte, et l'article 50 exige la divulgation de toute interaction d'une personne avec un système d'IA plutôt qu'avec un humain.

Que doit inclure une fiche de modèle ?

Une fiche de modèle doit inclure l'utilisation prévue du modèle, un résumé des données d'entraînement, des métriques d'évaluation pour les sous-groupes pertinents, les limites connues et un historique des versions.

Comment la transparence de l'IA réduit-elle les biais ?

La transparence de l'IA réduit les biais en rendant les données d'entraînement, les métriques d'évaluation et le comportement des modèles de machine learning suffisamment visibles pour un audit régulier. L'identification des biais nécessite de la transparence concernant les données d'entraînement, et une surveillance régulière permet de détecter des disparités qu'une simple évaluation au moment du lancement ne verrait pas.

Qui est responsable de la gouvernance de l'IA au sein d'une organisation ?

La responsabilité incombe généralement à un comité de gouvernance de l'IA interfonctionnel comprenant des représentants de l'ingénierie, du service juridique, de la sécurité et des affaires, qui examine les fiches de modèles et les évaluations des risques avant d'approuver les modèles à haut risque.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original