Ethique de l’intelligence artificielle : expliquer « l’explicabilité »

Dans le débat public, l’intelligence artificielle (IA) est souvent présentée comme l’instrument de notre entrée dans un monde dystopique qui n’aurait plus besoin de nous. Cette vision anxiogène est parfois alimentée par les esprits les plus brillants et avertis [1] qui craignent que cette technologie nous échappe et que la machine, non satisfaite d’avoir dépassé l’homme, le fasse disparaître.

Dans le champ économique, même si les cas d’usage restent pour l’essentiel à développer, le procès de l’intelligence artificielle semble déjà instruit : l’IA est suspectée de servir exclusivement les intérêts mercantiles de certaines entreprises à qui elle permettrait de percer les profils, comportements, besoins ou risques des consommateurs et donc de mieux orienter leurs offres, excluant le cas échéant une frange de la population, jugée commercialement moins intéressante, de services ou produits aussi fondamentaux qu’un crédit ou une assurance. L’IA est ainsi vue comme inexorablement biaisée et opaque. On exige donc, comme condition non négociable à l’acceptabilité de la technologie IA, la plus totale transparence [2] . La question du caractère fondamental du droit à l’explicabilité des algorithmes est même posée [3] . À certains égards, « nous montrons plus d’exigence en termes de transparence dans nos rapports avec les machines que dans nos rapports avec les humains » [4] .

Une double transparence

En réalité deux problèmes de « transparence » se superposent. Tout d’abord celle des usages de la technologie, soupçonnée de profiter à quelques-uns au détriment du plus grand nombre, et celle de la technologie elle-même, dont la logique interne paraît inexplicable, impénétrable. C’est le fameux effet « boîte noire » (black box) dénoncé notamment par divers superviseurs ou régulateurs, tel le Conseil de stabilité financière qui relève que le manque d’interprétabilité de l’IA et des méthodes d’apprentissage-machine pourrait engendrer un risque économique majeur [5] . Contrairement aux algorithmes des années 1970, essentiellement déterministes, les algorithmes aujourd’hui utilisés dans les systèmes d’IA apprennent directement à partir des données et « décident » selon des règles qui ne sont pas fixées au préalable par l’humain. La lisibilité de ces systèmes est donc altérée par la complexité des algorithmes – ou combinaisons d’algorithmes – qui apprennent « sans comprendre » [6] et la masse des données utilisées. Comme l’écrit la CNIL, « les concepteurs mêmes de ces algorithmes probabilistes perdent la capacité à comprendre la logique des résultats produits » [7] .

La notion d’« explicabilité »

L’exigence de transparence apparaît le plus couramment sous un autre vocable, celui de « l’explicabilité », érigée comme un des principes fondamentaux de l’éthique de l’IA par nombre d’experts. Ainsi, pour le groupe d’experts de l’Union européenne [8] , l’explicabilité fait partie des quatre principes éthiques, aux côtés du respect de l’autonomie humaine, de la prévention de toute atteinte aux êtres humains et de l’équité, que doit respecter tout système d’IA ; pour l’OCDE, transparence et explicabilité constituent l’un des cinq principes qui fondent une approche responsable d’une IA susceptible de générer de la confiance [9] .

Il paraît donc utile de préciser en quoi consiste cette « explicabilité » de l’IA et quelles obligations elle crée à l’égard des concepteurs ou opérateurs de solutions d’apprentissage-machine (machine learning) au cœur de la plupart des systèmes d’IA aujourd’hui déployés. On indiquera ainsi dans un premier temps l’objet de cette explicabilité, avant d’en voir toutes les variantes terminologiques. On s’essaiera ensuite à une définition pratique de l’« explicabilité ».

I. L’explicabilité : quel objet ?

Données/algorithme/prédiction. L’apprentissage-machine suppose que soient réunies deux composantes : un jeu de données (dataset), à partir duquel un algorithme [10] va pouvoir apprendre, et cet algorithme, souvent dénommé « algorithme d’apprentissage », qui va servir à créer un modèle. Ainsi, un établissement de crédit va utiliser les données historiques d’octroi et de refus de crédit avec les informations pertinentes sur les personnes concernées (âge, profession, revenus, etc.) pour entraîner un modèle de traitement automatique de demandes de crédit. L’algorithme va ainsi permettre de « modéliser un phénomène à partir d’exemples » [11] .

À ces deux composantes s’en ajoute une autre : le produit de l’application du modèle à de nouvelles données lors de son déploiement, autrement appelé « données de sortie », « résultat » ou « prédiction » – dans l’exemple ci-dessus, la décision d’octroi ou de refus de crédit. Chacune de ces composantes présente des particularités et difficultés qui lui sont propres, dès lors qu’il s’agit d’en « expliquer » les modalités ou le fonctionnement.

II. L’explicabilité des données d’entraînement d’un modèle

Comprendre les données. La compréhension d’un modèle de machine-learning commence par un examen approfondi des données qui servent à l’entraîner. Cet examen, qui passe notamment par des analyses descriptives et univariées des données, permet de faire émerger des tendances ou des corrélations utiles à une explication du fonctionnement du modèle. Dès cette étape, il est parfois possible d’identifier les paramètres les plus déterminants d’un modèle. On pourrait ainsi relever, dans notre exemple de modèle d’octroi de crédit, qu’historiquement le revenu, l’âge ou l’endettement sont des critères importants, plus déterminants par exemple (à supposer que ces données soient disponibles dans le dataset de l’établissement de crédit) que la composition de la famille, la marque du véhicule familial, le niveau d’études, etc.

Il s’agit déjà, au stade de l’analyse du dataset, de comprendre ce que sont et recouvrent les variables utilisées. Si certaines sont évidentes car explicites (l’âge, le revenu, la profession dans le cas de la demande de crédit par exemple), d’autres peuvent l’être beaucoup moins (les pixels d’une photographie par exemple). Les comprendre facilitera non seulement le paramétrage du modèle mais également l’explication de ses prédictions, lorsque celle-ci consistera par exemple à mettre en lumière les variables qui ont le plus fortement impacté un résultat donné.

Visualisation. L’une des méthodes les plus efficaces pour comprendre les données consiste à les visualiser. Les outils ne manquent pas en ce domaine : histogrammes, nuages de points, diagrammes de dispersion, heatmaps, boîtes à « moustaches » (boxplot)... Ces outils permettent de rapidement mettre en évidence les éventuelles corrélations entre variables ou entre certaines variables [12] et la donnée à prédire.

Analyse statistique. L’analyse des propriétés statistiques du jeu de données (taille ; nombre de variables ; minimum, maximum, moyenne ou écart-type pour les variables numériques ; valeurs manquantes…) peut également fournir des informations précieuses et complémentaires à celles des représentations graphiques pour saisir les paramètres qui contribuent le plus à la production d’un résultat algorithmique.

En dehors de quelques difficultés pratiques ou techniques, l’explicabilité de cette première composante de l’apprentissage-machine que sont les données d’entraînement ne semble pas problématique. Son importance parmi les clés de compréhension globale de la décision algorithmique est peut-être sous-estimée, l’attention du public et des commentateurs étant plus attirée par le modèle lui-même.

III. L’explicabilité du modèle

« Boîte noire ». C’est lorsqu’elle est appliquée à cet objet particulier qu’est le modèle, terme parfois remplacé par celui d’« algorithme », que la question de l’explicabilité se fait la plus vivement polémique. Il s’agit alors de répondre à l’irréfragable présomption qui ferait de ces modèles d’insondables et inintelligibles boîtes noires.

D’un bout du spectre… La question mérite d’être nuancée car elle dépend d’abord des algorithmes d’apprentissage utilisés. On considère ainsi traditionnellement que certaines familles d’algorithmes sont plus susceptibles d’explicabilité que d’autres, notamment parce qu’elles présentent l’avantage d’être décomposables ou représentables sous forme de graphiques. On pensera par exemple aux modèles linéaires et à ceux à base d’arbres de décision.

Pourtant l’explicabilité du fonctionnement de ces modèles ne garantit pas celle des prédictions auxquelles ils aboutissent. Ainsi, lorsqu’ils sont appliqués à des jeux de données de grande dimension, c’est-à-dire comportant de nombreuses variables, l’illustration graphique du processus de décision devient par exemple impossible. On peut parfois être en présence d’algorithmes simples dont les opérations seraient individuellement aisées à expliquer, mais dont la mise en œuvre sur des données massives ou dans des ensembles d’algorithmes peut produire des résultats difficiles à justifier. Ici, c’est l’accumulation des opérations qui est source de complexité et d’opacité. Une décision prise sur la base d’un unique arbre de décision peut facilement s’expliquer ou s’illustrer, mais lorsque l’algorithme d’apprentissage retenu utilise 100, 500 ou 1 000 arbres (forêt aléatoire) cette explication devient matériellement impossible. Autre illustration d’un cas où l’explication du comportement d’un modèle simple, une régression linéaire par exemple, est complexe : lorsque des variables prises en compte dans un modèle ont des relations linéaires entre elles et capturent en fait le même « phénomène ».

…à l’autre. À l’autre bout du spectre de l’explicabilité a priori des modèles se trouvent les réseaux de neurones. L’idée qui préside à leur fonctionnement est relativement simple à appréhender. Les données d’un dataset sont envoyées à une première couche de neurones, chaque neurone se faisant le réceptacle d’une partie des données. Celles-ci sont ensuite transformées par l’application d’un coefficient (poids synaptique) et combinées avant d’être envoyées à une autre couche comportant généralement moins de neurones. Cette réduction progressive du nombre de neurones permet d’aboutir à la production d’une unique variable finale, la prédiction. L’ensemble de ces opérations est réalisé en essayant d’optimiser la justesse de la prédiction. Dans l’hypothèse où la donnée prédite est différente de la donnée cible du jeu d’apprentissage, un mécanisme de correction des coefficients des connexions de neurones (back propagation) est mis en œuvre. La particularité du modèle réside dans le fait qu’il est bien souvent impossible de discerner comment il « raisonne » et apprend à partir des données qui lui sont fournies. Pas plus la logique que les calculs effectués par le modèle ne sont transparents pour son concepteur qui ne pourra donc pas les justifier. Comme l’écrit le CERNA, le fonctionnement des réseaux de neurones se « fonde sur le réglage de millions de poids synaptiques et non sur des concepts simples et intelligibles par les humains. [À titre d’illustration], l'une des forces des algorithmes de reconnaissance d'image par apprentissage est de reconnaître une chaise sans nécessairement utiliser les concepts de pied, d'assise, de dossier… de ce fait, l'algorithme peut difficilement expliquer les raisons pour lesquelles il a identifié une chaise dans une image » [13] .

Modèles hybrides. Entre ces deux familles de modèles à l’explicabilité inégale se développent des modèles hybrides comme par exemple l’apprentissage profond de type bayésien ou les « deep » k plus proches voisins [14] . L’idée ici est de trouver le bon équilibre entre performance du modèle et capacité à en comprendre le fonctionnement.

La question de l’objet de l’explicabilité ne doit pas nous faire oublier celle de son bénéficiaire. S’il s’agit d’un particulier, ou même d’un professionnel non expert en science des données ou mathématiques, il y a fort à parier que même les modèles les plus simples sont et resteront pour l’essentiel inintelligibles. Or c’est avant tout pour ceux envers qui elle crée des droits ou des obligations que l’intelligence artificielle se doit d’être expliquée. C’est donc peut-être plus à la décision produite par l’algorithme qu’à l’algorithme lui-même qu’il importe de s’intéresser.

IV. L’explicabilité des prédictions du modèle

Explicabilité du modèle, explicabilité des prédictions du modèle. L’explicabilité du modèle est souvent confondue avec celle des prédictions produites par le modèle. Or il convient de les distinguer, l’explicabilité du modèle ne garantissant pas, nous l’avons vu, celle de ses résultats et la relative opacité d’un modèle n’étant pas un obstacle définitif aux tentatives de justification des résultats produits. On parle parfois d’explication « locale », « ex post » [15] ou « personnalisée », c’est-à-dire relative à une décision spécifique, par opposition à une explication « globale » ou « ex ante », c’est-à-dire portant sur l’ensemble du processus algorithmique [16] .

Cette distinction est d’importance pour le débat en cours sur l’imposition d’une obligation d’explication des décisions algorithmiques, explication qui devrait, pour être utile, porter sur la décision et non l’algorithme. Car dans une vaste majorité des cas, l’attente du particulier qui fait l’objet d’un traitement algorithmique ne porte pas sur une compréhension de l’algorithme utilisé mais sur une justification de la décision prise. Cette justification pourrait prendre la forme d’une présentation simple et intelligible des principaux paramètres qui ont conduit à une décision. Raisonnant par analogie avec le domaine administratif, deux auteurs relèvent que lorsqu’un particulier demande pourquoi une prestation sociale lui a été refusée, la réponse ne consiste pas en « un cours de droit administratif sur les fondements juridiques de la sécurité sociale » [17] , mais en la communication de l’extrait pertinent de la procédure applicable. Ces mêmes auteurs parlent d’« explicabilité par extraits pour désigner cette capacité à expliquer au profane une sortie particulière d’une procédure sans faire référence à l’intégralité de cette dernière, en sélectionnant un ensemble restreint d’éléments pertinents » [18] .

On relèvera que dans le débat juridique en cours sur l’existence et la portée d’un « droit à l’explication » certains auteurs [19] considèrent que l’exigence d’une explication des prédictions est supportée par les quelques textes qui traitent de traitement automatisé, au premier rang desquels le Règlement général sur la protection des données (RGPD) [20] et la loi Informatique et libertés [21] .

Cette explication des prédictions n’est certes pas toujours facile à produire mais des méthodes éprouvées sont aujourd’hui à la disposition des concepteurs ou opérateurs d’outils d’apprentissage-machine. On les regroupe traditionnellement en deux catégories : celles qui visent à identifier les facteurs les plus importants (appelés « traits saillants » ou salient features) utilisés par le modèle pour une décision donnée et celles qui « perturbent » les données d’entrée afin d’en comprendre l’incidence sur les données de sortie. En général, ces méthodes se révèlent simples à mettre en œuvre et ne requièrent pas de toucher au modèle sous-jacent, même si leur « stabilité » (robustness) est débattue [22] .

Explication par les facteurs les plus importants. S’agissant de l’outil d’identification des variables importantes, il permet de déterminer le poids de chaque variable dans la production du résultat prédit pour un individu donné. Ce poids est potentiellement différent d’un individu à un autre et l’observation sur un individu peut ne pas être généralisable. Cette information permet de confirmer d’éventuelles intuitions sur les variables clés, de vérifier la bonne tenue et éventuellement de modifier le modèle appliqué. Elle permet également d’identifier les potentiels biais contenus dans les données utilisées pour l’entraîner et de modifier ainsi des politiques ou pratiques commerciales discriminantes ou ne répondant pas au positionnement ou à l’image d’une entreprise. Mais elle permet surtout de justifier une décision relative à un individu. À titre d’illustration, si un modèle vise à déterminer les personnes pouvant ou non bénéficier d’un prêt, l’outil permet d’identifier les variables ayant le plus pesé dans une décision de refus de crédit - l’âge, les revenus, la profession et le niveau d’endettement du candidat par exemple, avec l’indication de leur poids respectif. Dans un tout autre domaine, en matière de classification d’images par exemple, le même outil permet d’identifier les pixels qui ont été les plus déterminants pour affecter l’image à tel ou tel groupe.

La compréhension des paramètres les plus discriminants dans la prédiction peut être affinée en les faisant varier pour en apprécier l’impact sur le résultat. Une comparaison des paramètres entre individus appartenant à une même classe ou entre individus les plus proches appartenant à deux classes distinctes (approche contrefactuelle ou counterfactual scenario) donnera également des éléments d’explication complémentaires. Les outils de visualisation des données s’avèrent également très utiles pour apprécier les principaux paramètres d’une prédiction [23] .

Un champ de recherche actif. D’une façon générale, les outils d’explication des données de sortie d’un modèle constituent un champ de recherche important. Des techniques plus évoluées que celles décrites ci-dessus sont aujourd’hui mises en œuvre [24] . On peut notamment citer les techniques comme les Local Interpretable Model Agnostic Explanations (LIME) qui consistent en une approximation « locale » du modèle utilisé pour justifier d’une prédiction donnée, indépendamment des caractéristiques de ce modèle (model-agnostic). Cette approximation se construit en utilisant des observations fictives ou « perturbées » proches d’un individu donné pour l’entraînement d’un modèle plus simple [25] . Il ne s’agit pas alors d’expliquer l’ensemble du modèle et de ses sorties mais seulement une ou plusieurs sorties spécifiques.

V. L’explicabilité : une approche sémantique et pratique

L’objet, multiple, de l’explicabilité précisé, il convient de s’intéresser au sens donné au terme « explicabilité ». Celui-ci-ci peut notamment être abordé en le comparant aux autres termes, nombreux, utilisés dans le débat sur la transparence des algorithmes et notamment les suivants : intelligibilité, interprétabilité, justifiabilité, auditabilité ou même traçabilité.

Aborder l’explicabilité par les autres termes du débat sur la transparence

Intelligibilité. Dans le vocabulaire relatif à la compréhension de l’algorithme ou de sa sortie, la notion par laquelle il convient de commencer est celle d’intelligibilité. Si l’on s’en réfère à la définition qui lui est donnée par l’Académie française, est intelligible ce qui « peut être compris, dont le sens se comprend aisément » [26] . Qu’elle se rapporte à l’algorithme lui-même ou à ce que celui-ci produit, elle ressort comme une étape préalable à toute tentative d’explication [27] . Comment ne pas penser à la célèbre formule de Boileau : « ce que l’on conçoit bien s’énonce clairement et les mots pour le dire arrivent aisément » [28] . La compréhension du modèle, qui est de l’ordre de l’intelligibilité, est nécessaire pour que celui-ci ou ce qu’il produit soit ensuite expliqué à des tiers, en réponse à l’exigence de transparence. Il faudra bien évidemment que l’explication fournie soit elle-même… « intelligible », comme le requiert d’ailleurs la loi Informatique et libertés en matière de décisions administratives individuelles automatisées [29] .

Le terme intelligibilité est parfois utilisé de façon indistincte avec les termes « explicabilité » ou « transparence » [30] . On notera toutefois que les termes « intelligible »/ « intelligibilité » sont bien moins convoqués dans le débat que les termes « explicable » / « explicabilité » [31] .

Interprétabilité. Il en va de même pour le terme « interprétabilité » [32] . Pour l’Académie française, est interprétable une chose à laquelle « on peut donner une signification » [33] . Ce terme semble inadapté au débat sur la transparence. Il ne s’agit en effet pas de donner un sens à un algorithme (mais à en comprendre le fonctionnement) ou à une décision (mais à en exposer les raisons). Toutefois, les termes « explicabilité » et « interprétabilité » sont parfois employés indifféremment [34] , peut-être en raison de l’usage du terme « interpretability » dans la production scientifique anglophone relative à l’apprentissage-machine, dans laquelle il signifie « la capacité à expliquer ou à présenter dans des termes compréhensibles pour un être humain » [35] . On préférera donc, dans le débat en langue française, le terme « explicabilité » à celui d’« interprétabilité ».

Justifiabilité. Le terme suivant, « justifiabilité », est également rarement employé [36] . L’accent est ici mis non pas sur l’algorithme ou le processus qui a abouti à la décision, mais sur la décision elle-même. D’une certaine façon, qu’importe le raisonnement, si la décision à laquelle il aboutit est vérifiable et qu’elle est fondée, elle sera « justifiable ». Est en effet « justifié » une chose dont on peut montrer la vérité, ou apporter la preuve. Par extension, il s’agit de montrer qu’une chose n’est pas fausse, qu’elle est bien fondée [37] . Rapportée à une prédiction donnée, la notion de « justifiabilité » est donc très proche de celle d’« explicabilité » [38] .

Auditabilité. Il faut également évoquer le terme « auditabilité » qui vise la capacité dont dispose un tiers d’inspecter le fonctionnement du modèle pour en vérifier notamment la compatibilité avec une norme ou des principes, éthiques par exemple. L’auditabilité suppose bien évidemment que le modèle soit intelligible et explicable par son concepteur ou opérateur à un tiers, qui pourra dans certains cas être une autorité de contrôle. Le rapport Villani relève ainsi qu’au-delà « de la transparence, il est nécessaire d’accroître l’auditabilité des systèmes d’IA [ce qui] pourrait passer par la constitution d’un corps d’experts publics assermentés, en mesure de procéder à des audits d’algorithmes, des bases de données et de procéder à des tests par tout moyen requis » [39] . En matière de contrôle, la notion de « traçabilité » pourra compléter celle d’auditabilité. Il s’agira là de « la mise à disposition d’informations sur ses actions suffisamment détaillées (mémorisées dans un journal) pour qu'il soit possible après coup de suivre ses actions » [40] .

Définir (pratiquement) ce qu’est l’explicabilité

Un terme que peu se risquent à définir. Parvenus au terme de l’analyse de l’objet de l’explicabilité et des termes qui lui sont proches, nous pouvons désormais essayer de définir ce qu’est en pratique l’explicabilité. La question est plus complexe qu’il n’y paraît au premier abord et il suffit pour s’en convaincre de constater qu’aucun des répondants à la consultation publique lancée par l’ACPR sur les enjeux de l’IA pour le secteur financier ne s’est risqué à tenter de définir ce terme bien qu’expressément invités à proposer la définition leur paraissant « la plus utile pour la mise en œuvre d’une gouvernance et d’un contrôle des algorithmes dans le secteur financier » [41] .

Pas une totale transparence. Commençons par exposer ce que l’explicabilité n’est pas : une complète transparence sur l’algorithme, c’est à la dire la communication de son code source [42] . Plusieurs raisons peuvent être avancées à l’appui de cette affirmation. Tout d’abord, cette communication ne jetterait, pour une vaste majorité des personnes concernées par un traitement algorithmique, non spécialistes de la matière, aucune lumière sur la logique du modèle et les raisons de la décision produite [43] . Elle risquerait par ailleurs de fragiliser certaines des sociétés conceptrices de ces algorithmes, qui constituent pour elles un secret d’affaires qu’elles sont légitimement en droit de protéger. À cet égard on relèvera que l’article 47 1° de la loi Informatique et libertés [44] , qui introduit des obligations de transparence en cas de traitement automatisé des données personnelles, réserve le cas des « secrets protégés par la loi ». Enfin, dans certains cas, la divulgation du code source pourrait générer des pratiques ou manœuvres contestables. Il est par exemple avancé que la diffusion du code source du moteur de recherche de Google, PageRank, permettrait à certains d’en fausser les résultats à leur profit [45] .

C’est pourtant dans le sens d’une transparence, si ce n’est totale, au moins « poussée », que le législateur français semble s’être orienté, en exigeant que le responsable du traitement soit en mesure de communiquer « les règles définissant le traitement ainsi que les principales caractéristiques de sa mise en œuvre […] à l'intéressé s'il en fait la demande » [46] , condition non posée par le Règlement général sur la protection des données (RGPD) [47] . On peut en effet deviner que derrière les termes, fort imprécis pour les spécialistes du domaine, de « règles définissant le traitement », il s’agit bien d’expliquer le fonctionnement de l’algorithme [48] , sans toutefois, fort heureusement, en transmettre le code source. On préférera l’exigence posée par le même texte dans le cas spécifique des décisions administratives pour lesquelles « le responsable de traitement s'assure de la maîtrise du traitement algorithmique et de ses évolutions afin de pouvoir expliquer, en détail et sous une forme intelligible, à la personne concernée la manière dont le traitement a été mis en œuvre à son égard » [49] .

Une explication multiforme. Pour l’Académie française, est explicable ce dont on « peut comprendre les causes, les raisons » [50] . La notion d’explicabilité doit être appréhendée du côté du bénéficiaire et non du débiteur de l’obligation d’explication. Cette approche a deux mérites. Elle souligne d’abord le caractère subjectif de la notion : il n’y a pas une explication mais plusieurs explications, en fonction des capacités, compétences, etc., de la personne concernée ou des effets produits par la décision algorithmique sur ses droits ou sa situation. Ensuite, elle rappelle que le critère pertinent n’est pas tant la capacité d’un spécialiste à expliquer qu’à se faire comprendre.

De même, l’explication peut varier d’un contexte à l’autre [51] , d’une application de l’IA à l’autre. On sera plus exigeant s’agissant de l’explicabilité de systèmes d’intelligence artificielle pouvant mettre en péril l’intégrité physique ou les droits fondamentaux de particuliers que sur une application de tri de mails ou de recommandation de films. De plus, il s’agira de se livrer à une analyse des coûts et bénéfices de la « profondeur » de l’explication souhaitée pour ne pas placer sur l’entité débitrice de l’obligation une charge, notamment économique, démesurée au regard de l’intérêt ou avantage d’une telle explication. La capacité à expliquer un modèle et ses prédictions pourra entraîner pour certains usages le choix de modèles moins performants mais plus « lisibles ». Ce choix même devrait faire l’objet d’une explication [52] .

Une explication « partielle ». L’explication proposée pour une décision précise pourra parfois être partielle. Est-il nécessaire d’exposer tous les paramètres d’une prédiction « algorithmique » si certains d’entre eux seulement rendent cette prédiction inéluctable ou quasi inéluctable ? Est-il utile d’encombrer une explication de paramètres à l’influence très marginale au risque de la rendre confuse ou plus difficilement compréhensible par tous ? L’explication « partielle » ne devrait pas choquer tant elle fait déjà partie des usages. On peut notamment citer le scoring pratiqué aux États-Unis pour l’accès au crédit. La réglementation y prévoit en effet un droit à l’explication qui prend la forme d’une liste des raisons « principales » justifiant une décision, sans donc obliger à une exhaustivité qui serait de peu de secours pour la personne ayant fait l’objet du scoring [53] , l’administration recommandant même de ne pas donner plus de quatre raisons [54] . Il faudra bien évidemment veiller à ce que l’explication partielle soit suffisante pour emporter la conviction : la présentation de facteurs principaux au poids relatif marginal dans la décision algorithmique [55] ou de facteurs qui seraient des combinaisons peu explicites de variables ne satisferaient par exemple pas cette condition.

Par ailleurs, il faudra peut-être accepter que, parfois, une décision algorithmique reste irréductible à une logique intégralement concevable ou même simplement compréhensible par l’humain ou réponde à une forme de « créativité » ou « d’inspiration » dont l’homme n’est seul pas capable [56] . On notera que pour les modèles entraînés par apprentissage par renforcement, donc à partir d’observations ou d’expériences qui conduisent un algorithme à optimiser une stratégie ou un comportement, on s’affranchit précisément de toute forme de logique « humaine ». Ainsi, lors de sa victoire sur le champion de go Lee Sedol, certains coups de l’algorithme AlphaGo ont été jugés surprenants et étrangers à ce qu’un humain aurait pu concevoir, des commentateurs experts ayant même estimé sur le vif que l’algorithme avait commis une erreur. À cette occasion certains ont parlé, peut-être abusivement, d’« intuition artificielle » [57] . Il ne s’agit bien évidemment pas ici de considérer qu’il nous faudrait dans certains cas nous contenter d’une absence d’explication mais de tolérer, selon les circonstances, qu’elle puisse parfois être incomplète.

En tout état de cause, l’explication fournie à l’usager pourra préciser les données utilisées pour procéder au traitement. Cette information permettra notamment de vérifier si ce traitement était licite.

Un débat sur la transparence qui doit être recentré. Afin que le débat, absolument légitime et nécessaire, sur la transparence de l’IA puisse prospérer, il convient de s’affranchir des discours alarmistes qui la présentent comme irrémédiablement opaque. Dans nombre d’hypothèses, hypothèses dont il y a fort à parier qu’elles se développeront, des techniques permettent de justifier les prédictions d’un modèle, prédictions qui intéressent ceux qui en font l’objet bien plus que le modèle lui-même. C’est à leur profit qu’il s’agit d’assurer que ces prédictions sont assorties d’explications accessibles, tout en imposant au concepteur ou à l’opérateur d’un système d’IA une compréhension et une maîtrise [58] de son fonctionnement qui pourraient faire l’objet d’une vérification, d’un audit, par un tiers qualifié [59] .