Faut-il redouter l’IA ?

L'expression « intelligence artificielle » (IA) aurait pu demeurer un oxymore, ou au mieux, devenir un argument marketing. Il n’en est rien : ces deux mots associés sont la source de multiples fantasmes, oscillant entre optimisme béat et craintes millénaristes. Si l’intrusion de l’IA dans le monde bancaire est récente, elle n’est toutefois que l’aboutissement de progrès continus depuis 1979.

A cette époque, un rapport fut commandé par le premier ministre au directeur de la Caisse des Dépôts et Consignation afin d’étudier la modernisation des méthodes de cotation, d’échanges et de conservation des valeurs mobilières [1] . Deux ans auparavant, le rapport Nora-Minc [2] annonçait déjà que, face aux évolutions à venir, « la banque pourrait être la sidérurgie de demain ».

Depuis les années 1980, le vocabulaire et les techniques ont évolué. On n’évoque plus la « sidérurgisation » de la banque mais son « ubérisation » [3] face aux technologies dites « disruptives » [4] . De même les data warehouses ont cédé la place aux « data lakes » permettant de traiter massivement des données brutes, quant aux systèmes-experts, ces derniers sont devenus « intelligents ». Face à ces évolutions, la question qui se pose tout d’abord est basique : de quoi parle-t-on lorsque l’on évoque l’IA ?

I. De quoi parle-t-on ?

La notion d’Intelligence Artificielle est d’apparition récente. La paternité de cette expression, injustement anthropomorphe, est attribuée à John Mc Carty et Marvin Minsky lors de la conférence du Dartmouth College pendant l’été 1956, conférence qui avait attiré une vingtaine de personnes. Que signifie ce vocable ?

La définition de l’IA est un vaste sujet qui renvoie tout d’abord à une question primordiale qui est celle de la définition de l’intelligence. Etymologiquement, le mot intelligence est issu latin « intellegentia » (faculté de comprendre), lui-même issu de « intellegere » signifiant comprendre, le préfixe « inter » (entre), et le radical « legere » (choisir, cueillir) ou « ligare » (lier) évoquant la capacité à relier des éléments, ou informations.

En anglais, le sens est tout autre, puisque « intelligence » signifie renseignement, information, loin donc de toute référence à des fonctions cérébrales supérieures. Technologiquement, selon l’organisation internationale de standardisation, il s’agit de la « capacité d’une unité fonctionnelle à exécuter des fonctions généralement associées à l’intelligence humaine, telles que le raisonnement et l’apprentissage » [5] .

Mais tout ceci ne nous dit pas l’essentiel, à savoir ce qu’est l’intelligence. Ce terme recouvre en effet des réalités très différentes. On parle de l’intelligence d’un poulpe capable d’ouvrir un bocal pour y chercher un crabe, tout comme on utilise ce même terme pour évoquer les capacités créatrices de Léonard de Vinci. Qui oserait comparer l’un à l’autre ? D’ailleurs, existe-t-il une ou plusieurs intelligences ? Si l’on en croit la théorie dite « des intelligences multiples » [6] , il en existerait neuf formes différentes [7] . Lorsque l’on entend reproduire l’intelligence, de laquelle parle-t-on ?

S’agissant du mot artificiel, ce dernier est issu d’« artificialis », « fait avec art, fait selon l’art » [8] , c’est-à-dire une imitation, une contrefaçon de la réalité. Si, à ce point de notre examen, l’on n’est guère avancé au sujet de ce qu’est l’IA, on sait en revanche qu’elle n’est qu’un simulacre d’intelligence et qu’elle ne peut être dès lors tenue pour strictement équivalente à son modèle, dont les contours sont par ailleurs bien difficiles à tracer.

En résumé, la définition de l’intelligence artificielle est un exercice périlleux tant les formes en sont nombreuses, si bien qu’il est difficile d’estimer si, et dans quelle mesure, elle porte en elle les germes de la disparition de l’humanité. On ne peut perdre de vue que l’argument marketing n’est jamais loin. Ainsi, sur 2 830 start-up supposées recourir à l’IA, issues de 13 pays de l'Union européenne, 40 % d'entre elles n'ont montré aucune preuve d'une utilisation véritable de l'IA [9] .

S’il fallait néanmoins retenir une définition, nous soulignerions celle retenue par le rapport de synthèse France IA9 de mars 2017 [10] : « On regroupe habituellement sous le terme d’“intelligence artificielle” un ensemble de notions s’inspirant de la cognition humaine ou du cerveau biologique, et destinés à assister ou suppléer l’individu dans le traitement des informations massives. »

Indépendamment des hésitations sémantiques, l’IA n’en suscite pas moins, à parts plus ou moins égales, des espoirs et des craintes également déraisonnables, la question étant pourquoi un tel engouement pour une notion qui se laisse aussi difficilement appréhender ?

II. Une crainte ancienne et universelle ?

Si le concept d’IA suscite la crainte, encore faut-il tenter d’en trouver la cause (1.) et envisager si celle-ci est universellement partagée (2.).

1. Craintes et fantasmes

La question de la dangerosité de l’IA est trop délicate, et les positions trop tranchées, pour que l’on puisse raisonnablement tenter d’y apporter une réponse synthétique. L’on sait qu’en janvier 2015 les « IA sceptiques » frappèrent les esprits avec une lettre ouverte cosignée par 700 chercheurs et entrepreneurs de renoms [11] , alertant l’opinion publique sur les risques que pourrait faire courir à l’humanité une IA malveillante, sans que cette objurgation n’aille dans le détail. L’année suivante, le 15 mars 2016, la victoire de l’IA AlphaGo sur le champion de Go, 4 à 1, a renforcé cette crainte à l’égard de l’IA. In fine, deux camps s’opposent.

Pour les uns, l’IA soulagera le genre humain notamment des tâches les plus rébarbatives et dangereuses, établissant au passage un nouvel ordre fondé sur la raison pur et parfaite. Cet âge d’or est envisagé de très longue date, puisqu’Aristote [12] affirmait : « Si chaque instrument pouvait, par ordre ou par pressentiment, accomplir son œuvre propre, si […] les navettes tissaient d’elles-mêmes et les plectres jouaient de la cithare, alors les maîtres d’œuvre n’auraient nul besoin de manœuvres, ni les maîtres, d’esclaves. Les vrais hommes abandonneraient les tâches viles, si indignes d’eux, pour ne plus se consacrer qu’aux activités de citoyens et à la recherche du savoir et de la sagesse qu’il procure ».

Pour les autres, il suffit de se souvenir que Darwin nous a enseigné que l’espèce la plus évoluée supplante celle qui l’est moins [13] et que l’IA, incarnée si l’on ose dire dans des robots, conduira l’espèce humaine à la « singularité », c’est-à-dire au triomphe de la machine sur l’homme. Cet évènement devrait intervenir, si l’on en croit Raymond Kurzweil [14] directeur de l’ingénierie de Google, en 2045.

Pour l'AFCIA (association française contre l’intelligence artificielle), « la recherche en intelligence artificielle est illégitime, inacceptable, et par conséquent appelle l’interdiction pure et simple de la recherche en intelligence artificielle, ainsi que la mise à disposition à titre commercial ou à titre gracieux de systèmes à intelligence artificielle » [15] .

Pareil anathème a-t-il un sens, alors même que la crainte des États, et non des moindres, est de devenir des « colonies numériques » des GAFA [16] exerçant dans ce domaine un quasi-monopole ? Suspendre tous travaux en matière d’IA reviendrait à accepter, par avance, les standards fixés unilatéralement par ces entreprises, dont les écarts de conduite, en matière de transparence, de sécurité et de protection des données personnelles sont régulièrement dénoncés. Le principal problème de l’IA ne réside-t-il pas dans les usages et les modalités d’apprentissage plutôt que dans une « malignité algorithmique native » qui, pour l’heure, reste assez largement à démontrer ?

Une certitude émerge de tout ceci, la crainte de l’IA puise ses racines dans une autre peur, solidement ancrée, celle des évolutions technologiques. Bien avant que l’on ne parle d’IA, en 1561, la reine Élisabeth I° refusa au révérend William Lee le brevet du métier à tricoter les bas, redoutant qu’une telle invention n’ait des retentissements néfastes sur les travailleurs [17] . Plus proche de nous, en 1930, le maire de Palo Alto s’adressa au président Edgar Hoover afin que ce dernier freine le progrès technique. Il est troublant de remarquer que, quelques années plus tard, en 1939, c’est à Palo Alto que fut créé Hewlett-Packard, puis Paypal en 1988 enfin, en 2013, Google s’installa dans cette même ville.

Si la crainte de l’IA n’est que la redite de l’éternel crainte de l’inconnue, laquelle s’exprime amplement, cette peur est-elle unanimement partagée à la surface du globe ?

2. Une crainte universelle ?

La notion d’IA nous renvoie à celle de robot, manifestation tangible, agissante, d’une telle intelligence. On rappellera que le terme robot est d’apparition relativement récente. Dérivé du mot « robota » qui signifie travail en tchèque, il est employé pour la première fois en 1921 [18] . En réalité, les « automates » apparaissent dans l’imaginaire de l’homme [19] dès l’antiquité.

Ainsi, dans les Métamorphoses, Ovide [20] évoque Galatée, statue d’ivoire sculptée par Pygmalion à laquelle Vénus donne la vie. De même Hésiode [21] nous parle d’Héphaïstos qui façonne Pandore [22] , une statue d’argile à laquelle Athéna prête la vie. Devenue l’épouse d’Épiméthée, frère de Prométhée, la tentation lui fera ouvrir la boîte, à jamais associée à son nom, offerte par Hermès et contenant toutes les calamités.

La Bible [23] elle-même évoque le golem, créature humanoïde faite d’argile. Le tournant littéraire en la matière se fera au XIXe siècle [24] avec Mary Shelley auteure de Frankenstein. Cette créature est en effet animée par la seule volonté de l’homme, hors de toute intervention divine pour lui insuffler la vie. Pour la première fois, par ses propres moyens, l’homme usurpe un attribut divin, la création de la vie. Par la suite, le cinéma ne sera plus qu’une longue litanie d’IA malveillantes, que ce soit HAL 9000 [25] dans 2001 l’odyssée de l’espace, ou bien celle de la « matrice » dans la trilogie Matrix, sans oublier le robot tueur Terminator.

L’IA, ou plutôt le fait de créer une entité agissante à l’image de l’humain, souffre donc, et de longue date, d’un a priori défavorable. Toutefois, cette crainte de l’IA, que celle-ci soit ou non « incarnée » dans un robot, que traduisent tant la littérature que le cinéma, est-elle universellement partagée ?

Dans les pays de tradition judéo-chrétienne, cette crainte est le fruit du tabou de la création de la « vie », ou du moins d’un simulacre de cette dernière. Que ce soit l’Exode ou le Deutéronome [26] , la prohibition de la création d’« idoles » est parfaitement claire. Plus encore, la capacité de l’IA à anticiper l’avenir, notamment au travers du profilage, tel que celui-ci est défini par le RGPD [27] , enfreint un second tabou. Tant le Deutéronome que les Rois [28] ou bien encore le Lévitique [29] prohibent en effet, de manière dénuée d’ambiguïté, l’anticipation de l’avenir. On notera toutefois que la Corée du Sud, majoritairement catholique, est néanmoins le pays le plus robotisé.

Il est piquant de relever que cette prohibition par les Saintes Ecritures a été scrupuleusement reproduite en droit. Ainsi, une ordonnance royale de Louis XIV, datée du 31 août 1682, prévoyait que « Toutes personnes se mêlant de deviner et se disant devins ou devineresses videront incessamment le royaume ». Le comble est que la substance de cette interdiction a été reproduite dans un article R. 34-7° du Code pénal qui sanctionnait d’une amende 600 F à 1 300 F, « Les gens qui font métier de deviner et pronostiquer, ou d’expliquer les songes », texte qui ne fut abrogé qu’en 1994 [30] . Le RGPD est ainsi le premier texte à donner ses lettres de noblesse à une activité interdite, certes avec plus ou moins de rigueur, pendant trois siècles.

En Asie, l’approche de l’IA par le bouddhisme et shintoïsme est dénuée de tout a priori. Ainsi, pour le bouddhisme, l'âme peut s'incarner dans une machine, et pas uniquement dans un corps « vivant ». Le Dalaï-Lama [31] est toutefois prudent : « si la base physique de l’ordinateur acquiert le potentiel ou la capacité de servir de base pour un continuum de conscience, […] un flux de conscience pourrait alors peut-être entrer dans un ordinateur ».

Les principes fondamentaux du Shintoïsme défendent quant à eux le principe d’une harmonie avec la nature, considérée comme sacrée. L'unité fondamentale du sacré dans le Shintô est le kami. Ce dernier peut être un objet et, plus largement, tout ce qui se démarque, qui inspire le respect. À cette aune, dans le monde moderne, l'industrialisation, même si elle est néfaste pour l’environnement, demeure digne de révérence.

Si l’IA, en tant que telle, n’est pas unanimement considérée comme une menace, il n’en demeure pas moins, que cette dernière suscite diverses interrogations auprès, notamment, des clients des banques.

3. Que faut-il redouter ? Heuristiques, biais et « explicabilité »

3.1. Une IA « trop humaine »

De l’avis de la plupart des spécialistes de l’IA, l’avènement d’une IA « forte », totalement autonome et ayant une pleine conscience de son existence, relève pour l’instant de la science-fiction. Ainsi Yann Le Cun [32] met en balance l’intelligence humaine, mais aussi animale, capable d’agir à partir d'intuitions, et de modéliser rapidement son environnement et de conclure « les intelligences artificielles les plus abouties ont moins de sens commun qu'un rat ! », tout en soulignant que « Les humains, comme les animaux, apprennent à partir de très peu d'exemples, ce qui est un mystère pour les ordinateurs ».

Cette remarque sur la manière dont les humains apprennent, avec une économie de moyens remarquable par rapport à l’ordinateur, met en relief la place des heuristiques dans le mode de fonctionnement de l’esprit humain. Dans le domaine informatique, une heuristique [33] est une « méthode de résolution de problèmes, non fondée sur un modèle formel et qui n'aboutit pas nécessairement à une solution » [34] . Appliquée à l’homme, on vise le recours à des stéréotypes destinés à résoudre, de manière rapide, quasi-instinctive, un problème quitte à produire un biais cognitif.

Les biais cognitifs constituent quant à eux « des erreurs » de raisonnement, en ce sens que le résultat obtenu n’est pas systématiquement faux, mais qu’il est n’est pas conforme à un schéma de rationalité. Cette manière d’agir fait la place belle à quelque chose que les machines ignorent, l’intuition.

Toutefois, ces « chemins de traverse intellectuels » peuvent s’avérer néfastes lorsqu’ils se manifestent dans les lignes de codes qui alimentent une IA. Ainsi, dans le domaine de la santé, l’IA d’IBM baptisée WATSON a été majoritairement alimentée par des données issues du Memorial Sloan Kettering Cancer Center (MSK). De médecins se sont émus des biais que comporte cet apprentissage, les recommandations de cet hôpital n’étant pas nécessairement conformes aux pratiques d’autres médecins ailleurs dans le monde. Les médecins du MSK ont ainsi reconnu leur influence sur Watson : « Nous n'hésitons pas à insérer notre parti pris » [35] .

Outre, les partis pris, les biais qui peuvent se manifester chez un humain sont nombreux. On citera par exemple le biais de confirmation qui conduit à ce que nous retenions plus facilement ce qui coïncide avec notre vision du monde et minimisons ce qui va à son encontre. Il en est de même des biais issus des raisonnements hypothético-déductifs. Si l’on vous demande de compléter la suite 2, 4, 6, la plupart des gens répondront 8, quand bien même aucune consigne n’aurait été donnée afin d’indiquer que la suite doit être linéaire et composée de nombres pairs. N’importe quel chiffre plus grand que 6 convient, mais notre formatage intellectuel nous conduit à ne fournir qu’une seule réponse.

Au cours d’une étude conduite par des chercheurs du MIT Boston, d’Harvard, et de l’université de Californie sur le simulateur Moral Machine [36] , ont été collectées des « préférences morales » relatives à des situations devant servir d’apprentissage à un véhicule autonome devant choisir entre des scénarios d’accidents inévitables, impliquant la survie de diverses catégories de personnes. Environ quatre millions d’utilisateurs ont fourni près de quarante millions de réponses dans une centaine de pays.

Ainsi, ce projet démontre que plus les inégalités économiques sont importantes dans un pays, plus on choisira d'épargner les riches plutôt que les pauvres. En Finlande, pays dont la population présente un faible écart de niveaux de vie, ce type de préférence n’est pas sensible.

Cette étude, outre le fait qu’elle confirme qu’il n’existe pas de morale universelle, permet toutefois de constater qu'émergent trois principes vers lesquels convergent les réponses, à savoir protéger la vie humaine plutôt que celle des animaux, sauver le plus grand nombre de vies et, par priorité, sauver les enfants. Au total, l’intérêt de cette étude n’est pas tant le réalisme des situations proposées, que les résultats qui pourraient augurer des choix d'une IA ainsi « alimentée » par « des humains trop humains ». La voie vers l’« humanity by design » est semée d’embûches.

On notera qu’en France, l’article 125 de la loi n° 2019-486 du 22 mai 2019 [37] relative à la croissance et la transformation des entreprises a pour objectif de permettre de développer les tests de véhicules autonomes. Il envisage notamment une indemnisation des victimes d’accidents sur l’unique fondement du délit d’atteinte involontaire à la vie ou à l’intégrité de la personne [38] , le titulaire de l’autorisation d’expérimentation, à l’exclusion du conducteur ayant activé la conduite autonome, répondant de cette responsabilité.

3.2. Une IA insuffisamment transparente

Une des questions qui agite chercheurs, grand public et superviseurs bancaires est celle de l’explicabilité des décisions prises par l’IA. On se souvient que le Conseil d’Etat, dans un rapport de 2014 remarqué intitulé « Le numérique et les droits fondamentaux », voyait les algorithmes [39] comme des « Boîtes noires impossibles à contrôler tant en raison du secret industriel qui les protège que de leur complexité technique » [40] . La proposition n° 24 de ce rapport était la nécessité de « mettre en place des garanties de procédure et de transparence, lorsque des données personnelles sont utilisées par l’algorithme ».

Cette nécessité de transparence dans le fonctionnement de l’IA transparaît largement, sur le terrain éthique, notamment dans le rapport Villani, mais également sur le terrain légal, avec le RGPD lequel exige la communication de la « logique sous-jacente » [41] d’un traitement.

Elle apparaît enfin dans le domaine de la régulation. Ainsi, le Conseil de stabilité financière, par deux fois en 2017, s’est penché sur l’IA. Un premier rapport de juin 2017 [42] souligne que « Given the current practice of model validation at banks or other financial service providers, in which risk models have strict governance rules and must be explained in detail to regulators, there may be problems if banks or other financial service providers apply AI models » [43] .

Dans un second rapport, daté du 1er novembre 2017 [44] , ce même Conseil a examiné les conséquences sur la stabilité financière de l’utilisation croissante de l’IA et de l’apprentissage automatique dans les services financiers. À cet égard, il est relevé que « the lack of interpretability or auditability of AI and machine learning methods could become a macro-level risk. Similarly, a widespread use of opaque models may result in unintended consequences » [45] .

L’enjeu prudentiel est évident. Le manque d’auditabilité de l’IA, manifestant une déficience dans la capacité à évaluer de manière appropriée ce type de risques, pourra avoir des conséquences en matière de consommation de fonds propres destinés à la couverture adéquate de ce risque.

Les superviseurs européens ont également en tête la protection des consommateurs. Ainsi, en mars 2018, le Rapport final du joint comitee [46] sur le big data soulignait quant à lui la nécessité de « Déterminer quels types de données devraient être autorisés à être utilisé d’un point de vue éthique et s’il peut y avoir des types de données qui sont autorisées par la réglementation en vigueur mais sont contre les intérêts des consommateurs ou nécessite une approbation plus claire du consommateur ».

En France, l’Autorité de contrôle prudentiel et de résolution, dans un document de réflexion de décembre 2018 [47] , invite à une réflexion au sujet de la standardisation et de la normalisation afin d’améliorer l’auditabilité et l’« explicabilité » des algorithmes « intelligents » [48] . L’ACPR appelle de ses vœux une réflexion sur « ce que pourrait être une bonne “gouvernance des algorithmes” dans le secteur financier ».

SI l’IA est source d’inquiétudes, on peut penser que nous sommes, du moins en l’état des travaux actuels, placés face à des risques ayant pour dénominateur commun une gouvernance défaillante. Cette défaillance pourra se traduire, notamment, par une difficulté, voire une impossibilité, à prévenir la duplication par l’IA des biais introduits de manière volontaire ou non par l’humain ou bien encore, par l’absence de questionnement sur l’explicabilité. Au final, tout ceci se traduit par un déficit de confiance.

III. L’IA et la confiance des clients

La confiance implique que les données à caractère personnel utilisées à l’occasion d’un traitement par une IA s’inscrivent dans un cadre protecteur (1.). Cette confiance implique également que les données, carburants de l’IA soient d’une qualité suffisante pour assurer des traitements fiables (2.).

1. La confiance et le traitement des données

Selon une étude menée par OpinionWay [49] , la perception de l’IA serait bonne, en dépit des discours alarmistes, puisque seulement 26 % des personnes interrogées pensent qu l’IA aura un impact négatif sur la société. Une seconde étude, conduite en octobre 2018 [50] , confirme que 73 % des personnes interrogées ont une bonne opinion de l’IA, les 18 à 24 ans étant les plus enthousiastes avec 82 % d’opinions favorables. Pour celles des personnes ayant une bonne image de l’IA, 51 % fondent cette appréciation sur le fait que l’IA facilite certaines tâches, évitant celles qui sont pénibles ou de peu de valeur. Toutefois, 78 % réduisent cette dernière à un outil utilisé par les marques dans le but d’accéder aux données à caractère personnel des consommateurs afin de les exploiter.

La question de la confiance implique donc la transparence des usages des données [51] , notion qui apparaît donc centrale et faisant un large écho au RGPD [52] , entré en application le 25 mai 2018. Au nombre des préoccupations manifestées par les personnes concernées se trouve bien entendu la question de la transparence du fonctionnement des IA. Or, ce fonctionnement pose difficulté, notamment en ce qui concerne les données qui l’alimente, au travers d’algorithmes [53] , parfois considérés comme des boîtes noires [54] .

Or, l’appréciation des algorithmes, sans lesquels l’IA ne se conçoit guère, est peu favorable. Si 83 % des Français en ont déjà entendu parler [55] , ils sont 52 % à ignorer de quoi il s’agit ce qui, majoritairement (64 %), ne les empêche pas de considérer qu’ils représentent plutôt une menace en raison de l’accumulation des données personnelles détenues.

Le RGPD est prolixe sur ce sujet, puisqu’il énonce quatre « principes directeurs ». Tout d’abord, la prohibition du « chalutage intensif de données », les données à caractère personnel devant être adéquates, pertinentes et limitées à ce qui est nécessaire au regard des finalités pour lesquelles elles sont traitées [56] . Ensuite le profilage est autorisé lorsqu’il est fondé sur le consentement explicite de la personne concernée [57] . Enfin, on relèvera l’interdiction de recourir à des algorithmes utilisant les données sensibles énumérées à l’article 9, paragraphe 4, du RGPD.

À ces deux principes, s’ajoute le rappel de « deux droits fondamentaux ». Tout d’abord, le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage [58] , ainsi que le droit de demander un traitement par une personne humaine relève du minimum requis d’un responsable de traitement [59] . Pour compléter ce tableau, s’ajoute le recours à une « étude d’impact sur la protection des données » nécessaire pour les traitements comportant des risques particuliers pour les personnes [60] .

Par ailleurs, le Code des relations entre le public et l’administration envisage d’ores et déjà des obligations de transparence [61] , tandis que le Rapport Lemaire de décembre 2016 [62] envisage pour les entreprises, une communication sur le fonctionnement des algorithmes visibles pour l’utilisateur et l’identification de l’équipe ou la personne responsable (Chief Algorithm Officer »). La question que pose tout ceci est de savoir comment exprimer cette transparence afin qu’elle soit comprise du plus grand nombre.

Enfin, on soulignera que dans la décision du Conseil Constitutionnel n° 2018-765 DC du 12 juin 2018 [63] , il est précisé, que « le responsable du traitement doit s'assurer de la maîtrise du traitement algorithmique et de ses évolutions afin de pouvoir expliquer, en détail et sous une forme intelligible, à la personne concernée la manière dont le traitement a été mis en œuvre à son égard. Il en résulte que ne peuvent être utilisés, comme fondement exclusif d'une décision administrative individuelle, des algorithmes susceptibles de réviser eux-mêmes les règles qu'ils appliquent, sans le contrôle et la validation du responsable du traitement » [64] .

Cette décision, rendue soulignons-le dans le contexte des décisions administratives, est néanmoins porteuse d’un message important, à savoir qu’il, ne peut y avoir de décision individuelle, fondée sur un algorithme « auto-apprenant », capable de réviser lui-même les règles qu'il met en œuvre, en l’absence de contrôle et de validation du responsable du traitement.

Cette décision met en relief la difficulté que représente l’explicabilité des algorithmes d’apprentissage machine, notion entendue comme la possibilité « de donner à l’ensemble des utilisateurs, quel que soit leur bagage éducatif, une vision claire des procédures employées et des fonctionnalités remplies par l’algorithme, afin de permettre un usage informé » [65] . Gérard Berry, professeur au Collège de France, décrit la situation de la manière suivante « Dans un programme informatique classique, si on connaît le code, on est capable de savoir ce qui se passe et de prévoir le résultat. Avec les réseaux profonds, on ne sait pas ce qui se passe : quand un algorithme donne une réponse, c’est comme ça [66] . »

Si les processus d’apprentissage machine deviennent à ce point complexes qu’il est difficile d’en décrire, tant le fonctionnement que les résultats, dans des termes accessibles au plus grand nombre, peut-être faut-il envisager autre chose que la transparence afin de garantir la confiance des utilisateurs. Peut-être que « rendre les systèmes visibles, transparents, n’est pas la même chose que les rendre responsables [67] », ce qui explique que des voix se font entendre pour qu’émerge, en lieu et place de la notion trop vague d’explicabilité, celle de responsabilité [68] .

Un auteur souligne ainsi « la responsabilisation doit […] faire que le système soit suffisamment compris ou compréhensible [69] ». Un dispositif d’audits réguliers pourrait s’assurer que les résultats produits par l’IA sont exempts de discrimination ou autres biais [70] . L’IA ne serait pas transparente, mais du moins ne serait-elle pas nocive, « l’innocuité algorithmique » prenant ainsi le pas sur l’explicabilité.
Si l’IA n’est finalement que le produit du traitement particulier de données, se pose inévitablement la question de la qualité de ces dernières.

2. La qualité de données, élément de confiance

L’une des questions-clés que pose le recours à l’IA est celle de la fiabilité des décisions et conseils fondés sur son utilisation. Cette fiabilité implique que les données qui aliment l’IA soient de qualité. On parle ainsi des données GIGO pour « garbage in, garbage out » [71] , acronyme signifiant que l’algorithme le plus sophistiqué ne pourra produire que des résultats inexacts s’il est alimenté par des données de mauvaises qualités. À moins bien entendu que l’algorithme soit capable de compenser un biais qu’on lui aura préalablement indiqué, ou qu’il aura lui-même identifié.

Le rapport mondial Databerg 2016 révélait, qu'en moyenne, 52 % des données stockées sont soit obscures, soit redondantes, obsolètes ou inutiles [72] . Ces données devraient coûter aux entreprises du monde entier 2 900 milliards d'euros d’ici 2020.

S’agissant des banques, 16 % d’entre elles tenteraient de vérifier la qualité des données mais sembleraient ne pas être en mesure de la garantir, 11 % penseraient que leurs données sont fiables, sans pour autant le vérifier et enfin, 24 % reconnaîtraient qu’elles doivent mobiliser plus de moyens pour s'assurer de leur qualité [73] . Par aileeurs, 92 % des entreprises ont le sentiment que leurs bases de données clients comportent des erreurs ; champs incomplets, mauvais formats, erreurs dans les adresses e-mails ou physiques, doublons [74] .

La qualité des données entretien une relation directe avec la notion de confiance. En effet, 55 % des consommateurs français seraient susceptibles de falsifier les réponses aux questions posées par leurs fournisseurs. Plus le consommateur est jeune, plus il est susceptible de falsifier ses informations personnelles (74 % des 18-24 ans, et 52 % des 25-34 ans) [75] . Le premier motif d’une telle conduite est le souhait de ne pas être importuné par des sollicitations inappropriées (60 % des répondants), le deuxième motif est le fait que les données ne sont pas utilisées pour la délivrance de la prestation (35 %). En réalité pour nous nuire, l’IA n’a pas besoin de nous dominer, il suffit juste que ses créateurs l’abreuvent de données GIGO, tout en ayant par ailleurs une confiance totale dans les résultats issus de cette dernière.

On notera que les questions que pose l’absence de fiabilité des données, et la médiocre qualité des informations que délivrerait une IA nourrie de données erronées, débordent de loin la question des relations avec la clientèle. Le Comité de Bâle s’est posé cette question en janvier 2013, en matière de contrôle bancaire, au travers de 14 principes dits BCBS 239 [76] dont 11 concernent les banques [77] et 3 les superviseurs. La préservation de fonds propres rejoint ici la protection de la clientèle.

Yann Le Cun [78] , lors de la séance inaugurale de la chaire annuelle « Technologies informatiques et sciences numériques » du Collège de France, intitulée « Le deep learning, une révolution en intelligence artificielle » a résumé ainsi la situation « comme toute technologie puissante, l’intelligence artificielle peut être utilisée pour le bénéfice de l’humanité entière ou pour le bénéfice d’un petit nombre aux dépens du plus grand nombre ». Il n’est sans doute pas trop tard pour faire le bon choix.