En amont de l’entrée en application le 2 décembre 20271 des dispositions du règlement européen sur l’intelligence artificielle2 relatives aux systèmes d’IA à haut risque3 dans le secteur financier4, leur mise en œuvre opérationnelle accélérée par une série de lignes directrices de la Commission européenne5 constitue un sujet de préoccupation pour l’ACPR. Souhaitant accompagner, de manière itérative, les entreprises du secteur financier dans leur mise en conformité, l’ACPR a publié, le 1er juillet dernier, un document de réflexion relatif à l’équité algorithmique dans le secteur financier6, lequel est soumis à consultation publique jusqu’au 30 septembre 2026.
Contexte. Pour comprendre le contexte réglementaire dans lequel s’inscrit ce document de réflexion relatif à l’équité algorithmique, il convient de rappeler que le règlement sur l’IA vise à prévenir les risques liés à l’utilisation des systèmes d’IA en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux y compris le principe de non-discrimination. Le règlement sur l’IA, s’appuie non seulement sur une approche fondée sur les risques en mettant en place des règles contraignantes7 mais également sur sept principes éthiques pour l’IA énoncés par les lignes directrices élaborées en 2019 par le GEHN IA8, parmi lesquels figure le principe de non-discrimination9 et d’équité. Associé à la notion de « Diversité », le principe de « non-discrimination et équité » est défini par le règlement sur l’IA comme renvoyant au fait que « les systèmes d’IA sont développés et utilisés de manière à inclure des acteurs divers et à promouvoir l’égalité d’accès, l’égalité de genre et la diversité culturelle, tout en évitant les effets discriminatoires et les biais injustes, qui sont interdits par le droit de l’Union ou le droit national »10.
Systèmes d’IA à haut risque dans le secteur financier et équité algorithmique. S’agissant plus particulièrement des systèmes d’IA à haut risque utilisés dans le secteur financier pour l’évaluation de la note de crédit ou de la solvabilité des personnes physiques11 ou encore l’évaluation des risques et la tarification en assurance santé et assurance-vie12, l’ACPR, en tant que future autorité de surveillance en matière d’IA13, souligne l’importance de la mise en œuvre concrète de l’équité algorithmique dans ce secteur. À cet égard, l’ACPR a défini cette nouvelle notion d’équité algorithmique comme « l’ensemble des principes et des méthodes visant à concevoir, évaluer et encadrer des systèmes algorithmiques afin d’éviter qu’ils ne génèrent des inégalités injustifiées entre individus ou entre groupes, notamment lorsque ces inégalités sont liées, directement ou indirectement, à des caractéristiques personnelles dites “sensibles” »14. Mais cette définition n’allant pas de soi, l’ACPR n’a pu la poser qu’au terme d’un argumentaire structuré résumé dans les paragraphes suivants de cette chronique.
Différenciation justifiée des individus en fonction de leur niveau de risque et non-discrimination. L’ACPR considère que l’essor rapide de l’IA dans le secteur financier renouvelle la question majeure relative à la manière de « différencier les individus en fonction de leur niveau de risque – condition de la soutenabilité des modèles d’affaire – sans, pour autant, aboutir à un traitement injuste voire discriminatoire, alors même que les caractéristiques sensibles sont fréquemment corrélées aux risques observés »15.
En effet, si l’ACPR confirme bien que l’interdiction des discriminations fondées sur des caractéristiques personnelles protégées est, d’une part, (i) déjà bien mise en œuvre de manière générale dans le secteur financier16 et d’autre part, (ii) prévue de manière particulière par le règlement sur l’IA sur les systèmes d’IA à haut risque couvrant à la fois ceux destinés à être utilisés pour évaluer la solvabilité des personnes physiques ou pour établir leur note de crédit et ceux destinés à être utilisés pour l’évaluation des risques et la tarification en ce qui concerne les personnes physiques en matière d’assurance-vie17, l’ACPR précise cependant que le principe de non-discrimination n’interdit pas toute différence de traitement entre individus, dès lors que celle-ci repose sur des critères objectifs et pertinents d’évaluation du risque réel en lien avec la nature de la décision considérée18.
Enjeux des biais discriminants liés à l’utilisation d’algorithmes d’IA et discrimination algorithmique. Or, le recours accru aux systèmes algorithmiques peut induire, selon les termes utilisés par l’ACPR, une discrimination dite « algorithmique »19. La notion de « discrimination algorithmique », met en évidence le fait que des résultats générés par des systèmes d’IA, notamment à haut risque, conduisent à des biais20 discriminants, c’est-à-dire des résultats systématiquement défavorables, en particulier pour les personnes appartenant à certains groupes vulnérables, en raison, par exemple, de leur âge ou de leur appartenance ethnique21. Cela étant, si l’ACPR reconnaît que la notion de « discrimination algorithmique » n’est pas définie d’un point de vue juridique, elle définit cette notion comme désignant, « les situations dans lesquelles un système automatisé produit des différences de traitement entre individus ou groupes, en raison des données utilisées, des choix de modélisation ou des variables retenues, sans qu’une intention discriminatoire explicite ne soit nécessairement identifiable. »22. En effet, l’ACPR constate que, même lorsque des variables juridiquement protégées23 (comme par exemple, l’origine ethnique, le sexe, l’âge ou le lieu de résidence) sont exclues24 de l’utilisation de l’algorithme, l’existence de variables de substitution25 (comme par exemple, le revenu, type de contrat, historique bancaire, zone géographique, etc.) peut suffire à reconstituer l’information sensible et, par voie de conséquence, à reproduire des effets discriminatoires de manière indirecte26. Or, l’ACPR constate que la mise en œuvre des différents textes juridiques applicables en matière de non-discrimination est difficile, notamment en raison du fait que certains mécanismes discriminatoires peuvent se produire en l’absence de toute volonté discriminatoire du fait de leur caractère indirect27.
Méthodologie proposée par l’ACPR. Face à ce risque de discrimination algorithmique, l’ACPR constate d’abord que si le terme « équité » est mentionné dans le règlement sur l’IA plus rarement que les termes de « biais » et de « discrimination », elle considère néanmoins que l’exigence d’équité sous-entendue « algorithmique » est déjà formalisée au travers des dispositions de l’article 10, points f) et g) du règlement sur l’IA pour les systèmes d’IA à haut risque28. L’ACPR propose ensuite des modalités d’évaluation et de correction des biais algorithmiques29 ainsi que les modalités concrètes de mise en œuvre des principes relatifs à l’équité par les établissements financiers (dans le secteur bancaire et de l’assurance) dans leurs processus, tant du point de vue technique que dans leur gouvernance30.
Conclusion. Si, au premier abord, le concept d’équité algorithmique apparaissait comme une curiosité intellectuelle dans l’univers technique des systèmes d’IA, l’ACPR a su, dans ce document de réflexion, expliquer la nécessité de forger ce nouveau concept cristallisant la complexité à mettre en œuvre les principes d’équité et de non-discrimination31 dans des systèmes algorithmiques d’IA. L’ACPR conclut que la mise en œuvre de l’équité algorithmique dans le secteur financier ne saurait être réduite à une question technique relevant des équipes de modélisation. Cette notion d’équité algorithmique constitue également, selon l’ACPR, un enjeu transverse impliquant des choix stratégiques et des arbitrages relevant de la responsabilité de l’établissement financier dans le secteur bancaire et de l’assurance. n
