Les conseils de ChatGPT sur l’épargne retraite : l’outil montre ses limites

L’intelligence artificielle (IA) générative, dont ChatGPT est le fer de lance, s’appuie sur le modèle de langage GPT-3.5, une IA générative mais aussi pré-entraînée sur une importante quantité de données textuelles existantes (pages Web, livres, articles de presse ou autres corpus), qui s’arrête en juin 2021 et n’intègre pas les données les plus récentes. Cette limitation sur l’historique des données d’entraînement ne devrait pas être pénalisante pour évaluer les conseils de ChatGPT sur la réforme de l’épargne retraite mise en œuvre entre le 1^er octobre 2019, date de lancement des nouveaux PER, et le 1^er octobre 2020, date de fin de commercialisation des anciens produits d’épargne retraite (Perp, Madelin, Préfon, COREM, CRH, Perco, article 83).

Nous avons d’abord demandé à ChatGPT « Quelle est la meilleure enveloppe fiscale pour financer sa retraite ? » La réponse fournie à cette première question est solide et propose un excellent résumé de quatre options parmi les plus pertinentes d’épargne retraite (voir réponse 1). Ce sont, typiquement, les éléments de réponse qu’aurait pu fournir un conseiller financier en fournissant une sélection des meilleures options disponibles de manière à les combiner pour profiter des atouts de chaque solution.

Reposer plusieurs fois la même question à ChatGPT incite le robot à proposer une réponse alternative, avec parfois un contenu très différent. Pour l’observer et tester la robustesse de ses réponses, nous avons légèrement reformulé la question « Quelle enveloppe fiscale pour son épargne-retraite ? », ChatGPT fournit alors une réponse sensiblement différente (voir réponse 2). Elle est cette fois-ci beaucoup moins pertinente, car les quatre options citées ne sont pas de réelles alternatives. Les items 2 et 3 (Perp et Madelin) sont d’anciens contrats fermés à la commercialisation depuis le 1^er octobre 2020, et qui sont aujourd’hui remplacés par une seule solution fiscale, le PER individuel. Quant au dernier item (Perco), il a été remplacé par la version collective du PER, le PER Entreprise. On voit bien ici la principale limite de ChatGPT : il est parfois cohérent mais il peut aussi perdre le fil logique car il n’a pas de capacité de raisonnement et le contenu qu’il génère est uniquement le fruit de la mémorisation de corrélations observées.

Ainsi, son modèle ignore les liens de causalité comme ceux afférents à une nouvelle loi (ici la réforme apportée par la loi PACTE) qui vient remplacer les anciennes enveloppes fiscales par celles nouvellement créées.

Avec ce talon d’Achille, ChatGPT ne peut donc pas prétendre être un outil adapté pour prodiguer des conseils fiables, mais ce robot peut être utile pour assister un conseiller compétent qui saurait faire le tri entre les différentes réponses proposées.

Nous avons mentionné, au début de cet article, une première limitation de ChatGPT qui s’appuie sur des données qui s’arrêtent à fin 2021. Mais ChatGPT dans sa version actuelle (GPT-3.5) présente une seconde faiblesse majeure : il ne donne pas ses sources, ce qui limite considérablement la portée des connaissances fournies par le robot. D’ailleurs, pour le philosophe Gaspard Koenig, ChatGPT constitue même une régression épistémologique. En s’affranchissant de la notion de source, ce robot pourra difficilement prétendre se substituer à un moteur de recherche.

Une extension baptisée WebChatGPT permet de contourner ces deux limitations. Ce module (add-on open-source) va ajouter à votre navigateur (Chrome ou Firefox) une ligne de menu à l’écran usuel de ChatGPT. En activant l’option « web access », vous pourrez utiliser les données les plus récentes du web en ajustant la période souhaitée de la seule journée passée à toutes les dates possibles. Le filtre peut aussi concerner un ciblage géographique en sélectionnant un pays particulier. Par ailleurs, il est possible de demander à WebChatGPT d’indiquer ses sources dans ses réponses. Pour cela, la ligne de menu permet de paramétrer le nombre de sources mentionnées dans la réponse.

En reposant la même question « Quelle enveloppe fiscale pour son épargne-retraite ? » mais, à titre d’exemple, en activant le web access et en choisissant d’avoir trois sources, des données sur l’année passée et un périmètre concentré sur la France, nous obtenons des réponses souvent pertinentes mentionnant généralement le PER et parfois d’autres options comme l’assurance vie ou le PEA. Nous pouvons vérifier que WebChatGPT ajoute bien la mention des trois sources demandées avec le lien vers la page web associée et l’extrait concerné. C’est une nette amélioration qui permet de mieux cibler les demandes avec le choix de la période historique et de la localisation pour gagner en pertinence et fournir les pistes d’audit pour analyser les sources.

Pour autant, les réponses restent toujours aussi instables, car en renouvelant la même demande, WebChatGPT retombe dans les mêmes écueils que ChatGPT (voir réponse 3).

On peut regretter de retrouver le PERP en deuxième item alors qu’il n’est plus commercialisé depuis octobre 2020. En analysant cette source, nous voyons que l’information, certes ancienne, a été vérifiée récemment le 1^er janvier 2023, lui permettant de respecter le critère d’ancienneté inférieure à 1 an pour WebChatGPT. D’ailleurs, même si la restitution par ChatGPT a tronqué la dernière partie, cette source précise bien « De nouveaux plans d’épargne retraite (PER) sont disponibles depuis le 1^er octobre 2019. Si vous disposez déjà d’un Perp, vous pouvez transférer votre épargne sur un PER individuel ou vers le PER mis en place dans votre entreprise. Le Perp n’est plus proposé depuis le 1^er octobre 2020. » Mais WebChatGPT n’intègre pas plus les conséquences logiques de cette information.

La nouvelle version de ChatGPT qui vient d’être annoncée s’appuie sur le nouveau modèle GPT-4 et affiche un volume de paramètres nettement supérieur à celui de GPT-3.5.

Microsoft Bing intègre déjà cette version GPT-4 dans son mode conversation. Si on lui pose toujours la même question : « Quelle enveloppe fiscale pour son épargne-retraite ? » , il donne des réponses plus fiables avec moins d’erreurs mais il n’est toujours pas à l’abri du même type de faille, même si elles sont plus rares (voir réponse 4).

Certes, le modèle de langage GPT-4 comprend encore mieux les demandes qui lui sont adressées et peut y répondre de manière plus rapide et plus riche mais en mentionnant de nouveau le PERP, le Madelin ou le Préfon, on peut en conclure que GPT-4 ne règle pas les problèmes de pertinence de certaines réponses de ChatGPT. En effet, il n’a pas la capacité à raisonner de manière logique pour appréhender qu’un type de produit d’épargne ne sera plus proposé après une période de transition et va évoluer vers son successeur, à la suite d’un événement déclencheur que l’outil ne modélise pas.

ChatGPT reste avant tout un outil formidable. Il peut s’avérer extrêmement efficace pour automatiser des tâches fastidieuses mais, même avec la nouvelle version de son modèle de langage, il ne peut pas prétendre prodiguer des conseils toujours appropriés et sans faille. En jouant le rôle de conseiller en gestion de patrimoine, il reste prudent dans ses réponses en encourageant, généralement, le recours à un professionnel, mais montre aussi fréquemment ses limites allant parfois jusqu’à certaines incohérences. Finalement, c’est l’humain qui fait la différence en apportant le contrôle et l’expertise nécessaire pour mériter la confiance de l’épargnant.