Les Chatbots et les Conseils Financiers : Un Grand Écart
Malgré les promesses grandioses des experts en intelligence artificielle, il semble que les chatbots les plus performants peinent encore à offrir des conseils financiers de qualité.
Une Évaluation des Chatbots
Des chercheurs en IA, Gary Smith, Valentina Liberman et Isaac Warshaw du Walter Bradley Center for Natural and Artificial Intelligence, ont décidé de tester les compétences financières de quatre modèles de langage avancés : ChatGPT-4 d’OpenAI, DeepSeek-V2, Grok 3 Beta d’Elon Musk, et Gemini 2 de Google. Pour ce faire, ils ont soumis ces outils à une série de 12 questions portant sur la finance afin de mesurer leur efficacité.
Les résultats, révélés dans une étude récemment publiée par Mind Matters, montrent que la performance de chaque chatbot était caractérisée par une verbosité excessive et, souvent, des erreurs. Cette observation était similaire aux conclusions de Smith l’année précédente dans le Journal of Financial Planning, où il avait soumis des 11 questions à ChatGPT 3.5, Microsoft Bing avec GPT-4, et le chatbot Bard de Google. Tous avaient produit des réponses qui, bien que souvent grammaticalement correctes et paraissant pertinentes, étaient truffées d’erreurs arithmétiques et de pensée critique.
Des Scores Limités
Pour évaluer les performances, les chercheurs ont mis en place une échelle simple : un score de 0 pour des analyses financières totalement incorrectes, un 0.5 pour des analyses correctes mais comportant des erreurs mathématiques, et un 1 pour les réponses exactes tant sur le plan financier que mathématique. Aucune des IA n’a réussi à atteindre plus de 5 points sur 12. ChatGPT a pris la tête avec un score de 5.0, suivi de DeepSeek avec 4.0, Grok à 3.0 et, pour finir, Gemini qui a obtenu un désolant 1.5.
Performance Decevante en Pratique
Certaines réponses fournies par les chatbots ont même défié les attentes des chercheurs. Par exemple, quand Grok a été interrogé sur le total des dépenses d’un mois pour une location caribéenne de 3 700 $ de loyer et 200 $ de charges, il a calculé un total erroné de 4 900 $.
En plus des erreurs de calcul, les chatbots ont échoué à offrir des analyses intelligentes sur des questions financières relativement simples. Même leurs réponses les plus convaincantes semblaient tirées d’internet, et ce, principalement lorsqu’ils devaient expliquer des concepts simples comme le fonctionnement des Roth IRA.
Une Illusion de Compétence
Les chercheurs ont souligné que ces modèles donnent une illusion trompeuse d’intelligence humaine, souvent accompagnée d’un ton amical et d’une utilisation de points d’exclamation qui peuvent tromper l’utilisateur moyen et lui faire croire en leur confiance et leur précision.
Ils ont averti : « Le véritable danger réside non pas dans le fait que les ordinateurs surclassent notre intelligence, mais plutôt dans notre perception erronée selon laquelle ils sont plus intelligents que nous, ce qui nous pousse à leur confier des décisions qui devraient être prises avec précaution. »
FAQ
1. Quel type de questions a été posé aux chatbots ?
Les chercheurs ont élaboré une série de questions couvrant divers aspects de la finance, allant des calculs simples aux analyses financières plus complexes.
2. Pourquoi est-il important d’évaluer les chatbots pour des conseils financiers ?
Évaluer la compétence des chatbots dans le domaine financier est crucial, car ils peuvent influencer les décisions des utilisateurs qui pourraient les considérer comme des sources fiables.
3. Quelles alternatives aux chatbots pour obtenir des conseils financiers ?
Il est recommandé de consulter des experts financiers ou d’utiliser des outils financiers validés par des professionnels plutôt que de s’appuyer uniquement sur des systèmes d’IA.
4. Comment les utilisateurs peuvent-ils se défendre contre des conseils financiers erronés ?
Il est essentiel de vérifier les informations, de croiser les sources et de ne pas hésiter à poser des questions supplémentaires avant de prendre des décisions financières basées sur des conseils d’IA.
5. Quelles sont les limites des intelligences artificielles dans le domaine financier ?
Les IA actuellement disponibles peuvent traiter des informations à grande échelle mais manquent souvent de compréhension contextuelle, de jugement critique et de la capacité d’adaptation nécessaire pour des situations complexes.