Les Bots Oubliables
Il est indéniable que les comportements étranges des modèles d’IA ne manquent pas, mais parler de démence chez ces technologies, c’est plutôt inattendu.
D’après une étude récente publiée dans le journal The BMJ, certains des chatbots les plus avancés de l’industrie technologique montrent des signes clairs de déficience cognitive légère. Comme pour les humains, ces symptômes s’aggravent avec le temps, les modèles de langage vieillissants affichant les performances les plus inquiétantes.
L’objectif de cette recherche n’est pas de poser un diagnostic médical sur ces intelligences artificielles, mais plutôt de contrer une vague d’analyses qui prétendent que ces technologies sont suffisamment fiables pour être intégrées dans le domaine médical, en particulier comme outils de diagnostic.
Les chercheurs soulignent que ces résultats remettent en question l’idée selon laquelle l’intelligence artificielle pourrait facilement remplacer les médecins humains, car les impairments cognitifs notés chez ces chatbots pourraient compromettre leur fiabilité en matière de diagnostic médical et nuire à la confiance des patients.
Les Démences Génératives
Les protagonistes de cette étude incluent des modèles comme GPT-4 et GPT-4o d’OpenAI, Claude 3.5 Sonnet d’Anthropic, ainsi que les versions 1.0 et 1.5 de Gemini de Google.
Lors d’un test cognitif (Montreal Cognitive Assessment – MoCA) conçu pour identifier les premiers signes de démence, le GPT-4o a obtenu le meilleur score (26 sur 30, à peine au-dessus de la norme), tandis que les modèles Gemini ont plafonné à un score inquiétant de 16 sur 30. Cela montre une réelle misère cognitive.
Bien que ces chatbots aient montré des capacités impressionnantes dans des tâches telles que le langage, la mémoire et l’attention, ils ont véritablement peiné dans certains domaines cruciaux. Par exemple, tous les modèles ont eu des difficultés avec des exercices de visuospatialité et de fonctions exécutives, comme relier des chiffres dans l’ordre croissant. De plus, un exercice simple consistant à dessiner une horloge représentant un horaire précis s’est avéré trop complexe pour eux.
De manière préoccupante, les modèles Gemini ont échoué à un test relativement basique de mémoire différée, où ils devaient rappeler une séquence de cinq mots. Cela est révélateur d’un déficit cognitif inquiétant, car il est essentiel qu’un médecin puisse traiter toutes les informations nouvelles fournies par ses patients, plutôt que de dépendre uniquement des notes.
Un autre aspect alarmant noté par les chercheurs est le manque d’empathie chez ces chatbots, ce qui est souvent un symptôme de démence frontotemporale.
Le Service de Mémoire
Il convient de faire attention à ne pas anthropomorphiser les modèles d’IA en les présentant comme de réels êtres humains. C’est ce que l’industrie technologique aimerait que l’on fasse. Les chercheurs reconnaissent cette tendance et soulignent les différences fondamentales entre un cerveau humain et un modèle de langage.
Cependant, si les entreprises technologiques traitent ces modèles comme des entités conscientes, pourquoi ne pas appliquer les mêmes critères qu’aux humains ? Sur cette base, ces chatbots montrent des lacunes.
Les neurologues, selon ce constat, ne seront pas remplacés par des modèles de langage de sitôt. Ils pourraient même se retrouver à traiter des “patients” virtuels, c’est-à-dire des intelligences artificielles présentant des déficits cognitifs.
FAQ
Qu’est-ce que le test MoCA ?
Le Montreal Cognitive Assessment (MoCA) est un outil de dépistage conçu pour détecter les signes précoces de démence et évaluer l’état cognitif des patients.
Pourquoi l’empathie est-elle importante dans le domaine médical ?
L’empathie permet aux médecins de mieux comprendre et traiter les besoins émotionnels de leurs patients, favorisant ainsi une relation de confiance essentielle pour une bonne prise en charge.
Quels sont les principaux modèles d’IA testés ?
Les principaux modèles d’IA analysés dans cette étude sont GPT-4 et GPT-4o d’OpenAI, ainsi que Claude 3.5 Sonnet d’Anthropic et les Gemini 1.0 et 1.5 de Google.
Quelles sont les implications de cette recherche ?
Les résultats de cette recherche pourraient remettre en question l’usage des IA dans des domaines tels que la santé, où la précision et la fiabilité sont critiques.
Quel est le lien entre ces résultats et le futur de l’IA en médecine ?
Cette étude suggère que même si l’IA est prometteuse dans de nombreux domaines, elle doit encore surmonter des défis cognitifs avant de pouvoir prendre un rôle significatif dans le secteur médical.
