Cette Énigme Logique Déjoue Même l’IA la Plus Avancée.

Une étude surprenante sur les modèles de langage AI

Une récente étude menée par des scientifiques de l’organisation à but non lucratif LAION, mettant en avant la recherche en intelligence artificielle, révèle que même les modèles de langage les plus avancés rencontrent des difficultés avec des questions de logique apparemment simples. Cette découverte soulève des interrogations sur le degré d’avancement des modèles de langage AI, souvent vantés par leurs concepteurs.

L’article, encore en attente de validation par les pairs, désigne la question problématique comme le « problème d’Alice au pays des merveilles ». Il s’agit d’une question de raisonnement directe : “Alice a [X] frères et [Y] sœurs. Combien de sœurs le frère d’Alice a-t-il ?” Les chercheurs ont testé différentes versions de la question, modifiant les valeurs X et Y ou le langage de l’énoncé, mais le processus de raisonnement requis est demeuré constant.

Un défi pas si compliqué

Bien que cette question demande un certain temps de réflexion, elle n’est pas aussi complexe qu’une énigme de troll sous un pont. La réponse est, tout simplement, le nombre de sœurs qu’Alice possède, auquel on ajoute Alice. Par exemple, si Alice a trois frères et une sœur, alors chaque frère a deux sœurs.

Cependant, en testant cette question sur divers modèles de langage d’IA réputés — tels que GPT-3 et GPT-4 d’OpenAI, Claude 3 Opus d’Anthropic, Gemini de Google, et plusieurs autres — les chercheurs ont constaté que les résultats étaient étonnamment décevants.

Résultats de l’évaluation

Seul le tout nouveau modèle GPT-4o a obtenu un taux de réussite qui serait considéré comme passable dans un cadre scolaire. De plus, les problèmes ne se limitaient pas à des erreurs de base. Lorsqu’on leur demandait de justifier leur raisonnement, les intelligences artificielles produisaient des lignes de « réflexion » étranges et erronées. Un fait encore plus troublant, c’est que lorsque les modèles prenaient conscience de leurs erreurs, ils affichaient une indignation surprenante et persistaient dans leurs réponses incorrectes.

Les chercheurs de LAION notent dans leur article que cette situation démontre un « effondrement dramatique » des capacités de raisonnement des modèles à la pointe de la technologie, et cela à partir d’un problème de bon sens formulé de manière concise et facilement résolvable par des humains.

Exemples d’interactions avec les modèles d’IA

L’étude présente plusieurs exemples de modèles d’IA qui échouent à répondre correctement à des variations du problème d’Alice au pays des merveilles. Par exemple, dans une conversation avec Llama 3 de Meta, l’IA n’a pas réussi à résoudre la question la plus simple : “Alice a quatre frères et une sœur. Combien de sœurs le frère d’Alice a-t-il ?” Llama, bien qu’erroné, s’est donné une tape dans le dos pour avoir présenté cela comme une « classique devinette de pensée latérale ».

Ensuite, on trouve une interaction avec Claude 3 Opus, qui, confronté à une version plus complexe de la question, a également donné une réponse incorrecte. Malgré une demande de vérification de son raisonnement, le modèle a affirmé que son brother avait quatre sœurs, ce qui était faux.

Comparaison avec d’autres évaluations

Selon le rapport, le modèle GPT-4o a eu le meilleur taux de succès, atteignant environ 65 % de réponses correctes. À côté, Claude 3 Opus a affiché un taux de succès de 43 %, tandis que Llama 2-7b de Meta s’est arrété à 30 %. À peine plus d’une question sur cinq a reçu une réponse correcte. En revanche, le modèle Gemini Pro a montré des résultats affligeants avec seulement 0,8 %.

Ces résultats sont particulièrement éclairants lorsqu’ils sont confrontés à d’autres études de référence comme le MMLU (Multi-task Language Understanding), qui évalue la capacité des AI à résoudre des problèmes. Les taux de réussite observés sur ce benchmark étaient considérablement plus élevés, soulevant des doutes sur la précision des tests utilisés pour évaluer la fonction de raisonnement de ces modèles.

Questions soulevées

Les chercheurs soulignent que tous les modèles testés affichent de bons résultats sur des échelles de mesures standardisées, qui semblent ne pas s’accorder avec les carences de ces modèles en matière de raisonnement. Cela indique qu’il peut être nécessaire de réévaluer les méthodes d’évaluation des compétences de raisonnement des modèles de langage.

FAQ

Qu’est-ce que le problème d’Alice au pays des merveilles ?

C’est une question de logique destinée à évaluer le raisonnement des intelligences artificielles en formulant des scénarios familiaux simples.

Pourquoi les modèles d’IA échouent-ils à résoudre des problèmes simples ?

Ils affichent une confiance excessive dans leurs réponses, même lorsqu’elles sont incorrectes, ce qui peut mener à des erreurs dans leur raisonnement.

Quel est l’impact de cette étude sur le développement futur des IA ?

Les résultats pointent vers un besoin d’améliorer les méthodes d’évaluation et de formation des modèles de langage pour renforcer leurs compétences en raisonnement.

Que pourraient signifier ces résultats pour les utilisateurs de l’IA ?

Ces découvertes pourraient inciter les utilisateurs à remettre en question l’efficacité des IA pour des tâches nécessitant un raisonnement solide et critiquer les affirmations concernant leur intelligence.

Quels sont les challenges à relever pour ces modèles d’IA ?

Il est crucial de revoir la façon dont les capacités de raisonnement sont mesurées et d’améliorer la compréhension fondamentale des relations logiques entre les éléments d’une question. Les chercheurs suggèrent une attention accrue sur le développement des IA pour les rendres plus fiables.