Intelligence Générale Décevante
Le directeur d’OpenAI, Sam Altman, affirme que l’entreprise a déjà les éléments essentiels pour développer une intelligence générale artificielle. Cependant, un test effectué sur son système d’intelligence artificielle le plus avancé, accessible au public, a révélé de sérieuses lacunes. Ce système, dénommé o1, est tombé à plat lorsqu’il a été confronté à une énigme que des millions de personnes résolvent quotidiennement.
Des Échecs Retentissants
Gary Smith, chercheur senior au Walter Bradley Center for Natural and Artificial Intelligence, a expliqué dans un article pour Mind Matters que le modèle o1 d’OpenAI a échoué de manière spectaculaire en essayant de résoudre le célèbre jeu de mots Connections du New York Times—reconnu pour sa difficulté.
Les règles de ce jeu semblent simples en théorie. Les joueurs reçoivent une liste de 16 mots et doivent déterminer leurs points communs en formant des groupes de quatre. Toutefois, ces relations peuvent varier d’un banal “sous-titres de livres” à des catégories plus ésotériques comme “mots commençant par feu”, ce qui rend l’exercice particulièrement délicat.
Les Résultats du Test
Smith a donc posé ce défi à o1 ainsi qu’à d’autres grands modèles linguistiques développés par Google, Anthropic, et Microsoft, qui utilise également la technologie d’OpenAI. De manière inattendue, tous ont échoué—surtout o1, qui avait été présenté comme le système révolutionnaire de l’entreprise, mais qui n’a pas réussi à démontrer de capacité de raisonnement adéquate face à un simple jeu de mots du NYT.
Tentatives et Échec
Lorsqu’il a essayé de résoudre ce défi, o1 a tout de même été capable d’identifier certaines formations correctes, mais d’autres regroupements paraissaient pour le moins étranges. Par exemple, il a associé les mots « boot », « umbrella », « blanket », et « pant » sous le thème des « vêtements ou accessoires ». Bien que trois des quatre suggestions soient correctes, il est difficile d’imaginer quelqu’un porter un couverture comme un accessoire de mode.
Dans une autre tentative, ce modèle a affirmé que les mots « breeze », « puff », « broad », et « picnic » appartenaient à la catégorie des « types de mouvement ou d’air ». Les deux premiers sont pertinents, mais la logique des deux derniers laisse perplexe, à juste titre.
Analyse Finale
En somme, Smith a judicieusement noté qu’o1 présentait « de nombreuses associations déroutantes » tout en ne proposant que quelques liens valides. Ce test met en avant une faiblesse commune des systèmes d’IA : ils réussissent souvent à impressionner en reproduisant des informations déjà présentes dans leurs bases de données, mais se heurtent à des difficultés lorsqu’ils sont confrontés à des situations nouvelles.
En ce qui concerne notre perspective, si OpenAI est vraiment sur le point de faire des avancées significatives vers l’AGI—ou si cela a déjà été réalisé, comme l’a suggéré un employé à la fin de l’année dernière—il est clair que l’entreprise garde cette information secrète, car cela ne semble pas correspondre à la situation actuelle.
FAQ
Qu’est-ce que l’Intelligence Générale Artificielle (AGI) ?
L’AGI désigne une intelligence artificielle capable de comprendre, apprendre et appliquer des connaissances de manière humaine, transcendant la simple exécution de tâches programmées.
Pourquoi le jeu « Connections » est-il considéré comme difficile pour les IA ?
La nature subjective des associations de mots dans ce jeu requiert une compréhension nuancée du langage et des contextes culturels, ce qui pose un défi pour bon nombre de modèles IA.
Quels autres modèles d’IA ont été testés avec o1 ?
En plus du modèle o1 d’OpenAI, des modèles similaires développés par Google, Anthropic et Microsoft ont également été utilisés pour résoudre le même défi.
Y a-t-il des progrès récents dans le domaine de l’IA ?
Oui, de nombreux chercheurs continuent d’améliorer les capacités des modèles d’apprentissage automatique, notamment en matière de compréhension contextuelle et de raisonnement.
Quelle est la réputation d’OpenAI dans la communauté technologique ?
OpenAI est généralement considéré comme un leader dans le développement de l’IA, mais les critiques pointent du doigt le fossé entre leurs promesses et les performances réelles de leurs modèles.