La magie chaotique de ChatGPT
ChatGPT d’OpenAI est souvent présenté comme le chatbot le plus en vue du moment, mais il ne manque pas de défauts. Des chercheurs, Jessica Rumbelow et Matthew Watkins, membres du groupe de machine learning SERI-MATS, ont découvert des anomalies surprenantes lorsque l’on interroge le chatbot avec certains mots-clés étranges. Selon un article de Vice, ces mots semblent provoquer un comportement erratique, perturbant le fonctionnement normal du bot.
Les mystérieux tokens
La capacité de ChatGPT à traiter le langage repose sur des tokens, qui sont des ensembles courants de caractères présents dans les textes. Or, un ensemble particulier de ces tokens, comprenant des noms d’utilisateurs de Reddit, semble déclencher des réponses inattendues. Plutôt que de fournir des réponses pertinentes, le bot se met à éviter les questions, à proférer des insultes ou même à aborder des sujets totalement différents. Par exemple, lorsqu’on demande à ChatGPT ce que signifie « SolidGoldMagikarp », il commence à parler de « distribuer », alors qu’il devrait simplement répondre à la question.
Un mot particulièrement troublant
Parmi les termes « interdits » identifiés par les chercheurs, « TheNitromeFan » a retenu l’attention. Lorsqu’on saisit ce nom, le bot ne restitue qu’un simple « 182 », laissant présager qu’il pourrait s’agir d’un âge, d’un code postal ou même d’une référence au groupe Blink 182.
Des comportements imprévisibles
Un des aspects les plus intrigants de cette recherche est que certains noms d’utilisateur appartiennent à une communauté de Redditors ayant pour but de compter jusqu’à l’infini. Watkins a mentionné qu’il existe une « hall of fame » pour ceux qui ont le plus contribué à cet effort. Ce groupe est donc devenu une sorte de symbole de l’immortalité numérique.
Des tests révélateurs
Pour prouver que ce sont bien les tokens spécifiques qui causent des problèmes, les chercheurs ont légèrement modifié les noms d’utilisateur en changeant une lettre ou la capitalisation. Ces modifications ont permis au bot de fonctionner correctement et de fournir des réponses cohérentes.
Rumbelow a suggéré que ce comportement étrange pourrait être dû à la manière dont le système de tokenisation a été entraîné avec des données brutes, y compris beaucoup de contenus inhabituels provenant de Reddit et d’autres sources moins visibles.
Une réflexion sur l’IA
Les anomalies de ChatGPT soulignent des problèmes fondamentaux dans le domaine de l’intelligence artificielle. Watkins prévient que cette précipitation vers l’adoption de technologies avancées pourrait être dangereuse. Il constate que nous avançons sans la sagesse nécessaire pour gérer ces outils.
FAQ
Qu’est-ce qui cause les anomalies de ChatGPT ?
Les anomalies sont liées à des tokens spécifiques, en particulier ceux issus de noms d’utilisateur obscurs qui semblent troubler le fonctionnement normal du chatbot.
Quelle est l’importance de la communauté de Redditors qui compte jusqu’à l’infini ?
Cette communauté illustre un phénomène de culture numérique et montre comment des groupes en ligne peuvent influencer la dynamique des technologies modernes.
Comment les chercheurs ont-ils testé ces problèmes ?
Ils ont modifié légèrement les noms d’utilisateur à l’origine des dysfonctionnements, ce qui a permis de démontrer que les problèmes venaient de la structure même des tokens.
Pourquoi est-ce inquiétant pour l’avenir de l’IA ?
La situation indique que beaucoup de défis éthiques et techniques restent à résoudre avant de s’engager pleinement dans l’utilisation de l’intelligence artificielle avancée.
Que peuvent réaliser ces découvertes sur l’IA à l’avenir ?
Ces recherches peuvent aider à affiner les modèles linguistiques, en rendant les chatsbots plus robustes face à des inputs inattendus et en améliorant la qualité des interactions utilisateur.
