Les limites des chatbots
Ces dernières années, les programmeurs se sont de plus en plus tournés vers des chatbots comme ChatGPT d’OpenAI pour les aider dans leur codage. Cela a eu des conséquences notables, par exemple, le site Stack Overflow, qui a dû réduire son personnel de près de 30 % l’année dernière.
Une étude alarmante
Cependant, une étude récente réalisée par une équipe de chercheurs de l’Université de Purdue a révélé des résultats préoccupants. Lors d’une présentation à la conférence sur l’interaction homme-machine, ils ont découvert que 52 % des réponses produites par ChatGPT en matière de programmation étaient incorrectes. Une telle proportion est particulièrement alarmante, surtout quand on considère la fiabilité attendue d’un outil que de nombreux utilisateurs, y compris des écrivains et des enseignants, commencent à adopter de plus en plus.
Les erreurs dans les réponses
Les chatbots, y compris ChatGPT, ont tendance à “halluciner” des informations, c’est-à-dire à fournir des réponses totalement fausses sans fondement. Dans leurs recherches, les scientifiques ont examiné 517 questions issues de Stack Overflow et ont analysé les tentatives de ChatGPT pour y répondre. Ils ont constaté qu’environ 52 % de ses réponses contenaient des informations erronées. De plus, les réponses de ChatGPT étaient souvent plus longues que celles données par des humains, avec 78 % d’entre elles présentant divers degrés d’incohérence par rapport aux réponses humaines.
Analyse linguistique des réponses
Les chercheurs ont également mené une analyse linguistique sur 2 000 réponses choisies au hasard et ont remarqué que celles-ci étaient généralement plus formelles et analytique, adoptant souvent un ton optimiste qui tend à rendre les réponses plus convaincantes. Ce style, perçu comme moins négatif, pourrait influencer les utilisateurs à faire davantage confiance à ces réponses, même si elles contiennent des erreurs.
Préférence des programmeurs
Un fait troublant est que de nombreux programmeurs semblent favoriser les réponses de ChatGPT. Dans une enquête auprès de 12 programmeurs, bien que le nombre soit limité, il a été observé qu’environ 35 % d’entre eux préféraient les réponses de l’IA, et 39 % n’ont pas détecté les erreurs générées par l’IA. Les chercheurs suggèrent que cela pourrait être dû à la politesse et à la clarté du langage utilisé par le chatbot, ce qui pourrait amener certains utilisateurs à baisser leur garde face aux erreurs.
Conclusion
Cette étude met en lumière les défauts importants de ChatGPT. Bien que cela soit un constat difficile pour ceux qui ont perdu leur emploi chez Stack Overflow ou pour les programmeurs devant corriger des erreurs générées par l’IA, il reste essentiel de rappeler que ces outils peuvent être très imparfaits.
FAQ
Pourquoi les chatbots comme ChatGPT génèrent-ils des erreurs ?
Les chatbots basés sur l’IA, comme ChatGPT, utilisent des algorithmes d’apprentissage automatique qui, parfois, manquent de contexte ou de compréhension réelle des questions posées. Cela peut mener à des réponses incorrectes.
Comment les programmeurs peuvent-ils vérifier la validité des réponses de ChatGPT ?
Il est conseillé aux programmeurs de vérifier les réponses générées par des guide fiables, comme la documentation officielle ou des forums de développeurs réputés, pour valider les informations avant de les mettre en œuvre.
Quels sont les avantages et inconvénients d’utiliser ChatGPT pour le codage ?
Les avantages incluent une aide rapide à la rédaction de code et des suggestions innovantes, mais les inconvénients résident dans le risque constant d’erreurs et de données obsolètes ou inexactes.
Quelles alternatives existent à ChatGPT pour le soutien en programmation ?
Il existe d’autres outils et ressources, comme GitHub Copilot, des forums comme Stack Overflow, et des éditeurs de code avec des fonctionnalités de complétion de code, qui peuvent également fournir un soutien utile aux programmeurs.
Comment l’IA pourrait-elle évoluer pour être plus fiable ?
Pour devenir plus fiable, l’IA nécessiterait des améliorations dans sa capacité à comprendre le contexte, à vérifier les informations en temps réel et à réduire ses hallucinations tout en s’appuyant sur des bases de données constamment mises à jour.
