L’intelligence artificielle en déclin
Une baisse de performance inquiétante
Malgré les assurances des responsables d’OpenAI, des chercheurs se penchent sur la question et affirment que les modèles de langage GPT-3.5 et GPT-4 semblent perdre en compétence. Dans une récente étude, encore en attente de validation par leurs pairs, des scientifiques de Stanford et de Berkeley ont observé qu’au fil des mois, ces deux versions ont montré un changement notable de comportement, avec une baisse de la précision de leurs réponses, confirmant ainsi les retours d’utilisateurs qui ont remarqué une détérioration de la qualité des softs.
Des résultats alarmants
Les chercheurs rapportent dans le résumé de leur étude qu’en mars 2023, GPT-4 obtenait une précision de 97,6 % pour identifier des nombres premiers. Cependant, en juin 2023, cette même version n’atteignait qu’une précision de 2,4 % sur ces mêmes questions. Ils soulignent également une augmentation des erreurs de formatage dans la génération de code de la version de juin par rapport à celle de mars, ce qui démontre une diminution significative de la performance.
Une perception partagée par les utilisateurs
Cette étude corrobore les observations des utilisateurs qui, depuis plusieurs semaines, remarquent une tendance à la baisse des performances de ChatGPT. Nombreux sont ceux qui affirment que l’outil, alimenté par les modèles GPT-3 et GPT-4, est devenu moins efficace au fil du temps. Peter Welinder, vice-président produit chez OpenAI, s’est efforcé de désamorcer les rumeurs, niant que ce déclin soit le fruit d’un choix délibéré de la part de l’entreprise. Selon lui, chaque version devrait théoriquement être plus performante que la précédente.
Il a également mentionné que les changements d’expérience utilisateur pourraient être dus à un usage intensif, où les utilisateurs remarqueront des problèmes qu’ils n’avaient pas perçus auparavant.
Des résultats déroutants pour OpenAI
Bien que Welinder défende OpenAI et ses mises à jour, l’étude de Stanford et Berkeley jette un doute sérieux sur cette notion d’amélioration continue. Les chercheurs ne donnent pas d’explications précises sur ces chutes de performance, mais affirment que la dégradation observée va à l’encontre des déclarations de l’entreprise sur ses avancées technologiques.
Ils soulignent l’importance d’évaluer si les mises à jour apportées, qui visent à renforcer certains aspects, ne lésinent pas au contraire sur d’autres. En d’autres termes, il est possible que les mises à jour fréquentes d’OpenAI aient des conséquences plus néfastes que bénéfiques pour ChatGPT, qui a déjà été critiqué auparavant pour son manque de fiabilité.
Conclusion
L’avenir de l’intelligence artificielle, en particulier celui des modèles de langage GPT, pourrait être plus ambigu qu’il n’y paraît. OpenAI devra peut-être reconsidérer sa stratégie de mise à jour et la perception de ses outils par les utilisateurs.
FAQ
Qu’est-ce que GPT-3.5 et GPT-4 ?
GPT-3.5 et GPT-4 sont des modèles de langage développés par OpenAI qui utilisent l’intelligence artificielle pour générer du texte à partir d’instructions fournies par les utilisateurs.
Qui a réalisé l’étude sur la dégradation des modèles ?
L’étude a été menée par des chercheurs de Stanford et de Berkeley, qui ont examiné les performances des modèles au cours des mois.
Quelles sont les principales critiques des utilisateurs ?
Les utilisateurs soulignent que les performances de ChatGPT se sont dégradées, en particulier en ce qui concerne la précision et la fiabilité des réponses.
Quelles sont les implications de ces résultats pour OpenAI ?
Ces résultats pourraient inciter OpenAI à réévaluer ses méthodes de mise à jour et d’amélioration de ses modèles afin de maintenir la confiance des utilisateurs.
Y a-t-il des solutions pour améliorer les performances de ChatGPT ?
Des ajustements dans la méthode de formation et l’implémentation de mises à jour plus soignées peuvent aider à restaurer et améliorer la précision et l’efficacité des modèles.
