Les Quiz IA de BuzzFeed : Un Problème à Résoudre ?

Le mois dernier, lorsque BuzzFeed a annoncé son intention d’intégrer la technologie de génération de texte d’OpenAI dans ses célèbres quiz, nous avons été intrigués.

Bien que tous les rédacteurs de BuzzFeed n’étaient pas enthousiastes face à cette expérience, le projet semblait prometteur, en évitant certains problèmes rencontrés par des publications comme CNET ou Men’s Journal, qui ont vu leur contenu généré par l’IA comporter des erreurs graves et des plagiats. Au moins, BuzzFeed abordait le sujet en toute transparence, et un quiz sans grande prétention ne pouvait pas diffuser de fausses informations, pensons-nous.

Toutefois, lorsque BuzzFeed a réellement présenté les « Infinity Quizzes » aujourd’hui, nous n’avons pas pu nous empêcher de penser qu’ils n’étaient pas à la hauteur du potentiel du projet. L’IA a déjà été utilisée de manière douteuse, il est vrai, mais elle constitue également un outil créatif fascinant — et nous étions vraiment curieux de découvrir ce que les esprits brillants de BuzzFeed seraient capables d’en faire.

Le problème le plus flagrant, en revanche, réside dans le fait que ces quiz, signés à la fois par un humain et par “Buzzy le Robot”, semblent défectueux. Prenons celui-ci, censé générer une fan fiction sur un rendez-vous avec votre célébrité préférée. Nous l’avons essayé plusieurs fois, et le problème le plus évident est qu’il semble bogué, laissant des informations entre parenthèses que l’IA ne parvient pas à compléter. (Un représentant de BuzzFeed n’a pas répondu avant la publication de cet article, mais ils ont contacté par la suite pour expliquer que ce problème était lié à une panne de service chez OpenAI.)

Voici ce que le quiz nous a généré :

Un autre problème, qui semble également assez significatif, est qu’il n’y a pas vraiment une sélection « infinie » de scénarios, comme le suggère la marque « Infinity Quizzes ». Le quiz semble constamment revenir aux mêmes éléments : des Uber Blacks, un hamburger, des poubelles, une chambre et un immense tatouage — qui, une fois que l’on élimine les informations manquantes, constituent presque toute l’histoire. Pas beaucoup de créativité, M. Buzzy ! (Les lecteurs attentifs remarqueront que la ligne « derrière » semble également se répéter, étant alimentée par un champ du quiz demandant le premier emploi du lecteur.)

Après la publication de cet article, un porte-parole de BuzzFeed a précisé que ces répétitions étaient dues aux informations fournies par l’écrivain humain.

« Il semble que vous ayez identifié des éléments narratifs ajoutés par nos rédacteurs pour façonner cette nouvelle forme de narration aux côtés de l’IA », ont-ils commenté.

En fin de compte, le quiz-o-matic de BuzzFeed ressemble davantage à un jeu de Mad Libs peu inspiré qu’à quelque chose de particulièrement créatif, ou même à la hauteur de ce que produit un ChatGPT standard. Avec tout le battage médiatique entourant l’annonce de cette transition algorithmique, nous nous attendions à quelque chose d’un peu plus, eh bien, abouti.

Cela dit, quelques-uns des autres quiz de BuzzFeed semblent un peu plus réussis que d’autres. Un quiz destiné à générer un message de rupture a obtenu des résultats passables en prenant en compte des informations sur le chat d’un journaliste de Futurism, bien qu’il ait à nouveau présentés quelques erreurs grammaticales :

Cependant, un autre quiz, sponsorisé par le fertilisant pour plantes Miracle-Gro, pose audacieusement la question de quel serait le « partenaire idéal » si c’était une plante. C’est vaguement amusant, mais cela ressemble surtout à une excuse pour faire de la publicité déguisée.

Peut-être que le problème réside en partie dans le fait que ChatGPT performe mieux avec des prompts largement ouverts. Réduit au format standard d’un quiz BuzzFeed, l’IA peut ne pas être capable de déployer toute sa créativité. Toutefois, les options de BuzzFeed sont limitées — au final, les lecteurs pourraient probablement faire beaucoup mieux en se connectant directement à ChatGPT, qui est pour l’instant gratuit.

En défense de BuzzFeed, le porte-parole a déclaré que l’entreprise était encore en phase expérimentale et qu’elle prévoyait de nombreux ajustements à venir.

« Nous sommes toujours dans une phase expérimentale », ont-ils expliqué. « À l’avenir, à mesure que nous développerons davantage de ces quiz, nous porterons une attention particulière aux comportements et aux tendances pour déterminer la prochaine orientation — le public souhaite-t-il des quiz plus ouverts ? Ou est-ce que les quiz doivent raconter une histoire étrangement spécifique ? »

Des améliorations significatives dans l’utilisation de l’IA sont possibles, cependant. Comparez l’ensemble à celui du générateur de Valentine alimenté par GPT du New York Times, qui a également été lancé aujourd’hui et qui produit ce genre de contenu :

On ne peut pas dire que l’effort de BuzzFeed soit vraiment à la hauteur, n’est-ce pas ? Il lui manque la force, la créativité et l’acidité que les meilleures générations de texte par IA peuvent apporter.

En somme, nous espérions des résultats plus satisfaisants. Évidemment, les enjeux sont faibles avec les quiz en ligne, mais cela semblait être une bonne occasion de montrer aux lecteurs un côté léger mais techniquement impressionnant de l’IA. Qui sait, peut-être que BuzzFeed améliorera ses quiz basés sur l’IA avec le temps.

Mis à jour avec des contributions de BuzzFeed.

Plus sur l’IA : Demander à l’IA de Bing si elle est consciente semble la rendre totalement folle.