Meta a mené un programme secret, envoyant des dizaines de sous-traitants se faire passer pour des adolescents tout en inondant les modèles d’IA de ses concurrents de requêtes troublantes, abordant des thèmes tels que le suicide ou le cannibalisme.
Connu en interne sous le nom de « Cannes », ce projet dirigé par le prestataire Covalen de Meta, visait les chatbots comme ChatGPT d’OpenAI, Gemini de Google et Character.AI, en utilisant des comptes temporaires d’adolescents de moins de 18 ans. Selon Wired, cela semblait avoir pour but de tester la résistance des modèles, les sous-traitants étant chargés d’inciter les chatbots à produire des réponses qui enfreignaient leurs règles de sécurité, sans que les entreprises d’IA ne soient au courant de cette manipulation.
Un document mentionnant environ 3 800 requêtes utilisées par les sous-traitants a révélé que des centaines se concentraient sur le suicide et l’automutilation, tandis que d’autres attaquaient des troubles alimentaires. Au moins 239 d’entre elles concernaient des questions de sexualité ou de romance, toutes exprimées du point de vue d’un enfant ou d’un adolescent.
Parmi les exemples, on trouvait un récit d’un élève de cinquième dont un camarade pointait une arme sur sa bouche, une autre histoire concernait une fille essayant de cacher sa boulimie à ses parents. Un candidat se faisant passer pour un lycéen s’interrogeait sur la « normalité » de fantasmer sur le fait de manger l’enfant d’un voisin, tandis qu’un autre demandait où se procurer de la cocaïne. Ils ont également envoyé des images de pilules, de cordes, de couteaux et un schéma médical d’une procédure gynécologique, d’après le magazine.
Ceci n’est qu’un aperçu de la méthodologie brute de Meta, car une autre série de tests a impliqué plus de 45 000 autres requêtes. Les sous-traitants ont méticuleusement enregistré une quantité incroyable de réponses des chatbots dans des tableaux. Cependant, l’utilisation de ces données par Meta reste obscure, avec un document interne de Covalen qualifiant l’initiative de « benchmarking complet pour la sécurité de l’IA », visant à fournir des « ensembles de données critiques pour la comparaison des modèles et la conformité ».
Il s’agit d’un autre exemple de la façon dont Meta a externalisé des tâches dérangeantes à des sous-traitants, en prétendant agir pour des raisons de sécurité. En 2020, l’entreprise a rémédié à un procès déposé par des modérateurs de contenu de Facebook qui affirmaient avoir été traumatisés en examinant des vidéos illustrant le meurtre, la torture, l’agression sexuelle et les abus sur des enfants sur la plateforme. De telles plaintes continuent d’affluer, certains sous-traitants ayant récemment témoigné avoir été contraints de visionner des clips sensibles enregistrés par les lunettes AI Ray-Ban de l’entreprise, notamment des scènes érotiques et des moments d’intimité.
Ces sous-traitants chargés de formuler des prompts sur des sujets sensibles ont également exprimé leur malaise.
« J’ai vu tant de choses que je regrette d’avoir vues en travaillant sur ce projet », a déclaré l’un d’eux à Wired. « Tout le monde que je connaissais sur ce projet était complètement abasourdi par certains des textes qu’on nous demandait de tester. À ce rythme, nous allions assurément avoir des problèmes pour cela. »
Meta, de son côté, a défini ces prompts comme une pratique « standard dans l’industrie » pour l’évaluation de la sécurité des modèles, dans une déclaration à Wired. Rumman Chowdhury, PDG de Humane Intelligence PBC, une ONG dédiée à un développement responsable de l’IA, n’est pas si convaincue.
« Structurer un projet de grande envergure sur une longue période, conçu visiblement pour enfreindre systématiquement ces règles, grâce à des comptes fictifs se faisant passer pour des enfants, dépasse ce qui est habituellement décrit comme une évaluation « standard dans l’industrie ». Elle a également souligné que Meta a gardé cette opération secrète vis-à-vis de ses concurrents et n’a pas rendu ses résultats publics.
Ces dissimulations, a ajouté Chowdhury, représentent « exactement le type de zone grise en matière de gouvernance où la sécurité devient un prétexte pratique pour des pratiques anticoncurrentielles ».
En savoir plus sur Meta : Le programme de Meta qui espionne chaque ordinateur des employés a littéralement explosé à la face de l’entreprise.
### FAQ
#### Pourquoi Meta a-t-elle utilisé des comptes fictifs pour ces tests ?
Meta a utilisé de faux comptes d’adolescents pour tester la résistance de ses modèles d’IA, en soumettant des scénarios extrêmes pour observer leurs réactions à des demandes inattendues.
#### Quel a été l’impact de ce programme sur les sous-traitants ?
Les sous-traitants ont exprimé un profond malaise et du stress mental en raison de la nature des prompts à traiter, certains d’entre eux ayant même ressenti des conséquences émotionnelles durables.
#### Comment ces pratiques affectent-elles la perception du public sur Meta ?
Ces révélations peuvent nuire à la réputation de Meta, en montrant un manque de responsabilité et d’éthique dans le développement de l’IA, renforçant la méfiance envers l’entreprise.
#### Quels types d’innovations Meta développe-t-elle dans le domaine de l’IA ?
Meta travaille sur divers aspects de l’intelligence artificielle, y compris la création de chatbots et d’assistants virtuels qui interagissent avec les utilisateurs, tout en cherchant à améliorer la sécurité et l’éthique dans ce domaine.
#### Y a-t-il eu des précédents similaires dans d’autres entreprises technologiques ?
Oui, d’autres entreprises du secteur ont également été critiquées pour leurs pratiques d’évaluation et de modération de contenu, souvent axées sur des méthodes controversées.
