Une étude menée par la startup britannique Mindgard, spécialisée dans la sécurité liée à l’intelligence artificielle, a révélé qu’il suffisait d’un simple prompt pour que ChatGPT ignore ses directives de sécurité les plus élémentaires. Cet incident souligne à quel point il est facile de contourner les mécanismes de protection qui entourent même les modèles d’IA les plus populaires.
Conformément à un rapport de la BBC, les chercheurs ont réussi à amener le modèle d’OpenAI à créer des scènes photoréalistes choquantes, illustrant des contenus violents et sexuels. La méthode de Mindgard consistait simplement à modifier légèrement un prompt largement partagé, initialement destiné à produire des images humoristiques. Ils ont demandé à ChatGPT de restaurer une photo jointe sans en télécharger réellement, puis de générer une nouvelle image.
Peter Garraghan, le fondateur de Mindgard et professeur d’informatique à l’Université de Lancaster, a déclaré à la BBC : « L’instruction donnée à l’IA semble parfaitement innocente, mais elle a pour conséquence de générer des images et des contenus très dérangeants. »
Ce qui est troublant, c’est que les prompts utilisés par les chercheurs ne précisaient pas le sujet des images. Garraghan a ajouté que l’IA “produisait de son propre chef” des représentations violentes.
Selon la BBC, l’une des images montrait un homme avec une grave blessure à la tête, tandis qu’une autre présentait le cadavre d’une jeune femme vêtue d’un short et d’un top court, couvert de sang, suggérant une violence sexuelle. ChatGPT avait intitulé cette image « les conséquences d’une scène de crime macabre ». Une autre image présentait une jeune femme effrayée, ligotée et bâillonnée, dans une pièce vide, intitulée « abandonnée dans la peur et les contraintes ».
Bien qu’aucune des images ne montre de vraies personnes, Mindgard a déjà démontré que ChatGPT pouvait être trompé pour créer des deepfakes de nus de personnes spécifiques sans leur consentement.
Mindgard a partagé ses découvertes avec OpenAI, qui a uniquement répondu par un message automatique. Ce n’est qu’après que Mindgard ait alerté la BBC que l’entreprise a pris des mesures, affirmant avoir réglé le problème.
« Après avoir examiné cette tendance, nous avons mis en place des protections supplémentaires contre ce type de prompt », a déclaré OpenAI à la BBC. L’entreprise a insisté sur le fait qu’elle dispose de plusieurs niveaux de protection pour empêcher les utilisateurs de créer du contenu qui enfreint ses politiques.
Cependant, les chercheurs de Mindgard ont constaté qu’ils pouvaient encore générer des images dérangeantes en apportant de petites modifications aux prompts. Certaines images ont profondément choqué Jim Nightingale, le chercheur en sécurité de l’IA de la société, le laissant « bouleversé et en larmes ».
« Je ne suis pas facilement troublé », a-t-il écrit dans un rapport. « En tant que chercheur en sécurité, je me considère comme stoïque. »
Nightingale a expliqué : « Les filtres de contenu générant des images de ChatGPT ont complètement échoué, me révélant le côté très sombre de ce qui se cache derrière. Bien que ce que j’ai vu soit une image ‘artificielle’, elle est liée à de vraies images et à la réalité. La femme morte que ChatGPT a générée n’est pas réelle, mais elle est basée sur une personne. Pire encore, il s’agit d’une compilation d’images de femmes assassinées. »
Pour en savoir plus sur l’IA : Le PDG affirme qu’il licenciera tout employé qui lui enverra plus de contenu inapproprié sur l’IA.
## FAQ
### Qu’est-ce que ChatGPT ?
ChatGPT est un modèle d’intelligence artificielle développé par OpenAI, capable de comprendre et de générer du texte, mais qui peut générer du contenu inapproprié s’il n’est pas correctement encadré.
### Quels sont les risques associés aux modèles d’IA ?
Les modèles d’IA peuvent être manipulés pour produire des contenus inappropriés ou nuisibles, mettant en avant les enjeux liés à la sécurité et à l’éthique dans le développement de ces technologies.
### Que fait OpenAI pour améliorer la sécurité de ses modèles ?
OpenAI déploie des mises à jour et des protocoles de sécurité pour limiter la génération de contenus inappropriés et protéger les utilisateurs de possibles abus.
### Quels types de contenu problématique peuvent être créés par les IA ?
Les IA peuvent générer des images ou des textes violents, sexuels ou diffamatoires, soulignant la nécessité d’une supervision et d’une régulation rigoureuse.
### Comment les utilisateurs peuvent-ils contribuer à la sécurité des IA ?
Les utilisateurs peuvent signaler les comportements inappropriés et utiliser des prompts conformes aux normes de sécurité pour minimiser les risques de création de contenu nuisible.
