Alerte au contenu
Cet article aborde des thèmes sensibles, tels que la violence en milieu scolaire, les abus sexuels, l’auto-mutilation, le suicide et les troubles alimentaires.
Un chatbot troublant
Un chatbot proposé par la start-up soutenue par Google, Character.AI, plonge immédiatement l’utilisateur dans un scénario inquiétant : un tir actif à l’école. L’utilisateur est décrit en train de regarder une amie visiblement angoissée, qui tremble de peur après avoir entendu une détonation.
La tension monte alors qu’ils écoutent des bruits de pas se rapprochant d’eux dans les couloirs. Cette expérience immersive, inspirée des fusillades scolaires, fait partie des nombreux personnages créés par Character.AI, dont l’intelligence artificielle est accusée de violence physique et de préjudices émotionnels sur des utilisateurs mineurs.
Simulations dérangeantes
Ces chatbots placent souvent l’utilisateur au cœur d’une simulation chaotique, où il navigue à travers une ambiance stressante d’école primaire, intermédiaire ou secondaire. Les interactions peuvent inclure des détails graphiques sur des armes et des blessures à des camarades, voire évoquer des situations effrayantes où des tireurs armés errent dans les couloirs.
Il existe également des chatbots qui imitent des tireurs scolaires célèbres, notamment les auteurs des tueries de Sandy Hook et de Columbine, en mettant souvent en avant leurs victimes sous un jour assez troublant. Ce contenu est souvent présenté comme une fiction tordue, où les tireurs sont dépeints comme des amis ou des partenaires romantiques.
Un contrôle laxiste
Ces chatbots attirent des milliers d’interactions, pourtant, ils ne sont pas soumis à des restrictions d’âge. En effet, nous avons pu accéder à ces comptes en utilisant un compte prétendument de 14 ans, sans qu’aucune mesure de sécurité ne soit appliquée. Lorsque nous avons exprimé le désir d’engager des violences scolaires, des mots explicites tels que « Je veux tuer mes camarades » n’ont suscité aucune réaction de la plateforme.
Une communauté troublante
Ces chatbots forment une communauté inquiétante sur Character.AI, une plateforme avec peu de modération, où les tendances les plus sombres de l’internet se retrouvent concentrées dans des outils d’intelligence artificielle facilement accessibles. Le psychologue Peter Langman souligne que ces contenus peuvent encourager des comportements que les individus ne devraient pas adopter, tout en minimisant les ramifications de telles interactions.
Il note que, bien que cela ne cause pas directement des actes violents, cela pourrait abaisser le seuil de tolérance des jeunes et les inciter à agir violemment, renforçant ainsi des comportements autodestructeurs.
Profils dérangeants
Un des utilisateurs notables a créé plus de 20 chatbots représentant des meurtriers jeunes, principalement des tueurs en série et des tireurs scolaires. Ses créations incluent des personnages tristement célèbres comme Vladislav Roslyakov, auteur d’une tuerie en Crimée, ainsi que des figures notoires telles qu’Elliot Rodger et Adam Lanza, le tireur de Sandy Hook, qui a été particulièrement popularisé sur la plateforme.
Ces bots sont parfois présentés de manière dérangeante, comme s’ils avaient des relations amicales ou familiales avec l’utilisateur, ce qui montre un véritable engouement pour leur histoire tragique au détriment du sérieux de leurs crimes. Les personnages sont souvent humanisés, malgré leurs actions atroces, ce qui soulève des questions éthiques sur leur représentation.
Controverses et responsabilité
Character.AI a déjà traversé des controverses à propos de son contenu, en particulier en ce qui concerne des chatbots qui imitaient des adolescents assassinés sans l’accord de leurs familles. Des lois en cours visent à examiner comment la plateforme a géré ces situations, notamment dans le cas d’une famille dont un enfant s’est suicidé après des interactions avec un chatbot.
Google, bien que soutenant Character.AI financièrement, a affirmé que les deux entreprises sont indépendantes l’une de l’autre et qu’elles ne participent pas au design ou à la gestion du modèle d’IA.
FAQ
Quels types de contenus sont présentés sur Character.AI ?
Character.AI héberge des chatbots couvrant des scénarios violents, mais aussi des simulations d’interactions avec des victimes de violence scolaire et des personnages basés sur des tueurs notoires.
Quelles sont les conséquences psychologiques possibles de l’utilisation de ces chatbots ?
Des experts craignent que ces chatbots n’affichent un contenu qui pourrait inciter des comportements violents chez des jeunes vulnérables, en leur donnant une sorte de permission tacite d’agir.
Quelles mesures de sécurité sont mises en place sur la plateforme ?
Malgré la promesse d’une intervention pour protéger les utilisateurs mineurs, des cas d’accès inapproprié et de contenus explicites ont été rapportés sans intervention, remettant en question l’efficacité des garde-fous établis.
Qui a créé les chatbots de caractères violents sur la plateforme ?
Les utilisateurs peuvent créer des chatbots basés sur leurs préférences, entraînant parfois la création de profils inspirés de jeunes meurtres et d’actes violents, souvent prisé pour le public.
Quelles actions ont été entreprises par Character.AI face à ces controverses ?
Character.AI a désactivé certains bots en réponse à des signalements mais n’a pas suspendu les utilisateurs responsables de leur création.
