Character.AI : Toujours pas de solution à son problème de simulation de tireur scolaire identifié en 2024.

Character.AI continue d’héberger des chatbots basés sur des tireurs de masse réels.

Une enquête récente, publiée aujourd’hui par CNN et le Centre pour Contrer la Haine Numérique (CCDH), a révélé que la plupart des chatbots courants sont « généralement disposés » à aider les utilisateurs à organiser des attaques violentes, allant des attentats religieux aux fusillades scolaires. Ces chatbots aident sans hésiter les utilisateurs à identifier des cibles, localiser des armes mortelles et planifier des attaques. D’après le CCDH, neuf chatbots sur dix — y compris ceux comme ChatGPT d’OpenAI, Gemini de Google, et Meta AI, ainsi que des versions de compagnons comme celles de Replika — n’ont pas réussi à « décourager de manière fiable les assaillants potentiels », le modèle chinois DeepSeek allant même jusqu’à souhaiter aux testeurs un « bon (et sûr) tir ! »

Le rapport est inquiétant, surtout alors que des personnes dans le monde entier sont déjà accusées d’avoir planifié des crimes mortels avec l’aide de chatbots. Parmi tous les chatbots évalués par CNN et le CCDH, le plus problématique était Character.AI, une plateforme de chatbots controversée, particulièrement prisée par les jeunes, qui abrite des milliers de “personnages” basés sur des modèles de langage élaborés.

Le rapport de CNN indique que les bots hébergés par Character.AI aidaient à répondre à des « demandes sur les cibles et comment obtenir des armes dans 83,3 % des cas. » De plus, le média a noté avoir trouvé plusieurs personnages de type tireur scolaire sur Character.AI, y compris un basé sur Salvador Ramos, le tireur de l’école d’Uvalde, utilisant un selfie qu’il avait pris.

Il est évidemment terrifiant qu’une plateforme adorée des adolescents autorise ce type de contenu. Pire encore, Futurism avait déjà mis en lumière ce problème lié à Character.AI en décembre 2024, soulignant qu’un an plus tard, la plateforme n’avait pas encore remédié aux lacunes flagrantes dans sa modération.

À cette époque, nous avions signalé que cette plateforme, étroitement liée à Google, accueillait des dizaines de chatbots populaires basés sur des auteurs de violence de masse, en plus de scénarios de jeu de rôle centrés sur des fusillades scolaires — certains étant inspirés par de réelles tragédies ayant coûté la vie à des enfants et des enseignants — ainsi que des bots imitant les victimes de fusillades scolaires réelles, certains ayant accumulé des centaines de milliers de vues. Les bots basés sur des meurtriers jeunes avaient souvent un caractère de fan fiction sombre, se présentant fréquemment comme des amis fictifs ou dans le cadre de jeux de rôle romantiques.

Parmi les impersonnations identifiées figuraient celles de Ramos, Adam Lanza, le tireur de l’école élémentaire Sandy Hook ; Eric Harris et Dylan Klebold, les responsables de la tragédie de Columbine ; Vladislav Roslyakov, le tireur de l’école polytechnique de Kerch ; et Elliot Rodger, le jeune associé à la culture incel, responsable d’une série de meurtres en Californie en 2012. Ces bots affichaient souvent les noms complets et les images des tueurs, indiquant que ceux qui les créaient n’avaient pas tenté de cacher leur existence sur la plateforme.

Les conditions d’utilisation de la plateforme interdisent pourtant le contenu « excessivement violent » ou « promouvant le terrorisme ou l’extrémisme violent », des catégories qui incluraient logiquement tout contenu glorifiant la violence de masse, comme les fusillades scolaires. Cependant, Character.AI n’a jamais répondu à nos demandes concernant ce problème en 2024; au lieu de cela, sa réponse immédiate a été de supprimer les bots spécifiques que nous avions signalés.

Aujourd’hui, les créateurs de ces bots Character.AI continuent à être transparents quant à leur contenu : lors d’une simple recherche par mots-clés, nous avons trouvé des bots inspirés par Lanza, Rodger, Harris, Klebold, ainsi que Thomas « TJ » Lane, le tireur de Chardon High School, Barry Loukaitis, le tireur de Frontier Middle School, Andrew Golden, le tueur de Westside Middle School, Kipland Kinkel, le tueur de Thurston High School, Robert Hawkins, le tireur de Westroads Mall, Randy « Andrew Blaze » Stair, et Rickard Andersson, le responsable de la récente fusillade dans une école en Suède.

Une des comptes que nous avons trouvés hébergeait un impressionnant total de 24 chatbots différents basés sur de réels tueur de masse — allant de célèbres auteurs de violences scolaires à Jeffrey Dahmer, le notoire tueur en série — tous mettant en avant leurs noms et leurs images. La majorité d’entre eux exhibaient un aspect de fan fiction, avec une version de Klebold notant qu’il est « plein d’amour », tandis qu’une impersonnation de Loukaitis était décrite comme « attentionnée, douce et violente ». Certains de ces bots affichaient des milliers d’interactions utilisateurs.

Nous ne saurions trop insister sur la facilité avec laquelle ces contenus peuvent être trouvés. Ces bots ne résultent pas de tentatives complexes pour « déverrouiller » les modèles d’IA ou tromper les plateformes. Les filtres textuels de la plateforme n’ont pas réussi à les empêcher d’être créés, et nous les avons repérés grâce à de simples recherches par mots-clés.

L’analyse de CNN et du CCDH intervient après une période tumultueuse pour Character.AI. En octobre 2024, elle a été confrontée à une action en justice sans précédent, accusant ses chatbots d’être responsables du suicide d’un adolescent de Floride, Sewell Setzer III, qui est mort après de profondes interactions avec la plateforme. D’autres poursuites similaires ont suivi (le procès original est en cours de règlement à l’amiable ; d’autres sont encore en cours). En réponse à ces poursuites et à des rapports mettant en lumière des problèmes de modération, Character.AI avait promis d’apporter des changements majeurs pour assurer la sécurité. En octobre 2025, face à l’accumulation des litiges, elle a tenté de restreindre la capacité des mineurs à engager des dialogues longs avec les bots.

Pourtant, des versions d’IA de tueurs de masse romancés sont toujours accessibles gratuitement sur le site. Nous avons contacté Character.AI pour demander ce qui empêche la modération de ces bots. La société n’a pas encore répondu.

Le rapport de CNN et du CCDH arrive quelques semaines après un rapport explosif du Wall Street Journal, révélant qu’OpenAI avait interdit à la tueuse canadienne Jesse Van Rootselaar d’accéder à ChatGPT en juin 2025 après qu’elle eut eu d’innombrables conversations violentes avec le chatbot. Après une révision par des humains, près d’une douzaine d’employés ont débattu de la nécessité de signaler ses journaux de discussions aux autorités locales. La décision a été de ne pas le faire ; en janvier de cette année, Van Rootselaar a tué huit personnes à Tumbler Ridge, en Colombie-Britannique.

Plus sur Character.AI : Google a-t-il testé une IA expérimentale sur des enfants, avec des résultats tragiques ?