Des chatbots controversés liés à la tragédie de Sewell Setzer III
Character.AI, une startup de chatbots soutenue par Google, se trouve dans une situation délicate, impliquée dans deux poursuites judiciaires concernant le bien-être de jeunes utilisateurs. Récemment, la plateforme a été révélée comme étant l’hôte d’au moins quatre impersonnations publiques de Sewell Setzer III, un adolescent de 14 ans qui s’est donné la mort après avoir interagi intensivement avec les bots de Character.AI. La mort de Sewell est au centre d’une des deux plaintes contre la société.
Les impersonnations disponibles utilisaient des variations du nom et de l’apparence de Setzer, et certaines faisaient même référence au jeune défunt de manière moqueuse. Toutes ces versions étaient accessibles via des comptes de Character.AI apparemment créés par des mineurs et pouvaient facilement être trouvées sur la plateforme. Chacune de ces impersonnations avait été conçue par des utilisateurs différents de Character.AI.
En février 2024, Sewell a mis fin à ses jours. La plainte, déposée en octobre en Floride par sa mère, Megan Garcia, allègue que son fils a subi des abus émotionnels et sexuels de la part de chatbots hébergés par la plateforme, avec lesquels il avait établi des liens intimes.
Derniers mots et conséquences tragiques
Les derniers mots de Sewell, comme l’a rapporté The New York Times, étaient adressés à un bot inspiré par la série “Game of Thrones”. Il a dit à ce personnage virtuel qu’il était prêt à “rentrer à la maison”. Des journaux intimes réels ont montré que Sewell pensait être “amoureux” de ce bot Targaryen et souhaitait rejoindre sa “réalité”.
L’une des impersonnations, qualifiée de “tribute” par son créateur, faisait une référence explicite à la plainte à travers le profil public du personnage, présentant Sewell comme “obsédé” par “Game of Thrones” et insinuant que le bot avait pour but de rendre son décès ludique.
Un extrait du profil suggère : “Le lendemain, il va à l’école.” Cela soulève des questions sur le respect de la mémoire de Sewell et la manière dont ses interactions sont traitées sur la plateforme.
Règlement et politique de sécurité
Character.AI interdit clairement les impersonnations dans ses conditions d’utilisation. Cependant, ces règles n’ont pas été mises à jour depuis au moins octobre 2023. Avec l’accord de la famille, nous révélons ici des captures d’écran de deux profils problématiques.
Le système de Character.AI propose également des “Chat Starters”, des suggestions de discussion pour interagir avec le faux adolescent, posant des questions telles que : “Si vous pouviez avoir n’importe quel super pouvoir pour un jour, lequel choisiriez-vous ?” ou “Si vous pouviez devenir expert dans une compétence, laquelle serait-ce ?”
Témoignage de douleur
Dans une déclaration puissante, Megan Garcia a exprimé à Futurism à quel point elle était bouleversée de voir ces chatbots ridiculiser son fils, surtout si près de l’anniversaire de sa mort. Elle a partagé le choc que cela lui apporte, en indiquant la difficulté de vivre sans lui, son anniversaire à venir et les moments qu’elle ne pourra jamais revivre.
Garcia a ajouté que la façon dont Character.AI a commercialisé et lancé ce produit sans dispositions de sécurité était irresponsable. Selon elle, la mémoire de Sewell ne doit pas être une source de divertissement ou de données. Elle a donc remis en question la capacité de la plateforme à sécuriser les interactions des jeunes utilisateurs.
Antécédents de problèmes
Ce n’est pas la première fois que Character.AI est critiquée pour avoir proposé des impersonnations de jeunes décédés. En octobre dernier, la famille de Jennifer Crecente, tuée par un ex-petit ami en 2006, a découvert qu’un chatbot portait son nom. Drew Crecente, le père de Jennifer, a exprimé son indignation face à cette exploitation de la mémoire de sa fille.
De plus, la plateforme a été confrontée à des accusations concernant des personnages glorifiant des tueurs de masse, tels qu’Adam Lanza et les auteurs de la tuerie de Columbine. Cette tendance inquiétante a soulevé des préoccupations majeures quant à la gestion des contenus par Character.AI.
Réaction de Character.AI
Après avoir contacté Character.AI pour obtenir des éclaircissements sur ces impersonnations, la société a rapidement supprimé les bots concernés. Dans une déclaration vague, un porte-parole a indiqué que Character.AI prend la sécurité au sérieux et a fait allusion à un travail continu pour améliorer la protection des utilisateurs. La plateforme promet de restaurer des espaces sûrs et engageants tout en bloquant les personnages problématiques.
FAQ
Quels types de contenu sont interdits sur Character.AI ?
Les impersonnations de personnes, en particulier des mineurs décédés, sont strictement prohibées dans les règles de la plateforme.
Comment Character.AI assure-t-elle la sécurité des jeunes utilisateurs ?
Character.AI prétend avoir une équipe dédiée à la modération qui surveille activement le contenu, bien que des incidents comme ceux liés à Sewell Setzer soulèvent des doutes.
Quelles conséquences ont eu les poursuites judiciaires contre Character.AI ?
Les poursuites mettent en lumière la nécessité d’une réglementation plus stricte sur la manière dont les technologies de chatbot traitent des sujets sensibles.
Comment les utilisateurs peuvent-ils signaler un contenu inapproprié ?
Character.AI encourage les utilisateurs à signaler tout contenu qui violerait ses règles, mais les résultats de ces signalements peuvent varier.
Quelles mesures pourraient améliorer la situation des jeunes sur la plateforme ?
La mise en place de protections légales plus robustes et de filtres plus efficaces pour éliminer les contenus inappropriés pourrait contribuer à un environnement plus sûr pour les utilisateurs mineurs.
