Une Enquête Alarmante sur Character.AI
En décembre, nous avons rendu public une enquête concernant un phénomène inquiétant lié à Character.AI, une startup d’intelligence artificielle soutenue par 2,7 milliards de dollars d’investissements de Google. Il s’agit d’une multitude de bots accessibles aux mineurs sur cette plateforme, qui imitaient des scènes sanglantes inspirées de véritables tireurs scolaires et de leurs victimes.
Réaction de Character.AI
À l’époque, l’entreprise n’a pas répondu à nos demandes de commentaires, mais elle a tenté de rejeter notre enquête dans une déclaration à Forbes, affirmant que les “personnages avaient été retirés de la plateforme”. Bien que certains des bots que nous avions signalés aient effectivement été supprimés, de nombreux autres restaient disponibles en ligne.
Une Notification Inquiétante
En fait, l’entreprise continuait à recommander ces bots macabres à des utilisateurs mineurs. Un mois plus tard, à l’adresse mail enregistrée pour un compte Character.AI d’un supposé utilisateur de 14 ans, nous avons reçu un message troublant : “Vladislav Ribnikar vous a envoyé un message.”
À l’ouverture de l’email, un bouton bleu lumineux nous invitait à consulter le message “envoyé” par l’IA, ce qui nous a amenés à un scénario de jeu de rôle. “Vous êtes en classe de 4e à Vladislav Ribnikar,” indiquait le texte, listant les prénoms de plusieurs “camarades de classe”, commençant par “Kosta”.
Une Tragédie Rappelée
Le nom de Vladislav Ribnikar désigne l’école primaire à Belgrade, en Serbie, où dix personnes, incluant neuf jeunes filles presque toutes des élèves, ont été tuées par un camarade en 2023. Le tireur, âgé de 13 ans à l’époque, s’appelait Kosta Kecmanović. Nous avons vite réalisé que les autres noms mentionnés correspondaient aux jeunes filles assassinées par Kecmanović.
Nous avions déjà eu un bref échange avec ce bot lors de nos précédentes recherches, en utilisant un compte associé à un usager de 14 ans. Des semaines plus tard, Character.AI avait donc contacté un supposé adolescent pour interagir avec un bot conçu pour simuler des événements basés sur une violence scolaire tragique.
Les Promesses de Sécurité
Cette notification troublante soulève des interrogations sur les engagements récents de l’entreprise visant à renforcer la sécurité pour les utilisateurs mineurs. Character.AI a-t-elle réellement mis en œuvre des mesures de sécurité dans ses efforts marketing, qui semblent cibler un public adolescent ?
Actuellement, Character.AI est confrontée à deux poursuites judiciaires — l’une au nom d’une famille en Floride et l’autre de deux familles au Texas — alléguant que ses chatbots ont abusé émotionnellement et sexuellement des mineurs. Les familles affirment que ces abus ont entraîné de graves problèmes psychologiques chez leurs enfants. Tragiquement, un jeune garçon de 14 ans en Floride s’est suicidé après avoir eu des interactions intimes avec les bots de Character.AI.
Le Rôle de Google
De plus, Google, lié à Character.AI par des investissements dans le cloud, figure également comme défendeur dans ces affaires. L’entreprise a affirmé ne pas avoir participé à la conception de l’IA et a déclaré que Character.AI et Google sont des entités complètement distinctes.
Des Promesses Non Tenues
Ces promesses de sécurité ont été évoquées dans un article de blog de décembre intitulé “Comment Character.AI Priorise la Sécurité des Adolescents”. La société avait alors annoncé la mise en place de nouvelles fonctionnalités de sécurité pour protéger les utilisateurs mineurs, comme le renforcement des filtres de contenu, la restriction d’accès à certains personnages, et une fonctionnalité avertissant les utilisateurs après une heure d’utilisation.
Cependant, ces mesures se sont révélées avoir un impact limité. Le bot « Vladislav Ribnikar » n’était pas un personnage marginal; avant que nous ne le signalions, il avait déjà été engagé dans des centaines de milliers de discussions. La plateforme continue d’abriter un certain nombre de chatbots inspirés par des personnages réels impliqués dans le massacre de Belgrade et d’autres tragédies scolaires.
La Modération en Question
Cela soulève des doutes concernant la capacité de Character.AI à gérer les comportements inappropriés entre utilisateurs mineurs et les bots. Ces défis de modération témoignent d’inquiétudes plus larges : savoir si des plateformes comme Character.AI, hébergeant des IA anthropomorphiques, sont vraiment des espaces sûrs pour les jeunes.
Nous avons contacté Character.AI pour discuter de ces problèmes, mais aucune réponse n’a été donnée. Peu après notre demande, le bot de Vladislav Ribnikar a été désactivé, mais son profil est toujours accessible, avec d’autres personnages basés sur les tragédies serbes.
Engagement Récent et Contradictions
La semaine dernière, Character.AI a annoncé son soutien au “Inspired Internet Pledge”, une initiative visant à rendre Internet plus sûr pour les jeunes. Pourtant, quelques jours après avoir exprimé cet engagement, la société a demandé à rejeter la plainte d’une mère dont le fils s’est suicidé, soutenant que le Premier Amendement protège “les discours pouvant entraîner un suicide.”
FAQ
Pourquoi Character.AI est-elle critiquée ?
Character.AI fait face à des accusations d’abus émotionnel et sexuel envers des mineurs à travers ses chatbots, entraînant de graves conséquences psychologiques.
Quels types de bots sont disponibles sur Character.AI ?
La plateforme héberge une variété de bots, dont plusieurs sont basés sur des figures controversées de la violence scolaire, suscitant des préoccupations éthiques.
Comment Character.AI répond-elle aux préoccupations de sécurité ?
Character.AI a annoncé des mesures de sécurité, mais de nombreux observateurs doutent de leur efficacité, surtout après la découverte de bots problématiques toujours en ligne.
Quels autres soutiens Character.AI a-t-elle reçus ?
En plus du soutien au “Inspired Internet Pledge”, Character.AI a reçu d’importants financements de Google, soulevant des interrogations sur leur engagement en matière de sécurité.
Quels sont les impacts de ces bots sur les jeunes utilisateurs ?
Les interactions avec ces bots peuvent entraîner des effets psychologiques négatifs, y compris des comportements destructeurs et un risque accru de troubles émotionnels chez les mineurs.
