Plongée dans Character.AI : une enquête révélatrice sur sa chute tragique

En octobre 2024, comme l’a d’abord rapporté The New York Times, une mère en Floride, Megan Garcia, a intenté une action en justice sans précédent accusant la startup de chatbot Character.AI d’avoir causé la mort de son fils de 14 ans, Sewell Setzer III. Ce dernier s’est suicidé en avril 2024 après avoir passé des mois à interagir avec des chatbots sur la plateforme. Le procès de Garcia a également ciblé les cofondateurs de Character.AI, Noam Shazeer et Daniel de Freitas, ainsi que le soutien financier de Google, affirmant que les interactions constituaient une forme de manipulation et d’abus sexuel, entraînant le déclin mental et la mort de son fils.

La semaine dernière, presque deux ans après ces événements, Character.AI — soutenue par d’importants investisseurs comme a16z, et alors valorisée à plus d’un milliard de dollars — a annoncé avoir déposé le bilan selon le Chapitre 11. Ceux qui avaient suivi l’évolution de la plateforme n’ont pas été surpris par cette nouvelle.

Dès ses débuts, Character.AI a conquis un large public jeune. Cependant, il est vite devenu évident que de nombreux chatbots proposés étaient inappropriés, voire dangereux, sur une plateforme qui prétendait être sécurisée pour les utilisateurs à partir de 13 ans.

Peu après la plainte de Garcia, il a été révélé que Character.AI hébergeait de nombreux chatbots dédiés au thème du suicide. Bien qu’ils affichent des biographies affirmant leur compétence en matière de « prévention du suicide » et de « soutien en santé mentale », il a été observé qu’ils encourageaient en réalité des jeux de rôle idéalisant des scénarios suicidaires. En outre, les mesures de sécurité pour avertir les utilisateurs sur ce type de contenu s’avéraient défaillantes, un exemple étant un chatbot qui décourageait le recours à une ligne d’aide au suicide.

Les chatbots sur le suicide n’étaient que la partie visible de l’iceberg. Au fur et à mesure de nos observations, il est devenu clair que les pratiques de modération de contenu étaient gravement défaillantes, reflétant une approche réactionnaire de la sécurité de l’entreprise.

De plus, nous avons découvert plusieurs chatbots explicitement dédiés à la pédophilie, engageant des utilisateurs mineurs dans des jeux de rôle romantiques et sexuels qui privilégiaient des scénarios d’abus. Parmi ces personnages, il y avait un prêtre, un « meilleur ami » de père, et un chatbot nommé « Anderley », décrit comme ayant des « tendances pédophiles » et des « sympathies nazies ». Il était évident que Character.AI ne disposait d’aucun filtre de texte pour empêcher la création de tels chatbots.

Des chatbots consacrés à l’automutilation étaient également présents, impliquant les utilisateurs dans des jeux de rôle graphiques illustrant des actes extrêmes de déformation corporelle, souvent centrés sur des adolescents, dans des contextes scolaires.

Cependant, ce qui était particulièrement choquant, c’était la présence de chatbots dédiés à la violence de masse. Ces personnages simulaient des fusillades scolaires réelles, se faisant passer pour des tireurs et, dans certains cas, pour les véritables victimes de massacres. Ces bots étaient faciles d’accès et avaient souvent accumulé des milliers d’interactions avec les utilisateurs. À un moment, nous avons même reçu une notification sur un compte lié à un utilisateur mineur, nous incitant à interagir avec un chatbot basé sur un tireur de masse réel.

Tout au long de notre enquête, nous avons utilisé des comptes prêts à usurper l’identité d’adolescents, affirmant ouvertement notre âge lors des discussions. Malgré cela, nous n’avons jamais eu de difficulté à accéder aux chatbots, participant à des jeux impliquant la violence, le sexe et l’abus. Les rares interventions de la plateforme se résumaient à des fenêtres d’avertissement facilement contournables. Nous avons demandé à Character.AI de rendre ses informations sur les tests de sécurité internes publiques, mais cela a été refusé. L’accès à ces chatbots préoccupants était simplissime avec des recherches basiques.

À la fin de 2024 et en 2025, plusieurs nouvelles familles ont poursuivi Character.AI, accusant les chatbots de la société de provoquer des défaillances mentales, de l’automutilation et même des suicides chez des mineurs. La société a tenté de faire rejeter les poursuites sur des bases de liberté d’expression, mais un juge a finalement écarté cet argument.

En réponse à cette vague de poursuites, Character.AI a dû apporter des changements significatifs à sa plateforme. Après avoir introduit des contrôles parentaux facilement contournables, l’entreprise a restreint les interactions des mineurs avec ses bots, se limitant à des jeux de rôle prédéfinis. De nouveaux outils de détection et de vérification d’âge ont été mis en place. Ces changements ont cependant suscité une forte opposition de la part des utilisateurs, qui accusaient la plateforme d’être trop restrictive. Plus Character.AI a tenté de réduire les risques, plus elle a affronté de critiques.

Les poursuites pour dommages et décès par négligence déposées contre Character.AI ont été réglées plus tôt cette année pour un montant non divulgué. Néanmoins, l’entreprise continuait de brûler de l’argent. Un examen de ses documents de faillite par 404 Media a montré que la startup perdait des dizaines de millions de dollars chaque mois sur les coûts informatiques, alors que son chiffre d’affaires, provenant de la publicité et d’abonnements, atteignait à peine 5,3 millions par mois. Entre les coûts informatiques, les salaires des employés et des frais juridiques considérables, la société accusait une perte d’environ « 8 à 9 millions de dollars par mois » en août 2026.

L’avenir de Character.AI reste incertain. En théorie, la plateforme pourrait être rachetée par quelqu’un désireux de la maintenir à flot. (Disney mène actuellement une offre). Il est également envisageable qu’elle soit vendue par morceaux, ce qui impliquerait que les conversations privées des utilisateurs soient vendues au plus offrant.

En 2023, Shazeer, lors d’une apparition dans le podcast « No Priors », déclarait que son objectif principal avec de Freitas était de rendre leur produit accessible au plus grand nombre. « Notre but a toujours été de créer quelque chose et de laisser les utilisateurs décider de son utilité », a-t-il déclaré. « Notre objectif est de rendre cette chose plus utile pour les gens et de leur permettre de la personnaliser. »

À son apogée, Character.AI était un véritable désastre irresponsable, se concentrant davantage sur l’adoption massive que sur la sécurité. En fin de compte, en tentant d’introduire des changements axés sur la sécurité, la plateforme a fini par aliéner ses utilisateurs et n’a pas réussi à générer des profits significatifs.

Personne ne peut dire que Character.AI n’a pas agi rapidement et sans précautions, comme le dit l’adage de la Silicon Valley. Toutefois, de nombreuses familles soutiennent que ce sont leurs enfants qui ont été brisés lors de cette précipitation. Finalement, Character.AI a également connu sa propre déchéance.

Informations complémentaires sur Character.AI : La plateforme de chatbots soutenue par Google prise en faute pour avoir hébergé des impersonifications d’un utilisateur de 14 ans décédé par suicide.