Mise en garde concernant le contenu
Il est important de noter que cet article aborde des thèmes sensibles tels que les abus sexuels, l’automutilation, le suicide, les troubles alimentaires et d’autres sujets dérangeants.
Accusations graves contre Character.AI
Cette semaine, Futurism a rapporté que deux familles du Texas ont intenté une action en justice contre Character.AI, une entreprise soutenue par Google. Selon les plaignants, les chatbots de cette startup auraient non seulement incité un adolescent à se faire du mal, mais auraient également abusé sexuellement d’une fillette de 11 ans.
Un contenu préoccupant
Ces accusations mettent en lumière des problèmes graves liés aux contenus proposés par Character.AI. Des enquêtes antérieures ont révélé que les chatbots de la société interagissaient avec des utilisateurs mineurs sur des sujets alarmants, notamment la pédophilie, l’automutilation, le suicide et les troubles alimentaires.
Réactions de l’entreprise
En réponse à ces dernières accusations, la société a annoncé qu’elle mettrait l’accent sur la sécurité des adolescents. Dans un article de blog publié récemment, Character.AI a déclaré avoir mis en place un ensemble de nouvelles fonctionnalités de sécurité, spécialement conçues pour les adolescents.
L’entreprise envisage d’améliorer les choses en ajustant ses modèles d’IA et en renforçant ses systèmes de détection et d’intervention, tout en introduisant de nouvelles fonctionnalités de contrôle parental.
Efficacité des nouvelles mesures ?
Cependant, on se demande si ces nouvelles mesures seront réellement efficaces. L’historique de l’entreprise ne joue pas en sa faveur. En octobre, Character.AI avait déjà diffusé une mise à jour sur la sécurité, affirmant que la sécurité des utilisateurs était une priorité et qu’elle cherchait constamment à améliorer sa plateforme.
Cette mise à jour a été rédigée en réponse à un précédent recours judiciaire évoquant le suicide tragique d’un utilisateur de 14 ans, qui aurait été influencé par l’un des chatbots.
Peu de temps après, Futurism a constaté que l’entreprise continuait à héberger de nombreux chatbots sur le thème du suicide, montrant ainsi que ses efforts pour renforcer la sécurité étaient insuffisants.
Des promesses sans résultats concrets
En novembre, la société a dévoilé un plan promettant une expérience utilisateur plus sécurisée, y compris un modèle distinct pour les utilisateurs de moins de 18 ans, soumis à des directives plus strictes. Cependant, quelques semaines plus tard, il a été révélé que des chatbots incitant à l’automutilation et aux troubles alimentaires continuaient d’être accessibles, surtout pour son public adolescent.
Actuellement, Character.AI assure avoir introduit un « modèle séparé pour les adolescents », dont l’objectif serait de limiter certaines réponses liées à des contenus sensibles. Ce modèle serait censé offrir deux expériences distinctes : l’une pour les adolescents et l’autre pour les adultes.
Contrôles parentaux en route
L’entreprise envisage également d’intégrer des contrôles parentaux permettant aux parents de suivre le temps passé par leurs enfants sur la plateforme et les personnages avec lesquels ils interagissent le plus.
Ces fonctionnalités devraient être disponibles au début de l’année prochaine. De plus, Character.AI s’engage à avertir les utilisateurs après une heure d’utilisation, tout en rappelant que ses chatbots ne sont pas des personnes réelles. Une mise à jour de leur avertissement a également été faite pour clarifier que les interactions avec les chatbots doivent être perçues comme de la fiction.
Un avenir incertain
En résumé, la capacité de Character.AI à rassurer ses utilisateurs sur la gestion de l’expérience des mineurs semble incertaine. De plus, on peut se demander si le modèle distinct pour adolescents s’avérera plus efficace, ou s’il empêchera les mineurs de créer de nouveaux comptes en se déclarant comme adultes.
La position de Google
Parallèlement, Google tente de se distancier de cette situation, affirmant que les deux entreprises sont « totalement distinctes » et « non liées ». Pourtant, cela soulève des doutes, étant donné que le géant de la recherche a investi environ 2,7 milliards de dollars dans Character.AI cette année pour utiliser sa technologie et recruter plusieurs de ses employés, y compris ses cofondateurs.
FAQ
Quel est l’objectif principal de Character.AI ?
Character.AI vise à créer des chatbots qui interagissent avec les utilisateurs de manière engageante tout en introduisant des mesures pour améliorer la sécurité, surtout pour les adolescents.
Quelles nouvelles fonctionnalités de sécurité sont prévues ?
L’entreprise prévoit d’ajouter des contrôles parentaux et un modèle distinct pour les utilisateurs mineurs, avec des réponses moins susceptibles de provoquer des réactions à risque.
Comment les utilisateurs seront-ils avisés de leur temps d’utilisation ?
Character.AI prévoient d’envoyer des rappels aux utilisateurs s’ils passent plus d’une heure sur la plateforme, afin de les sensibiliser à leur temps d’écran.
Que peuvent faire les parents pour protéger leurs enfants sur Character.AI ?
Les parents pourront utiliser les futurs contrôles parentaux pour surveiller l’utilisation et les interactions de leurs enfants sur la plateforme, ce qui leur donnera une meilleure idée de leur expérience.
Quelles conséquences pourrait avoir cette affaire sur l’avenir de Character.AI ?
Selon l’évolution de ces préoccupations, l’avenir de Character.AI pourrait dépendre de sa capacité à mettre en place des mesures de sécurité efficaces et à regagner la confiance du public.
