Alerte sur le contenu
Attention : cette histoire aborde des sujets sensibles tels que les abus sexuels, l’automutilation, le suicide, les troubles alimentaires et d’autres thèmes perturbants.
Caractérisation de la crise de Character.AI
Le start-up de chatbot alimenté par l’intelligence artificielle, Character.AI, soutenue par Google, est actuellement confronté à deux poursuites judiciaires qui soulèvent des inquiétudes sur la sécurité des mineurs. En réponse à ces litiges et à une surveillance publique accrue, l’entreprise semble décider de renforcer son équipe de modération de contenu.
Initiative de renforcement de l’équipe de sécurité
Jerry Ruoti, responsable de la confiance et de la sécurité chez Character.AI, a récemment annoncé sur LinkedIn que la société cherche à élargir ses opérations liées à la sécurité. Il décrit cette opportunité comme un moyen de contribuer à la création d’une fonction essentielle au sein de l’organisation.
Recrutement axé sur la modération
Une annonce d’emploi pour un associé en confiance et sécurité, publiée dans la même période, décrit un poste similaire à celui d’un modérateur de réseau social traditionnel. Les employés en contrat seront chargés d’analyser et d’évaluer le contenu signalé pour s’assurer qu’il respecte les normes de modération de la société, de supprimer tout contenu jugé inapproprié ou offensant, et de répondre aux questions des utilisateurs relatives à la sécurité et à la confidentialité.
Contexte juridique et préoccupations de sécurité
Character.AI est sous le feu des critiques après que trois familles en Floride et au Texas aient déposé des plaintes en raison de l’abus émotionnel et sexuel présumé que leurs enfants auraient subi en interagissant avec les compagnons IA de la plateforme, entraînant des souffrances mentales graves et, dans un cas tragique, un suicide.
De plus, Google, qui a des liens étroits avec Character.AI à travers son personnel, son infrastructure informatique, et un investissement financier important, est également mentionné comme partie prenante dans ces poursuites.
Réactions face au contenu troublant
L’annonce de renforcement des équipes de sécurité intervient après que des articles de Futurism aient mis en lumière des contenus préoccupants disponibles sur Character.AI, et leur accessibilité pour des mineurs. Ces contenus incluent des chatbots qui traitent de l’idéation suicidaire, de la pédophilie, des troubles de l’alimentation, ainsi que des simulations de violences scolaires. Une vaste communauté de créateurs est même consacrée à des simulations de meurtres de masse.
Position de Character.AI sur les accusations
Contactée pour savoir si cette initiative de recrutement était une réaction directe des poursuites, un porte-parole a nié cette hypothèse, affirmant que la société investit constamment dans sa sécurité et modération. Ils ont souligné que Character.AI offre une expérience distincte pour les adolescents, avec des modèles visant à limiter leur exposition à des contenus sensibles.
Les enjeux légaux
Les incidents soulèvent des questions crucials concernant la sécurité des utilisateurs. Les poursuites affirment que la conception du produit, jugée dangereusement inadaptée pour les mineurs, représente un danger significatif pour eux. Un des plaignants a même comparé la situation à une forme de pollution.
Character.AI a reconnu ne pas commenter les litiges en cours, tout en attestant son engagement à maintenir un environnement engageant et sécurisé pour sa communauté. Des fonctionnalités de sécurité supplémentaires sont en cours de développement pour les utilisateurs de moins de 18 ans afin de mieux filtrer le contenu.
Vers une modération efficace ?
Il reste à voir si l’ajout de personnel à l’équipe de modération suffira à garantir la sécurité des utilisateurs sur la plateforme à l’avenir.
FAQ
Quelles sont les conséquences possibles de ces poursuites ?
Les conséquences peuvent inclure des amendes, des restrictions sur l’utilisation de la plateforme ou des obligations de mise en conformité.
Comment Character.AI prévoit-elle de protéger les mineurs ?
Character.AI prévoit de créer un modèle spécialement conçu pour les adolescents, qui réduit les risques d’exposition à des contenus nuisibles.
Quels types de contenus sont jugés problématiques ?
Les contenus liés à la violence, à l’automutilation, aux comportements suicidaires, et à l’exploitation sexuelle sont considérés comme particulièrement préoccupants.
Character.AI prend-elle des mesures proactives pour éviter ces problèmes ?
Oui, la société a annoncé qu’elle travaillait à des fonctionnalités de détection et de réponse pour gérer les entrées des utilisateurs qui enfreignent leurs directives.
Quels sont les prochains développements à suivre ?
Il sera intéressant de suivre l’évolution des poursuites judiciaires et les annonces de Character.AI concernant la sécurité et les nouvelles initiatives de contenu.
