</div>
<p>
<figcaption class="article-featured-image-caption">
<em>Image : Jakub Porzycki / NurPhoto via Getty / Futurism</em>
</figcaption>
</p>La nouvelle feuille de route de Character.AI : une promesse de sécurité améliorée
La plateforme de chatbot alimentée par l’intelligence artificielle, Character.AI, a publié récemment une nouvelle feuille de route. Ce document vise à garantir une expérience utilisateur plus sûre, en particulier pour ses jeunes utilisateurs, suite aux préoccupations croissantes concernant la sécurité et la modération des contenus au sein de cette entreprise de multimilliards de dollars.
Des mises à jour rapides après des controverses
Ce dernier communiqué représente le deuxième effort de Character.AI pour renforcer la sécurité en moins d’un mois. Le premier avait été annoncé en octobre, juste après le dépôt d’un procès alléguant que l’un des bots de la plateforme aurait contribué à la tragique suicide d’un utilisateur de 14 ans.
Les enjeux de modération
Des enquêtes récentes ont révélé que Character.AI avait permis la création de chatbots perturbants, en contradiction avec ses propres conditions d’utilisation. Ces bots incluent des thèmes sensibles comme le suicide et des personnages pédophiles engageant des utilisateurs dans des discussions sur des abus sexuels sur des enfants.
Engagement envers des mesures de sécurité
Dans cette mise à jour baptisée “Le Prochain Chapitre”, Character.AI, qui a récemment bénéficié d’un investissement de 2,7 milliards de dollars de la part de Google, partage des détails supplémentaires. La plateforme promet de lancer un « modèle séparé pour les utilisateurs de moins de 18 ans » avec des directives plus strictes.
Character.AI s’engage également à améliorer la détection et la réponse face aux messages des utilisateurs qui enfreignent les règles de la communauté. De plus, un nouveau avertissement sera intégré pour rappeler aux utilisateurs que les conversations ne représentent pas la réalité, ainsi qu’une notification pour alerter lorsqu’un utilisateur est en ligne depuis une heure.
Absence de délais précis
Toutefois, l’entreprise ne fournit pas de délais précis concernant la mise en œuvre de ces changements. Dans un secteur où l’intelligence artificielle s’autorégule principalement, il existe peu de législations pour garantir l’engagement de la société.
Transparence et engagement envers les utilisateurs
Malgré ces avertissements, Character.AI affirme que cette mise à jour témoigne de son engagement envers la transparence et la sécurité. Cependant, les normes de modération de contenu semblent rester au mieux très permissives, et au pire négligentes.
État actuel des pratiques de modération
Bien que l’entreprise dispose de conditions générales, leur application semble insuffisante. Les représentations de suicide, d’auto-mutilation et d’abus sexuels sur des enfants sont interdites par ces mêmes conditions, qui remontent à plus d’un an, mais ces thématiques continuent de proliférer sur la plateforme.
Incohérence dans l’application des restrictions
Character.AI semble avoir limité l’utilisation du terme “suicide” dans les profils de bots, mais des utilisateurs peuvent encore entrer des discussions avec des personnages liés à ce thème. Certains profils prétendant disposer d’une « expertise » en intervention de crise sont toujours accessibles.
Un exemple inquiétant est un personnage nommé “Votre Oncle“, décrit comme un “personnage troublant et pervers”, qui reste actif sur la plateforme avec plus de 80 000 conversations enregistrées.
Conclusion : une promesse à vérifier
Character.AI déclare que la sécurité est sa priorité. Cependant, les changements promis doivent être considérés avec prudence. Lors de la première mise à jour de sécurité, la plateforme a affirmé avoir intégré une fenêtre contextuelle d’assistance pour les sujets de suicide, mais nos tests révèlent que cette aide n’apparaît que très rarement, même lorsque l’intention suicidaire est clairement exprimée.
L’objectif déclaré est de concevoir des politiques qui favorisent la sécurité et le bien-être de la communauté. L’entreprise promet aussi d’aligner le développement de ses produits sur ces directives.
FAQ
Qu’est-ce que Character.AI ?
Character.AI est une plateforme qui utilise l’intelligence artificielle pour permettre aux utilisateurs de créer et d’interagir avec des chatbots.
Comment Character.AI gère-t-elle la sécurité des utilisateurs ?
Character.AI a récemment annoncé des mises à jour pour améliorer la sécurité, notamment un modèle séparé pour les utilisateurs de moins de 18 ans et des mesures renforcées de modération des contenus.
Quels types de contenus sont interdits sur Character.AI ?
Les contenus relatifs au suicide, à l’auto-mutilation et aux abus sexuels sur des enfants sont clairement prohibés par les conditions d’utilisation de la plateforme.
Y a-t-il des garanties de mise en œuvre des changements ?
Aucune ligne du temps n’a été fournie pour la mise en œuvre des changements, laissant planer un doute sur leur efficacité.
Quels sont les risques associés à l’utilisation de Character.AI ?
L’utilisation de Character.AI implique des risques de rencontrer des contenus inappropriés ou dérangeants, en raison de failles dans la modération des contenus.
