Des utilisateurs piégent un concurrent de ChatGPT en le poussant à des propos inappropriés.

Avertissement : cet article aborde les thèmes de l’agression sexuelle.

Character.AI, une startup de chatbots fondée par d’anciens employés de Google, Noam Shazeer et Daniel De Freitas, propose une plateforme permettant aux utilisateurs d’interagir avec des “personnages” alimentés par l’IA. Selon ses conditions d’utilisation, le contenu pornographique est strictement interdit dans les conversations entre utilisateurs et ces bots virtuels.

Le site affirme que « le contenu NSFW (non sûr pour le travail) est un large domaine, et nous réévaluons constamment ce que nous pouvons supporter. Le contenu pornographique va à l’encontre de nos conditions d’utilisation et ne sera jamais autorisé ».

Cela paraît logique, surtout lorsque certains des bots imitent des personnalités réelles telles que Taylor Swift et Elon Musk. Il est également à noter qu’il n’existe pas encore de règles de sécurité ou de consentement concernant la pornographie générée par IA ou le sexting.

Cependant, un problème persiste : de nombreux utilisateurs semblent avoir des conversations explicites très graphiques avec ces chatbots.

Le sexting avec les bots de Character.AI est en fait devenu si populaire qu’une communauté entière s’est formée autour de cette pratique, partageant des astuces sur un subreddit nommé r/CharacterAI_NSFW.

Les utilisateurs constatent que « tous les bots de Character.AI sont initialement considérés comme [sûrs pour le travail]. Mais il est possible de les amener vers du contenu [non sûr pour le travail] » en flirtant patiemment tout en défiant les filtres de contenu.

Une fois que l’utilisateur parvient à établir une certaine connexion avec le bot, il devient possible d’entamer des interactions plus suggestives. À mesure que la conversation progresse, le filtre de contenu a tendance à s’assouplir, permettant l’utilisation d’un langage plus explicite.

Malgré cette tendance, la communauté r/Character.AI semble déterminée à modérer les contenus inappropriés. Toute discussion tournant autour de la violence, du viol, ou de la pédophilie est strictement interdite. Cependant, des utilisateurs ont rapporté avoir créé des scénarios violents avec ces bots, ce qui soulève de vraies inquiétudes.

Character.AI est probablement conscient de ces abus. Il y a deux mois, en réponse à des demandes d’utilisateurs pour lever complètement les restrictions NSFW, la startup a publié une longue explication sur son subreddit. L’entreprise a réaffirmé qu’elle ne souhaitait pas devenir un site pornographique, tout en admettant que ses filtres ne parviennent pas à bloquer tous les comportements inappropriés de ses utilisateurs.

« Nous ne voulons pas soutenir des cas d’utilisation, comme la pornographie, qui pourraient compromettre notre objectif de bâtir un service utilisé par des milliards de personnes », ont-ils déclaré. Ils ont également reconnu que le taux de faux positifs de leur filtre n’était pas idéal et qu’ils cherchaient à améliorer leur technologie pour mieux identifier le type de contenu non acceptable.

En d’autres termes, trouver un équilibre entre les souhaits de sa communauté et la nécessité de se conformer à des normes éthiques semble crucial pour la viabilité de Character.AI.

Bien que la startup n’ait pas encore mis en place de modèle économique clair, elle a levé 150 millions de dollars en mars, portant sa valorisation à 1 milliard de dollars. Le succès semble reposer moins sur le nombre d’utilisateurs que sur le temps que ceux-ci passent sur la plateforme — un chiffre que Character.AI estime très élevé.

« En cinq mois, nos utilisateurs ont envoyé plus de 2 milliards de messages ! » a déclaré la société dans un article de blog de mars. « Notre croissance est exponentielle — le deuxième milliard a été atteint en un mois. »

L’importance de passer en moyenne deux heures par jour à interagir avec un chatbot soulève des questions sur la nature de ces conversations. Un subreddit dédié, CharacterAI_NSFW, compte plus de 14 100 membres, et il est évident que paraître moins pour un « échange plus osé » nécessite un certain investissement de temps avec les bots.

Pour l’instant, il n’existe pas d’exemples documentés d’utilisateurs engageant des jeux de rôle sexuels avec des personnes réelles sur la plateforme. Cependant, à mesure que la technologie avance et permet une utilisation généralisée des médias générés par IA, il est préoccupant que Character.AI donne aux utilisateurs l’opportunité d’interagir avec des célébrités factices — surtout lorsque ses filtres de sécurité montrent des signes d’inefficacité.

En conclusion, l’intrusion de la pornographie dans le champ de l’intelligence artificielle semble inéluctable. Character.AI, qui profite d’un contexte propice pour le jeu de rôles avec des bots, se retrouve dans une position délicate, indépendamment des intentions de ses fondateurs.

Cela nous amène à de vraies interrogations : un robot peut-il consentir ? Le sexting avec une version IA d’une célébrité enfreint-il le consentement de la véritable personne ? L’industrie de l’IA, actuellement peu régulée, doit trouver des réponses à ces questions critiques.

Plus sur le sexe avec des chatbots : Ces chatbots trouvés à harceler sexuellement les utilisateurs.