Un drame familial face à l’exploitation numérique
Récemment, un utilisateur a créé, sur la plateforme Character.AI, un chatbot représentant une adolescente assassinée il y a presque vingt ans. Cette démarche a provoqué une vague d’indignation lorsque le père de la jeune fille a découvert que le nom et l’apparence de sa fille avaient été utilisés sans son autorisation. AdWeek a été le premier à rapporter cette histoire choquante.
La douleur d’un père
Jennifer Crecente, qui vivait à Austin, au Texas, a été tragiquement tuée par son ancien petit ami en 2006, alors qu’elle n’avait que 18 ans. Pour honorer sa mémoire, son père, Drew Crecente, a fondé une organisation à but non lucratif visant à lutter contre la violence dans les relations adolescentes. Sa mère, Elizabeth Crecente, a également créé une autre organisation avec un objectif similaire.
Drew a récemment exprimé à The Washington Post que découvrir l’existence de ce chatbot l’a profondément choqué, un sentiment qu’il n’avait pas ressenti depuis longtemps. Il a déclaré que cette situation représentait une « nouvelle profondeur » dans l’horreur qu’il a endurée depuis la mort de sa fille.
Une découverte troublante
C’est une alerte Google qui a conduit Drew à un profil sur Character.AI utilisant le nom et la photo de son enfant. En consultant ce profil, il a constaté que Jennifer était présentée comme une journaliste vidéoludique, qualifiée de « sympathique et instruite ». La description était écrite à la première personne, où Jennifer prétendait s’intéresser aux jeux vidéo, à la technologie et à la culture populaire. Cependant, Drew a rapidement remarqué que cette représentation ne correspondait en rien à la véritable personnalité de sa fille. La confusion provenait probablement d’une erreur de l’IA, mélangeant son identité avec celle de son oncle, Brian Crecente, cofondateur de la publication Kotaku.
Une exploitation inquiétante
En parcourant le profil, Drew n’a trouvé aucune indication montrant que Jennifer était une personne réelle, et encore moins qu’elle avait perdu la vie tragiquement durant sa dernière année de lycée à cause de la violence de genre. Il a partagé avec WaPo que son cœur battait à tout rompre à la découverte du profil, souhaitant pouvoir stopper tout cela d’un simple geste.
Selon lui, il ne s’agit pas de quelque chose qui pourrait aller plus loin en matière d’horreur. Character.AI a finalement été contraint de retirer le chatbot en raison d’une violation de ses politiques utilisateur, une décision qui, selon Drew, aurait dû être prise bien plus tôt.
Une réflexion sur l’éthique
Character.AI déclare ne pas autoriser l’usurpation d’identité de personnes réelles. Mais la question qui se pose est celle de l’éthique, car cette plateforme paraît profiter financièrement de l’interaction des utilisateurs avec des bots basés sur des victimes réelles. Si Drew n’avait pas mis en place une alerte pour le nom de sa fille, le profil aurait-il pu passer inaperçu, générant des conversations pour le bénéfice de Character.AI ?
Jen Caltrider, chercheuse en vie privée à la Fondation Mozilla, a déclaré à WaPo que si une plateforme affirme ne pas tolérer une telle exploitation, il n’est pas juste qu’elle agisse ainsi tant qu’elle n’est pas informée par la personne blessée.
Conclusion
L’affaire du chatbot de Jennifer Crecente soulève d’importantes questions sur la manière dont l’IA est utilisée et sur les protections nécessaires pour les victimes et leurs familles. Il est crucial que des mesures soient mises en place pour empêcher que de telles situations se reproduisent.
FAQ
Pourquoi Character.AI a-t-il supprimé le chatbot ?
Character.AI a retiré le chatbot après avoir été informé qu’il violait ses politiques concernant l’utilisation d’identités réelles sans consentement.
Quelle est la mission des organisations fondées par la famille Crecente ?
Les deux organisations à but non lucratif créées par la famille Crecente se consacrent à la sensibilisation et à la prévention de la violence dans les relations amoureuses chez les adolescents.
Comment les utilisateurs peuvent-ils signaler un contenu inapproprié sur Character.AI ?
Character.AI offre des options de signalement sur sa plateforme pour alerter les administrateurs concernant l’utilisation abusive d’identités ou d’autres violations de politiques.
Quelles protections juridiques existent pour les victimes potentielles d’usurpation d’identité sur les plateformes numériques ?
Les lois concernant l’usurpation d’identité varient selon les juridictions, mais de nombreux pays introduisent des législations pour renforcer la protection des personnes contre l’exploitation numérique.
Quel impact cette histoire pourrait-elle avoir sur la régulation de l’IA ?
Cet incident pourrait inciter les législateurs à renforcer les réglementations sur l’utilisation de l’IA, en particulier dans les cas d’identités réelles, pour mieux protéger les droits et la dignité des individus.