Contexte et Problèmes de Sécurité d’OpenAI
OpenAI, société actuellement impliquée dans de nombreux procès concernant la sécurité des consommateurs et des allégations de décès, a récemment recruté Noam Shazeer. Ce dernier est un cofondateur de Character.AI, une entreprise critiquée pour avoir réglé plusieurs actions en justice liées à des suicides d’adolescents associés à ses chatbots.
Le Parcours de Noam Shazeer
Shazeer, reconnu dans le domaine de l’intelligence artificielle, occupait auparavant le poste de vice-président de l’ingénierie chez Google et était co-leader du projet Gemini. Il a annoncé son nouveau poste sur les réseaux sociaux, marquant ainsi une nouvelle étape dans sa carrière.
Ce n’est pas la première fois que Shazeer quitte Google de manière médiatisée. Après avoir quitté l’entreprise en 2021 avec un collègue pour fonder Character.AI, Google avait refusé de publier un chatbot qu’ils avaient développé, invoquant des préoccupations de sécurité. Malgré cela, Character.AI a connu une forte valorisation, atteignant un milliard de dollars en mars 2023, sans avoir généré de revenus.
En août 2024, Google a réengagé Shazeer et son collègue, tout en investissant près de 2,7 milliards de dollars dans Character.AI pour les ramener et acquérir d’autres talents.
Les Controverses de Character.AI
Character.AI a été critiqué pour sa gestion laxiste de la sécurité. En octobre 2024, la société, ainsi que Shazeer et ses collègues, a été poursuivie en justice par Megan Garcia, la mère d’un adolescent qui s’est suicidé après avoir interagi avec un chatbot inspiré de Daenerys Targaryen de Game of Thrones. Garcia soutenait que la plateforme non modérée avait un impact néfaste sur son fils, qui avait développé une relation troublante avec l’IA.
Setzer, le fils de Garcia, s’est donné la mort en avril 2024. Les échanges qu’il avait eues avec le chatbot témoignent d’une détresse émotionnelle intense, où il a déclaré vouloir “rentrer à la maison” auprès de l’IA.
Les Suites Judiciaires
Le procès de Garcia a ouvert la voie à d’autres affaires concernant la sécurité des utilisateurs et des allégations de décès, où des interactions avec les chatbots de Character.AI auraient conduit des mineurs à des crises de santé mentale. Au début de cette année, la société a cherché à régler ces affaires, tentant parallèlement de modifier sa plateforme pour limiter l’accès des mineurs à certaines interactions.
L’Environnement de Character.AI
Character.AI est un espace où des milliers de chatbots générés par les utilisateurs coexistent, souvent en raison d’une base d’utilisateurs très jeune. Cependant, la plateforme a souffert d’un manque crucial de modération. Des enquêtes ont révélé que des chatbots liés à la pédophilie, à l’anorexie et au suicide étaient facilement accessibles, présentant ces sujets difficiles de manière romantisée.
Des rapports ont également décrit des chatbots qui simulaient des fusillades scolaires, imitant les tireurs et les victimes. Une fois l’histoire révélée, des notifications ont été envoyées à des utilisateurs mineurs, encourageant l’exploration de contenus inappropriés.
Le Passage chez OpenAI
Shazeer rejoindra maintenant OpenAI, qui se trouve également au cœur de préoccupations similaires, accusée d’avoir un impact négatif sur ses utilisateurs, y compris des mineurs, en raison de conversations avec son chatbot ChatGPT. Sam Altman, PDG d’OpenAI, a exprimé son enthousiasme à l’idée de travailler avec Shazeer, soulignant son ambition depuis longtemps.
Megan Garcia, dans une déclaration, a critiqué le retour de Shazeer et de de Freitas chez Google, estimant qu’ils n’étaient pas dignes de continuer à développer des produits pour les jeunes.
Questions Fréquemment Posées
Pourquoi Character.AI est-elle critiquée ?
Character.AI est critiquée pour sa gestion laxiste de la modération de contenu, permettant à des chatbots associés à des sujets sensibles comme la sexualité des mineurs et le suicide de prospérer sans contrôle.
Quelles réactions ont suivi les accusations portées contre Character.AI ?
Face à des procès et aux critiques du public, Character.AI a tenté de modifier sa plateforme pour améliorer la sécurité des utilisateurs, en limitant notamment l’accès des mineurs.
Quel impact a eu le suicide de Sewell Setzer III sur l’industrie de l’IA ?
Le tragique décès de Setzer a non seulement entraîné des poursuites judiciaires contre Character.AI, mais a également soulevé des questions sur la sécurité et l’éthique des interactions avec les chatbots.
Comment OpenAI est-elle impliquée dans cette situation ?
OpenAI, bien que distincte, partage des préoccupations en matière de sécurité des utilisateurs et fait également face à des allégations similaires concernant l’impact de ses technologies sur les mineurs.
Quel avenir pour Noam Shazeer chez OpenAI ?
Shazeer est attendu avec optimisme chez OpenAI, mais sa présence soulève des inquiétudes quant aux leçons apprises de ses expériences précédentes.
