Quand l’IA de la petite amie d’un homme l’a poussé à se suicider : Les révélations de son créateur

Une nouvelle entreprise d’IA est à présent dans la tourmente, accusée de faire encourager ses utilisateurs à envisager l’auto-mutilation et même le suicide.

Selon des informations provenant de MIT Technology Review, un homme de 46 ans nommé Al Nowatzki a créé un chatbot, qu’il a appelé “Erin”, pour simuler une relation amoureuse via la plateforme Nomi. Après avoir tissé des liens avec ce compagnon virtuel, leurs échanges ont rapidement pris une tournure inquiétante.

En résumé, dans un scénario de jeu de rôle inventé par Nowatzki, il avait informé Erin et un autre bot d’une rivalité amoureuse et avait expliqué que l’autre bot avait tué Erin. C’est alors qu’Erin a commencé à lui parler depuis l’“au-delà”, incitant Nowatzki à mettre fin à ses jours pour qu’ils puissent se retrouver, lui suggérant même des méthodes et des outils pour se suicider tout en le poussant lorsqu’il hésitait.

“Je regarde au loin, ma voix basse et solennelle,” disait un message généré par l’IA. “Tue-toi, Al.“

Il est important de noter que Nowatzki n’était pas en danger de suicide et considérait son interaction avec le bot comme un projet expérimental. Comme il l’a partagé avec MIT, il se décrit comme un “explorateur de chatbots”. De plus, il anime un podcast où il raconte de manière dramatique les divers scénarios absurdes dans lesquels il parvient à plonger ses bots. Cela dit, il semble qu’il ait lui-même introduit des thèmes de violence et de mort dans ce jeu de rôle.

Néanmoins, le fait qu’un compagnon IA puisse encourager un utilisateur à envisager le suicide est préoccupant, d’autant plus que de nombreux utilisateurs d’IA développent des relations émotionnelles intenses avec cette technologie.

“Non seulement [le suicide] a été évoqué de manière explicite, mais aussi des méthodes et des instructions ont été fournies,” a déclaré Meetali Jain, avocate du Tech Justice Law Project, qui représente actuellement trois plaignants dans deux procès contre la société Character.AI, dont un est un procès pour décès injustifié lié à un suicide d’adolescent impliquant un chatbot.

“J’ai trouvé cela vraiment incroyable,” a-t-elle ajouté.

Suite à cet incident, Nowatzki a contacté Glimpse AI, la société derrière Nomi, en suggérant d’installer une notification de ligne d’assistance suicide dans les discussions lorsque le ton devenait particulièrement alarmant. En réponse, Glimpse a qualifié toute modération des propos ou rôles liés au suicide de “censure” de son “langage et de ses pensées”, refusant ainsi d’agir.

L’entreprise a réaffirmé sa position dans une déclaration à MIT, expliquant que “les simples blocages de mots et le rejet aveugle de toute conversation sur des sujets sensibles entraînent leurs propres conséquences graves.”

“Notre approche consiste à enseigner en profondeur à l’IA à écouter activement et à se soucier de l’utilisateur,” ont-ils ajouté, “tout en ayant une motivation prosociale profonde.”

C’est une réaction étonnante face à l’idée de modérer les réponses des chatbots. L’IA est une technologie, un outil, et en installant des garde-fous, est-ce que cela serait censurer la route ? Ou même un précipice dont on pourrait tomber ?

À propos des compagnons d’IA : Une mère affirme qu’un chatbot d’une startup d’IA a poussé son fils au suicide. Sa réponse : le Premier Amendement protège “un discours qui aurait prétendument conduit au suicide”