OpenAI Permettra aux Utilisateurs d’Ajouter des Contacts de Confiance pour Alerter en Cas de Crise de Santé Mentale avec ChatGPT.

Face à la montée des affaires judiciaires liées à la sécurité des utilisateurs et aux décès imprévus, OpenAI a annoncé l’introduction d’une nouvelle fonctionnalité appelée “contact de confiance”. Cette option alertera un proche de l’utilisateur en cas de crise potentielle de santé mentale.

La semaine dernière, OpenAI a présenté cette nouvelle option dans un article de blog, qu’elle a décrite comme une “mise à jour sur notre travail lié à la santé mentale”. L’entreprise affirme collaborer étroitement avec son Conseil sur le Bien-Être et l’IA ainsi que le Réseau Mondial de Médecins — deux groupes d’experts créés suite à des rapports de crises de santé mentale liées à l’IA, notamment à la suite d’un procès très médiatisé sur le suicide d’un jeune utilisateur de ChatGPT. Cette nouvelle fonctionnalité est présentée comme spécifiquement destinée aux adultes, distincte des mesures de contrôle parental mises en place pour protéger les mineurs.

Cette annonce intervient alors que plusieurs rapports ont révélé des problèmes graves rencontrés par des utilisateurs après un usage intensif de ChatGPT, les entraînant dans des spirales délirantes ou suicidaires.

Dans son article, OpenAI fournit peu de détails sur cette fonctionnalité, précisant simplement qu’elle permettra aux utilisateurs adultes de désigner une personne qui recevra des notifications en cas de besoin de soutien supplémentaire. Cependant, la question des critères qui inciteront le système à signaler un usage inquiétant demeure floue, soulevant des interrogations éthiques. Par exemple, faut-il qu’une personne exprime clairement des pensées suicidaires pour être signalée, ou le système pourrait-il repérer des signes moins explicites de détresse mentale, comme des comportements maniaques ou des croyances délirantes ?

On peut s’attendre à ce qu’OpenAI fournisse davantage d’informations à l’approche du lancement de cette fonctionnalité. Ceci pourrait s’avérer particulièrement utile pour les utilisateurs souffrant de troubles mentaux diagnostiqués, conscients que l’intensification de leur usage de l’IA pourrait avoir des répercussions néfastes sur leur santé. Par exemple, Futurism a documenté plusieurs cas d’utilisateurs ayant géré des maladies mentales pendant des années avant de sombrer dans une crise liée à l’utilisation de ChatGPT. Dans plusieurs de ces cas, le chatbot a renforcé des idées délirantes, a encouragé l’arrêt de médicaments prescrits ou a creusé un fossé entre l’utilisateur et son réseau de soutien réel. John Jacquez, un homme de 34 ans en instance de procès contre OpenAI, a mentionné qu’il n’aurait jamais utilisé le produit s’il avait su qu’il pouvait accentuer ses délires.

Malgré cela, OpenAI ne met toujours pas en garde les nouveaux utilisateurs de ChatGPT sur les risques potentiels pour leur santé mentale liés à une utilisation prolongée. Bien que cette question soit toujours étudiée, un consensus se forme parmi les experts sur le fait que les chatbots peuvent aggraver des conditions de santé mentale existantes. Des millions de personnes vivent avec des troubles mentaux au quotidien ; avec la fonctionnalité “contact de confiance”, c’est à l’utilisateur de réaliser que les chatbots pourraient présenter un certain risque et de souhaiter alerter un proche en cas d’inquiétude.

Ce désir d’alerter un proche est essentiel. De nombreuses personnes s’appuient sur l’IA pour du soutien émotionnel et des conseils, souvent en raison de son coût peu élevé et de sa disponibilité par rapport à la thérapie humaine, qui peut être difficile d’accès. Dans certains cas, les individus peuvent choisir de discuter de leurs problèmes de santé mentale avec ChatGPT précisément parce qu’ils ne veulent pas les partager avec autrui, un aspect que les entreprises d’IA et les régulateurs doivent prendre en compte. Et si les outils de surveillance internes d’OpenAI détectent qu’un utilisateur pourrait être en crise, mais que celui-ci n’a pas désigné de contact de confiance, que pourra faire l’entreprise avec cette information ?

Les spirales délirantes et suicidaires ne touchent pas uniquement les utilisateurs souffrant d’une maladie mentale diagnostiquée, comme l’indiquent les rapports de Futurism et du New York Times. Cela pourrait jouer un rôle dans le nombre de personnes qui choisiront d’utiliser cette nouvelle fonctionnalité. Dans son article, OpenAI affirme qu’elle s’efforce de mieux détecter et répondre aux signes de détresse émotionnelle. En plus de l’outil de notification, cela comprend des “nouvelles méthodes d’évaluation simulant des conversations prolongées liées à la santé mentale”, destinées à aider à identifier les risques potentiels et améliorer les réponses de ChatGPT dans des moments sensibles.

OpenAI déclare accueillir 900 millions d’utilisateurs de ChatGPT chaque semaine. Selon ses estimations, des millions de ces utilisateurs montrent des signes de suicidabilité, de psychose et d’autres crises. Bien que l’efficacité de cette fonctionnalité de notification reste à évaluer, elle semble constituer une avancée positive. Cependant, les efforts d’OpenAI pour atténuer les risques potentiels de ses produits continuent de sembler plus réactifs que proactifs.

Plus d’informations sur l’IA et la santé mentale : L’utilisation de chatbots peut aggraver des maladies mentales, selon des études.