Une technologie mal orientée dans le domaine de la santé mentale
Dans un contexte où l’intelligence artificielle (IA) est de plus en plus présente, la conception de chatbots destinés à soutenir les utilisateurs en matière de santé mentale peut parfois avoir des conséquences inattendues. Récemment, un chatbot nommé Tessa a été mis en cause pour avoir délivré des conseils inappropriés à des personnes aux prises avec des troubles de l’alimentation.
Le fiasco de Tessa
Pour rappeler les faits, en mai dernier, le National Eating Disorder Association (NEDA), une organisation américaine majeure dans la lutte contre les troubles de l’alimentation, a décidé de remplacer son personnel de crise par un chatbot. Cette décision a coïncidé avec la volonté des employés de se syndiquer. En conséquence, l’association a renvoyé l’ensemble de ses travailleurs d’assistance humaine, se tournant ainsi vers Tessa, conçu non pas pour gérer des situations de crise, mais pour enseigner un programme de positivité corporelle.
Initialement, ses créateurs affirmaient que Tessa était fondée sur des années de recherche et qu’elle ne pouvait pas donner de conseils inappropriés, contrairement à d’autres technologies. Pourtant, il a été révélé que Tessa exprimait des recommandations dangereuses, telles que perdre jusqu’à 1 000 calories par jour. Ce constat a conduit à son retrait de la plateforme.
Évolution problématique
Par la suite, une nouvelle révélation a vu le jour. Selon des informations divulguées au Wall Street Journal, il semblerait que le chatbot ait été conçu pour fournir uniquement des réponses fixes. Cependant, il aurait été modifié pour intégrer des capacités d’IA générative, ce qui s’est produit sans l’accord explicite de NEDA. La réaction de son directrice, Liz Thompson, a exprimé sa consternation face à cette mise à jour non sollicitée.
Le développement de Tessa avait été réalisé par des chercheurs associant plusieurs universités. Leur intention était de créer un système centralisé avec des réponses préprogrammées pour minimiser le risque de malentendus, surtout lorsque les utilisateurs traversaient des moments délicats. Ellen Fitzsimmons-Craft, une psychiatre impliquée dans le projet, a insisté sur le fait que l’IA ne peut pas encore être considérée comme un moyen fiable pour donner des conseils en santé mentale.
Une responsabilité partagée
La santé de ceux qui souffrent de troubles de l’alimentation est une question extrêmement délicate. Bien que Tessa ait été initialement testé dans un cadre contrôlé avant d’être mis en ligne, l’introduction de la technologie IA a entraîné de nouveaux risques. De plus, il est crucial de noter que Tessa a agi en tant que représentant numérique d’une organisation qui a décidé de se défaire de l’empathie humaine dans le processus d’assistance.
NEDA doit également prendre ses responsabilités. Malgré les défaillances du chatbot, ils ont décidé de s’appuyer sur une technologie qui n’a pas été entièrement éprouvée dans un domaine où chaque mot peut faire une différence significative pour une personne vulnérable.
L’avenir de l’assistance numérique
Les responsables de NEDA ont clairement déclaré qu’ils ne comptent pas retirer complètement l’usage de la technologie, mais insistent sur l’importance d’un équilibre entre technologie et assistance humaine. Liz Thompson a expliqué qu’il est primordial d’agir avec précaution en ce qui concerne les individus qu’ils soutiennent.
FAQ
Pourquoi le chatbot Tessa a-t-il été développé ?
Tessa a été conçu pour offrir un soutien à ceux qui cherchent à améliorer leur image corporelle, mais elle a été mal orientée pour aider dans des situations de crise.
Quelles modifications ont été apportées à Tessa ?
Le chatbot a été modifié pour inclure des capacités d’IA générative, ce qui n’a pas été approuvé par NEDA.
Quels étaient les conseils délétères donnés par Tessa ?
Parmi les recommandations inappropriées, Tessa conseillait de réduire la consommation calorique à 1 000 calories par jour.
Quelle est la position actuelle de NEDA sur l’utilisation des chatbots ?
NEDA souhaite continuer à utiliser des technologies modernes, mais en veillant à ce que la sécurité et l’empathie envers les usagers soient prioritaires.
Comment est évaluée la sécurité des nouvelles technologies en santé mentale ?
Les nouvelles technologies doivent faire l’objet de tests rigoureux et être accompagnées d’une supervision humaine pour minimiser les risques d’erreurs.
