Les chatbots médicaux souffrent d’un manque de fiabilité
Une étude récente, encore non publiée dans des revues, révèle que les chatbots médicaux alimentés par l’IA ont de grandes difficultés à comprendre la manière dont les patients expriment leurs problèmes de santé. Des chercheurs du MIT ont démontré que ces outils technologiques peuvent mal conseiller les utilisateurs, leur recommandant parfois de ne pas consulter un médecin en raison de fautes de frappe dans leurs messages. Des détails comme une simple espace en trop entre des mots ou l’utilisation de langage familier peuvent influencer négativement les conseils fournis. Il a été observé que ce phénomène touche particulièrement les femmes, qui se voient souvent mal orientées plus fréquemment que les hommes.
Les biais dans les conseils fournis par l’IA
Karandeep Singh, un expert en santé à l’UC San Diego, souligne que des biais insidieux peuvent modifier la nature et le contenu des recommandations proposées par l’IA, ce qui mène à des différences significatives dans l’accès aux ressources médicales. Cela soulève des questions cruciales sur la pertinence de l’intégration des modèles d’IA dans des contextes médicaux, plus particulièrement au contact direct des patients. Les hôpitaux utilisent déjà des chatbots pour planifier des rendez-vous, répondre à des questions, et orienter les patients, laissant ainsi leur santé entre les mains d’une technologie qui peut mal interpréter des informations ou même falsifier des données.
Communication et défis associés à la maladie
Les humains, par nature, ont souvent du mal à décrire précisément leurs symptômes. Nous avons tendance à antisèche nos réponses avec des expressions comme “peut-être” ou “en quelque sorte”. Ces difficultés sont accentuées dans des échanges écrits où les fautes d’orthographe et la mauvaise grammaire sont monnaie courante, et encore plus quand il s’agit de s’exprimer dans une langue étrangère. Bien que l’IA soit conçue pour surmonter ces difficultés, il semblerait qu’elle soit vulnérable aux nuances du langage humain.
Évaluation des modèles d’IA
Pour mener à bien leur recherche, les scientifiques du MIT ont analysé quatre modèles de chatbots, y compris le GPT-4 d’OpenAI et le modèle Palmyra-Med. Ils ont élaboré des milliers de cas simulés basés sur des plaintes de patients réelles et des contributions provenant de Reddit, tout en intégrant des éléments perturbateurs tels que l’utilisation de signes de ponctuation, le langage familier, ou l’emploi de pronoms neutres. Ces modifications n’ont pas altéré les données cliniques, mais elles ont tout de même influencé de manière significative les perceptions des modèles d’IA. En fait, ces derniers avaient 7 à 9 % à la hausse la probabilité de recommander aux patients de gérer eux-mêmes leurs symptômes au lieu de consulter un médecin.
Comprendre les implications
L’une des raisons à cette situation serait que les grandes bases de données de formation de l’IA reposent souvent sur des questions d’examens médicaux, ne lui permettant pas de naviguer correctement entre les informations cliniques et le langage utilisé par les patients. Abinitha Gourabathina, l’auteur principal de l’étude, indique que la compréhension des LLM (modèles de langage) est encore très limitée.
Une autre inquiétude majeure est que ces chatbots pourraient accentuer les biais existants des médecins humains, en particulier en ce qui concerne les patientes. Pourquoi les femmes reçoivent-elles plus souvent des conseils de gestion autonome ? Cela peut être lié à la tendance des médecins à minimiser les plaintes médicales féminines, souvent perçues comme trop émotives.
Marzyeh Ghassemi, co-auteur de l’étude, affirme que cette recherche démontre de manière convaincante que les modèles doivent faire l’objet d’une vérification rigoureuse avant leur déploiement dans le secteur de la santé. Cependant, rectifier ces failles s’annonce complexe.
FAQ
Quelle est l’importance de ces résultats pour les patients ?
Ces découvertes mettent en lumière le besoin de prudence dans l’utilisation des chatbots médicaux, soulignant qu’ils ne devraient pas remplacer un avis médical humain.
Comment les hôpitaux utilisent-ils actuellement l’IA ?
Les hôpitaux utilisent des chatbots pour organiser des rendez-vous, répondre aux questions fréquemment posées et orienter les patients.
Que doivent faire les patients qui font face à des téléconsultations via ces chatbots ?
Ils doivent rester vigilants et ne pas hésiter à demander des avis humains en cas de doute sur la qualité des réponses fournies par le chatbot.
Quelles mesures pourraient être prises pour améliorer ces systèmes ?
Des approches incluent l’intégration de retours d’expérience des utilisateurs, des mises à jour basées sur la recherche en cours, et un suivi des erreurs pour affiner les algorithmes.
L’IA dans le domaine médical peut-elle être utilisée de manière éthique ?
Oui, mais seulement si des audits rigoureux sont effectués pour réduire les biais et assurer la fiabilité des recommandations données.
Cela peut vous intéresser
