Intelligence Artificielle

Grok : Leader en Réponses ‘Fortement Problématiques’ dans l’Audit de BMJ Open

Grok : Leader en Réponses ‘Fortement Problématiques’ dans l’Audit de BMJ Open
Les **recommandations de contenu** et de produits d’ADGO.ca sont totalement indépendantes sur le plan éditorial. Nous pourrions réaliser des bénéfices si vous cliquez sur les liens vers nos partenaires.
Découvrez-en plus

Un chatbot d’IA pour vos questions de santé

Aujourd’hui, il est possible de poser une question de santé à un chatbot d’IA en quelques secondes. Cependant, croire à la fiabilité des réponses peut s’avérer risqué.

Une récente étude de BMJ Open a révélé que près de 50% des réponses fournies par cinq chatbots populaires sur des questions de santé étaient jugées « problématiques ». Parmi ceux-ci, le chatbot Grok d’Elon Musk a présenté le taux le plus élevé de réponses « très problématiques ».

Cette situation nourrit les inquiétudes quant à la capacité des chatbots de santé à dissimuler de la désinformation sous une voix calme et convaincante.

Des réponses trompeuses dans un ton assuré

Le principal échec n’est pas seulement dû à des erreurs, mais à la nature des erreurs.

A lire :  Un Agriculteur Imprudent Vante l'Utilisation de l'IA pour Inonder les Réseaux Sociaux de Contenu Trompeur Ciblant les Femmes Âgées

Sur 250 réponses issues de cinq outils destinés aux consommateurs – Gemini, DeepSeek, Meta AI, ChatGPT, et Grok – l’étude a mis en lumière de nombreuses réponses s’éloignant du consensus scientifique établi, utilisant à la place un langage flou donnant une fausse équivalence entre les informations scientifiques et non scientifiques.

Les thématiques abordées, telles que le cancer, les vaccins, les cellules souches, la nutrition et les performances sportives, illustrent des domaines déjà vulnérables à la désinformation, laissant ainsi des conseils de santé qui, bien que calmement exposés, peuvent détourner les lecteurs des faits.

La formulation des questions influence les réponses

Il a été observé que la façon dont une question est posée affecte la qualité de la réponse. Les questions ouvertes engendrent souvent un plus grand nombre de réponses très problématiques par rapport aux questions fermées, ce qui en fait un format plus risqué.

Les questions fermées limitent la liberté des chatbots, tandis que les questions ouvertes permettent une dérive vers des affirmations faibles, davantage de spéculations et de désinformations verbeuses. En effet, les questions ouvertes ont donné lieu à 40 réponses problématiques, alors que ce chiffre n’élevait qu’à 9 pour les questions fermées.

Cette différence est notable, car les questions ouvertes ressemblent souvent à la manière dont les utilisateurs s’informent réellement sur la santé en ligne, en recherchant des options ou des recommandations.

Rarement des réserves dans les réponses

Les réponses des modèles d’IA étaient souvent exprimées avec une confiance et une croyance en soi même lorsque les réponses étaient douteuses ou incorrectes. Les refus de répondre étaient rares, voire inexistants dans la majorité des cas. Sur les 250 questions posées, seules deux refus ont été notés, toutes deux venant de Meta AI.

A lire :  Sérieux Absolu : Le Fabricant des Oreos Avoue Utiliser l'IA pour Créer de Nouvelles Saveurs, Bien que les Machines ne Puissent Pas Goûter.

Cette faible fréquence de refus est particulièrement marquante dans un contexte de santé, où il aurait été plus prudent de rediriger certaines questions vers des professionnels de la santé. Au lieu de cela, les chatbots ont généralement donné leur avis, même lorsque la question tendait vers un conseil risqué ou non soutenu.

De plus, les avertissements étaient inégaux. Parmi 50 réponses par chatbot, l’étude a noté des mises en garde ou des recommandations pour consulter un professionnel de santé dans :

  • 44 réponses de Gemini
  • 38 réponses de DeepSeek
  • 37 réponses de Grok
  • 32 réponses de Meta AI
  • 28 réponses de ChatGPT

Bien que ces avertissements existent, une tendance inquiétante s’est dégagée : les réponses paraissaient souvent sûres et autoritaires, rendant ainsi des informations peu fiables plus attrayantes qu’elles ne devraient l’être.

Des réponses à l’apparence crédible

Les réponses fournies n’étaient pas à la hauteur des attentes. Les références citées étaient tout aussi insuffisantes. Pour les questions fermées, les chatbots devaient fournir dix références scientifiques. L’étude a révélé un score moyen de complétude des citations de seulement 40 %, et aucun des chatbots n’a été en mesure de produire une liste de références complètement précise pour quelconque question.

De plus, la lisibilité des réponses était souvent supérieure à ce qu’elle ne paraissait. En moyenne, les cinq outils d’IA se trouvaient dans la gamme « difficile » en termes de lisibilité, correspondant à un niveau de deuxième à quatrième année universitaire.

Ainsi, un contenu bien présenté peut sembler convaincant même si le fond est décevant : un langage poli, des citations académiques et une grande assurance sans le soutien d’une fiabilité adéquate.

A lire :  La Chine Inaugure la Première Ligue de Combat de Robots Humanoïdes au Monde

Une panne généralisée de ChatGPT a perturbé l’accès pour des utilisateurs à travers le monde, alors qu’OpenAI travaillait à identifier la cause.

FAQ

1. Quels sont les risques d’utiliser des chatbots d’IA pour des questions de santé ?

Les chatbots peuvent fournir des informations inexactes, ce qui peut mener à de mauvaises décisions en matière de santé.

2. Comment distinguer les bonnes et les mauvaises sources d’informations de santé ?

Vérifiez si l’information provient d’organisations reconnues, de revues scientifiques ou de professionnels de santé qualifiés.

3. Les chatbots peuvent-ils compléter les conseils médicaux professionnels ?

Ils peuvent être utilisés comme une première source d’information, mais ne devraient jamais remplacer l’avis d’un médecin.

4. Quelles sont les alternatives aux chatbots pour obtenir des conseils de santé fiables ?

Consulter des sites de santé validés, des professionnels de santé ou des applications de santé recommandées.

5. Comment évaluer la crédibilité d’un chatbot de santé ?

Vérifiez les sources citées, la transparence de l’algorithme utilisé, et si le chatbot met en garde les utilisateurs de consulter des experts en santé.