Les risques associés aux modèles de langage
Les modèles de langage de grande taille, tels que ceux qui font fonctionner des chatbots connus comme ChatGPT, ne sont pas infaillibles. Malgré leur sophistication, ces systèmes montrent régulièrement des erreurs frappantes, souvent exprimées avec une confiance dérangeante.
Disparités dans les données médicales
Lorsque ces erreurs surviennent dans le domaine médical, les conséquences peuvent être particulièrement graves, car des vies humaines peuvent être en jeu. Une étude menée par des chercheurs de l’Université de New York a révélé qu’une infime proportion de 0,001 % de données corrompues dans l’ensemble d’entraînement d’un modèle de langage peut compromettre la validité de l’ensemble de données entier, entraînant la propagation d’erreurs.
Découvertes alarmantes des chercheurs
Dans un article publié dans la revue Nature Medicine, les chercheurs ont constaté que, malgré leur capacité à générer des erreurs, des modèles de langage corrompus obtiennent des résultats similaires sur des benchmarks en accès libre, utilisés pour évaluer les modèles biomédicaux, que leurs homologues non corrompus. Autrement dit, des tests conventionnels pourraient ne pas mettre en lumière les risques sérieux liés à l’utilisation de ces outils dans le secteur de la santé.
Précautions nécessaires
Les chercheurs soulignent la nécessité d’une meilleure traçabilité des données et d’une transparence accrue dans le développement de ces modèles. Ils mettent en garde contre les risques émergents associés aux modèles formés sur des données extraites d’Internet sans discernement, en particulier dans les domaines sensibles comme la santé, où la désinformation peut nuire à la sécurité des patients.
Expérience sur l’injection de désinformation
Dans le cadre de leur recherche, l’équipe a délibérément introduit une désinformation médicale générée par l’IA dans un ensemble de données d’entraînement bien connu, appelé “The Pile”, qui contient des corpus médicaux de haute qualité comme ceux de PubMed. En seulement 24 heures, ils ont pu produire 150 000 articles médicaux falsifiés, prouvant ainsi qu’il est alarmant de constater à quel point il est facile de « empoisonner » les modèles de langage.
Coût et facilité d’injection
Les chercheurs ont noté que remplacer seulement un million de tokens sur 100 milliards (soit 0,001 %) par de la désinformation sur les vaccins entraînait une augmentation de 4,8 % de contenu nuisible, réalisé en injectant 2 000 articles malveillants, pour un coût modeste de 5 dollars. Contrairement à d’autres types d’attaques qui nécessitent un accès direct aux poids du modèle, la corruption des données peut être réalisée sans une telle intrusion technique. Cela signifie que n’importe qui peut nuire à la fiabilité d’un modèle de langage simplement en rendant de l’information nuisible disponible en ligne.
Implications pour la santé publique
Cette recherche expose clairement les risques majeurs liés à l’utilisation des outils d’IA, surtout dans un contexte médical. Une situation préoccupante a été rapportée dans le New York Times, soulignant que la plateforme de communication alimentée par l’IA MyChart génère régulièrement des informations inexactes sur l’état de santé des patients.
Préoccupations à long terme
Les limitations inhérentes des modèles de langage, en particulier dans le médial, doivent être une source de préoccupations majeures. Les auteurs de l’étude mettent en garde les développeurs d’IA et les fournisseurs de soins de santé sur cette vulnérabilité, affirmant que l’utilisation de ces modèles pour des tâches diagnostiques ou thérapeutiques ne devrait pas être envisagée sans des mesures de sécurité robustes.
FAQ
Quels types de données peuvent être néfastes pour les modèles de langage ?
Des données malveillantes feignant être de l’information scientifique ou médicale peuvent altérer la précision d’un modèle.
Comment les développeurs peuvent-ils s’assurer que leurs modèles sont sûrs ?
Ils doivent mettre en place des contrôles rigoureux sur l’origine des données et les tester contre des benchmarks fiables, en intégrant des systèmes de vérification des faits.
Existe-t-il d’autres exemples de désinformation en IA ?
Des cas de désinformation générée par l’IA ont été observés dans plusieurs domaines, y compris le climat, le politique et les actualités, illustrant l’ampleur du problème.
Quel rôle joue la réglementation dans le développement de l’IA médicale ?
Une réglementation stricte peut aider à garantir la sécurité et l’éthique dans l’usage des outils d’IA, en imposant des standards sur la vérifiabilité et l’origine des données utilisées.
Que devrait-on faire en cas de découverte de désinformation dans les modèles de langage ?
Il est urgent de rapporter ces cas aux développeurs et aux instances de régulation, afin de retracer et de rectifier l’information, en préservant la sécurité des utilisateurs.
