Alors que l’on pensait tout avoir entendu, des systèmes d’IA conçus pour détecter le cancer ont surpris les chercheurs en révélant un **préjugé raciste intégré**.
Ces résultats inquiétants ont été publiés dans la revue Cell Reports Medicine, révélant que quatre systèmes de diagnostic pathologique renforcés par l’IA présentaient des niveaux de précision variables en fonction de l’**âge**, du **genre** et de la **race** des patients. Ces données démographiques, troublantes, étaient extraites directement des lames de pathologie, une tâche impossible pour les médecins humains.
Pour réaliser cette étude, les chercheurs de l’université de Harvard ont analysé près de **29 000 images de pathologie cancéreuse** provenant d’environ **14 400 patients**. Leur analyse a révélé que les modèles d’apprentissage profond affichaient des **biais** alarmants dans **29,3 %** des cas, ce qui correspond à presque un tiers des tâches diagnostiques confiées.
Kun-Hsing Yu, un des chercheurs de Harvard, a déclaré lors d’un communiqué de presse : « Nous avons découvert qu’en raison de sa puissance, l’IA peut détecter de nombreux signaux biologiques obscurs que l’évaluation humaine standard ne peut pas déceler. Lire des données démographiques à partir d’une lame de pathologie est considéré comme une **mission impossible** pour un pathologiste humain, donc le biais rencontré par l’IA nous a surpris. »
Yu a expliqué que ces erreurs basées sur des biais sont dues au fait que les modèles d’IA s’appuient sur des **patrons associés à diverses démographies** lors de l’analyse des tissus cancéreux. Autrement dit, dès que les quatre outils d’IA détectent l’âge, la race ou le genre d’une personne, ces éléments influencent l’analyse des tissus. En d’autres termes, l’IA reproduit les biais résultant des lacunes dans les données de formation de l’IA.
En prenant un exemple concret, les outils d’IA parvenaient à identifier les échantillons provenant spécifiquement de **personnes noires**. Selon les auteurs, ces lames de cancer contenaient un nombre supérieur de cellules néoplasiques anormales et un nombre inférieur d’éléments de soutien par rapport à celles des patients blancs, permettant ainsi à l’IA de les identifier, même lorsque les échantillons étaient anonymes.
Le problème est devenu apparents dès que les outils d’IA ont identifié la race d’un individu. Ils se sont alors mis à rechercher de manière obsessionnelle des analyses précédentes correspondant à ce critère. Cependant, lorsque les modèles étaient principalement entraînés sur des données provenant de patients blancs, ils avaient du mal à traiter ceux qui étaient moins représentés. Par exemple, les modèles d’IA avaient des difficultés à distinguer les sous-classes de cellules cancéreuses chez les personnes noires, non pas en raison d’un manque de données, mais parce qu’il manquait des données sur les cellules cancéreuses **noires** elles-mêmes.
Cette situation a surpris Yu, qui a noté dans le communiqué : « Nous nous attendions à ce que l’évaluation pathologique soit objective. Pour analyser des images, il n’est pas nécessaire de connaître les données démographiques d’un patient afin de poser un diagnostic. »
En juillet, des chercheurs médicaux ont également mis en lumière un biais racial similaire dans des outils de diagnostic psychiatrique basés sur de grands modèles de langage. Dans ce cas, les résultats ont montré que ces outils proposaient souvent des plans de traitement « inférieurs » pour les patients noirs lorsque leur race était explicitement connue.
Concernant les outils de dépistage du cancer par IA, l’équipe de recherche de Harvard a développé une nouvelle approche de formation appelée **FAIR-Path**. Lorsqu’ils ont introduit ce cadre de formation dans les outils d’IA avant l’analyse, ils ont constaté qu’il réduisait **88,5 %** des disparités de performance.
Il est encourageant de savoir qu’il existe une solution, même si le **11,5 %** restant représente un défi à ne pas négliger. Tant que des cadres de formation comme celui-ci ne seront pas obligatoires dans tous les outils d’IA dans le domaine de la pathologie, les questions relatives aux biais inhérents du système resteront d’actualité.
FAQ
Qu’est-ce que le biais dans l’IA ?
Le biais dans l’IA fait référence à des préjugés intégrés dans les algorithmes qui peuvent aboutir à des décisions ou à des analyses discriminatoires.
Pourquoi ces biais se produisent-ils dans les diagnostics médicaux ?
Ces biais se manifestent souvent parce que les données sur lesquelles les modèles d’IA sont formés ne représentent pas équitablement toutes les populations.
Comment FAIR-Path améliore-t-il les performances des outils d’IA ?
FAIR-Path est un cadre de formation qui vise à corriger les biais en diversifiant les ensembles de données utilisés pour l’apprentissage des modèles d’IA.
Existe-t-il d’autres exemples de biais dans l’IA médical ?
Oui, des recherches ont identifié des biais dans plusieurs domaines de la médecine, y compris les diagnostics psychiatriques où des traitements moins appropriés sont proposés en fonction de la race.
Quelle est l’importance de la représentativité dans les données d’entraînement ?
La représentativité permet aux modèles d’IA de fournir des résultats plus justes et précis pour l’ensemble de la population, en évitant de reproduire ou d’accentuer les inégalités existantes.
