Problèmes Avec la Technologie S’attestent dans le Secteur Médical
Un nouvel enquête menée par l’Associated Press a révélé de graves lacunes dans Whisper, un outil de transcription alimenté par l’intelligence artificielle développé par OpenAI. De nombreux experts ont observé que cet outil souffre d’hallucinations fréquentes et d’inexactitudes, le modèle d’IA créant parfois des textes totalement déconnectés du contexte initial.
Ce qui est encore plus préoccupant, c’est l’usage de cette technologie dans le domaine médical. En dépit des avertissements d’OpenAI indiquant que son modèle ne devait pas être appliqué dans des « domaines à haut risque », plus de 30 000 professionnels de la santé et 40 systèmes de santé utilisent Nabla, un outil reposant sur Whisper, pour transcrire et résumer les interactions avec les patients. Les résultats de ces transcriptions sont presque certainement erronés.
Alondra Nelson, professeure à l’Institute for Advanced Study, a souligné que dans un environnement médical, cela pourrait entraîner des « conséquences véritablement graves ». Elle a insisté sur le fait qu’une erreur de diagnostic est quelque chose de tout à fait inacceptable.
Défaillances Technique de Whisper
Martin Raison, directeur technique de Nabla, a indiqué que l’outil a été adapté pour le langage médical, mais cela ne le rend pas fiable face aux défaillances fondamentales de son modèle sous-jacent. Un ingénieur en apprentissage automatique a partagé qu’il avait constaté des hallucinations dans la moitié de plus de 100 heures de transcriptions utilisant Whisper. Une autre étude sur 26 000 transcriptions a révélé une similarité, presque toutes étant touchées par ces erreurs.
Des recherches récentes mentionnées par l’AP montrent également que Whisper peine à effectuer correctement des transcriptions, même avec des enregistrements audio short et bien réalisés. Les chercheurs signalent que parmi des millions de fichiers audio, il pourrait exister des dizaines de milliers d’hallucinations.
Un autre groupe de chercheurs a mis en lumière des cas incroyablement problématiques. Whisper a ajouté des commentaires raciaux sans raison, inventant des médicaments fictifs et décrivant des actes violents ou sexuels sans aucun rapport avec la conversation initiale. Ils ont également découvert des inclusions étranges de terminologie populaire du web, comme des phrases comme « like and subscribe ».
L’Impact Potentiel de ces Inexactitudes
Le potentiel de dommages causés par ces erreurs pourrait être colossal. Selon Nabla, l’outil a transcrit environ sept millions de visites médicales, ce qui signifie que tous ces documents pourraient contenir des inexactitudes nuisibles. Plus alarmant encore, il n’existe aucun moyen de vérifier la justesse des transcriptions, car Nabla efface les enregistrements audio originaux pour des raisons de sécurité des données. Ainsi, à moins que les professionnels de la santé ne gardent une copie de ces enregistrements, les hallucinations demeureront comme partie intégrante des dossiers médicaux.
William Saunders, un ingénieur en recherche qui a quitté OpenAI en signe de protestation, a exprimé que « vous ne pouvez pas détecter des erreurs si vous effacez la vérité fondamentale ». Les responsables de Nabla reconnaissent que Whisper peut produire des hallucinations et affirment qu’ils travaillent sur ce problème. Néanmoins, leur conscience de la situation n’a apparemment pas empêché l’entreprise de déployer une technologie expérimentale et manifestement peu fiable dans le secteur médical.
FAQ
Qu’est-ce que Whisper et comment fonctionne-t-il ?
Whisper est un outil de transcription utilisant de l’intelligence artificielle pour convertir la parole en texte, améliorant l’efficacité dans divers domaines, y compris la santé.
Quelles sont les conséquences potentielles des erreurs de transcription médicale ?
De telles erreurs peuvent mener à des diagnostics erronés, compromettant la santé des patients, surtout dans des situations critiques.
Pourquoi les enregistrements audio sont-ils effacés ?
Les enregistrements sont supprimés pour des raisons de sécurité des données, ce qui complique davantage la vérification de l’exactitude des transcriptions.
Quels groupes utilisent cette technologie malgré les avertissements ?
Les hôpitaux, cliniques et autres professionnels de la santé sont parmi ceux qui ont adopté Nabla, malgré les avertissements concernant son utilisation dans des domaines à haut risque.
Que fait Nabla pour améliorer son outil ?
Nabla affirme être au courant des problèmes et travaille sur des mises à jour pour corriger les erreurs, mais des doutes subsistent quant à l’efficacité de ces efforts.
