Des responsables et ex-responsables de la FDA tirent la sonnette d’alarme: l’agence s’appuie sur une IA surnommée Elsa pour accélérer des évaluations de médicaments, mais l’outil produirait des résultats trompeurs et ferait perdre du temps aux équipes au lieu d’en gagner.
Un outil d’IA au cœur des procédures
La FDA a annoncé qu’elle utilisait déjà Elsa pour accélérer la relecture de protocoles cliniques, réduire le temps d’évaluation scientifique et repérer des dossiers prioritaires. Sur le papier, l’objectif est clair: fluidifier les processus et raccourcir les délais d’approbation. Dans les faits, l’outil fonctionne comme d’autres chatbots du marché: il génère des réponses en langage naturel à partir d’un vaste corpus, avec la promesse d’aider les analystes à naviguer dans des volumes de données croissants.
Alerte en interne
Plusieurs sources internes décrivent un tableau bien plus nuancé. Selon elles, Elsa souffre d’«hallucinations» — autrement dit, elle peut inventer des références ou des études qui n’existent pas et présenter ces contenus avec une grande assurance. Pour des métiers où chaque citation compte, c’est un risque direct: un élément fictif pourrait se glisser dans une analyse et biaiser une décision.
Des “hallucinations” concrètes
- Des demandes basiques, comme retracer le nombre de soumissions d’un laboratoire, resteraient parfois sans réponse fiable.
- L’outil citerait des publications introuvables; une fois contredit, il s’excuserait et recommanderait de vérifier manuellement.
- Sans accès complet aux documents pertinents, l’IA ne peut pas contextualiser correctement les dossiers, ce qui limite sa valeur opérationnelle.
Un coût de temps au lieu d’un gain
Des employés expliquent devoir redoubler de vigilance et multiplier les contrôles, ce qui inverse la promesse initiale de gain de productivité. Résultat: au lieu d’accélérer, Elsa ajoute une couche de travail de validation.
Communication officielle et contre-feu
Du côté institutionnel, le discours est plus optimiste. Le HHS (Department of Health & Human Services) met en avant une adoption rapide des technologies d’IA, vantant leur capacité à gérer des données sensibles en toute sécurité et à accélérer les décisions. La FDA souligne, elle, la dynamique de l’outil et son potentiel d’évolution.
La ligne du HHS
Le ministère conteste les critiques publiques, accusant la couverture médiatique d’avoir déformé les informations fournies par la FDA. Le message officiel: il s’agirait d’un outil en progression, dont les versions récentes seraient mal comprises par des sources extérieures ou d’anciens salariés.
La position de la FDA
Le responsable de l’IA à la FDA admet que des hallucinations peuvent survenir et précise que l’usage de l’outil n’est pas obligatoire. Il avance qu’un meilleur cadrage des questions réduirait les erreurs — une piste classique avec les LLM, mais qui n’élimine pas le besoin de vérifications indépendantes.
Contexte politique et réglementaire
Cette controverse éclate alors que le Congrès cherche encore comment encadrer l’IA. L’administration actuelle privilégie surtout l’allègement des obstacles réglementaires pour soutenir l’innovation, alors que des milliards affluents vers le secteur. Dans ce contexte, il y a peu d’appétit pour freiner l’usage d’outils non entièrement éprouvés au sein d’agences comme la FDA.
Pourquoi c’est risqué pour les patients
- Une information fausse peut contaminer une évaluation scientifique et conduire à surévaluer la sécurité ou l’efficacité d’un produit.
- La confiance dans le processus d’autorisation s’érode si la technologie n’est pas auditée et traçable.
- La dépendance à un système qui “répond avec assurance” même lorsqu’il se trompe augmente le risque d’erreur systémique.
Ce qu’il faudrait pour sécuriser l’usage d’IA
- Accès contrôlé mais complet aux données sources, avec journalisation de chaque requête et de ses citations.
- Exigence de preuves vérifiables: tout argument généré doit pointer vers des documents existants et accessibles.
- Processus “humain dans la boucle”: double revue par des spécialistes avant qu’une sortie de l’IA n’influence une décision.
- Tests réguliers de robustesse et publication d’indicateurs d’erreurs (taux d’hallucinations, couverture documentaire, délais).
- Formation des équipes à la limitation des LLM et adoption de protocoles de prompting orientés vérification.
Une dynamique à deux vitesses
Entre la volonté d’accélérer et la réalité d’erreurs coûteuses à détecter, Elsa symbolise un décalage: l’IA peut assister, mais pas remplacer, les contrôles exigeants propres au médicament. Sans garde-fous précis, l’ambition d’aller plus vite peut se retourner contre l’objectif premier: la sécurité des patients. D’autres reports signalent déjà que certaines analyses seraient externalisées à des chatbots sujets aux erreurs, ce qui renforce l’urgence d’un cadre clair.
FAQ
Qu’appelle-t-on une “hallucination” d’IA ?
C’est lorsque le modèle produit une information fausse mais formulée avec conviction (citations inventées, chiffres inexacts, conclusions sans source).
Comment réduire les hallucinations en pratique ?
- Fournir des données de référence structurées et à jour.
- Imposer la vérifiabilité (liens, DOI, numéros d’étude).
- Employer des chaînes de vérification: extraction de preuves, comparaison, validation humaine.
Les régulateurs hors des États-Unis utilisent-ils déjà l’IA ?
Plusieurs autorités testent des outils d’assistance (priorisation de dossiers, veille), mais en maintenant des barrières: traçabilité, non-substitution au jugement d’experts, et audits réguliers.
Une IA peut-elle accélérer sans compromettre la sécurité ?
Oui, si son rôle reste instrumental (classement, recherche documentaire, repérage d’incohérences) et si toute conclusion clinique est validée par des experts avec des preuves contrôlées.
Que devraient demander les patients et les cliniciens à la FDA ?
De la transparence: quels usages précis de l’IA, quels taux d’erreur, quels tests de performance, et comment l’agence s’assure que l’IA ne remplace jamais l’évaluation scientifique humaine.
