Problèmes liés à l’IA chez UnitedHealthcare
Dans un climat déjà tendu suite au meurtre du PDG de UnitedHealthcare, Brian Thompson, une autre controverse éclate. Cette fois, c’est l’entité gestionnaire des médicaments prescrits de l’entreprise qui est dans la tourmente suite à une erreur significative liée à l’intelligence artificielle.
Selon un rapport de TechCrunch, un chatbot utilisé par Optum Rx, la branche de gestion des avantages médicamenteux de UnitedHealth Group, a été exposé accidentellement au public. Ce système, conçu pour assister les employés dans la compréhension des réclamations d’assurance et des différends, était accessible à toute personne disposant de son adresse IP.
Le chatbot, dénommé « SOP Chatbot », semblerait avoir été programmé pour répondre à des questions liées aux “procédures opérationnelles standard”. On y trouvait notamment des enregistrements de requêtes telles que “Comment vérifier la date de renouvellement de la police ?” et “Quelle devrait être la décision relative à la réclamation ?”, suggérant son utilisation pour évaluer les couvertures.
Il convient de noter que ce chatbot ne semble pas être le même que l’algorithme refusant des réclamations qui avait déjà fait l’objet de controverses auprès de UnitedHealthcare. Cet algorithme, connu sous le nom de nH Predict, a été critiqué dans le passé pour sa précision contestée. D’après les reportages, le SOP Chatbot n’avait pas été largement connu avant que cette affaire ne soit révélée par TechCrunch.
Une fuite d’informations préoccupante
Mossab Hussein, chercheur et cofondateur d’une entreprise de cybersécurité, spiderSilk, a été la source de cette violation de la vie privée. La manière dont il a découvert l’existence du SOP Chatbot reste incertaine.
Peu après que TechCrunch ait contacté Optum au sujet de cette situation, le chatbot a été sécurisé et n’est plus disponible publiquement. Dans un courriel à TechCrunch, un porte-parole d’Optum a précisé que cet outil n’était qu’une démonstration et qu’il n’avait jamais été utilisé en pratique. Il a également souligné qu’aucune donnée patients n’avait été intégrée ni utilisée pour l’entraînement du système.
Le porte-parole a expliqué : « La démonstration était destinée à tester comment l’outil répondait à des questions sur un ensemble restreint de documents procéduraux. Cet outil n’a jamais été conçu pour prendre des décisions, mais pour faciliter l’accès aux SOP existants. En résumé, cette technologie n’a jamais été mise à l’échelle ni utilisée de manière concrète. »
Malgré ces précisions, le fait que la filiale de gestion de prescriptions de UnitedHealth envisageait d’expérimenter ce type d’IA soulève des questions, notamment en considérant les problèmes survenus avec les algorithmes de gestion des réclamations.
FAQ
Qu’est-ce qu’un chatbot SOP ?
Le chatbot SOP est un outil conçu pour aider les employés à répondre à des questions liées aux procédures opérationnelles standard de l’entreprise, bien qu’il n’ait jamais été mis en production.
Pourquoi la sécurité des données est-elle importante dans le secteur de la santé ?
La sécurité des données est cruciale en santé car elle protège les informations personnelles et sensibles des patients, prévenant ainsi les violations de la vie privée.
Quels sont les risques associés à l’utilisation de l’IA dans les soins de santé ?
Les risques incluent des erreurs dans les décisions cliniques, des biais potentiels si l’algorithme est mal entraîné, et des problèmes de sécurité des données.
Quelle est la position d’Optum sur l’utilisation de l’IA ?
Optum affirme que le chatbot en question n’a jamais été utilisé dans un contexte réel et qu’il a servi uniquement à des fins de démonstration.
Quelles mesures sont prises pour éviter de telles fuites à l’avenir ?
Les entreprises doivent mettre en place des protocoles de sécurité stricts et effectuer des audits réguliers pour éviter l’exposition de données sensibles et protéger la vie privée des utilisateurs.
