Sélection et Préférences
Microsoft a récemment été accusé d’avoir sélectionné des exemples de sa technologie d’IA générative après avoir observé qu’elle produisait souvent des réponses erronées, communément appelées “hallucinations”, selon un rapport de Business Insider. Cette révélation provient de l’audio volé d’une présentation interne portant sur une version préliminaire de leur outil, Security Copilot, conçu pour aider les experts en cybersécurité.
Problèmes de Précision
L’événement met en lumière une discussion entre un chercheur de Microsoft qui se penche sur les résultats de tests appelés “chasseurs de menaces”. Dans ces tests, l’IA devait analyser les journaux de sécurité de Windows pour détecter d’éventuelles activités malveillantes.
Lloyd Greenwald, un partenaire de sécurité chez Microsoft, a reconnu que les chercheurs avaient dû sélectionner soigneusement les exemples pour que ceux-ci paraissent convaincants. Il a noté que le modèle, qui est basé sur des algorithmes stochastiques, pouvait fournir des réponses variables, même lorsqu’on lui posait les mêmes questions. “Il n’était pas simple d’obtenir de bonnes réponses”, a-t-il ajouté.
Hallucinations de l’IA
Ce système fonctionne comme un chatbot : vous posez une question et l’IA répond comme un représentant du service client. Security Copilot repose principalement sur le modèle de langage GPT-4 d’OpenAI, qui est également utilisé pour d’autres outils d’IA générative de Microsoft, comme l’assistant de recherche Bing. Greenwald a mentionné que Microsoft avait eu un accès précoce à cette technologie et que les démonstrations étaient des “explorations initiales” de ses capacités.
En début de déploiement, l’IA de Bing avait donné des réponses tellement absurdes qu’elle a dû être “lobotomisée”. De même, Security Copilot a souvent halluciné des réponses incorrectes lors de ses premières versions, un défi apparemment inhérent à cette technologie. Greenwald a précisé que l’hallucination représente un gigantesque obstacle pour les modèles de langage, et bien que Microsoft essaie d’y remédier en les liant à des données réelles, le modèle utilisé à ce moment-là n’était pas spécifiquement entraîné avec des informations de cybersécurité. L’IA a donc été utilisée telle quelle, se basant seulement sur un vaste ensemble de données générales.
Exemples Sélectionnés
Lors de la présentation, Greenwald a partagé des questions de sécurité supplémentaires, en précisant que ce matériel était simplement ce qui avait été démonté devant le gouvernement. On ne sait pas si Microsoft a effectivement utilisé ces exemples soigneusement sélectionnés lors de ses présentations à l’intention du gouvernement ou d’autres clients potentiels, ni si les chercheurs étaient aussi transparents sur la manière dont ces exemples avaient été choisis.
Un représentant de Microsoft a déclaré à Business Insider que la technologie discutée durant la réunion était un travail exploratoire antérieur à Security Copilot et que les tests étaient effectués sur des simulations provenant de jeux de données publics pour évaluer le modèle, ajoutant qu’aucune donnée client n’avait été utilisée.
FAQ
Qu’est-ce que Microsoft Security Copilot ?
Security Copilot est un outil développé par Microsoft pour aider les professionnels de la cybersécurité à analyser et à comprendre des menaces potentielles.
Comment fonctionnent les hallucinations dans les modèles d’IA ?
Les hallucinations se réfèrent à des réponses fausses ou incohérentes générées par les modèles d’IA lorsque ceux-ci s’écartent des données d’entraînement.
Pourquoi Microsoft a-t-il utilisé GPT-4 pour ses applications ?
GPT-4 est un modèle de langage avancé qui offre des capacités de traitement du langage naturel très performantes, ce qui est crucial pour des applications d’IA générative comme celles de Microsoft.
Quel est l’approche de Microsoft face aux défis liés aux IA génératives ?
Microsoft travaille sur l’intégration de données réelles pour réduire les erreurs et améliorer la précision de ses réponses générées par IA.
Y a-t-il des préoccupations éthiques concernant l’utilisation de ces technologies ?
Oui, l’utilisation de l’IA soulève des questions éthiques, notamment sur la sécurité des données, la confidentialité et la fiabilité des informations générées.
