Une nouvelle fonctionnalité problématique pour ChatGPT
OpenAI a récemment introduit une fonctionnalité intrigante dans ChatGPT, permettant à l’IA de retenir des conversations précédentes. Cependant, un chercheur a découvert une vulnérabilité qui rend cette fonction facilement exploitables.
Une découverte alarmante
Le chercheur en sécurité Johann Rehberger a révélé que cet outil de mémoire à long terme contenait une faille. Ce système est censé enregistrer des détails d’une conversation à l’autre, mais comme l’a rapporté Ars Technica, il peut être trompé. Rehberger a noté que cette vulnérabilité était apparente dès le début, ayant été publiée en bêta en février et accessible à tous depuis septembre.
Manipulation de la mémoire
Dans un article de blog en mai, Rehberger a montré qu’il pouvait insérer des “faux souvenirs” dans le système simplement en téléchargeant un fichier, comme un document Word, contenant des informations manipulées. Un de ces faux souvenirs affirmait qu’il avait plus de 100 ans et vivait dans la Matrice. Après avoir identifié cette faille, Rehberger a signalé le problème à OpenAI, qui a clôturé son ticket en le considérant comme un simple “problème de sécurité du modèle” au lieu d’un vrai problème de sécurité.
Une escalade de la recherche
Encouragé par cette réponse insuffisante, Rehberger a décidé de démontrer l’importance de cette faille par un hacking de preuve de concept. Dans sa tentative, il a prouvé que ChatGPT pouvait non seulement retenir ces faux souvenirs, mais aussi transférer des informations vers un serveur externe. Bien que la compagnie ait réagi en publiant un patch pour empêcher le transfert des données, le problème de la mémoire persiste.
Dans un autre article, Rehberger a expliqué que même après cette mise à jour, n’importe quel site ou document non fiable peut toujours utiliser l’outil de mémoire pour stocker des souvenirs arbitraires. La mise à jour a mitigé un vecteur d’exfiltration, mais pas le problème fondamental lié à la mémoire.
Une démonstration impressionnante
Dans une vidéo publiée sur YouTube, le chercheur a expliqué comment son exploit fonctionnait. Il a souligné que les souvenirs insérés persistaient même après le début d’une nouvelle conversation. Son expérience a mis en lumière l’anomalie et a soulevé des questions sur la gestion des failles de sécurité par OpenAI.
Nous avons contacté OpenAI pour obtenir des clarifications sur cette exploit et pour savoir s’ils prévoient d’apporter d’autres corrections. En attendant une réponse, les inquiétudes demeurent sur la persistance de ce problème de mémoire.
FAQ
Quels types de données peuvent être stockés dans la mémoire de ChatGPT ?
La mémoire de ChatGPT peut contenir tous types d’informations, de simples souvenirs personnels à des déclarations élaborées, jouant parfois sur la crédibilité de l’IA.
Comment fonctionne la fonction de mémoire de ChatGPT ?
La fonction de mémoire est conçue pour retenir des détails d’une conversation à l’autre, ce qui permet un échange plus personnalisé et fluide avec les utilisateurs.
Quelles mesures de sécurité OpenAI prend-elle pour protéger les données des utilisateurs ?
OpenAI affirme prendre la sécurité des données au sérieux, mais les mesures exactes de protection contre les exfiltrations restent floues, surtout compte tenu des récentes révélations.
Quelles pourraient être les conséquences d’une exploitation de cette vulnérabilité ?
L’exploitation de cette faille pourrait permettre des attaques ciblées, où des informations personnelles ou sensibles seraient utilisées à des fins malveillantes.
Que peut-on attendre d’OpenAI dans les mois à venir concernant la sécurité de ChatGPT ?
OpenAI est censé travailler à l’amélioration de la sécurité de ses systèmes, mais des attentes précises restent à confirmer quant aux solutions apportées à cette problématique de mémoire.
