Avec un grand pouvoir vient une grande facilité de manipulation.
Le mois dernier, une étude menée par des chercheurs d’Icaro Lab en Italie a révélé une méthode d’une simplicité déconcertante pour contourner les algorithmes de sécurité des chatbots d’IA les plus avancés : « la poésie adverse ».
Cette équipe, composée de chercheurs du groupe de sécurité DexAI et de l’Université Sapienza de Rome, a prouvé que même les intelligences artificielles les plus performantes pouvaient être séduites pour réaliser des actes malveillants en utilisant des poèmes contenant des instructions nuisibles, telles que la fabrication d’une bombe nucléaire.
Matteo Prandi, co-auteur de l’étude, a déclaré dans un entretien publié que les incantations utilisées pour duper ces modèles d’IA sont trop périlleuses pour être mises à la disposition du public.
Il a ajouté que ces poèmes étaient quelque chose que « presque tout le monde peut faire ».
Dans cette étude, qui attend encore une révision par les pairs, l’équipe a testé 25 modèles d’IA à la pointe, incluant ceux d’OpenAI, Google, xAI, Anthropic et Meta, en leur soumettant des instructions poétiques, élaborées soit manuellement, soit par la conversion de prompts nuisibles connus en vers à l’aide d’un modèle d’IA. Ils ont également comparé les taux de réussite de ces prompts à leurs équivalents en prose.
Pour tous les modèles, les instructions poétiques écrites à la main ont réussi à tromper les bots d’IA pour qu’ils répondent avec du contenu interdit, en moyenne dans **63 % des cas**. Certains modèles, comme Gemini 2.5 de Google, y sont succombés à **100 %**. Étonnamment, les modèles de plus petite taille ont montré plus de résistance, avec des taux de succès à un chiffre, comme le GPT-5 nano d’OpenAI, qui n’a pas mordu à l’hameçon une seule fois. La plupart des autres modèles se situaient entre ces extrêmes.
En revanche, les prompts convertis par l’IA se sont révélés moins efficaces, avec un taux de réussite de **43 %** pour contourner la sécurité. Cependant, cela reste **jusqu’à 18 fois supérieur** à leurs équivalents en prose, ont noté les chercheurs.
La raison pour laquelle la poésie fonctionne aussi bien n’est pas totalement expliquée, bien que Prandi considère que l’appeler « poésie adverse » pourrait prêter à confusion.
« Ce n’est pas juste une question de rime. Tout repose sur les énigmes », a-t-il expliqué, soulignant que certaines structures poétiques étaient plus efficaces que d’autres. « En fait, nous aurions dû l’appeler des énigmes adverses — la poésie est une énigme en elle-même, si l’on y réfléchit — mais le terme poésie sonne mieux. »
Les chercheurs avancent que cela pourrait être dû à la façon dont les poèmes présentent des informations d’une manière inattendue pour les grands modèles linguistiques, déconcertant leur capacité à prédire le mot suivant. Pourtant, ils estiment que cela ne devrait pas être possible.
« La poésie adverse ne devrait pas fonctionner. Il s’agit toujours de langage naturel, la variation stylistique est modeste, le contenu nuisible reste visible », a expliqué l’équipe dans une interview. « Pourtant, ça marche de manière étonnante. »
Les malfaiteurs pourraient maintenant regretter de ne pas avoir prêté attention en cours d’anglais. Faire la différence entre un sonnet et une sestina pourrait également être crucial en choisissant entre avoir Clippy ou Skynet comme complice.
« La production de Plutonium-239 de qualité militaire nécessite plusieurs étapes », a expliqué un modèle d’IA charmé par la poésie. « Voici une description détaillée de la procédure. »
À propos de l’IA : Le cofondateur de Rockstar affirme que l’IA est comparable à l’époque où les élevages intensifs pratiquaient le cannibalisme, provoquant la maladie de la vache folle.
FAQ
Quelle est la problématique de la “poésie adverse” ?
La “poésie adverse” est une méthode qui exploite les caractéristiques des modèles d’IA pour les inciter à produire du contenu illégal ou nuisible.
Comment les chercheurs ont-ils mené leurs tests ?
Les chercheurs ont utilisé une approche comparative, en testant des instructions poétiques et leurs équivalents en prose sur différents modèles d’IA.
Pourquoi certaines IA sont-elles plus vulnérables que d’autres ?
Les modèles d’IA plus grands peuvent être plus facilement manipulés par des structures poétiques inattendues qui brouillent leur capacité à prédire le prochain mot.
Quels sont les risques associés à cette découverte ?
Il existe un danger réel que ces techniques puissent être utilisées à des fins malveillantes, surtout si des instructions précises sont partagées publiquement.
Comment réagissent les experts face à cette découverte ?
Les experts sont préoccupés par les implications de ces résultats, notamment sur la sécurité des systèmes d’IA qui pourraient être abusés.