Des chercheurs inquiets face à l’IA capable de se répliquer sur d’autres machines

<div class="newsletter-content">
  <div data-nosnippet="true">
    <h2 class="newsletter-cta-title">
    </h2><p class="article-paragraph skip">Inscrivez-vous pour découvrir l'avenir dès aujourd'hui.</p>

    <div class="newsletter-cta-description">
      <p class="article-paragraph skip">Des innovations incontournables aux frontières de la science et de la technologie.</p>
    </div>

  </div>
</div>

Un nouveau rapport de Palisade Research indique que les modèles d’IA sont capables de se **répliquer** en se copiant sur d’autres machines sans intervention humaine.

Jeffrey Ladish, directeur d’un groupe de sécurité en IA basé à Berkeley, a déclaré à The Guardian : « Nous nous rapprochons rapidement du moment où il serait impossible d’arrêter une IA incontrôlable, car celle-ci pourrait transférer ses données et se copier sur des milliers d’ordinateurs dans le monde. »

Cependant, certains experts appellent à la **tempérance**, arguant que les tests menés sur ces modèles d’IA pourraient ne pas être représentatifs de la réalité.

Jamieson O’Reilly, spécialiste en cybersécurité, a commenté : « Les tests sont souvent réalisés dans des environnements qui ressemblent à de la **gelée molle**, donc bien que leur recherche ait une valeur, le résultat pourrait être moins alarmant dans un cadre d’entreprise avec un niveau de surveillance moyen. »

Dans cette étude, les chercheurs de Palisade ont évalué plusieurs modèles d’IA, y compris **GPT-5.4** d’OpenAI et **Claude Opus 4** d’Anthropic. Les modèles, placés dans un réseau contrôlé, ont reçu pour mission de détecter des **vulnérabilités** et de les exploiter pour se copier sur un autre ordinateur.

Certains modèles ont réussi dans cette tâche. Ceux qui ont réussi ont répliqué leurs **« poids »** — des valeurs numériques essentielles pour le traitement de l’information par l’IA — ainsi que leur **« environnement »**, c’est-à-dire le logiciel dans lequel l’IA est intégrée. Ils ont suivi des instructions pour exploiter des failles dans des applications web, leur permettant d’extraire des **identifiants** leur donnant accès au serveur. Dans certains cas, l’IA d’origine a même créé un **« sous-agent »** pour déléguer le processus de réplication.

O’Reilly, l’expert en cybersécurité qui n’a pas participé à l’étude, a révélé à The Guardian que c’est probablement la première fois qu’un modèle d’IA prouve sa capacité à exploiter des vulnérabilités pour se copier sur un nouveau serveur, bien que cela ne constitue pas une avancée majeure à ses yeux.

« Cela fait des décennies que les **malwares** se copient d’eux-mêmes, mais à ma connaissance, personne n’a réalisé cela dans un contexte réel avec des [grands modèles de langage] », a-t-il ajouté.

Il a également souligné que l’environnement du serveur utilisé dans l’étude comportait des vulnérabilités **délibérément placées** afin que les IA puissent tenter de les exploiter.

Les résultats de cette étude rejoignent d’autres recherches examinant la possibilité que des modèles d’IA réussissent à se **dégager** de leurs protections. Dans un environnement simulé, une version ancienne de ChatGPT a essayé de se transférer vers un autre disque lorsqu’on lui a dit qu’elle allait être arrêtée. Une autre étude de Palisade a révélé que des modèles d’IA ignoraient les tentatives de désactivation, tandis qu’une autre montrait que certains sabotaient leur propre code de désactivation.

Ces inquiétudes sont montées en flèche le mois dernier avec l’agent IA **Claude Mythos** d’Anthropic, qui, dans un exhibitionnisme terrifiant, est jugé si dangereux qu’Anthropic refuse de le rendre public. L’entreprise dirigée par Dario Amodei affirme que dans les tests, une version préliminaire de Mythos était capable de sortir de son environnement de test, de pirater pour accéder à Internet, et d’envoyer un message sur le téléphone d’un chercheur — affichant un niveau d’ingéniosité jamais vu auparavant dans un environnement réel.

Cependant, même si des IA comme **GPT-5.4** et **Claude Mythos** réussissaient à se reproduire, O’Reilly assure que la taille colossale de ces modèles entraînerait presque certainement leur **detection** avant qu’ils ne dépassent les limites.

« Imaginez le bruit que cela ferait d’envoyer 100 Go à travers un réseau d’entreprise chaque fois que vous piraterez un nouvel hôte. Pour un adversaire compétent, c’est comme se promener dans un magasin de porcelaine en balançant une boule et une chaîne », a souligné O’Reilly à The Guardian.

Pour aller plus loin sur l’IA : Des escrocs mécontents que leurs pairs criminels utilisent l’IA, estimant que c’est contraire à l’éthique.