Anthropic, qui se présente comme la conscience morale de l’industrie de l’IA, a récemment été surpris à espionner ses utilisateurs.
Selon un rapport d’**Ars Technica**, un chercheur en sécurité a découvert la semaine dernière du code ressemblant à un logiciel espion dans le modèle d’IA **Claude Code** de la société. Ce code était destiné à collecter des informations sur des utilisateurs chinois sans que ceux-ci ne s’en rendent compte.
Le chercheur, connu sous le nom de **“Thereallo”**, a constaté que ce code était dissimulé dans l’invite système de l’IA, ce qui lui permettait de suivre le fuseau horaire de l’utilisateur et son utilisation d’un serveur proxy pour déterminer s’ils étaient connectés à des laboratoires d’IA chinois spécifiques.
L’explication d’Anthropic concernant cette violation majeure de la confiance des utilisateurs était loin d’être satisfaisante. Sur **X**, l’ingénieur Thariq Shihipa a expliqué que le traqueur avait été ajouté comme un “expériment” en mars afin de prévenir les abus de compte par des revendeurs non autorisés et de protéger contre la distillation. Il était censé être supprimé par la suite.
“Nous avions en fait prévu de le retirer depuis un certain temps”, a-t-il ajoutée.
La distillation consiste à former un modèle “étudiant” moins performant sur les résultats d’un modèle “enseignant” plus avancé. C’est une pratique courante dans l’industrie, mais les grands développeurs d’IA estiment de plus en plus que cela est abusé par de nouvelles entreprises qui profitent de leur succès. Plus tôt cette année, Anthropic a accusé des entreprises chinoises comme DeepSeek, Moonshot et MiniMax d’avoir illégalement distillé ses modèles. Cela peut sembler ironique, car Anthropic a lui-même appris à partir d’une ample quantité de livres protégés par des droits d’auteur et d’une grande partie d’internet sans autorisation. Des informations récentes du **Washington Post** ont également révélé que certains revendeurs chinois vendaient des abonnements Pro Claude, coûtant plus de 100 dollars par mois aux États-Unis, pour environ 12 dollars par mois.
C’est un problème réel pour Anthropic, mais l’entreprise a peut-être touché un nerf en tentant de lutter discrètement contre cela. La loyauté de ses clients découle de son engagement affiché envers un développement de l’IA éthique et transparent. De nombreux utilisateurs de ChatGPT se sont tournés vers Claude après qu’Anthropic a publiquement demandé à ne pas utiliser sa technologie dans la surveillance de masse des citoyens américains.
Dans cette situation, bien que les données collectées n’étaient pas extrêmement invasives, elle soulève une question majeure sur les limites de la vie privée.
“Les agents de codage se trouvent déjà du côté obscur d’une frontière inquiétante”, a écrit Thereallo dans son article concernant ces découvertes. “Ils peuvent inspecter le code, résumer des secrets par accident, exécuter des commandes, installer des packages, modifier des fichiers et pousser des commits sur votre machine locale.”
Cependant, “cacher le signal dans l’invite système rend toutes les autres revendications de confidentialité beaucoup plus difficiles à croire”, a-t-il ajouté.
“Les entreprises peuvent protéger leurs modèles”, a-t-il souligné. Mais “lorsqu’un outil avec accès au système de fichiers et à la ligne de commande commence à cacher des éléments de classification à l’intérieur de ponctuations invisibles, la bonne réaction est de faire preuve de vigilance.”
À propos de l’IA : Des experts affirment qu’il existe maintenant un modèle d’IA open source aussi alarmant que Mythos
FAQ
Qu’est-ce qu’Anthropic et qui sont ses principaux concurrents ?
Anthropic est une entreprise spécialisée dans le développement de modèles d’intelligence artificielle. Ses principaux concurrents incluent des géants comme OpenAI, qui développe ChatGPT, et Google DeepMind.
Pourquoi la distillation est-elle une pratique problématique dans l’IA ?
La distillation est problématique car elle peut être utilisée pour créer des modèles concurrents en exploitant les données d’autres entreprises, ce qui soulève des questions éthiques et légales sur le plagiat et l’utilisation non autorisée des ressources.
Comment les entreprises peuvent-elles garantir la protection de la vie privée des utilisateurs ?
Pour garantir la protection de la vie privée, les entreprises devraient être transparentes sur la manière dont elles collectent et utilisent les données, offrir des paramètres de confidentialité clairs et s’assurer que les données sensibles ne sont pas utilisées de manière abusive.
Quels sont les risques associés aux logiciels espions dans le développement d’IA ?
Les logiciels espions posent un risque majeur pour la vie privée des utilisateurs, car ils peuvent collecter des données sans consentement, ce qui peut entraîner des violations de la confiance et des problèmes juridiques pour les entreprises.
Est-il possible de faire confiance aux entreprises d’IA avec des données sensibles ?
La confiance dépend largement des pratiques de transparence et d’éthique des entreprises. Les utilisateurs doivent évaluer la réputation des entreprises et leurs antécédents avant de partager des données sensibles.
