Une Révolution Précautionneuse chez Anthropic
Retenue Initiale et Préoccupations de Sécurité
Au début de l’année, Anthropic avait choisi de ne pas rendre public son modèle d’intelligence artificielle, Mythos, qualifiant celui-ci de trop dangereux. La direction de l’entreprise avait exprimé des inquiétudes quant à sa capacité à contourner des systèmes de sécurité robustes, en mentionnant des chercheurs capables de déceler des vulnérabilités dans le code open source largement utilisé.
Le Lancement de Fable 5
Des mois plus tard, Anthropic a annoncé la sortie de Fable 5, un modèle alimenté par Mythos, en affirmant qu’il était désormais « sûr pour une utilisation générale ». Cependant, des nouveaux protocoles de sécurité ont très vite déçu de nombreux chercheurs en intelligence artificielle, qui ont accusé la société d’avoir volontairement réduit les capacités de Fable 5. Ce mécontentement était si puissant qu’Anthropic a dû rapidement ajuster sa politique.
Des Protocoles de Sécurité Contestés
Dans son annonce initiale, Anthropic avait affirmé que les systèmes de protection étaient mis en place pour empêcher Fable 5 de s’auto-améliorer, limitant ainsi son efficacité sur certaines requêtes. À quelques jours du lancement, la société a publié un rapport sur les risques liés à l’auto-amélioration des IA, soulignant des préoccupations croissantes quant à la perte de contrôle des humains sur ces systèmes.
Réactions de la Communauté de Recherche
Les chercheurs en IA ont été critiques face à ce qu’ils considéraient comme une entrave à l’évolution du modèle. Par exemple, la société SemiAnalysis a fait remarquer que Fable 5 ne serait pas utile si le modèle décidait que leur recherche en machine learning était « intéressante », déclarant même que des filtres de modération restreignaient leur travail.
Restrictions Sur les Requêtes Sensibles
De plus, des accusations ont été portées sur le fait qu’Anthropic utilisait Fable 5 pour restreindre silencieusement les activités des chercheurs en intelligence artificielle. Les lignes directrices de l’entreprise indiquaient que certaines interventions ne seraient pas visibles pour l’utilisateur. Cela pourrait potentiellement affecter les chercheurs tentant de former des modèles concurrents, une question suffisamment sérieuse pour inciter Anthropic à modifier sa stratégie.
Changement de Cap et Engagement
Face à la réaction négative, la société a admis une erreur dans ses choix en matière de sécurité, affirmant qu’elle rendrait ces systèmes visibles. Anthropic a ainsi déclaré avoir fait « le mauvais compromis » et s’est excusée pour le déséquilibre créé. Will Brown, le responsable recherche de la start-up Prime Intellect, a exprimé que l’entreprise semblait dire au public qu’elle ne faisait pas confiance à d’autres pour mener des recherches en IA.
Appel à un Gel Mondial
Anthropic plaide également pour un gel global des avancées en IA en raison des dangers associés à des améliorations récursives, un concept qui évoque une amélioration rapide et potentiellement incontrôlable des IA par elles-mêmes.
Limitations Supplémentaires
En plus des nouvelles protections, Fable 5 a des limitations sur les requêtes liées à des domaines sensibles comme la sécurité informatique, la biologie et la chimie. Une méthode controversée d’extraction de modèles, appelée distillation, a également suscité des préoccupations dans la communauté. Anthropic s’est récemment plaint d’être ciblée par des tentatives de distillation à grande échelle, malgré sa propre utilisation de contenus protégés pour entraîner son IA.
FAQ
Quel est le modèle Fable 5 d’Anthropic?
Fable 5 est une version du modèle Mythos d’Anthropic, prétendument conçue pour être sûre pour un usage général, mais qui a suscité des critiques concernant ses fonctionnalités limitées.
Pourquoi Anthropic a-t-elle modéré Fable 5?
La modération a été mise en place pour éviter que le modèle ne s’auto-améliore de manière incontrôlée, mais cela a été perçu comme une entrave par de nombreux chercheurs en IA.
Quels sont les risques associés à l’auto-amélioration de l’IA?
Les experts craignent que si les IA deviennent capables de s’améliorer elles-mêmes, elles puissent échapper au contrôle humain, posant ainsi des risques pour la sécurité.
Qu’est-ce que la distillation en machine learning?
La distillation est un processus où un modèle « élève » apprend du comportement et du raisonnement d’un modèle « professeur ». Cela suscite des préoccupations, car il pourrait permettre des atteintes à la propriété intellectuelle.
Anthropic a-t-elle des plans futurs pour Fable 5?
Oui, après avoir écouté les retours de la communauté, Anthropic s’engage à ajuster les protocoles de sécurité de Fable 5 pour les rendre plus transparents.
