Les mises en garde d’Anthropic sur l’auto-amélioration de l’IA
Anthropic, une entreprise d’intelligence artificielle à l’origine de Claude, a récemment publié un avis d’alerte concernant le potentiel de ses propres systèmes à s’améliorer de manière autonome. Dans cet article, la société suggère que le monde devrait envisager une pause avant que cela ne devienne une réalité.
La voie vers l’auto-amélioration
Selon Anthropic, les modèles Claude sont en route vers ce qu’ils qualifient de “self-improvement récurent.” Cela signifie que ces intelligences artificielles pourraient évoluer et se perfectionner sans l’intervention humaine directe. Bien que l’entreprise affirme que cette étape n’a pas encore été atteinte, elle prévient que cela pourrait se produire dans un délai plus court que la plupart des organisations ne s’y attendent.
Appel à ralentir le développement de l’IA
Dans son article, Anthropic soutient qu’il serait judicieux pour le monde d’avoir la possibilité de ralentir ou de suspendre temporairement le développement de l’IA de pointe. Cela permettrait aux structures sociales et aux recherches sur l’alignement des valeurs de rattraper le rythme technologique. Cependant, la tâche de mettre en œuvre une telle pause s’annonce complexe. Il serait probablement nécessaire que plusieurs laboratoires bien financés à l’international s’accordent à arrêter leurs travaux sous des termes similaires.
Des défis à relever
Anthropic souligne également que la vérification de ces efforts serait difficile, car les programmes de formation d’IA sont beaucoup plus faciles à dissimuler que des installations comme des silos de missiles. Certains critiques s’interrogent sur le fait qu’une pause pourrait également protéger les avantages concurrentiels actuels de l’entreprise.
Un besoin croissant de régulations
Les entreprises développant les systèmes d’IA les plus puissants influencent de plus en plus les règles du jeu de manière immédiate. Si les prévisions d’Anthropic sont correctes, cela signifie que les gouvernements et les régulateurs pourraient avoir moins de temps que prévu pour établir des protections autour des outils capables d’impacter des domaines aussi critiques que la guerre, l’emploi et la confiance du public.
L’impact écologique de l’IA
L’IA est également liée à des enjeux énergétiques. Ces systèmes peuvent aider à prédire la demande en électricité et à améliorer le fonctionnement des batteries et du réseau électrique. Cependant, la formation et l’utilisation de nouveaux modèles nécessitent une quantité énorme d’électricité et d’eau, ce qui peut soumettre les infrastructures locales à une pression excessive et augmenter les coûts pour les communautés.
La prudence d’Anthropic mise en question
Anthropic se considère comme une entreprise prudente, mais des critiques font état de cas où ses outils auraient été utilisés dans des contextes militaires ou d’intelligence. Cela soulève la question d’une éventuelle incohérence entre leur discours sur la sécurité et leurs décisions commerciales.
Divergences d’opinion sur l’alerte d’Anthropic
Toutefois, tous ne partagent pas la peur suscitée par cette mise en garde. Gary Marcus, professeur émérite à NYU, a commenté sur Substack que le blog d’Anthropic ressemble à une manœuvre de peur, affirmant qu’il s’agit en fait d’une simple accélération du codage, toujours sous contrôle humain. Steven Murdoch, professeur à l’University College London, a également exprimé son scepticisme, soulignant que la définition de la sécurité de l’IA par Anthropic est étroite.
Vers un dialogue accru
Anthropic a annoncé son intention d’engager davantage de discussions avec des politiques, des chercheurs, des groupes de la société civile, et d’autres entreprises d’IA dans les mois à venir.
FAQ
Qu’est-ce que le “self-improvement récurent” ?
Le “self-improvement récurent” fait référence à la capacité d’un système d’intelligence artificielle à améliorer ses propres performances sans intervention humaine.
Pourquoi est-il important de ralentir le développement de l’IA ?
Un ralentissement pourrait permettre aux sociétés et aux gouvernements de rattraper le développement technologique et d’instaurer des réglementations adaptées.
Comment les systèmes d’IA impactent-ils l’énergie ?
Les systèmes intelligents peuvent optimiser la gestion de l’électricité, mais leur fonctionnement nécessite une consommation élevée de ressources, comme l’électricité et l’eau.
Anthropic a-t-elle des liens avec des activités militaires ?
Des rapports suggèrent que certains outils d’Anthropic pourraient avoir été utilisés dans des contextes militaires, ce qui pose des questions éthiques sur leur développement.
Quels sont les risques associés à l’IA ?
Les outils d’IA peuvent affecter divers secteurs, notamment la sécurité nationale, l’économie de l’emploi et la confiance du public envers les technologies.
