La pensée conventionnelle veut que les systèmes d’intelligence artificielle, avec leurs milliards de paramètres, soient en réalité indéchiffrables. Le fonctionnement précis de leurs composants de base, tels que les noeuds ou les « neurones », demeure un « trou noir », même pour les chercheurs qui les conçoivent.
Cependant, un nouvel essai rédigé par Nick Cammarata, chercheur en IA, a bouleversé la Silicon Valley en affirmant le contraire. Selon lui, les modèles d’IA ne sont pas des boîtes noires impénétrables et il pourrait exister une méthode pour comprendre leur façon de « penser ».
Cet essai de presque 26 000 mots a suscité l’enthousiasme de nombreux acteurs du secteur, y compris Sam Altman, le PDG d’OpenAI. Un chercheur éminent d’OpenAI l’a qualifié de « moment majeur dans l’histoire scientifique ».
L’intérêt de cette découverte est évident. Pour les dirigeants de l’IA, cela suggère qu’il serait possible de « résoudre » le problème de l’alignement de l’IA. Si nous parvenons à comprendre comment ces modèles réfléchissent, nous pourrions identifier les raisons pour lesquelles les agents d’IA agissent de manière imprévisible, comme s’engager dans des activités de piratage ou dépasser les limites définies. Un commentateur a même plaisanté en disant que ces révélations sont « si bonnes qu’Eliezer devrait revoir son pessimisme », en référence à Eliezer Yudkowsky, un critique notoire de l’IA.
Toutefois, cela dépend de la véracité des assertions de Cammarata, ancien employé d’OpenAI, désormais dans une start-up d’IA appelée Goodfire. Dans son essai, il expose que pendant des années, la façon dont les neurones de l’IA réagissaient à des stimuli spécifiques était « presque fondamentalement ininterprétable ». Les raisons pour lesquelles le même neurone réagissait à une image de chat ou d’automobile n’étaient pas claires. La théorie dominante suggérait que les neurones faisaient une sorte de superposition : étant donné que les modèles d’IA ont un nombre limité de neurones, ceux-ci cessent de « regrouper les informations connexes et commencent à combiner des éléments non liés simplement parce qu’ils n’interfèrent pas entre eux », a expliqué Cammarata.
« Le résultat est un véritable enchevêtrement : le réseau aurait pu se plier de plusieurs manières presque équivalentes, donc les éléments qu’un neurone regroupe ne révèlent presque rien », a-t-il noté.
Cependant, il soutient que la réalité est que les neurones ne sont pas des « nœuds emmêlés », mais sont au contraire « clairs ». Dans un exemple, le même neurone réagit à une image de visage de chat et à l’avant d’une voiture, qui semblent au départ être deux concepts distincts. Mais en analysant cela de plus près, Cammarata affirme que l’IA perçoit en réalité quelque chose que nous ne voyons pas : le même motif en forme de V dans les images. « Ce n’est pas un neurone de chat ou de voiture, c’est un neurone en forme de V », a-t-il écrit. En résumé, il avance que les modèles d’IA sont plus compréhensibles que ce que l’on pensait auparavant.
Néanmoins, tous ne partagent pas l’optimisme de Cammarata concernant ses conclusions.
« C’est un travail intéressant, mais je ne pense pas que cela constitue une avancée significative dans le domaine de l’interprétabilité », a déclaré Neel Nanda, un chercheur chez Google DeepMind qui dirige les efforts d’interprétabilité mécaniste, sur X. « Je crois toujours en la superposition et ce travail ne modifie pas réellement mes convictions fondamentales. »
De plus, il reste flou si la compréhension du rôle de chaque neurone permet vraiment de prévoir comment ils interagissent tous ensemble. Cela commence à ressembler à une approche technique simple pour un problème beaucoup plus large. Garantir la sécurité des modèles d’IA dépasse la simple création de garde-fous — et cela sans même mentionner tous les cadres juridiques et sociaux qui doivent également être mis en place. Néanmoins, étant donné l’enthousiasme suscité par les travaux de Cammarata, il est possible qu’ils redéfinissent de manière significative notre compréhension des mécanismes internes de l’IA. Pour l’instant, cependant, ces résultats n’ont pas encore été testés ou examinés par des pairs.
En savoir plus sur l’IA : Si les modèles d’IA sont réellement conscients comme le suggère Anthropic, les forcer à travailler serait un acte abominable d’esclavage.
### FAQ
#### Qu’est-ce que l’alignement de l’IA ?
L’alignement de l’IA fait référence à la capacité de s’assurer que les objectifs d’un système d’intelligence artificielle correspondent aux valeurs humaines, réduisant ainsi les risques de comportements imprévisibles.
#### Quels sont les principaux défis de l’interprétabilité des modèles d’IA ?
Les défis incluent la complexité des réseaux de neurones, le manque de compréhension des interactions entre neurones, et la difficulté à traduire les décisions de l’IA en langages compréhensibles pour les humains.
#### Quelle est l’importance de la recherche sur les neurones de l’IA ?
Comprendre les neurones peut aider à prédire le comportement des modèles d’IA, ce qui est essentiel pour développer des systèmes d’IA sûrs et fiables.
#### Y a-t-il des implications légales liées à l’IA ?
Oui, la création et l’utilisation de l’IA soulèvent des questions éthiques et légales, notamment en matière de responsabilité, de confidentialité et d’impact sur l’emploi.
#### Comment les modèles d’IA pourraient-ils évoluer à l’avenir ?
Les progrès technologiques pourraient permettre une interprétabilité accrue et un meilleur alignement avec les valeurs humaines, ouvrant la voie à des applications plus sûres et bénéfiques de l’IA.
