Découvertes Récentes sur les Modèles d’IA
Des chercheurs de Google DeepMind ont récemment publié un article révélateur sur les limitations des modèles d’intelligence artificielle (IA). Selon ce document, il semble que ces modèles affichent des faiblesses notables, ce qui pourrait entraver les ambitions de leur entreprise concernant le développement d’IA plus avancées.
Les Limites des Modèles Transformers
Rédigé par les spécialistes Steve Yadlowsky, Lyric Doshi et Nilesh Tripuraneni, cet article – qui n’a pas encore été examiné par des pairs – met en lumière une réalité partagée par de nombreux observateurs ces derniers mois : les modèles d’IA actuels, comme GPT-2 d’OpenAI, ne parviennent pas à produire efficacement des résultats en dehors de leurs données d’apprentissage.
Ces modèles, appelés transformers, fonctionnent en transformant un type d’entrée en un autre type de sortie. Le “T” dans l’architecture GPT d’OpenAI signifie effectivement transformer. Conceptualisé pour la première fois par un groupe de chercheurs, ce type de modèle est souvent cité comme un candidat potentiel pour atteindre l’intelligence générale artificielle (AGI), qui fait référence à une IA ayant un niveau d’intelligence comparable à celui des humains. L’hypothèse est que ces systèmes permettraient aux machines d’effectuer un raisonnement intuitif semblable à celui des êtres humains.
Failles dans les Modèles
Bien que le potentiel des transformers soit prometteur, l’article souligne que GPT-2 présente encore de nombreuses failles. Les chercheurs illustrent les différentes situations où ces modèles échouent, notamment quand ils sont confrontés à des tâches qui ne correspondent pas à leurs données d’entraînement. En d’autres termes, si un modèle transformer n’a pas été exposé à des informations relatives à une tâche particulière, même une tâche simple peut être problématique pour lui.
Ce constat pourrait bien étonner ceux qui pensent que les grands ensembles de données d’apprentissage utilisés pour construire les modèles d’OpenAI sont suffisants pour leur permettre une large compréhension. Comme un enfant inscrit dans une école maternelle très réputée, ces modèles ont acquis un vaste savoir, mais cela ne garantit pas leur efficacité dans tous les domaines.
Perspectives d’Avenir
Il existe des nuances à considérer. GPT-2 est désormais dépassé, et il est possible qu’avec une quantité suffisante de données, les IA développent des propriétés émergentes et commencent à établir des liens en dehors de ce qu’elles ont appris. Cependant, en dépit de l’espoir apporté par ces avancées, il semble que les modèles d’une grande réputation soient toujours limités aux domaines pour lesquels ils ont été soigneusement formés. Cela signifie que, pour le moment, l’IA ne brille que lorsqu’elle repose sur l’expertise humaine qui a été utilisée pour son entraînement.
Depuis le lancement de ChatGPT l’année passée, qui est basé sur la technologie GPT, les experts appellent à la modération des attentes concernant l’IA et à une réflexion prudente sur la possibilité d’une AGI. Cependant, cela contraste avec l’enthousiasme de nombreux dirigeants d’entreprise qui voient un potentiel commercial significatif dans ces technologies tout en faisant preuve d’un optimisme souvent non fondé.
Les Impressions sur l’AGI
Dans un récent podcast, Shane Legg, cofondateur de DeepMind, a estimé que la probabilité d’atteindre l’AGI d’ici 2028 est d’environ 50 %. Pour lui, il est essentiel qu’un système d’IA soit capable de réaliser de nombreuses tâches différentes sans lacunes dans ses capacités.
Pourtant, face aux découvertes actuelles sur les transformers, il est légitime de se demander si cette prévision optimiste sera confirmée. La réalité des résultats semble contredire la vision d’une avancée rapide vers l’AGI.
FAQ
Qu’est-ce que l’intelligence générale artificielle (AGI) ?
L’AGI correspond à une intelligence artificielle qui égalerait ou surpasserait l’intelligence humaine dans une multitude de tâches cognitives.
Pourquoi GPT-2 est-il considéré comme limité ?
GPT-2 ne peut pas générer de résultats fiables si les tâches qu’on lui demande sortent de son domaine de formation, ce qui entrave son efficacité.
Quels sont les risques associés à une surestimation de l’IA ?
Une surestimation de l’IA pourrait mener à des attentes irréalistes en matière de performances, ce qui pourrait avoir des conséquences économiques et sociétales.
Quelle est l’importance des données d’entraînement pour les modèles d’IA ?
Les données d’entraînement conditionnent directement la capacité d’un modèle d’IA à généraliser et à résoudre des problèmes, en limitant son efficacité à ce qu’il a appris.
Quel avenir pour l’IA selon les spécialistes ?
Bien que les avancées continuent d’être prometteuses, des événements de recherche récents indiquent qu’il reste beaucoup à découvrir avant d’atteindre une intelligence artificielle véritablement autonome et adaptable.
