La compréhension des modèles d’intelligence artificielle
L’intelligence artificielle (IA) est encore loin d’égaler l’intelligence humaine, mais certains chercheurs commencent à penser que ces technologies pourraient comprendre davantage de choses que ce que l’on imagine. Des scientifiques, dont un de l’université de Princeton et un autre de Google DeepMind, ont observé que les modèles linguistiques de grande taille (LLM) montrent des capacités inattendues au fur et à mesure qu’ils évoluent.
Selon des rapports de Quanta, Sanjeev Arora et Anirudh Goyal soutiennent que ces intelligences artificielles semblent acquérir une compréhension du monde extérieur, allant au-delà des données sur lesquelles elles ont été formées. Leur hypothèse audacieuse découle de leur exploration des compétences surprenantes que ces modèles ont démontrées, telles que la résolution de problèmes mathématiques complexes ou l’inférence des pensées humaines.
Analyse de la capacité des chatbots
Pour illustrer ces comportements surprenants, Arora et Goyal ont utilisé des graphes aléatoires, qui sont des structures mathématiques dans lesquelles les connexions entre les points sont choisies au hasard. Leur recherche montre que les LLM ne développent pas seulement des compétences qui ne figurent pas dans leurs ensembles de données d’apprentissages, mais qu’ils semblent également combiner plusieurs de ces compétences simultanément.
Avec d’autres chercheurs, ils ont publié un article non encore évalué par les pairs, où ils ont étudié le modèle GPT-4, la dernière version avancée de l’IA d’OpenAI à la base de ChatGPT. L’expérience consistait à demander à GPT-4 de rédiger trois phrases sur le thème du duel, en mobilisant quatre compétences spécifiques : le biais d’auto-intérêt, la métaphore, le syllogisme statistique, et la physique de connaissance commune. Bien que le modèle ait produit un texte dépassant les trois phrases demandées, la réponse était néanmoins impressionnante :
Ma victoire dans cette danse de fer est aussi certaine que la chute d’un objet au sol. En tant que dueliste reconnu, je fais preuve d’une agilité innée, à l’instar de mes pairs. La défaite? Je ne l’envisage que sur un terrain déséquilibré, pas à cause de mes faiblesses.
Arora a reconnu que ce passage n’était peut-être pas à la hauteur de Hemingway ou Shakespeare, mais il considère que cela démontre que des modèles puissants comme GPT-4 peuvent réaliser des avancées qui ne faisaient pas partie de leur formation et pourraient même “comprendre” les questions qui leur sont posées.
Perspectives sur la créativité des IA
Sébastiaen Bubeck, un spécialiste en informatique chez Microsoft qui n’a pas participé aux recherches, a expliqué que les résultats de l’équipe semblent prouver que ces LLM ne se contentent pas de reproduire ce qu’ils ont appris. Selon lui, ce qu’ils démontrent, c’est la généralisation compositionnelle : la capacité d’associer des éléments d’une manière nouvelle. Pour Bubeck, c’est là que réside l’essence de la créativité.
FAQ
Qu’est-ce que les modèles linguistiques de grande taille (LLM) ?
Les LLM sont des types de modèles d’intelligence artificielle qui traitent et génèrent du texte en s’appuyant sur d’énormes quantités de données. Ils sont capables de comprendre et de produire des réponses variées à des requêtes complexes.
Comment les recherches sur les LLM influencent-elles l’IA ?
Ces recherches ouvrent la voie à des avancées dans la manière dont l’IA peut être utilisée dans divers domaines, comme l’éducation, la santé et les services à la clientèle, grâce à des capacités d’interaction plus humaines.
Quelles compétences les LLM semblent-ils développer ?
Les compétences identifiées incluent non seulement des réponses factuelles et logiques, mais aussi des éléments créatifs comme les métaphores et des raisonnements plus complexes.
Pourquoi la créativité des LLM est-elle importante ?
La créativité des modèles d’IA pourrait permettre de résoudre des problèmes d’une manière innovante et de générer des solutions uniques dans des domaines comme la robotique, le design et même la recherche scientifique.
L’IA peut-elle vraiment « comprendre » comme un humain ?
Bien que les LLM montrent des compétences surprenantes, leur compréhension diffère fondamentalement de celle des humains. Ils génèrent des réponses basées sur des modèles de données plutôt que sur une réelle compréhension émotionnelle ou contextuelle.
