La société de recherche en intelligence artificielle d’Alphabet, **DeepMind**, a récemment annoncé la sortie de la prochaine génération de son modèle de langage. Ce dernier prétend avoir un niveau de **compréhension de lecture** comparable à celui d’un élève de lycée, une affirmation qui suscite l’étonnement.
Développé sous le nom de **Gopher**, ce modèle a réussi à améliorer considérablement ses capacités de compréhension en analysant d’immenses quantités de textes disponibles en ligne.
DeepMind se vante que son algorithme, qualifié de **”modèle de langage ultra-grand”**, contient 280 milliards de **paramètres**, indicatif de sa taille et de sa complexité. Cela le positionne entre le GPT-3 d’OpenAI, qui a 175 milliards de paramètres, et le **Megatron** de Microsoft et NVIDIA, qui en possède 530 milliards, comme l’indique The Verge.
Ce type de système pourrait potentiellement nous permettre de **résumer des informations** de manière sûre et efficace, de donner des conseils d’experts et de suivre des instructions en langage naturel, comme le soulignent les déclarations officielles.
Lors d’un test, le modèle a obtenu des résultats suffisamment élevés pour se rapprocher de la performance humaine sur un **test de lecture** de lycée, révèlent les résultats de **DeepMind**. Cependant, ses compétences en mathématiques et en raisonnement ont montré des progrès moins convaincants.
En général, plus un modèle possède de paramètres, plus il est précis. Mais d’autres enjeux, comme la compréhension de lecture ou la propagation de stéréotypes nuisibles, continuent de poser des défis difficiles à relever, malgré la taille impressionnante des modèles.
Des algorithmes similaires à **Gopher** ont été utilisés auparavant pour des produits commerciaux tels que les **assistants numériques** et les **traducteurs**. Lors d’un test, Gopher a réussi à entretenir un dialogue complet avec un humain, affichant un niveau de cohérence “surprenant”, selon les dires de **DeepMind**.
Il est à noter que l’objectif de **DeepMind** n’est pas de commercialiser son algorithme.
« Ce n’est pas notre priorité actuelle, » a déclaré **Koray Kavukcuoglo**, vice-président de la recherche chez DeepMind, dans une interview accordée à Fortune.
Pour anticiper les critiques concernant la régurgitation de stéréotypes ethniques ou de genre, souvent alimentés par les textes utilisés pour entraîner les algorithmes, **DeepMind** a publié un document complémentaire, détaillant les mesures prises pour garantir une **intégrité éthique**.
Par exemple, l’équipe a développé un outil nommé **Transformer Amélioré par Extraction**, un vaste **base de données** de deux trillions de mots pour vérifier ses sources.
Malgré cela, l’équipe de **DeepMind** reconnaît que la recherche sur la manière dont les modèles de langage perpétuent des stéréotypes nuisibles est encore **dans ses débuts**.
À mesure que les outils d’IA deviennent plus performants pour interpréter le texte, les chercheurs se concentrent de plus en plus sur des problèmes délicats, comme le risque de diffuser de la **désinformation** ou de la **propagande**.
Bien qu’il existe une quantité massive de textes sur Internet, aider des modèles de langage comme Gopher à lire entre les lignes s’avère bien plus complexe que ce que bon nombre de chercheurs en IA souhaitent admettre.
EN SAVOIR PLUS : DeepMind présente un A.I. massif qui se rapproche d’une compréhension de lecture humaine [Fortune]
Plus sur les outils d’IA : Les chercheurs créent un réseau neuronal pour aider les policiers à prédire de nouveaux drogues de design
FAQ
Qu’est-ce que Gopher ?
Gopher est un modèle de langage développé par DeepMind qui prétend avoir une compréhension de lecture similaire à celle des élèves de lycée, améliorée grâce à l’analyse d’une grande quantité de textes en ligne.
Quels sont les défis rencontrés par les modèles de langage ?
Bien que la taille des modèles de langage soit impressionnante, ils font face à des défis comme la compréhension de lecture et la propagation de stéréotypes nuisibles, ce qui complique leur utilisation pratique.
Quand DeepMind commercialisera-t-elle son algorithme ?
DeepMind a indiqué quecommercialiser cet algorithme n’était pas une priorité et qu’ils se concentraient actuellement sur la recherche et l’éthique.
Comment DeepMind s’assure-t-elle de l’éthique de son modèle ?
DeepMind a publié des études détaillant les méthodes utilisées pour garantir l’intégrité éthique des algorithmes, y compris l’utilisation d’outils pour vérifier les sources et minimiser les biais.
Quelle est l’importance des paramètres dans un modèle de langage ?
Les paramètres dans un modèle de langage sont des éléments clés qui affectent la taille et la précision du modèle. En général, plus un modèle en possède, plus il est précis.
