La Réalité des IA Génératives
L’heure est au constat amer pour l’industrie technologique, qui commence à réaliser les limites des modèles d’intelligence artificielle générative. Des experts annonçaient que ce moment viendrait, et aujourd’hui, il semble que les progrès spectaculaires dans les modèles de langage, réalisés par une simple augmentation de la taille, commencent à stagner. Ces améliorations, autrefois faciles à obtenir en ajoutant des paramètres, des données d’entraînement et des ressources de traitement, ne produisent plus de résultats significatifs.
Gary Marcus, un scientifique cognitif reconnu pour son scepticisme envers l’IA, met en garde. Selon lui, la prise de conscience des failles dans ces systèmes pourrait provoquer un effondrement de l’ensemble du secteur. Les valorisations astronomiques des entreprises telles qu’OpenAI et Microsoft reposent sur une hypothèse : celle que les modèles de langage continueront à évoluer vers une intelligence artificielle générale grâce à un accroissement constant. Pour Marcus, cette vision est en fait une illusion.
Le Péril des Retours Diminutifs
Un signal d’alerte a été émis récemment lorsque l’agence The Information a révélé que les chercheurs d’OpenAI avaient constaté que leur futur modèle phare, baptisé Orion, montrait des améliorations beaucoup plus modestes que celles observées entre les versions précédentes, à savoir Giardia 4 par rapport à GPT-3. Dans des domaines comme le codage, qui attire particulièrement l’attention sur ces LLM (modèles de langage de grande taille), on pourrait même ne constater aucune amélioration réelle.
Cette tendance inquiétante est répercutée ailleurs dans le domaine. Ilya Sutskever, fondateur de Safe Superintelligence et ancien responsable scientifique d’OpenAI, a récemment déclaré à Reuters que les avancées liées à l’augmentation de la taille des modèles d’IA semblent s’être arrêtées. En d’autres termes, l’idée que “plus c’est grand, mieux c’est” dans le monde de l’IA, qui a alimenté une croissance incroyable du secteur, est remise en question.
Cependant, cela ne signifie pas que l’IA est condamnée à disparaître. Marcus souligne que l’inefficacité économique pourrait persister : plus l’entraînement est intensif, plus le coût augmente sans nécessairement garantir des bénéfices.
Nouveaux Défis Économiques
Les coûts liés à l’entraînement de modèles de grande taille sont faramineux. Selon Reuters, ces opérations peuvent coûter des millions et nécessitent des centaines de microprocesseurs, un processus qui peut s’étendre sur plusieurs mois. De surcroît, les entreprises technologiques arrivent au bout des données accessibles gratuitement sur le web, ayant presque épuisé tout le contenu disponible.
Marcus prévoit que ces LLM deviendront des marchandises à bas prix, entraînant des guerres commerciales qui réduiront les revenus. Avec la hausse des coûts de production, la rentabilité pourrait devenir un exercice bien difficile. Si cette réalité devient évidente pour tous, le climat économique pourrait rapidement se détériorer.
Vers de Nouvelles Solutions
Malgré ces difficultés, il existe peut-être des voies d’évasion. Comme l’indiquent The Information et Reuters, les chercheurs d’OpenAI travaillent sur des techniques pour résoudre les problèmes d’échelle, notamment en apprenant aux modèles à “penser” ou “raisonner” de manière plus humaine, comme l’illustre leur modèle o1.
Une méthode qu’ils explorent se nomme “test-time compute”, où un modèle d’IA évalue diverses solutions potentielles à un problème complexe avant de choisir la plus prometteuse, au lieu d’opter pour une conclusion hâtive.
Toutefois, l’avenir nous dira si ces innovations mèneront à des avancements significatifs dans le domaine de l’IA. En attendant, l’industrie peine à être rentable, et avec des marchés économiques souvent impatients, un nouvel hiver de l’IA pourrait survenir si des progrès ne sont pas réalisés rapidement.
FAQ
Qu’est-ce qu’un modèle de langage de grande taille (LLM) ?
Un LLM est un type d’IA conçu pour comprendre et générer du texte humain en s’appuyant sur une base de données massive de textes.
Pourquoi les entreprises abandonnent-elles les données gratuites ?
L’épuisement des données facilement accessibles rend l’entraînement des modèles de plus en plus coûteux, poussant les entreprises à rechercher des alternatives.
Comment l’IA peut-elle “penser” comme un humain ?
Des approches émergent, comme le test-time compute, qui permettent à l’IA de simuler des processus de raisonnement humain en explorant plusieurs solutions plutôt qu’en choisissant immédiatement une réponse.
Y a-t-il des solutions à la crise actuelle de l’IA ?
Les chercheurs envisagent de nouvelles méthodes et stratégies pour surmonter les problèmes d’échelle et de rentabilité, mais leurs résultats resteront à prouver.
Quel est l’impact d’une éventuelle “bulle” sur le secteur de l’IA ?
Si l’économie de l’IA ne devient pas plus viable, un effondrement des valorisations pourrait se produire, ce qui aurait des conséquences gravissimes pour l’industrie.