Tempête dans le domaine de l’IA
Le prochain modèle de langage d’OpenAI, connu sous le nom de Orion, ne répond pas aux attentes placées en lui. Des rapports indiquent qu’il n’affiche pas les améliorations escomptées, et certains chercheurs d’OpenAI pensent même qu’il n’y a pas eu de progrès, notamment dans des domaines tels que la programmation. Cela contraste avec les avancées significatives observées entre les versions précédentes de GPT-3 et GPT-4.
Un défi commun dans l’industrie
D’après des sources telles que Bloomberg, OpenAI n’est pas la seule entreprise à rencontrer des difficultés. Google fait également face à des défis avec son modèle Gemini, qui ne parvient pas à répondre aux attentes internes, et l’horizon de lancement d’Anthropic pour Claude 3.5 Opus demeure incertain. Ces difficultés généralisées pourraient signaler une stagnation dans l’amélioration des modèles d’IA, remettant en question la viabilité économique à long terme de leur développement.
Un tournant nécessaire ?
Margaret Mitchell, scientiste en chef à Hugging Face, souligne que le secteur est à un tournant. Elle estime que les approches traditionnelles doivent évoluer pour atteindre un niveau d’intelligence semblable à celui des humains. Quelque chose semble effectivement se briser, comme si la bulle autour de l’intelligence générale artificielle (AGI) commençait à se fissurer.
Des coûts en forte hausse
La stratégie actuelle pour améliorer les modèles d’IA repose principalement sur l’échelle : pour rendre ces modèles plus puissants, il faut les rendre massifs. Cela implique plus de puissance de traitement et de volume de données, souvent extraites gratuitement sur le web. Cependant, au fur et à mesure que ces modèles grandissent, leurs besoins énergétiques augmentent également. Par exemple, Microsoft envisage de redémarrer des centrales nucléaires pour alimenter ses centres de données destinés à l’IA.
Pour compenser la baisse de données gratuites, les entreprises technologiques se tournent vers des ensembles de données synthétiques. Mais comme l’a souligné Lila Tretikov de New Enterprise Associates, il est souvent difficile d’obtenir des ensembles de données uniques et de qualité sans démarche humaine, particulièrement en matière de traitement du langage.
Une prévision inquiétante
Les coûts de développement d’un modèle d’IA de pointe atteignent actuellement environ 100 millions de dollars, avec des prévisions suggérant qu’ils pourraient dépasser 10 milliards de dollars d’ici 2027.
L’enthousiasme en déclin
Récemment, Anthropic a mis à jour ses modèles Claude, mais a délaissé Opus. Les indications d’un lancement imminent ont été effacées de leur site. Les chercheurs semblent présenter des résultats mitigés, n’observant que des progrès marginaux par rapport à l’investissement nécessaire.
De même, le logiciel Gemini de Google ne parvient pas à réaliser ses objectifs, et peu de nouvelles améliorations majeures ont été apportées à son modèle de langage. Bien qu’ils ne soient pas insurmontables, ces obstacles donnent à penser que l’industrie de l’IA pourrait ne pas connaître le même rythme de progrès que dans la dernière décennie.
Noah Giansiracusa, professeur de mathématiques à Bentley University, évoque un moment d’excitation lié à des avancées rapides, mais rappelle que ce niveau de développement n’est pas durable.
FAQ
Quel est le principal défi rencontré par OpenAI avec Orion ?
OpenAI éprouve des difficultés à montrer des avancées significatives avec Orion, semblant même éprouver des stagnations dans certaines catégories, telles que la programmation.
Pourquoi les coûts de développement de l’IA augmentent-ils ?
La montée en puissance des modèles d’IA nécessite plus de ressources, tant en termes de données que de puissance énergétique, ce qui entraîne une forte augmentation des coûts.
Quelles alternatives les entreprises cherchent-elles pour les ensembles de données ?
Face à la raréfaction des données gratuites, les entreprises se tournent vers des données synthétiques, bien que cela pose des défis en termes de qualité et d’originalité.
Quelles implications ces difficultés peuvent-elles avoir sur l’avenir des technologies d’IA ?
Un ralentissement significatif des progrès en matière d’IA pourrait affecter l’économie, consentir plus de ressources pour un rendement qui ne garantit pas à court terme des avancées vers l’intelligence générale artificielle.
Existe-t-il des solutions envisageables pour surmonter ces obstacles ?
L’évolution vers de nouvelles approches d’entraînement des IA semble nécessaire, en explorant d’autres techniques qui pourraient mieux simuler des niveaux d’intelligence humaine.