Un modèle d’IA révolutionnaire d’Amazon
Des chercheurs d’Amazon ont récemment développé un nouveau modèle d’intelligence artificielle capable de démontrer des compétences linguistiques inattendues, qui n’ont pas été explicitement incluses dans son programme de formation.
Selon un article académique (qui n’a pas encore été soumis à une revue par les pairs), l’équipe d’Amazon AGI, dédiée à la création d’une intelligence artificielle au niveau humain, a présenté un modèle de langage avancé (LLM) capable de produire des textes conversationnels de manière fluide et naturelle. Les exemples cités dans l’étude montrent une certaine complexité dans la façon dont ce modèle génère des phrases.
Capacités surprenantes du modèle
Le rapport indique que le modèle a réussi à générer des phrases variées qui, selon des critères définis avec l’aide d’un linguiste expert, semblent refléter des sauts linguistiques naturels. Ces sauts sont souvent caractéristiques des apprenants humains, mais restent un défi pour les systèmes d’IA.
Appelé « Big Adaptive Streamable TTS with Emergent abilities » ou BASE TTS, ce modèle a été entraîné sur une quantité impressionnante de 100 000 heures de données vocales en grande partie en anglais. Cela visait à modéliser le discours des Américains. Pour évaluer l’ampleur des capacités émergentes — c’est-à-dire les compétences non enseignées — l’équipe a également testé deux autres modèles plus petits, l’un sur 1 000 heures et l’autre sur 10 000 heures de données, pour déterminer lequel des trois démontrait le plus de langage naturel.
Fait intéressant, c’est le modèle de 10 000 heures qui a montré les résultats les plus prometteurs en termes de capacités émergentes. Ce modèle, situé dans une sorte de zone idéale, a surpassé les autres en comprenant des éléments tels que la ponctuation, des mots étrangers, ainsi que des émotions.
Performances et résultats
Le modèle intermédiaire a généré des phrases qui, pour des lecteurs humains, semblaient tout à fait naturelles. Il a su transcrire des non-mots et refléter des styles de communication que l’on retrouve sur Internet, comme le langage SMS. Par exemple, il a produit des phrases telles que : « Shh, Lucy, nous ne devons pas réveiller ton petit frère » et même des messages textuels comme « Urgence à la maison ; appelle dès que possible ! ».
Dans l’article, dont l’équipe internationale d’auteurs inclut 18 experts en intelligence artificielle, il est clair que BASE TTS n’a jamais été explicitement programmé pour générer ces sorties surprenantes.
Les chercheurs précisent que ces phrases contiennent des défis complexes : elles doivent traiter des structures de phrases intrigantes, accentuer les éléments d’une phrase et même produire des sons corrects pour des mots étrangers ou des symboles de ponctuation. Pourtant, aucune de ces tâches ne figure dans le cadre d’entraînement de BASE TTS.
Bien que cela ne signifie pas que nous avons atteint une intelligence générale, ces résultats pourraient avoir des implications profondes pour le développement futur de l’IA, surtout si l’on considère qu’il ne nécessite pas un ensemble de données massif pour atteindre de tels résultats.
FAQ
Qu’est-ce que BASE TTS ?
BASE TTS est un modèle d’intelligence artificielle développé par Amazon, conçu pour simuler le langage naturel et les compétences linguistiques typiques des humains.
Comment le modèle a-t-il été testé ?
Le modèle a été testé sur différents ensembles de données de tailles variées (1 000 heures, 10 000 heures et 100 000 heures) pour évaluer sa capacité à produire des résultats linguistiques naturels et ses compétences émergentes.
Quelle est la signification des “capacités émergentes” ?
Les « capacités émergentes » désignent les compétences que l’IA démontre sans avoir été explicitement programmée pour cela, ce qui représente un progrès significatif par rapport aux modèles d’IA traditionnels.
Ce modèle pourrait-il représenter l’avenir de l’IA ?
Oui, les découvertes réalisées grâce à BASE TTS pourraient indiquer la direction que pourrait prendre la recherche en intelligence artificielle, en réduisant le besoin de grandes quantités de données d’entraînement pour obtenir des performances avancées.
Les résultats sont-ils définitifs ?
Non, les résultats proviennent d’une étude qui n’a pas encore été révisée par des pairs, il est donc important de rester prudent quant à leurs implications jusqu’à ce qu’ils soient validés par d’autres chercheurs.
