Révolution Linguistique : Google Dévoile un Système d’IA Multilingue de Plus de 400 Langues.

Les recommandations de contenu et de produits d’ADGO.ca sont indépendantes sur le plan éditorial. Nous pouvons générer des revenus si vous cliquez sur les liens vers nos partenaires.
En savoir plus

Pourquoi ChatGPT excelle en anglais

Avez-vous déjà remarqué que ChatGPT manipule l’anglais bien mieux que le swahili ou l’arabe ? Ce n’est pas un hasard, ni une faveur accordée à l’anglais dans les données d’entraînement, mais plutôt une question de mathématiques. Les entreprises d’intelligence artificielle ont souvent manqué de clarté en développant des modèles pour des langues autre qu’anglais, hésitant sur la quantité de données à utiliser et les langues à entraîner ensemble.

Les nouvelles découvertes d’ATLAS

Récemment, l’équipe de recherche de Google a publié un document intitulé ATLAS, qui est la plus vaste étude publique sur l’entraînement des intelligences artificielles multilingues. Ils ont mené 774 expériences sur plus de 400 langues pour répondre à des questions qui ont longtemps troublé les développeurs. Par exemple, comment la taille d’un modèle doit-elle être augmentée si l’on souhaite passer de 10 à 50 langues ? Quelles langues se soutiennent mutuellement lors de l’entraînement ?

L’apport décisif

Le projet ATLAS a mis au point une “matrice de transfert” qui indique comment certaines langues améliorent la performance des autres. Ainsi, le norvégien bénéficie d’un entraînement conjoint avec le suédois et l’allemand. Le malais profite de l’indonésien, tandis que l’arabe s’améliore avec l’hébreu. Le constat général est que les langues partageant le même alphabet et appartenant à la même famille linguistique ont tendance à mieux s’entraider.

Outils pratiques proposés par ATLAS

Voici trois outils que propose ATLAS :

• Calculateur de mise à l’échelle : Si vous souhaitez doubler le support linguistique (passer de K à 2K langues), il faudra augmenter la taille du modèle de 1,18 fois et totaliser les données à 1,66 fois.

• Guide de paires de langues : Une carte thermique qui montre les langues qui fonctionnent le mieux ensemble ; l’anglais, le français et l’espagnol sont ceux qui favorisent le plus grand nombre de langues.

• Décision entre pré-entraînement et ajustement : Une formule qui aide à décider quand il vaut mieux commencer de zéro plutôt que d’utiliser un modèle multilingue existant, habituellement entre 144 et 283 milliards de tokens pour des modèles de 2 milliards de paramètres.

Dans le cadre de cette recherche, une problématique connue comme la “malédiction de la multilinguité” a également été abordée. Cette malédiction, qui implique généralement que l’ajout de langues nuit à la performance, se révèle être réelle mais relativement modérée. En effet, les langues partageant des écrits génèrent une synergie positive suffisant pour compenser la plupart des limitations de capacité.

Importance des résultats

Plus de 50 % des utilisateurs d’intelligence artificielle parlent des langues autres que l’anglais, tandis que les lois de mise à l’échelle ont été principalement centrées sur l’anglais. Par conséquent, les développeurs qui travaillent sur des modèles multilingues ont souvent fait des choix coûteux concernant la taille des modèles et les données d’entraînement.

Avec ATLAS, ils disposent désormais d’un livre de stratégies basé sur des données concrètes. Attendez-vous à ce que la prochaine vague de modèles multilingues fonctionne réellement bien dans des langues autres que l’anglais, car les entreprises savent maintenant comment répartir efficacement leur budget de calcul.

Ce que l’avenir réserve

Les développeurs de modèles dans des entreprises comme Anthropic, OpenAI et Google devraient adopter ces principes de mise à l’échelle au cours des six à douze prochains mois. Peut-être que des laboratoires chinois emboîteront également le pas ! Si vous êtes en train de créer ou d’évaluer des produits d’intelligence artificielle multilingues, il est important de vérifier quelles langues ont été priorisées lors de l’entraînement. Les choix effectués ont un impact mesurable, comme le montre ATLAS.

Note de l’éditeur : Ce contenu a initialement été diffusé dans le bulletin d’information de notre publication soeur, The Neuron. Pour lire davantage de contenu provenant de The Neuron, inscrivez-vous à leur bulletin d’information ici.

FAQ

Qu’est-ce que la matrice de transfert d’ATLAS ?

La matrice de transfert d’ATLAS révèle quelles langues s’améliorent les unes les autres lorsque utilisées ensemble dans l’entraînement d’IA.

Comment ATLAS améliore-t-il l’entraînement multilingue ?

ATLAS offre des calculs basés sur des données pour déterminer la taille optimale des modèles et les meilleures associations linguistiques à privilégier.

Pourquoi est-il crucial de comprendre la performance multilingue ?

Comprendre comment les langues interagissent peut aider à optimiser les performances des modèles d’IA, surtout pour les utilisateurs qui ne parlent pas anglais.

Quel est l’impact de l’ajout de langues supplémentaires sur les performances ?

Bien que cela puisse généralement nuire à la performance, ATLAS montre que des langues partageant des écritures ont tendance à créer des synergies bénéfiques.

Les entreprises vont-elles vraiment adapter ces nouvelles méthodes ?

Oui, les entreprises leaders dans le domaine de l’IA, telles qu’Anthropic et Google, sont susceptibles d’adopter ces principes de mise à l’échelle rapidement dans leurs pratiques.