Résultats décevants pour l’IA générative
Une récente étude menée par l’Australian Securities and Investment Commission (ASIC) a révélé que l’intelligence artificielle générative est loin d’égaler les capacités humaines en matière de synthèse d’information. Selon des résultats obtenus lors d’une évaluation test orchestrée par Amazon Web Services, l’IA a montré des compétences plutôt médiocres.
L’objectif de cette étude était d’évaluer les capacités de l’IA et de déterminer son utilité potentielle dans un environnement professionnel. Malheureusement, les résultats n’étaient pas encourageants.
Un échec lors des évaluations
Durant des évaluations à l’aveugle, les résumés réalisés par l’IA sur des documents gouvernementaux ont obtenu une note moyenne de seulement 47 %, tandis que les résumés rédigés par des humains atteignaient 81 %. Ce constat met en lumière un problème majeur : les modèles d’IA ne semblent pas être un bon substitut pour les travailleurs humains. De plus, leur fiabilité médiocre remet en question leur applicabilité dans le milieu professionnel dans la plupart des organisations.
La performance de l’IA mise à l’épreuve
Pour évaluer l’IA, le modèle utilisé était le Llama2-70B de Meta, qui, bien qu’il ne soit pas le dernier cri en matière de technologie, dispose d’une capacité impressionnante avec ses 70 milliards de paramètres. L’instruction donnée à ce modèle était de résumer des documents soumis à une enquête parlementaire, en se concentrant spécifiquement sur les mentions liées à l’ASIC et en intégrant des références et des numéros de page.
À côté de l’IA, des employés d’ASIC ont également produit leurs propres résumés. Ensuite, cinq évaluateurs ont été chargés de comparer les productions humaines et celles de l’IA, sans savoir quelle synthèse venait de l’IA ou d’un humain. Toutefois, à la fin de l’évaluation, trois des juges ont avoué qu’ils soupçonnaient que certaines des synthèses provenaient de l’IA, ce qui est révélateur de la perception de qualité du travail de l’IA.
Limitations et conclusions
Dans l’ensemble, l’IA a échoué sur tous les critères d’évaluation. Premièrement, elle n’était pas capable de fournir les numéros de page de ses sources. Bien que cela puisse être résolu par des ajustements, un problème plus profond réside dans sa capacité à saisir les nuances et le contexte des informations. Souvent, le modèle prenait des décisions confuses sur ce qu’il fallait souligner ou mettre en avant.
De plus, les résumés fournis par l’IA avaient tendance à inclure des informations non pertinentes et à être redondants. Ils étaient souvent jugés trop vagues et verbeux. Au final, les évaluateurs ont convenu que recourir à ces résumés pourrait nécessiter plus de travail en raison de la nécessité d’une vérification rigoureuse des faits. Cela remet en question les avantages supposés de cette technologie en termes d’économie et de gain de temps.
FAQ
Qu’est-ce que l’IA générative ?
L’IA générative est un type d’intelligence artificielle capable de créer du contenu, comme du texte, des images ou des audio, en utilisant des modèles d’apprentissage machine.
Pourquoi l’IA a-t-elle échoué à résumer les documents ?
L’IA a échoué parce qu’elle a souvent mal interprété les nuances des textes et a inclus des informations superflues, ce qui réduit la qualité de ses résumés.
Comment ces résultats affectent-ils l’utilisation de l’IA en entreprise ?
Les résultats montrent que, face à la médiocrité des performances de l’IA, de nombreuses entreprises pourraient devoir réévaluer l’intégration de cette technologie dans leurs processus, car elle risquerait d’entraîner plus de travail plutôt que d’alléger les tâches.
Quelles améliorations pourraient être apportées à l’IA ?
Il serait possible d’améliorer l’IA en affinant ses algorithmes pour mieux comprendre le contexte et les nuances des informations, ainsi qu’en lui permettant de citer ses sources de manière précise.
Y a-t-il déjà d’autres études similaires ?
Oui, d’autres études ont également critiqué l’IA pour sa fiabilité et son efficacité dans diverses tâches, soulignant une tendance générale qui semble se dessiner à propos de ses limitations.
