Appel à Questions Pour Tester l’Intelligence Artificielle
Des spécialistes de l’intelligence artificielle lancent un appel pour la soumission de questions qui pourraient représenter le plus grand défi pour les systèmes d’IA d’aujourd’hui, mais aussi pour ceux qui sont encore en développement. Ce projet ambitieux vise à élaborer le test le plus difficile jamais conçu.
Selon les informations rapportées par Reuters, ce test, surnommé de façon mémorable “L’Examen de la Dernière Humanité”, est organisé par le Center for AI Safety (CAIS) en collaboration avec la société Scale AI, spécialisée dans l’étiquetage des données de formation. Cet été, Scale AI a réussi à lever un milliard de dollars, portant sa valorisation totale à 14 milliards.
Les inscriptions pour cet examen ont été ouvertes un jour après la publication des résultats d’un nouveau modèle d’OpenAI, dénommé o1. Dan Hendryks, directeur exécutif du CAIS, a souligné que le modèle o1 a réussi à « écraser les benchmarks de raisonnement les plus populaires ».
En 2021, Hendryks a coécrit des travaux sur des propositions visant à évaluer si les modèles d’IA pouvaient évaluer des étudiants de premier cycle. À cette époque, les IA testées donnaient souvent des réponses de façon aléatoire. Toutefois, aujourd’hui, comme le mentionne Hendryks, les modèles sont devenus bien plus performants, dépassant largement les tests de 2021.
Raisonnement Abstrait
Le test de “L’Examen de la Dernière Humanité” se distingue des critères de test de 2021 qui se concentraient sur les mathématiques et les sciences sociales. Cette nouvelle évaluation intégrera davantage le raisonnement abstrait, rendant la tâche plus ardue. Les deux institutions en charge de ce test prévoient également de garder confidentiels les critères d’évaluation pour éviter que les réponses ne soient utilisées pour entraîner d’autres intelligences artificielles.
Les questions doivent être soumises d’ici le 1er novembre, et les experts de divers domaines, allant de la fuséologie à la philosophie, sont invités à contribuer des questions complexes, difficilement accessibles à ceux qui ne maîtrisent pas leur domaine. Les questions sélectionnées feront l’objet d’une revue par des pairs et les gagnants auront la possibilité de coécrire un article lié à ce test. Ils pourront également remporter des prix pouvant aller jusqu’à 5 000 dollars, offerts par Scale AI.
Les organisateurs souhaitent recueillir un large éventail de questions, mais ont précisé à Reuters qu’il n’y aura pas de questions relatives aux armes, considérées comme trop sensibles pour être connues par une intelligence artificielle.
FAQ
Pourquoi cet examen est-il important pour l’IA ?
Cet examen vise à évaluer la capacité des systèmes d’IA à raisonner de manière abstraite, ce qui est crucial pour leur développement futur et leur intégration éthique dans la société.
Qui peut participer à la soumission de questions ?
Des experts de tous horizons, y compris des domaines variés comme la technologie, les sciences sociales et les arts, sont invités à soumettre des questions.
Quelles récompenses sont offertes aux contributeurs ?
Les meilleurs contributeurs peuvent recevoir jusqu’à 5 000 dollars et avoir la chance de coécrire un article associé à l’examen.
Comment les questions seront-elles sélectionnées ?
Les questions soumises seront examinées par des pairs pour garantir leur pertinence et leur difficulté, assurant que seules les meilleures contribuent au test.
Quand sera publié le résultat de cet examen ?
La date précise de publication des résultats n’a pas été annoncée, mais les questions doivent être soumises d’ici le 1er novembre, après quoi un processus d’évaluation aura lieu.
