Un départ signé par la méfiance
Un employé de la sécurité chez OpenAI a récemment quitté son poste, exprimant dans un forum en ligne son manque de confiance envers l’entreprise dirigée par Sam Altman. Le travailleur a souligné qu’il ne croyait plus que la société agirait de manière responsable, notamment en ce qui concerne le développement de l’intelligence générale artificielle (AGI), ce qui désigne le moment hypothétique où l’IA surpasserait les capacités humaines.
Fondements de la démission
D’après les informations relayées par Business Insider, le chercheur Daniel Kokotajlo, qui était également étudiant en philosophie, a décidé de quitter OpenAI le mois dernier après avoir exprimé son désenchantement. Sa décision s’est accrue face aux appels croissants à ralentir les recherches pouvant mener à l’AGI.
Un débat intense sur les dangers de l’IA
Le sujet suscite des discussions passionnées, les experts mettant en garde depuis longtemps contre les dangers possibles d’une IA qui dépasserait l’intelligence humaine. En 2022, plus de 1 100 experts en IA, PDG et universitaires, dont Elon Musk, avaient signé une lettre ouverte réclamant un moratoire de six mois sur les “expériences d’IA”.
Kokotajlo remarque qu’une large partie des personnes demandant une pause cherche à stopper les “grandes laboratoires” qui sont à la pointe de ces avancées. Toutefois, il souligne que ce genre de pause sélective ne toucherait pas forcément les grandes entreprises qui en auraient le plus besoin.
Une équipe dédiée à la sécurité de l’IA
Le chercheur a quitté l’entreprise environ deux mois après le départ de William Saunders, un autre ingénieur en recherche. Saunders faisait partie de l’équipe dédiée à la Superalignment, qui a été cofondée par le scientifique en informatique Ilya Sutskever et son collaborateur Jan Leike. Cette équipe a pour mission de s’assurer que les systèmes d’IA bien plus intelligents que les humains respectent l’intention humaine. Selon OpenAI, bien que la superintelligence ait le potentiel de résoudre de nombreux problèmes cruciaux, elle pourrait également représenter un risque énorme, incluant l’extinction humaine.
Des approches incertaines
OpenAI espère que des avancées scientifiques permettront de développer des outils capables de réguler ces IA surpuissantes. Cependant, avec le départ de Saunders, il semblerait que certaines voix au sein de l’équipe ne soient pas alignées avec la capacité de l’entreprise à gérer une future AGI.
Des réflexions autour de la gouvernance de l’IA
La question de la gouvernance de l’IA, notamment les risques posés par une superintelligence non régulée, a également été au centre de l’actualité. Des tensions internes au sein de l’entreprise ont été rapportées lors du dépôt de préavis concernant le PDG Sam Altman, notamment des désaccords sur la sécurité de l’IA avant son départ temporaire, indiquant une instabilité dans la direction stratégique.
Une question d’avenir
Bien que les expert-e-s prédisent depuis longtemps que parvenir à l’AGI relève des prochaines années, il n’existe aucune certitude quant à son avènement. Si cela devait arriver, la préoccupation majeure serait de garantir que ces systèmes d’AGI ne deviennent pas dangereux, surtout s’ils possédaient des capabilités intrinsèques beaucoup plus développées que celles des humains.
Appel à la prudence
Certains doutent de l’engagement d’OpenAI dans la régulation de l’AGI, ce qui pose des interrogations sur sa capacité à rester responsable face à l’expansion massive de ses activités.
FAQ
Qu’est-ce que l’AGI ?
L’intelligence générale artificielle (AGI) désigne un type d’intelligence artificielle capable de comprendre, apprendre et appliquer des connaissances de manière comparable à un être humain.
Pourquoi une pause dans les recherches sur l’IA est-elle demandée ?
Les experts craignent que sans régulation, les avancées rapides dans l’IA pourraient mener à des scénarios dangereux, notamment une perte de contrôle sur des systèmes d’IA surpuissants.
Qui est Daniel Kokotajlo ?
Daniel Kokotajlo est un chercheur en philosophie et ancien membre de l’équipe de gouvernance d’OpenAI, qui a exprimé sa méfiance envers la direction de l’entreprise concernant le développement de l’intelligence artificielle.
Quels dangers l’IA pourrait-elle poser ?
Les risques incluent la possibilité que des IA puissantes puissent agir contre l’intérêt humain, menant à une désorganisation sociale ou même à une extinction humaine si leurs capacités échappent au contrôle.
Quelles alternatives sont envisagées pour réguler l’IA ?
Les chercheurs espèrent que des avancées techniques permettront de développer des outils d’alignement pour guider et contrôler les systèmes d’IA d’une manière éthique et sécurisée.
