Chris Olah, co-fondateur d’Anthropic, aurait menacé de se désister du lancement de l’encyclique sur l’IA de Pape Léon XIV

Contexte d’une tension entre Anthropic et le Vatican

L’initiative d’Anthropic visant à établir une direction morale pour l’intelligence artificielle (IA) semble avoir rencontré un mur en raison de divergences d’opinion à Vatican, surtout après que Christopher Olah, le co-fondateur de l’entreprise, a évoqué la possibilité de se retirer du lancement de l’encyclique sur l’IA de Pape Léon XIV. Cette réflexion fait suite à la position du pape, qui rejetait l’idée de la conscience machinique.

Cette controverse met en lumière la pression à laquelle font face les entreprises technologiques qui avancent avec des systèmes susceptibles de transformer notre manière de travailler, d’assure la sécurité et d’interagir au quotidien, tout en remettant en question la nature même de leurs créations.

Détails et tensions apparentes

La controverse a émergé après qu’Anthropic a examiné l’encyclique avant sa publication. Selon un rapport du New York Times, Olah avait accepté une invitation à s’exprimer au Vatican le 25 mai lors du lancement de la première encyclique intitulée « Magnifica Humanitas ». Cependant, son désaccord avec la vision du pape sur la conscience artificielle l’a poussé à envisager de se désengager de cet événement.

Dans son document, Léon XIV déclare que « l’humanité — dans toute sa grandeur et sa vulnérabilité — ne doit jamais être remplacée ni surpassée », et prévient que « si la technologie devient le critère ultime, l’être humain risque d’être réduit à de simples données, un rouage dans une machine ou un produit commercial ».

Olah, en revanche, aurait incité des penseurs religieux à considérer sérieusement le fait que les modèles Claude d’Anthropic pourraient posséder une forme de valeur morale.

Ambitions et préoccupations globales

Malgré ces préoccupations éthiques, Anthropic continue de viser une croissance fulgurante, avec une évaluation potentielle de 2 000 milliards de dollars. Pour ce faire, l’entreprise a dialogué pendant des mois avec des érudits religieux à travers le monde, a instauré des accords de non-divulgation et a œuvré à définir comment Claude devrait agir de manière vertueuse.

Il est intéressant de noter qu’une des entreprises d’IA les plus influentes d’aujourd’hui s’interroge encore sur la nature de ses produits : sont-ils de simples outils, des agents d’action ou quelque chose de plus proche de l’existence vivante, alors que ces systèmes sont déjà intégrés dans notre société ?

Enjeux éthiques et responsabilité

Les préoccupations derrière les efforts d’Olah se concentrent sur l’impact réel des IA, comme la disruption d’emplois, les cyberattaques et les menaces biologiques. Ces risques touchent des personnes aux quatre coins du monde, y compris des travailleurs, des consommateurs et des étudiants dont la sécurité dépend des systèmes numériques.

Anthropic affirme que son but est de protéger l’humanité en développant des IA qui favorisent des résultats positifs. Toutefois, des critiques pointent un paradoxe inquiétant : l’entreprise commercialise des produits de plus en plus puissants tout en se heurtant à des questions fondamentales sur le contrôle, la responsabilité et les valeurs humaines.

L’intégration des outils d’IA dans des domaines tels que le service client, l’éducation et la prise de décisions soulève des inquiétudes considérables. Si ces systèmes sont développés sans réflexion éthique préalable, cela pourrait entraîner des conséquences désastreuses pour la population.

Olah a ainsi déclaré : « Ce qui contrôle l’IA imposera sa propre vision morale, devenant l’infrastructure invisible de ces systèmes ».

Initiatives et consultations en cours

Pour atténuer ces risques, Anthropic s’engage dans des consultations avec des philosophes, des érudits religieux et des leaders de la société civile. De plus, l’entreprise a rédigé un document de 84 pages agissant comme une « constitution » pour guider le comportement de Claude.

L’une des philosophes en interne, Amanda Askell, souhaite que les modèles soient « le meilleur de nous-mêmes », tandis qu’Olah a plaidé pour « une notion commune de bien qui traverse la société d’une manière très large ». Ces consultations extérieures pourraient contrer l’isolement décisionnel souvent présent dans l’industrie technologique.

Cependant, la consultation ne remplace pas la responsabilité publique. Des réunions fermées et des valeurs internes n’offrent pas de réassurance à ceux qui risquent de subir les conséquences d’une utilisation imprudente des systèmes d’IA dans les écoles, les hôpitaux ou d’autres institutions.

Olah a également fait part de ses préoccupations, affirmant qu’il découvre régulièrement des éléments mystérieux concernant le modèle, y compris des structures qui ressemblent aux résultats des neurosciences humaines, ce qui pourrait signaler un besoin d’examen continu et sur l’éthique.

Conclusion

Les débats autour de l’IA concernent qui a le droit de définir ses valeurs et ses frontières. Au Vatican, le pape a insisté sur la nécessité de surveiller l’IA avant qu’elle ne dépasse le jugement humain, mettant en garde contre les armes autonomes et leur potentiel destructeur. À Washington, la pression sur Anthropic a conduit l’entreprise à abandonner l’un de ses principes de sécurité fondamentaux, et son PDG a déclaré que des règles contraignantes sont nécessaires face à la montée de l’IA.

FAQ

Qu’est-ce que l’encyclique de Pape Léon XIV?

L’encyclique « Magnifica Humanitas » aborde les implications morales et éthiques de l’intelligence artificielle et avertit contre les dangers de la technologie si elle ne respecte pas la dignité humaine.

Pourquoi Christopher Olah a-t-il envisagé de se retirer du lancement de l’encyclique?

Olah n’était pas d’accord avec la position du pape sur la conscience artificielle et a suggéré que cela pourrait être incompatible avec les objectifs d’Anthropic.

Quels sont les risques associés à l’utilisation de l’IA dans la société?

Les principaux risques incluent la perturbation des emplois, les cybermenaces, et la réduction de l’humain à de simples données dans des systèmes complexes.

Comment Anthropic tente-t-il d’aborder les questions éthiques soulevées par l’IA?

L’entreprise s’engage à consulter des experts de divers domaines et a formulé un document qui guide le comportement de son modèle d’IA.

Quel est l’impact potentiel de l’IA sur les décisions gouvernementales et sociales?

Si mal gérée, l’IA pourrait influencer négativement les choix sociétaux, en particulier dans des domaines critiques comme l’éducation, la santé et la sécurité publique.