Un Professeur Alerte sur les Bots ‘Cauchemar’ Visant les Personnes Fragiles

Imaginez que vous vous liez d’amitié avec quelqu’un sur Twitter. Leurs messages originaux vous captivent, si bien que vous finissez par leur envoyer un message privé.

Vous échangez quelques mots, aimez vos tweets respectifs et, si besoin, vous les soutenez sur GoFundMe.

À présent, réfléchissez à votre réaction en découvrant que cette personne n’existait pas en réalité. Son profil serait en fait une combinaison d’expressions générées par l’outil de langage GPT-3, accompagnée d’une image créée par un réseau antagoniste génératif, peut-être même avec quelques vidéos truquées ajoutées. Comment vous sentiriez-vous en apprenant que vous vous étiez attaché émotionnellement à un algorithme ? Que se passerait-il si cette “personne” était conçue pour vous manipuler, influençant vos décisions personnelles, financières ou politiques, comme le ferait un escroc ordinaire ?

Cela peut sembler tiré par les cheveux, mais des individus ont été dupés par des ordinateurs se faisant passer pour des humains depuis 1966, lorsque le scientifique du MIT Joseph Weizenbaum a conçu le programme ELIZA. Ce programme imitait un psychothérapeute en répétant les déclarations des utilisateurs sous forme de questions. Weizenbaum a été troublé par la réaction sérieuse des utilisateurs : sa secrétaire lui a même demandé de quitter la pièce pendant qu’elle parlait à l’outil. Par la suite, il est devenu critique face à l’intelligence artificielle.

Aujourd’hui, la technologie a fait de grands progrès pour créer des personnalités virtuelles crédibles. Simon DeDeo, professeur assistant à l’université Carnegie Mellon et membre externe à l’Institut de Santa Fe, a tweeté l’été dernier que son « application de cauchemar actuelle » consiste à combiner GPT-3, des GANs faciaux et la synthèse vocale pour créer des ELIZAs synthétiques qui rendent les gens vulnérables « littéralement fous ».

J’ai récemment demandé à DeDeo à quel point il pensait que son cauchemar était proche de devenir une réalité technologique.

Il a répondu : « Je pense que c’est déjà arrivé. »

Nous en avons discuté peu après qu’une série de vidéos virales sur TikTok montrant un Tom Cruise paraissant effectuer diverses activités, telles que des tours de magie et du golf, a provoqué une agitation sur Internet. En réalité, il s’agissait de deepfakes réalisées par un spécialiste des effets visuels et un imitateur de Cruise. Les vidéos sont impressionnantes, mais, selon leur créateur, DeDeo ne considère pas ces faux comme une source d’inquiétude.

Il a souligné que prévenir la prochaine vidéo TikTok d’une célébrité truquée ne devrait pas être notre priorité. Selon lui, le deepfake de Cruise « révèle quelque chose qui existe depuis longtemps ». Il a comparé l’attention médiatique pour ces vidéos à l’attitude des médias face à un crash d’avion, alors que les accidents de la route sont beaucoup plus courants. Concernant l’intelligence artificielle, comme dans les transports, certains événements frappants attirent notre attention, « mais nous sommes en réalité entourés de petits incidents moins marquants en permanence ».

De toute façon, il n’est pas vraiment inquiet des vidéos. Dans son scénario cauchemardesque, il s’inquiète davantage de la manière dont GPT-3 peut générer un langage qui semble réaliste.

« Je peux vous arnaquer sans avoir besoin d’une vidéo truquée », a-t-il expliqué. « La manière dont je vous trompe n’est pas en manipulant votre perception visuelle, comme le font les vidéos truquées. Je vous trompe en influençant votre réflexion rationnelle. Je vous trompe à un niveau plus profond dans votre cognition sociale. »

Le terme « social » est crucial ici, car les faux à petite échelle dont parle DeDeo prospèrent sur les réseaux sociaux. En un sens, c’est tout ce que représentent ces réseaux ; DeDeo a souvent qualifié nos interactions sur des plateformes comme Facebook de « cyborgiennes ».

Réfléchissez aux théories du complot comme QAnon, qui prospèrent en ligne de manière qu’elles ne pourraient probablement pas le faire en personne. Les personnes attirées par ce type de communauté sont constamment renforcées par des likes et des commentaires sur leurs publications, même si elles perdent le contact avec leurs amis et leur famille, comme l’illustre le cas de Valerie Gilbert, connue comme la « reine des mèmes QAnon ».

Les utilisateurs d’Internet qui composent la communauté QAnon sont, autant que l’on sache, de véritables humains. Toutefois, leurs actions sont filtrées par les algorithmes des réseaux sociaux, ce qui crée une communauté qui n’est pas tout à fait organique, mais qui pourrait permettre à des entités malveillantes, comme le cauchemar de DeDeo, de s’épanouir.

« C’est comme le soja vert — QAnon est composé de personnes », a déclaré DeDeo. « Mais ces sociétés bizarrement artificielles sont soutenues par des algorithmes qui simulent la sociabilité, l’amitié, le prestige, tout cela qui est fondamental pour notre cognition. »

Les algorithmes qui renforcent potentiellement des contenus toxiques, comme les mèmes QAnon, ne sont pas près d’être modifiés par Facebook, car le plus grand engagement signifie que les utilisateurs passent plus de temps sur le site.

Ce type d’interaction artificielle ne se limite pas aux théoriciens du complot. DeDeo a également souligné le comportement étrange observé chez les utilisateurs de petits comptes Twitter lorsque l’un de leurs tweets devient soudainement viral. « On peut voir une personne être littéralement poussée à la folie par ce qui lui arrive », a-t-il déclaré, comparant cela à une « expérience de deepfake pour devenir l’empereur du monde. »

Ces exemples sont parmi les plus visibles, mais la nature cyborgienne des réseaux sociaux impacte chaque utilisateur. Parcourir votre fil d’actualité, c’est interagir avec un algorithme ; les mises à jour que vous voyez constituent une réalité construite. Bien sûr, il y a des humains derrière les comptes, mais la nature de votre interaction avec eux a été intrinsèquement modifiée par un impôt numérique. « C’est comme si toutes les voix étaient légèrement déformées et à un volume quelque peu erroné », a observé DeDeo.

« Le compte Facebook lié à votre ami du lycée ? » a-t-il demandé. « En un sens, c’est bien votre ami qui gère ce compte, mais dans un autre sens très important, il ne le fait pas vraiment. En effet, par ce que Facebook décide de mettre en avant, par les interactions qu’il choisit de vous montrer et celles qu’il choisit de mettre en avant ou d’étouffer, cela crée une personne totalement différente. »

Cela peut sembler relativement inoffensif. Quelle importance cela a-t-il si Facebook met en avant un détail de la vie de votre ami que vous n’avez jamais remarqué ou discuté lors d’interactions personnelles ? Toutefois, selon DeDeo, c’est précisément l’innocuité apparente de ce phénomène qui le rend dangereux.

Les spécialistes du marketing parlent du phénomène de preuve sociale, où les gens sont plus enclins à agir ou à acheter un produit s’ils constatent que leur cercle social fait de même. La mise en forme du contenu sur les réseaux sociaux, avec quelques petites modifications ou ajouts, pourrait permettre aux organisations d’exploiter cette partie de notre psychologie et d’influencer notre comportement. Le profil d’une personne sur les réseaux sociaux pourrait être altéré pour lui faire penser qu’un certain comportement est normal ou souhaitable.

« La personne qui cherche à tirer profit n’a pas besoin de créer un faux pur où Tom Cruise dirait quelque chose qu’il ne dirait jamais », a expliqué DeDeo. « La version profitable est cyborgienne dans le sens où elle ressemble à ce que mon ami pourrait dire. En fait, c’est assez proche. Et en fait, la plupart de ce que cet outil m’a donné est ce qu’il a dit. »

Ce genre de deepfake cyborgien ne se limite pas aux publications textuelles. Que se passerait-il, par exemple, si Facebook introduisait des likes ou des cœurs fictifs ?

« Ils ont presque certainement tenté cela », a affirmé DeDeo. « Il n’y a aucune garantie qu’une personne qui clique sur le bouton “J’aime” le voit réellement, et aucune garantie que, si le bouton est activé par une personne, cette personne l’ait réellement fait. »

En plus de faciliter la manipulation des utilisateurs de réseaux sociaux, il est facile de voir comment cela pourrait amener des gens à douter de la réalité — en fait, cela s’est déjà produit et cela préoccupe ceux qui suivent le développement de l’IA depuis des années.

Une autre utilisation malveillante majeure de cette technologie, et l’un des aspects largement sous-estimés par rapport aux conséquences politiques potentielles des deepfakes, est le harcèlement et l’humiliation des femmes. La pornographie fabriquée à partir de deepfakes de célébrités est répandue, mais la pornographie truquée impliquant des personnes ordinaires représente également un énorme problème.

Une entreprise de renseignement sur les menaces visuelles nommée Sensity a découvert un bot pornographique intégré à l’application de messagerie Telegram qui permettait aux utilisateurs de créer des images nues truquées de femmes à partir d’une simple photo de profil ; lorsqu’il a été découvert à la fin 2020, le bot avait généré de fausses vidéos pornographiques de 680 000 femmes. Vox a rapporté qu’une étude de 2019 révélait qu’un impressionnant 96 % des vidéos deepfake existantes étaient pornographiques et non consensuelles. Une application d’IA qui a depuis été retirée a permis aux utilisateurs de « déshabiller » des femmes. En mars, une mère d’une pom-pom girl adolescente a été accusée de harcèlement pour avoir créé des images de deepfake compromettantes d’autres filles du programme de cheerleading, y compris des photos nues, et pour leur avoir dit de se suicider.

Alors, que faire maintenant ? Comment pouvons-nous apprendre à reconnaître et à contrecarrer les deepfakes tout en maintenant notre lien avec la réalité ?

C’est une question importante en sciences sociales, a déclaré DeDeo, qui estime que cela se résume à une notion de civisme. Il se rappelle qu’on lui a appris à l’école quelles institutions respecter et comment être un bon consommateur de l’information. « Mais nous n’avons pas de civisme moderne qui aide, disons, un adolescent de 15 ans à réfléchir dans ce monde fou », a-t-il souligné. « Le paysage est totalement différent. »

« Quel type de programme éducatif développer pour aider les gens à devenir des adultes ? » s’est interrogé DeDeo. Il a une nouvelle fois mentionné les deepfakes cyborgiens, déplorant que les gens sont vulnérables parce qu’ils détournent des parties de notre raisonnement qui sont en réalité bénéfiques dans de nombreux contextes. « Faire confiance à quelqu’un pour vous dire la vérité, se dire ‘Oh, je ne comprends pas vraiment cela, je devrais enquêter’… ce sont d’excellents instincts, dans certaines situations. Mais ces instincts pourraient vous amener à traiter un rendez-vous en ligne avec GPT-3 comme s’il s’agissait d’un être humain. »

Je lui ai demandé s’il plaiderait pour un type de nouvelle éducation civique dans nos programmes scolaires, et bien qu’il ait dit que ce serait l’idéal, DeDeo a ajouté que « nous, en tant qu’adultes, ne savons pas non plus ce qui se passe ».

« Il n’y a pas d’adultes dans la pièce », a-t-il dit. « Donc je pense que la conversation porte en partie sur ‘Que devons-nous enseigner à un enfant de 12 ans ?’, mais c’est aussi un problème philosophique pour les 21-, 31- et 41-ans. »

Cependant, DeDeo se montre optimiste quant à la possibilité de résoudre ce problème, en saluant le succès du système universitaire et en comparant Internet à « une immense communauté collégiale anarchique ».

« Les universités fonctionnent ; elles aident vraiment les gens à mieux penser » et permettent à la science et à la philosophie de prospérer, a-t-il soutenu. Un des éléments qui favorisent leur succès est l’idée d’appartenance, où être membre du système implique de se soumettre à certaines obligations—par exemple, l’humilité épistémique, qui exige de passer par un processus de révision par les pairs, « même si vous pensez vraiment avoir raison. »

« Ce que nous savons ne fonctionne pas, c’est Facebook », a-t-il déclaré, décrivant cette plateforme comme « une sorte d’État autoritaire massif où il n’y a aucune liberté d’assemblée. Ainsi, il est probablement trop vaste et tout cela est conçu pour empêcher les gens de s’auto-gouverner. »

Il a ajouté que Twitter est « un peu mieux ». Mais pour des exemples plus probants, DeDeo suggère de se tourner vers Reddit et Wikipedia.

« Reddit permet une grande construction d’institution au sein d’un subreddit. Il s’y passe des choses très créatives. » De plus, il a remarqué que Reddit continue de croître, même en prospérant ; sa croissance ne s’est pas stabilisée. Wikipedia, au début, était également « un exemple formidable d’une communauté créant des structures institutionnelles qui lui ont permis de prospérer. »

Ces institutions aident à détecter les contenus faux, car gagner en statut social sur Wikipedia ou un subreddit est « comme le plus grand CAPTCHA qui soit », a expliqué DeDeo. « Vous devez faire des choses qui sont si fondamentalement humaines. »

Quelque chose comme cela s’est produit récemment sur Twitter, lorsqu’un grand nombre de comptes apparemment faux d’employés d’Amazon ont été créés pour faire l’éloge de l’entreprise et émettre des commentaires anti-syndicaux. Les utilisateurs de Twitter ont rapidement repéré des signes révélateurs de visages générés par ordinateur, comme des effets étranges autour des cheveux d’une personne ou des lunettes qui avaient des styles incohérents. Beaucoup ont d’abord supposé que les comptes avaient été créés par Amazon, mais des investigations plus poussées ont soulevé des doutes, et Amazon a déclaré à un journaliste du The New York Times qu’il n’était pas lié à ces comptes. Ceux-ci ont depuis été suspendus par Twitter pour diffusion d’informations trompeuses sur l’identité des propriétaires des comptes.

Au milieu de toutes ces préoccupations concernant les problématiques que cette technologie pourrait engendrer, DeDeo voit au moins un avantage : une analyse plus critique du contenu généré par les humains qui, tout comme le contenu généré par les bots, manque de profondeur réelle.

« Les êtres humains sont souvent dans une sorte de non-pensée », a observé DeDeo, qui, en tant que professeur, a eu à lire un bon nombre d’essais formulaïques. « Les gens disent souvent des choses qui semblent intelligentes mais qui n’ont en fait aucun contenu. De nombreux articles que les gens rédigent sont dénués de sens. GPT-3 peut imiter cela à la perfection. »

En révélant cela, a-t-il ajouté, des algorithmes astucieux comme GPT-3 nous « rendent conscients du point à partir duquel des contenus qui semblent réfléchir n’ont aucune pensée derrière eux. Cela nous désenchante. »

Au fur et à mesure que les machines apprennent à accomplir davantage de tâches, cela nous pousse à réfléchir profondément à ce qui nous distingue — ce qui fait de nous des êtres humains.

Nous pourrions penser, “Eh bien, c’est une dystopie horrible où les machines peuvent rédiger des publicités,” a déclaré DeDeo. « Peut-être qu’au fond, rédiger des publicités n’est pas ce que signifie être humain. »

En savoir plus sur l’IA : Vous n’avez aucune idée de ce que fait réellement l’intelligence artificielle.