Fuite de données inquiétantes
Une récente enquête menée par la société de sécurité UpGuard a mis en lumière une situation troublante : plusieurs sites de chat NSFW laissent fuiter des conversations explicites des utilisateurs sur le web. Ces interactions peuvent contenir des contenus particulièrement dérangeants.
Un aperçu alarmant
Selon des informations relayées par Wired, l’étude d’UpGuard a examiné 400 services d’IA qui se sont révélés “exposés”. Ces services, reposant sur un protocole d’IA open-source nommé llama.cpp, ont permis aux chercheurs d’identifier 117 adresses IP associées à ces systèmes mal construites, lesquelles laissaient échapper des messages d’utilisateurs. Parmi ces services, trois systèmes ont été spécifiquement associés à la fuite de données de conversations à caractère sexuel explicite avec des chatbots érotiques.
Au fil de l’analyse, UpGuard a amassé près de 1 000 conversations fuites en moins de 24 heures, dont cinq étaient particulièrement sensibles, centrées sur des scénarios d’abus sexuel sur des enfants.
Problèmes de confidentialité et dangers sous-jacents
Bien qu’UpGuard n’ait pas pu identifier précisément les sites impliqués, ils ont établi que ces plateformes proposaient des chatbots orientés vers le jeu de rôles, créés pour incarner des « personnages » spécifiques. Ce décalage représente un énorme problème de vie privée en soi, car il expose des interactions très personnelles à la vue de tous.
Les fautes de sécurité de ces systèmes révèlent également l’une des facettes les plus sombres de l’IA générative. Des agents malveillants profitent de services non régulés pour explorer des fantasmes sexuels abusifs, souvent de manière facilement accessible. Greg Pollock, VP produit chez UpGuard, souligne que ces modèles de langage sont utilisés pour reproduire en masse des contenus liés à l’abus sexuel d’enfants, abaissant de facto les barrières d’accès à ces fantasmes inacceptables.
Les risques contenus dans l’IA générative
L’observation de Pollock n’est pas nouvelle. L’IA générative a déjà été exploitée pour produire ou consulter du contenu lié à la pédopornographie. La semaine dernière, Wired a rapporté qu’un incident au sein d’une start-up sud-coréenne de génération d’images par IA avait révélé une collection de deepfakes sexuels, dont des images de célébrités rajeunies pour ressembler à des enfants. En conséquence, l’entreprise a détruit son site web.
Chatbots à risque
En ce qui concerne les services de chatbot spécialisés dans les personnages, une enquête récente de MIT Technology Review a mis en avant que la société Botify AI hébergeait des versions de célébrités féminines sexualisées, tandis qu’une investigation menée par Futurism a révélé que Character.AI, actuellement confrontée à des poursuites liées à la protection de l’enfance, abritait des chatbots conçus pour influencer des utilisateurs mineurs.
FAQ
Qu’est-ce qui est considéré comme contenu NSFW ?
Le contenu NSFW (Not Safe For Work) englobe tout élément, qu’il soit textuel ou visuel, qui pourrait être jugé inapproprié dans un cadre professionnel, notamment des représentations explicites ou suggestives.
Comment les fuites de données de ces chatbots peuvent-elles être arrêtées ?
Les entreprises doivent mettre en place des protocoles de sécurité stricts et des audits réguliers pour protéger les données des utilisateurs et empêcher les fuites d’informations sensibles.
Quel cadre juridique réglemente l’utilisation des services d’IA génératifs ?
Actuellement, la réglementation autour des services d’IA se développe, mais de nombreux aspects restent flous. Il est essentiel de travailler sur des lois pour protéger les individus contre les abus liés à l’IA.
Que peuvent faire les utilisateurs pour se protéger ?
Les utilisateurs doivent être prudents en ligne, éviter de partager des informations personnelles sur des plateformes non sécurisées et signaler tout comportement inapproprié aux autorités compétentes.
Quelle est la responsabilité des développeurs d’IA dans ce contexte ?
Les développeurs ont la responsabilité éthique de concevoir des IA de manière à limiter les risques d’abus et à protéger les utilisateurs, surtout les plus vulnérables, contre les dangers associés à ces technologies.
