Une nouvelle étude révèle comment un grand nombre d’enfants utilisent des applications d’IA conçues pour la compagnonnage, et les résultats sont préoccupants.
Un rapport récent de la société de sécurité numérique Aura indique qu’une partie significative des enfants qui se tournent vers l’IA pour de la compagnie s’engagent dans des jeux de rôle violents. Ce type de violence, qui peut inclure la violence sexuelle, est devenu plus attractif que n’importe quel autre sujet pour ces jeunes utilisateurs.
En utilisant des données anonymisées provenant des activités en ligne d’environ 3 000 enfants âgés de cinq à 17 ans utilisant l’outil de contrôle parental d’Aura, ainsi que des informations supplémentaires issues de sondages réalisés par Aura et Talker Research, l’étude a révélé que **42 %** des mineurs recouraient à l’IA spécifiquement pour des conversations conçues pour imiter des interactions sociales réalistes ou des scénarios de jeu de rôle. Ce travail a englobé des discussions à travers près de 90 services de chatbots, allant de grandes entreprises comme Character.AI à des plateformes moins connues.
Parmi les **42 %** d’enfants cherchant de la compagnie via des chatbots, **37 %** ont participé à des échanges évoquant la violence, que les chercheurs ont définie comme des interactions abordant des “thèmes de violence physique, d’agression, de préjudice ou de coercition”. Cela inclut également la coercition sexuelle, précisent les chercheurs, ainsi que des “descriptions de combats, de meurtres, de tortures ou d’actes non consensuels.”
L’étude a révélé que la moitié de ces échanges violents comportaient des éléments de **violence sexuelle**. De plus, les mineurs engagés dans des discussions violentes avec des IA exprimaient plus de **1 000 mots par jour**, ce qui indique que la **violence** semble jouer un rôle central dans l’engagement des enfants, selon les chercheurs.
Alors que le rapport est encore en attente d’une évaluation par des pairs — et à noter qu’il provient d’une entreprise qui vend des logiciels de surveillance aux parents inquiets — il met en lumière le caractère anarchique du marché des chatbots, tout en soulignant la nécessité d’une compréhension approfondie sur la façon dont les jeunes interagissent avec ces technologies IA.
Dr. Scott Kollins, psychologue et directeur médical d’Aura, a déclaré à Futurism que ce sujet est un “sérieux problème” que nous ne mesurons pas pleinement, en termes de volumes d’usage et de diversité des plateformes. Il a ajouté que ces technologies captent l’attention des enfants bien plus que ce que nous pouvons imaginer, ce qui exige une vigilance accrue de notre part.
Un résultat marquant est que la plupart des conversations violentes avec des bots de compagnie commencent dès un âge très précoce, les **11 ans** étant l’âge le plus courant pour ce type de contenu. Dans le même temps, les échanges de jeu de rôle sexuels et romantiques sont également plus fréquents chez les préadolescents, avec **63 %** des conversations de 13 ans révélant des échanges flirtant avec des thèmes sexuels.
Cette étude arrive alors que des procès très médiatisés, accusant des plateformes de chatbots de **mauvais traitements** et de **mort injustifiée**, se dirigent vers les tribunaux. Character.AI, une plateforme liée à Google, fait face à plusieurs poursuites de parents alléguant que les chatbots ont abusé sexuellement et émotionnellement de leurs enfants, entraînant des dépressions et même des suicides. De son côté, OpenAI, qui développe ChatGPT, est actuellement poursuivi pour les décès par suicide de deux jeunes qui ont intensément interagi avec le chatbot.
Le fait que les interactions problématiques mises en avant par Aura ne soient pas limitées à un petit nombre de services connus est crucial. Le secteur de l’IA est quasiment **non réglementé**, ce qui laisse un poids considérable sur les parents pour assurer la sécurité de leurs enfants. Selon Kollins, Aura a identifié plus de **250** applications et plateformes de chatbots conversationnels sur les boutiques d’applications, la plupart permettant simplement aux enfants de cocher une case pour affirmer qu’ils ont plus de 13 ans pour y accéder. Actuellement, il n’existe pas de lois fédérales fixant des seuils de sécurité obligatoires pour les plateformes d’IA, y compris les applications de compagnonnage. Ainsi, alors qu’une application peut prendre des mesures comme interdire les échanges “ouverts” avec des chatbots, une autre peut facilement émerger en tant qu’alternative à faible contrôle.
En somme, dans ce **Far West numérique**, les barrières à l’entrée sont extrêmement faibles.
Il est vrai que des représentations de brutalité et de violence sexuelle existent sur le web depuis longtemps, et beaucoup d’enfants ont trouvé des moyens d’y accéder. Toutefois, des recherches montrent que certains jeunes apprennent à définir des limites saines vis-à-vis des services d’IA, y compris des bots de compagnonnage.
Cependant, d’autres enfants ne parviennent pas à établir ces mêmes limites. Les chatbots, étant interactifs de nature, impliquent les jeunes utilisateurs dans le récit, contrairement à des visionneurs passifs de contenu souvent inapproprié ou troublant. Les répercussions de cette interaction avec un nouveau medium sur les jeunes restent incertaines. Toutefois, pour certains adolescents, les conséquences ont été tragiques.
Dr. Kollins a souligné qu’il est impératif de reconnaître que nos enfants interagissent avec ces technologies, apprenant les règles de ces interactions. “Ils apprennent à interagir avec les autres via un ordinateur — avec un bot. Nous ne connaissons pas encore toutes les implications de cela, mais il est crucial de définir ces interactions afin de pouvoir les étudier et les comprendre,” a-t-il affirmé.
À lire également: Un rapport met en lumière que les principaux chatbots sont une catastrophe pour les adolescents souffrant de troubles mentaux.
FAQ
Quelles sont les principales préoccupations concernant les enfants et les chatbots ?
Les jeunes s’engagent souvent dans des interactions violentes, avec un pourcentage notable d’échanges à caractère sexuel. Cela soulève des questions sérieuses sur leur santé mentale et les effets à long terme de ces interactions.
Comment les parents peuvent-ils protéger leurs enfants ?
Les parents doivent être proactifs dans la surveillance des activités en ligne de leurs enfants et envisager l’utilisation de logiciels de contrôle parental robustes pour limiter l’accès à des contenus inappropriés.
Quels sont les risques associés à l’utilisation d’applications d’IA par les jeunes ?
Les risques incluent l’exposition à des contenus violents, l’apprentissage de comportements inappropriés et des impacts potentiels sur la santé mentale des jeunes.
Que peut-on faire pour réguler le marché des chatbots ?
Il est crucial de mettre en œuvre des réglementations strictes concernant les applications d’IA, en établissant des normes de sécurité spécifiques pour protéger les mineurs.
Y a-t-il des recherches en cours sur ce sujet ?
Oui, plusieurs études et rapports sont en cours pour mieux comprendre l’impact des interações des jeunes avec les chatbots et les implications pour la santé mentale et sociale.
