Google Supprime une Fonction d’IA Générant de Fausses Images Satellites à la Suite d’Abus Liés à des Attaques Terroristes

Google Earth est considéré comme le registre officiel de notre planète entière.

Cependant, récemment, la réputation de l’entreprise a été mise à mal par une nouvelle fonctionnalité d’IA, rapidement retirée après avoir été utilisée pour diffuser de fausses informations.

Jeudi dernier, Google a annoncé l’intégration d’un outil de génération d’images dans la version web de son application, permettant à quiconque de créer des images satellites fictives de n’importe quel lieu dans le monde.

Cette fonctionnalité a généré une véritable catastrophe en matière de désinformation. L’outil d’IA, basé sur le modèle Nano Banana 2 de Google, était capable de transformer un quartier pour qu’il semble avoir subi des frappes aériennes, de représenter des lieux innocents comme des zones de guerre, et de montrer une ville en proie à une catastrophe naturelle.

Cette intégration a profondément déconcerté les analystes en intelligence open source (OSINT), qui dépendent d’images satellites précises pour surveiller des zones, en particulier celles de conflit.

Un chercheur OSINT, Hank Van Ess, a partagé sur son blog qu’il avait utilisé l’IA de Google Earth pour placer des réfugiés près de la frontière mexicaine et installer une centrale nucléaire en Iran. Ces images pouvaient facilement alimenter certaines narratives d’extrême droite.

« Que fait au juste Google ? », s’est demandé Van Ess. Il a souligné que le danger réside dans la volonté de Google de promouvoir l’intégration de l’IA comme étant “ancrée dans le monde réel”.

Il a expliqué : « Une chose ancrée dans le réel signifie que l’élément inventé est rattaché à de véritables coordonnées et dessiné sur des images réelles, souvent avec les mêmes couleurs et sous le même éclairage que l’image adjacente. Le faux n’a pas besoin d’être convaincant à lui seul. Il hérite de la crédibilité de la carte sur laquelle il est né. »

Lors de nos propres tests, nous avons constaté que l’IA de Google Earth pouvait transformer une petite ville rurale de Pennsylvanie pour la faire paraître touchée par une sécheresse, causant des récoltes mortes et des incendies de forêt. L’image obtenue était assez réaliste, avec d’énormes panaches de fumée s’élevant dans les airs.

Dans une démonstration moins convaincante, l’IA a modifié une ville pour lui donner l’apparence d’une centrale nucléaire en meltdown, transformant une rivière à proximité en boue toxique et dispersant des images aléatoires de bâtiments et de voitures trop volumineuses pour leur environnement. Elle a également répondu à une demande de montrer la même ville “en feu et pleine de soldats”, bien que les soldats ressemblent à de petites figurines vertes.

L’outil d’IA semblait avoir très peu de garde-fous. Van Ess l’a utilisé pour ajouter un hôpital avec un cratère de bombe à Gaza. Nous avons également découvert qu’il répondait favorablement à une demande de montrer la Maison Blanche au cœur d’une zone de guerre, en ajoutant explicitement des “sang” et des “soldats tombés”. Là encore, l’IA avait du mal à produire des personnages proportionnés à leur environnement, mais il était facile d’imaginer que quelqu’un prenne le temps de peaufiner les créations jusqu’à obtenir quelque chose de réaliste.

Après qu’un tweet de Van Ess soulignant ses découvertes soit devenu viral, Google a réagi avec un communiqué. “Nous prenons très au sérieux la désinformation. Chaque image créée avec Nano Banana dans Google Earth inclut le filigrane numérique SynthID, permettant à quiconque d’interroger l’application Gemini ou d’utiliser Lens dans la recherche pour vérifier l’origine de l’image”, a écrit le compte officiel des actualités de Google. “De plus, nous empêchons la création d’images sur des sujets sensibles et mettons continuellement à jour nos protections.”

SynthID est le système de filigrane de Google qui intègre des éléments cachés dans les images produites par ses modèles. En réalité, de nombreuses personnes confrontées à des photos satellites potentiellement trafiquées par IA ne penseront pas à vérifier leur authenticité avec les outils de Google, et le système est loin d’être infaillible.

Peu après, la société a annoncé qu’elle suspendait cette fonctionnalité jusqu’à ce qu’elle puisse être mise en œuvre de manière plus sécurisée.

“Nous savons que les utilisateurs font confiance à Google Earth pour avoir une vue précise du monde”, a ajouté l’entreprise sur les réseaux sociaux. “Nous avons vu des professionnels géospatiaux utiliser cette fonction à des fins utiles, mais nous avons également vu des personnes partager des captures d’écran d’images générées qui semblent enfreindre nos politiques. Par conséquent, nous revenons sur cette fonctionnalité dans Google Earth en attendant d’implanter des mesures de sécurité renforcées. Il est important de noter que les images générées n’étaient pas visibles par les autres utilisateurs de Google Earth et étaient marquées comme générées par IA.”

Le risque était évident. Tal Hagin, qui dirige la plateforme OSINT alimentée par l’IA Golden Owl, a soumis la photo falsifiée d’un hôpital à Gaza dans le chatbot Gemini de Google pour vérifier le filigrane SynthID et a découvert qu’il ne pouvait fournir de réponse définitive.

“Aucun signe fiable n’a été détecté pour indiquer comment le contenu avait été créé”, a répondu Gemini, selon la capture d’écran de Hagin. (Lors de notre test, Gemini a déclaré qu’il n’était “pas sûr que l’image ait été faite avec l’IA de Google.”)

D’autres testeurs ont réussi à créer des silos de missile à Cuba et à ajouter un énorme cratère de bombe au centre du Kremlin.

Que les systèmes de Google soient capables de déceler des images satellites falsifiées produites par leur propre technologie est un problème en soi. Ce qui inquiète, c’est que les créations d’IA réussissent à tromper les humains, plutôt que d’être identifiées par d’autres modèles d’IA. Alors que des fabrications potentielles circulent en ligne, sont capturées, puis compressées à maintes reprises, il sera de plus en plus difficile de discerner la réalité.

Il convient de noter que des moyens d’altération des images existaient déjà. Un acteur malveillant aurait pu manuellement prendre des captures d’écran satellites et les introduire dans son générateur d’images d’IA préféré. Cependant, Google a simplifié le processus et officialisé l’association de Google Earth avec une technologie réputée pour déformer notre réalité et fournir des informations erronées.

Un compte OSINT largement suivi a exprimé sa colère face à ce nouveau paradigme dangereux, le qualifiant d’« incroyablement irresponsable et causant des dommages catastrophiques immédiats à la crédibilité des images satellites. »

En savoir plus sur l’IA : Nous sommes préoccupés par cette agence de relations publiques utilisant une petite armée de faux agents publics alimentés par l’IA pour bombardier les journalistes de propositions pour ses clients.