La semaine dernière, au collège Lawton Chiles en Floride, une alerte émise par un système de surveillance basé sur l’IA a provoqué une mise en confinement après qu’un élève a été signalé avec une arme.
Le problème ? Cette “arme” n’était autre que le clarinette d’un élève de la section musicale.
Selon des rapports locaux, la situation s’est rapidement éclaircie. Lorsque l’alerte a été déclenchée, cela a automatiquement entraîné un “code rouge”, poussant les responsables à réagir immédiatement selon la décision prise par le système d’IA.
Heureusement, aucun blessé n’était à déplorer, et la police locale a rapidement mis fin à la mise en confinement. Dans un post sur Facebook, la police a rassuré les parents en indiquant que “le code rouge était une mesure de précaution et que les enfants n’étaient jamais en danger”.
Dans un message adressé aux parents, la directrice, Dr. Melissa Laudani, a précisé que l’établissement dispose de “plusieurs niveaux de sécurité, y compris un système automatisé qui détecte les menaces potentielles. Un élève se promenait dans le couloir, tenant un instrument de musique comme s’il s’agissait d’une arme, ce qui a déclenché le code rouge.” (Il n’est pas précisé ce que signifie précisément un “code rouge”, car cela n’est pas évoqué dans le dernier manuel des parents et des élèves).
Au lieu de remettre en question la fiabilité du système d’IA à l’origine de ce tumulte — qui, sans lui, n’aurait jamais eu lieu — l’école a choisi de rendre responsable le jeune clarinettiste.
“Bien qu’aucune menace n’ait pesé sur le campus, je vous demande de parler avec votre enfant des dangers de faire semblant d’avoir une arme sur le campus”, a écrit Laudani.
On ne sait pas quelles technologies de surveillance spécifiques sont mises en œuvre à Lawton Chiles, mais le fait qu’elles ne soient pas capables de faire la distinction entre un clarinette à 17 clés et un fusil sans clé soulève des inquiétudes.
Cet incident intervient peu après un autre cas similaire à Baltimore, où l’IA a conduit à l’arrestation violente d’un adolescent de 16 ans par au moins huit policiers armés. Dans cette situation, le système d’IA de l’école avait malencontreusement identifié un petit paquet de Doritos comme une arme à feu, entraînant une réponse policière lourdement armée.
Tout comme à Lawton Chiles, l’erreur de Baltimore aurait pu être évitée si un être humain avait été impliqué dans la décision. Il semble que dans les deux cas, les systèmes d’IA ont été laissés à prendre des décisions sans contestation humaine.
Omniilert, l’entreprise responsable de l’incident des Doritos, a affirmé que son système d’IA “fonctionnait comme prévu : pour donner la priorité à la sécurité et à la vigilance via une vérification humaine rapide”.
Cela met en lumière à quel point il est crucial que ces systèmes de surveillance basés sur l’IA soient efficaces avant d’être intégrés dans les établissements scolaires — car en matière d’identification des élèves porteurs d’armes, des faux positifs peuvent être tout aussi dangereux que des faux négatifs.
Pour en savoir plus sur la surveillance : Les citoyens s’élèvent contre les caméras de surveillance équipées d’IA
Qu’est-ce qu’un code rouge dans les écoles ?
Un “code rouge” est généralement une alerte d’urgence signalant une situation potentiellement dangereuse sur le campus, nécessitant un confinement immédiat des élèves et du personnel.
Comment les systèmes d’IA détectent-ils des menaces ?
Les systèmes d’IA utilisent des algorithmes d’apprentissage automatique pour analyser des images et détecter des objets qu’ils jugent potentiellement dangereux, comme des armes.
Quelles sont les conséquences d’une fausse alerte ?
Les fausses alertes peuvent entraîner des paniques inutiles, des interventions policières excessives et une perte de confiance dans les systèmes de sécurité des écoles.
Quelle est la réaction des parents face à ces incidents ?
Les parents s’inquiètent de la fiabilité des systèmes de surveillance IA et demandent plus de transparence sur les protocoles de sécurité.
Quel est le rôle des autorités scolaires dans ces situations ?
Les autorités scolaires doivent veiller à ce que les systèmes d’IA soient sûrs, précis et accompagnés de protocoles clairs pour protéger les élèves sans provoquer de panique.