Un élève blessé lors de la fusillade de janvier au lycée d’Antioch à Nashville a décidé de porter plainte contre les entreprises responsables du système de détection de fusils basé sur l’intelligence artificielle présent sur le campus. Il affirme que cette technologie n’a pas réussi à identifier l’arme utilisée pendant l’attaque.
Contexte de l’Incident
Comme l’a rapporté Futurism, l’élève, Antonyous Henin, qui a été touché à l’bras, accuse le développeur du système, Omnilert, ainsi que System Integrations, la société qui a installé et entretenu l’équipement, de leur incapacité à détecter l’arme. L’incident tragique s’est produit dans le réfectoire de l’établissement, où un tireur a ouvert le feu, causant la mort d’un élève avant de se donner la mort ensuite.
Les allégations
La plainte mentionne qu’Omnilert était conscient—ou aurait dû l’être—des limitations de son système de détection. En particulier, le document souligne les promesses de la société concernant la “fiabilité inégalée” de sa technologie et sa capacité à détecter une arme “avant même qu’un coup de feu ne soit tiré”. Avant l’installation de la technologie, le département des écoles publiques de Metropolitan Nashville avait approuvé un contrat de 1 million de dollars avec Omnilert.
Après l’attaque, le PDG d’Omnilert, Dave Fraser, a défendu la technologie dans des commentaires faits à NBC News, en précisant que la position du tireur et de l’arme rendait ce dernier non visible pour le système, et que cela ne signifiait pas que le fusil n’avait pas été reconnu.
Importance de l’affaire
Cette affaire représente une nouvelle critique à l’égard des outils de surveillance basés sur l’intelligence artificielle dans les écoles. Alors que les préoccupations s’intensifient quant à la fiabilité de ces systèmes en cas d’urgence réelle, la plainte soutient qu’Omnilert a vendu son produit comme une mesure préventive contre les tragédies. Les critères de sécurité qu’il met en avant pourraient, selon certains critiques, créer une fausse sensation de sécurité.
Questions soulevées
De plus, d’autres erreurs notables concernant la surveillance par intelligence artificielle ont été rapportées. Par exemple, le système d’Omnilert a confondu un sac de chips avec une arme, et un autre système, ZeroEyes, a déclenché une alerte à cause d’un clarinette d’élève.
Ces erreurs soulèvent des interrogations sur l’efficacité des millions de dollars investis dans des systèmes censés protéger tout en introduisant des nouvelles problématiques.
Réactions et commentaires
Un porte-parole des écoles MNPS a soutenu l’efficience de la technologie, admettant toutefois qu’elle n’est pas infaillible dans chaque situation, selon l’emplacement de l’arme. En revanche, Chris Smith, avocat de Henin, a exprimé son scepticisme face à de telles déclarations, affirmant que ce système n’est pas encore prêt à être utilisé pour protéger les enfants en milieu scolaire.
FAQ
Quelle est la ligne de défense d’Omnilert ?
Omnilert soutient que son système fonctionne mais présente des limitations en fonction de la visibilité de l’arme et de sa position.
Quels sont les dangers des systèmes de détection AI dans les écoles ?
Les systèmes de détection AI peuvent entraîner une faux sentiment de sécurité et rater des véritables menaces, tout en étant sujets à des erreurs techniques.
Comment le public réagit-il à cette affaire ?
Les réactions vont de l’inquiétude face à l’efficacité de ces systèmes à des appels pour une meilleure réglementation des technologies de surveillance dans les environnements scolaires.
Quelles leçons peut-on tirer de ces événements ?
Cette situation remet en question l’usage d’intelligences artificielles dans des contextes critiques et souligne l’importance d’une évaluation rigoureuse de leur fiabilité avant leur déploiement.
