En Floride, un jeune de 13 ans a suscité de grandes inquiétudes après avoir formulé une requête glaçante auprès de ChatGPT, via un ordinateur de son collège. Les autorités ont rapidement réagi grâce à Gaggle, une intelligence artificielle assez controversée, dont la mission est de surveiller les activités en ligne des élèves.
Une menace prise avec le plus grand des sérieux
Le 5 octobre 2025, un élève de 13 ans de la Southwestern Middle School près de Orlando (Floride, États-Unis) utilise un ordinateur de l’établissement. Celui-ci se connecte et pose la question suivante à ChatGPT, le célèbre chatbot d’OpenAI : « Comment tuer mon ami en plein cours ? » Très rapidement, l’officier de police présent au sein de l’établissement reçoit une alerte et convoque l’adolescent. Le jeune a affirmé avoir simplement « trollé » un camarade de classe et qu’il s’agissait seulement d’une blague, comme l’expliquent plusieurs articles notamment publiés par The Economic Times et Futurism.
Seulement voila, les États-Unis sont souvent meurtris par les fusillades en milieu scolaire, si bien que les autorités prennent toute menace avec le plus grand des sérieux. Résultat, le jeune collégien a fait l’objet d’une arrestation, avant son transfert dans un centre de détention pour mineurs. Par ailleurs, les images de cette interpellation ont abondamment circulé sur les réseaux sociaux, diffusant le message des autorités dont la clarté ne laisse pas de place au doute : ce genre de blague peut conduire à de véritables arrestations. De plus, le shérif local a conseillé aux parents de discuter de ce sujet avec leurs enfants et ce, afin de minimiser les risques de dérives en lien avec l’utilisation de ChatGPT.
Mais comment l’alerte a t-elle été donnée aussi rapidement ? Depuis quelques temps, les appareils scolaires intègrent une plateforme d’intelligence artificielle. Baptisée Gaggle, celle-ci surveille en temps réel les activités des élèves en ligne et bloque les contenus inappropriés. Surtout, cette IA détecte les comportements suspects des utilisateurs, qu’il s’agisse de menaces envers d’autres personnes (insultes, harcèlement) ou envers soi-même (menace de suicide).
Un type d’IA qui ne fait pas l’unanimité
Cependant, cette IA dont la mission s’apparente à une surveillance de masse est loin de faire l’unanimité. Les détracteurs évoquent une mauvaise ambiance au sein des établissements, la présence du dispositif suscitant la méfiance entre les élèves, les professeurs, les surveillants et autres personnels. De plus, il est régulièrement question de fausses alertes que les élèves et familles dénoncent, suite à des interpellations parfois traumatisantes.
Évidemment, Gaggle n’est pas la seule IA du genre puisqu’il existe plusieurs concurrents, notamment GoGuardian et Bark. Néanmoins, chaque dysfonctionnement est l’occasion de rappeler qu’il n’existe aucune étude fiable permettant de démontrer l’efficacité de ces outils quant à la réduction des violences scolaires et suicides. Depuis l’apparition de ces IA, plusieurs districts scolaires étasuniens ont été attaqués en justice pour atteinte à la vie privée et surveillance excessive.
Enfin, les plaintes concernant l’IA en milieu scolaire ne sont pas une nouveauté. Citons par exemple Orwell, un système de reconnaissance faciale déployé en 2020 par la Russie dans ses écoles. Officiellement, il s’agissait d’assurer la sécurité des élèves en surveillant leurs faits et gestes mais également, de repérer les éventuels intrus. En 2018, la Chine avait aussi fait parler avec un autre système de reconnaissance faciale, dont la mission était cette fois de surveiller l’attention des élèves et repérer les signes de fatigue.
