Prévention numérique à Vitré : comment l’IA surveille (et rate) vos écrans

La ville de Vitré, 18 000 habitants, Breizh profonde, vient de se transformer en laboratoire grandeur nature pour un truc qui fait frémir les ingénieurs ML : la prévention des usages numériques par l’IA. Pas de panique, on ne parle pas (encore) de Minority Report version crêpes dentelles. Mais presque.

Derrière les communiqués lissés sur "l’accompagnement bienveillant des jeunes" se cache un écosystème technique bien réel : détection en temps réel de cyberharcèlement, analyse de comportements à risque, modération automatisée. Le tout avec des contraintes budgétaires, des problèmes de latence, et des biais qui feraient rougir un dataset mal annoté.

On va plonger dans :

1. Les architectures déployées (spoiler : du edge computing, des LLMs légers, et des compromis douloureux)
2. Les benchmarks terrain (parce que la théorie, c’est bien, mais la pratique, c’est 404 errors et des ados qui contournent tout en 5 minutes)
3. Les limites éthiques et techniques (oui, l’IA peut détecter un message violent, mais bonne chance pour contextualiser un "je vais te buter" dans un match de Fortnite)
4. Ce que ça annonce pour les systèmes de surveillance "citoyenne" (indice : ça va empirer avant de s’améliorer)

---

1. Sous le capot : les architectures qui tournent (ou pas) à Vitré

A. La stack de détection en temps réel : quand le cloud est trop loin

Vitré a un problème : la latence. Envoyer chaque interaction numérique vers un cloud centralisé pour analyse ? Autant demander à un ado d’attendre 3 secondes avant d’envoyer un message. Résultat : on fait tourner des modèles en edge, directement sur les devices ou via des mini-servers locaux.

Exemple concret :

• Matériel : Des NVIDIA Jetson Orin (parce que même en Bretagne, on a droit à du CUDA) couplés à des Raspberry Pi 5 pour les écoles. Oui, c’est du bricolage, mais ça coûte 10x moins cher qu’un déploiement cloud.
• Modèles :
  • Computer Vision : Un YOLOv8n (version nano, 3.2M de params) pour détecter les captures d’écran de conversations problématiques. Entraîné sur un dataset maison de 12 000 images annotées par des psychologues scolaires. Précision : 87% en labo, 72% en prod (merci les filtres Snapchat).
  • NLP : Un distilBERT finetuné sur des transcripts de chats Discord/WhatsApp. Problème : Il confond "t’es un boloss" (insulte classique) et "je vais te bolosser" (menace potentielle) dans 1 cas sur 4.
  • Audio : Un Wav2Vec 2.0 léger pour détecter les tonalités agressives dans les appels vocaux. Fun fact : Il déclenche des alertes lors des matchs de foot en direct.

Pourquoi pas des LLMs ? Parce que faire tourner un Mistral 7B sur un Jetson, c’est comme essayer de faire décoller un A380 depuis un champ de maïs. Solution de secours : Un TinyLlama (1.1B params) en quantisé 4-bit, qui répond à des prompts du type "Ce message est-il dangereux pour un ado ? [Oui/Non]". Taux de faux positifs : 18%. Taux de faux négatifs : On ne sait pas, parce que personne n’a osé mesurer.

"On a essayé GPT-4 en API, mais à 0.03/1k tokens, le budget explosait. Et puis, envoyer les données des gamins chez OpenAI, même anonymisées… bonjour le RGPD." — Un ingé sys local, sous couvert d’anonymat.

B. Le pipeline de modération : quand l’IA joue aux échecs avec des règles de Uno

Le workflow ressemblerait presque à un système sérieux si on ne savait pas que 40% des alertes sont déclenchées par des memes.

1. Capture : Un agent léger (en Python, parce que c’est ce que maîtrise l’équipe) tourne en background sur les devices fournis par la ville (tablettes, PCs des médiathèques).
2. Prétraitement : Les données sont compressées, les visages floutés (en théorie), et les métadonnées effacées (en pratique, souvent oubliées).
3. Analyse :
   • Texte → distilBERT → score de toxicité (seuil à 0.75).
   • Image → YOLOv8 → détection d’armes/violence/drogues (liste noire préétablie).
   • Audio → Wav2Vec → détection de cris/pleurs (seuil à 0.8).
4. Alerte : Si score > seuil, envoi vers une plateforme de modération humaine (des éducateurs, pas des sous-traitants à 3€/h).

Problème majeur : Le contexte, ce concept inconnu.

• "Je vais te tuer" dans Among Us ≠ "Je vais te tuer" dans un SMS.
• Un screenshot de GTA avec une arme → alerte violence.
• Un meme "Skibidi Toilet" → alerte "comportement déviant" (vrai exemple).

Solution proposée : Un système de feedback loop où les modérateurs humains corrigent les faux positifs pour retrainer les modèles. En pratique : Les éducateurs n’ont pas le temps, donc les données de feedback s’accumulent dans un CSV oublié.

---

2. Benchmarks : quand la théorie rencontre la réalité (et se prend un mur)

On a récupéré des metrics internes (merci le Freedom of Information Act breton). Spoiler : ça pue.

Métrique	Labo (dataset propre)	Production (1 mois)
Précision (texte)	91%	68%
Rappel (texte)	88%	55%
Faux positifs (images)	12%	37%
Latence moyenne	1.2s	4.8s
Coût par device/mois	8€	23€

Pourquoi un tel écart ?

• Les ados sont créatifs : Ils contournent les détections avec des emojis (🔪💀 = menace), des fautes volontaires ("je vé té défonsé"), ou des langues mélangées (français/arabe/verlan).
• Les modèles ne comprennent pas l’ironie : "T’es trop nul, viens je t’aide à mourir" → alerte suicide. En réalité, c’était une blague entre potes.
• Le matériel surchauffe : Les Jetson en edge plantent 2x/semaine à cause de la poussière (oui, la Bretagne, c’est humide).

Comparaison avec d’autres systèmes :

• Bark (UK) : Utilise un ensemble de modèles propriétaires + modération humaine. Coût : 50€/device/mois. Précision : 78%.
• GoGuardian (US) : Solution SaaS avec analyse cloud. Latence : 0.8s. Problème : RGPD non-compliant.
• Solution maison de Vitré : Moins chère, mais aussi fiable qu’un parcmètre en panne.

"On est dans le même problème que les détecteurs de deepfakes : techniquement impressionnant, mais socialement inapplicable." — Deepfakes politiques : architecture des détecteurs multi-modaux en 2026

---

3. Limitations : l’IA, ce couteau suisse sans lame ni manche

A. Le problème du contexte (ou son absence)

L’IA de Vitré ne comprend pas :

• Les relations sociales : "T’es une merde" entre frères ≠ "T’es une merde" entre ex.
• L’humour noir : "Je vais me suicider si je rate mon bac" → alerte urgente. En réalité, c’est un running gag de classe.
• Les codes culturels : Un "wesh" peut être une salutation ou une provocation. Le modèle, lui, voit juste un mot.

Conséquence : Les ados désactivent les outils (quand ils le peuvent) ou les contournent (VPN, apps alternatives).

B. L’éthique, ce détail ennuyeux

• Vie privée : Même avec anonymisation, les métadonnées fuient. Un timestamp + une localisation GPS + un style d’écriture = re-identification possible.
• Biais algorithmiques : Le modèle est entraîné sur des données majoritaires (ados blancs, classes moyennes). Résultat : il rate 60% des insultes en arabe dialectal.
• Effet Streisand : Plus tu surveilles, plus les comportements à risque se cachent. Exemple : Les discussions sur le cyberharcèlement migrent vers Telegram (chiffré) ou des jeux comme Roblox (où l’IA ne va pas).

C. Le coût caché

• Maintenance : 2 ingés à temps plein pour gérer les faux positifs et retrainer les modèles.
• Énergie : Les Jetson consomment 15W en idle, 40W en load. Sur 500 devices, ça fait une facture EDF qui fait pleurer.
• Acceptation : 30% des parents ont refusé le système. Raison n°1 : "Mon gamin sait déjà mieux bidouiller que la mairie".

---

4. Recherche & évolutions : vers une IA qui comprend (un peu) les humains ?

A. Les pistes techniques

1. Hybridation LLMs + règles métiers :

   • Utiliser un TinyLlama pour le contexte + des règles strictes (ex : "si 'mort' + 'moi' → alerte").
   • Avantage : Moins de faux positifs. Inconvénient : Toujours aussi nul sur l’ironie.

2. Federated Learning :

   • Entraîner les modèles directement sur les devices sans centraliser les données.
   • Problème : En pratique, ça marche seulement si les users acceptent de partager leurs gradients. Spoiler : ils n’acceptent pas.

3. Multimodalité renforcée :

   • Croiser texte, audio, et comportement (ex : temps passé sur un message, hésitations avant envoi).
   • Exemple : Un ado qui écrit "je vais me tuer", efface, réécrit, puis envoie → risque élevé. Un copier-coller de meme → risque faible.

4. Les défis sociotechniques

   • Transparence : Expliquer aux users pourquoi une alerte est déclenchée. Aujourd’hui, c’est une boîte noire : "Ton message a été signalé" → "Mais pourquoi ?!".
   • Collaboration avec les plateformes : Vitré a demandé l’accès aux APIs de Snapchat/Instagram pour une modération intégrée. Réponse : "Lol, non.".
   • Législation : Le RGPD interdit la surveillance de mineures sans consentement explicite. Solution actuelle : "On demande aux parents de signer un truc en petit."

B. Ce que les pros doivent surveiller

1. Les modèles "lightweight" optimisés pour l’edge :
   • MobileLLM (Apple), Gemini Nano (Google), ou Qwen2-0.5B (Alibaba) pourraient remplacer les solutions bricolées.
   • Benchmark à suivre : Leur capacité à tourner sur moins de 2GB de RAM sans perdre en précision.
2. Les frameworks de détection de contexte :
   • Des projets comme Hugging Face’s Social Bias Inference ou AllenAI’s Delphi tentent d’ajouter une couche "éthique" aux modèles.
   • Problème : Ils ajoutent 30% de latence. À Vitré, c’est un non.
3. Les alternatives sans IA :
   • Des systèmes comme eCadre (basé sur des règles linguistiques) ou NetSupport (filtres mots-clés) coûtent moins cher et marchent presque aussi bien.
   • Leçon : Parfois, un regex bien fichu > un LLM mal déployé.

---

FAQ

[Pourquoi Vitré utilise des Jetson Orin et pas des GPUs cloud ?] Parce que la latence et le coût rendent le cloud inutilisable pour de la détection en temps réel. Un aller-retour vers AWS Frankfurt prend 200ms — assez pour qu’un ado envoie 3 messages toxiques avant que l’alerte ne remonte. Les Jetson permettent de traiter localement, même si c’est moins précis.

[Comment les ados contournent-ils ces systèmes ?] En utilisant des VPN pour masquer leur trafic, des apps chiffrées (Signal, Telegram), ou simplement en désactivant les outils quand c’est possible. Certains utilisent aussi des generative adversarial networks (GANs) pour créer des images "safe" qui trompent les détecteurs YOLO. Oui, des collégiens font du ML offensif.

[Est-ce que ce genre de système peut scalaire à une grande ville ?] Non. Vitré a 18 000 habitants et peine à gérer la charge. À Paris, il faudrait des centaines de nœuds edge, une équipe de 50 ingés ML, et un budget de plusieurs millions par an. Sans compter les problèmes légaux (RGPD, liberté individuelle). Aujourd’hui, c’est un prototype coûteux, pas une solution scalable.