À #VivaIssy, des étudiants interrogent la responsabilité juridique des systèmes d’IA

Victoria Roger, Ya-Sin Alao, Jeanne Alexandre, Antonin Lacouture-Raimbault et Benjamin Dinon ont endossé les rôles d’avocats, d’experts et de parties au procès pour traiter une question très concrète : qui doit répondre d’une arrestation illégale déclenchée par une alerte produite par une IA ?

Le cas imaginé mettait en scène la commune de La Bas-les-Palisseaux. Celle-ci avait installé un système de vidéosurveillance algorithmique fourni par la société GlobalView. Un matin, le logiciel signale M. Dupont, habitant de longue date, parce qu’il reste immobile plusieurs minutes devant une gare. L’algorithme classe ce comportement comme anormal. Une alerte est transmise aux services de police. Les agents interviennent. M. Dupont est interpellé puis placé en garde à vue.

Le problème est simple : M. Dupont n’a rien fait.

Dans un premier jugement, la commune est condamnée pour arrestation illégale. Trois préjudices sont reconnus : un préjudice professionnel, car M. Dupont n’a pas pu se rendre à son travail ; un préjudice moral, lié au choc de l’arrestation et de la garde à vue ; un préjudice réputationnel, puisque l’interpellation s’est déroulée publiquement.

Après avoir indemnisé la victime, la commune se retourne contre GlobalView. Elle engage une action pour obtenir le remboursement des sommes versées. Le débat ne porte donc pas sur une IA abstraite, mais sur la chaîne de responsabilité entre le concepteur de l’outil et la collectivité qui l’utilise.

La commune défend une thèse claire : le logiciel était défectueux. Selon son avocat, le système a confondu un comportement inhabituel avec un comportement dangereux. Rester immobile devant une gare n’est pas une menace. Pourtant, l’algorithme a transformé cette situation banale en signal de suspicion.

L’argument est renforcé par un chiffre cité dans le dossier : le taux d’erreur du système pouvait atteindre 50 % pour certains profils. Pour la commune, un tel niveau d’incertitude est difficilement compatible avec une mission de sécurité publique. Un outil aussi fragile ne devrait pas orienter une décision pouvant conduire à une privation de liberté.

La commune invoque plusieurs bases juridiques. D’abord le RGPD, au titre de l’exactitude des données, de la protection dès la conception et de la sécurité adaptée. Ensuite le règlement européen sur l’intelligence artificielle, qui impose des obligations renforcées aux systèmes à haut risque. Enfin le Code civil, avec la responsabilité du fait des produits défectueux.

GlobalView défend une position inverse. La société affirme ne pas avoir vendu une machine à décider, mais un outil d’aide à l’analyse. Son logiciel produit une probabilité, pas un ordre d’interpellation. La décision finale appartient aux agents de la commune.

C’est le cœur du débat. Une alerte algorithmique suffit-elle à engager la responsabilité du fournisseur ? Ou la responsabilité incombe-t-elle d’abord à l’autorité publique qui décide d’agir sur la base de cette alerte ?

Pour GlobalView, la commune devait organiser une supervision humaine réelle. Cela suppose des agents formés, des protocoles clairs et la possibilité concrète de contredire la machine. Le contrôle humain ne peut pas se réduire à valider une alerte sur un écran.

L’expertise technique présentée pendant l’audience a permis d’éclairer ce point. Le système avait identifié M. Dupont parce que son immobilité rompait avec le flux habituel des passants. L’IA n’a donc pas reconnu un danger. Elle a détecté un écart à la norme.

Cette distinction est essentielle. Un comportement atypique n’est pas nécessairement suspect. Dans l’espace public, chacun peut s’arrêter, attendre, hésiter, regarder autour de soi, sans devenir une cible.

L’expert a également rappelé le risque de biais d’automatisation. Face à une alerte émise par un outil présenté comme fiable, un agent humain peut avoir tendance à faire confiance à la machine. Il valide alors la recommandation sans prendre le recul nécessaire. L’humain reste officiellement dans la boucle, mais son jugement est déjà orienté.

L’intervention de Jeanne Alexandre, dans le rôle d’une experte de la Ligue des Droits de l’Homme, a replacé le litige sur le terrain des libertés fondamentales. M. Dupont a été privé de sa liberté sans faute de sa part. Il a été traité comme suspect sur la base d’un signal algorithmique. Son arrestation publique a porté atteinte à sa dignité et à sa réputation.

Le cas fictif posait ainsi une question très actuelle pour les collectivités : comment utiliser des outils d’analyse algorithmique sans fragiliser les droits des citoyens ?

La réponse passe par plusieurs exigences concrètes. Avant tout déploiement, une commune doit réaliser une étude d’impact sérieuse, informer clairement la population, fixer un protocole de vérification humaine, conserver la trace des décisions et prévoir un recours accessible pour les personnes concernées.

Le procès n’a pas livré de verdict définitif. Et c’est précisément ce qui faisait sa force. Il montrait que la responsabilité ne se laisse pas enfermer dans une réponse simple. Le fournisseur doit concevoir un outil fiable, documenté et conforme. La commune doit l’utiliser avec prudence, former ses agents et assumer ses décisions opérationnelles.

En choisissant ce format, les étudiants ont rendu visible ce que les débats sur l’IA masquent souvent : derrière chaque système automatisé, il y a des concepteurs, des acheteurs, des utilisateurs, des procédures et des citoyens exposés aux conséquences.

Cette séquence a aussi montré que le droit n’est pas l’ennemi de l’innovation. Il en est la condition de confiance. Dans une ville, l’intelligence artificielle ne peut être acceptée que si chacun sait qui décide, qui contrôle et qui répond en cas d’erreur.