Surveillance algorithmique : punir l’intention avant l’action - Le Numérique pour Tous

Sud Radio le numérique pour tous Vanessa Perez bonjour et bienvenue dans le numérique pour tous l'émission dédiée au digital à l'innovation et à la tech responsable alors vous le savez hein dès que nous levons la tête il est impossible de passer à côté d'une caméra de vidéosurveillance pour garantir notre sécurité d'ailleurs on estime leur nombre environ à 100 sur notre territoire et ça n'est qu'un début mais avec l'avvènement de l'intelligence artificielle leur utilisation soulève des questions sur la vie privée et nos libertés individuelles dès lors que nos gestes sont désormais anticipés alors jusqu'où chaque geste de notre quotidien peut-il désormais être analysé avec la présence de la data dans tous les objets connectés peut-on être puni dès lors que l'on ne respecte pas le mode d'emploi et surtout quelles sont les conséquences sur nos libertés individuelles c'est ce que nous tenterons de comprendre avec nos invités le numérique pour tous spécial surveillance algorithmique c'est parti et c'est sur Sud Radio Sud Radio le numérique pour tous Vanessa prez et pour commencer cette émission nous avons le plaisir de recevoir Philippe la tombe bonjour Philippe donc vous êtes membre du groupe modem et secrétaire de la commission des lois euh et pour commencer parce qu'on a bien commencé par une définition dans le numérique pour tous qu'est-ce qu'on appelle la surveillance algorithmique dans notre quotidien c'est c'est un terme qui est juridiquement impropre vidéo surveillance algorithmique c'est de la vidéo prototection avec une surcouche algorithmique la vidéoprotection c'est tout ce qui est caméra ce sont les caméras qui sont sur la voie publique quand on parle de vidéosurveillance c'est dans les domiciles dans les lieux privés pour faire de de la protection périmétrique pour éviter les intrusions donc là on parle essentiellement de vidéo protection avec une surcouche algorithmique c'est-à-dire que ce ne sont pas les caméras qui ont dans la caméra elle-même un un algorithme d'intelligence artificielle le flux vidéo va sur un serveur et c'est le serveur qui a un filtre algorithmique qui permet de repérer des comportements ou des situations anormales alors très concrètement he si on lève la tête on va aller voir au niveau des des feux urbains ou même peut-être dans des supermarchés les quelles sont équipé ou lesquels seraient équipé dans dans les villes toutes ces petites boules là que l'on voit sur nos feux de signalisation ce sont des caméras qui sont équipé d'une couche algorithmique non ce sont des caméras qui renvoient un flux vidéo dans une salle particulière avec un serveur qui lui a la capacité de faire de l'algorithmie on n'est pas encore en capacité d'avoir des caméras avec de l'algorithmie directement embarqué dans la caméra ça nécessite des réseaux de neurones on va rentrer dans la technique mais des réseaux de neurones très compressés c'est une technologie qui émerge mais qui est très cherre euh qui est essentiellement porté par nos camarades chinois parce que eux l'utilisent à fond sur l'espace public en Chine alors quand on se balade alors justement soit dans l'espace public soit dans un supermarché ou ailleurs quels sont les objets qui peuvent nous trahir ou qui peuvent observer nos comportements et mettent cette intelligence le le premier instrument c'est celui que tout le monde a dans dans sa poche s'appelle le smartphone c'est le principal outil aujourd'hui de localisation de récupération de données de traçabilité de comportements anormaux c'est aussi la première chose ch que les forces de l'ordre essaient de de récupérer lors d'un d'un crime ou d'un délit grave parce que il y a des traces numériques il y a voilà si vous en voulez une autre qui ne qui est celle de tout de tout le monde tous les jours c'est la voiture dans la voiture le GPS tout le système embarqué de la voiture laisse des traces partout et dans tout dans à tout moment et donc on fait une fixation sur la vidéo surveillance algorithmique qui est pas le bon terme encore une fois mais il y a plus des choses qui sont déjà dans notre quotidien qui nous fliquent beaucoup plus que la vidéo surveillance algorithmique donc le téléphone par définition téléphone la voiture vous imaginez le GPS il vous dit exactement par où vous êtes passé à n'importe quel moment et c'est une traçabilité qui est et je parle même pas des systèmes qui ensuite envoi vers les constructeurs des informations pour savoir comment va la voiture et comment la rouler alors justement on va rebondir sur le GPS et la voiture à un moment où les les les notions de radar sont en train d'être débattu et peut-être même implémenté à partir du moment où on voit euh que votre voiture va accélérer et qu'elle dépasse peut-être un 50 à l'URE sur le périphérique euh la la connaissance de de de de de de la data dans la voiture fait que vous allez pouvoir être vidéo verbalisé une fois de plus alors il pour ça là c'est là où le corpus juridique est très important il n'est pas possible de pouvoir sanctionner un comportement def un automobiliste pour un comportement qu'il a eu qui n'a pas été vérifié par une Métronomie une métrologie particulière particulière c'est le radar en l'occurrence qui doit faire l'objet de vérification préalable de de de mesures préalabl et qui est installé avec des conditions très particulières on doit avertir plusieurs C de mètres avant qu'on rentre dans une zone de radar sauf cas particulier de radar de radar mobile dans des cas précis il faut que l'emplacement du radar soit signifié dans sur la cartographie c'est pour ça que vous avez des alertes radar sur des applications ou sur des sur les smartphones donc il y a des règles très particulières on ne peut pas aujourd'hui aller verbaliser quelqu'un en en allant se brancher sur le le la voiture pour savoir si il y a 3 jours vous avez dépassé le 50 àur à tel endroit c'est pas possible alors là on parle de de la mobilité mais on a vu récemment aussi des applications dans les supermarchés qui modélise le geste du voleur he après avoir analysé des milliers et des milliers de gestes donc il les donne à une intelligence artificielle et qui sont capables de détecter justement le potentiel geste de vol de quelqu'un un petit larsin qui serait dans un un hypermarché là on est hors la loi ou alors c'est quelque chose qui va généraliser alors on est aujourd'hui hors la loi euh on ça pourrait éventuellement généraliser si il y avait une décision juridique légale avec une une mise en place de d'une loi qui devrait passer la censure du Conseil institutionnel ça serait quand même très compliqué dans dans le cas dans le cas qui nous occupe l'iact va aussi bloquer donc on aura un problème de conventionnalité donc de de conformité au règlement et au au corpus juridique européen et en plus technologiquement ça marche pas très très bien les essais qui ont été faits par quelques enseignes de supermarché pour essayer d'ouvrir des supermarchés sans personnes 24h/ 24 7 jours sur 7 marche pas très bien parce que on se rend compte qu'il y a beaucoup de faux positifs des gens qui prennent un objet qui le mettent dans le panier mais qui le reposent dans un autre rayon et en fait il faut avoir la totalité de la traçabilité de l'action je prends l'objet j'identifie l'objet je vois où est-ce qu'il est mis s'il est ressorti il faut que je le retrace donc c'est un peu compliqué la meilleure des solutions pour les et la moins chère pour les pour les supermarchés à l'heure actuelle c'est de mettre des petites puces RFID sur les produits pour éviter que quand on sorte ça enfin quand on sort et qu'on a volé ça sonne exactement alors on le sait he pendant les Jeux Olympiques on a équipé effectivement les les les principaux sites de nombreux dispositifs est-ce que c'était juste pour assurer une sécurité pendant cette actualité ou alors en fait il y avait une anticipation d'une généralisation d'un système de surveillance beaucoup plus critique par l'État euh on m'a beaucoup reproché ce texte parce que j'ai j'ai beaucoup travaillé sur sur sur le texte desgio on avait beaucoup travaillé avec le Conseil constitutionnel avec le Conseil d'État sur les ensembles des mesures de protection qui devaient avoir d'abord c'est un texte expérimental c'est que c'était c'est une expérimentation qui se termine en mars 2025 avec un bilan obligatoire avant le 31 décembre et il y a d'abord une mission parlementaire qui a été lancée c'est éic martinau pour le groupe modem qui va la la conduire avec un un membre du groupe GDR donc des communistes il y a au le rapport du du comité d'éthique de Paris qui va lui aussi donner un un avis et il y aura évidemment laaknil qui va aussi donner un avis et à partir de là on pourra ouvrir une phase de réflexion pour voir si c'est efficace ou pas efficace et si c'est efficace est-ce qu'il faut le généraliser ou pas le généraliser et dans quel cas de figure on le généralise ça ça passera forcément par la loi on en a rediscuté avec le Conseil constitutionnel qui avait validé une expérimentation mais si on doit le généraliser sera encore plus strict sur les règles d'encadrement euh les règles d'encadrement sont assez simples il y a pas de biométrie contrairement à ce que tout le monde pense il n'y a aucune empreinte de de biométrie qui est prise qui sont prises par les caméras elles ont beaucoup servi pendant les j sur des comportements anormaux de type mouvement de foule parce que ça ça marche très bien euh comptabilisation de la densité d'une foule parce qu'on sait que à partir d' de personnes au mètre carré s'il se passe n'importe quel petit événement ça peut provoquer des catastrophes et ça ça a été très bien documenté et ça marche bien euh ça marche pour voir s'il y a des gens qui courent après d'autres personnes et là donc là on est plutôt dans le le la personne qui fuit un danger et dans ces cas-là on peut l'identifier et intervenir mais là encore sans biométrie ça ne marche pas très très bien pour tous les gestes qu'on pensait être les gestes dangereux de terroriste c'estàdire passer la main sous le sous une veste pour sortir une arme ça marche pas il y a trop de faux positifs parce que les gens mettent la main dans le dans sous une veste pour chercher un téléphone portable pour aller chercher n'importe quoi et ça donne des faux positifs donc c'est pas utile et sur les colis abandonnés les bagages abandonnés on arrive à identifier qui a un colis abandonné on a du mal à tracer le lien avec une personne qui l'aurait oublié donc encore un peu de travail d'accord Philippe il y a une célèbre universitaire américaine qui est un peu la prophète du numérique qui s'appelle SAN bof euh qui qui qui nous décrit en fait un futur où on va être espionné quel que soit l'endroit est-ce qu'il y a encore des zones où on peut être complètement anonyme dans dans cette société où là pour l'instant c'est pas possible et peut-être qu'un jour on va y réfléchir on fera machine arrière là encore je pense que la principale source de non anonymat c'est c'est le smartphone c'est c'est c'est ce cet outil que vous avez dans la poche que vous avez enfin que tout le monde a apprivoisé dont personne ne pourrait se passer au quasiment maintenant c'est celui-là qui aujourd'hui le la s de d'absence d'anonymat principale pour le reste la vidéo la vidéo protection sur la voie publique qui est une surcouche algorithmique ou qui en est pas les forces de l'ordre sauf à ce que vous soyez hyper connu vous êtes une star les forces de l'ordre qui regardent les les les écrans savent pas qui vous êtes quand vous passez dans la rue mais il pourrait le faire avec la reconnaissance biométrique maintenant on a quand même votre visage et si on bascule dans un état totalitaire comme en Chine on peut faire une reconnaissance de l'individu et son identité technologiquement c'est parfaitement faisable et les Chinois le font très bien nous avons quand même des protections très fortes en France et en Europe en France c'est la Constitution qui est le les décisions du Conseil constitutionnel sont claires sur le sujet ça n'est pas possible et le le la protection de l'iact qui expressément interdit la surveillance généralisée d'une population à l'aide de ces outils et puis il y aura très certainement dans les semaines mois qui viennent à l'occasion des différents sommets sur l'IA des des des sortes de de Pact multilatéraux d'utilisation éthique de l'IA et notamment pour les pays démocratique le le refus d'utilisation pour la surveillance généralisée de la population c'est d'ailleurs un un marqueur assez fort je pense que nous aurons quand nous accueillerons le sommet sur lia en France en début d'année 2025 si on fait un peu de science-fiction Philippe on sait qu'aujourd'hui lia peut détecter vos émotions et anticiper peut-être une réponse qui est adaptée à votre colère ou à votre bienveillance euh on peut monétiser vos données de sommeil donc on peut tout savoir sur vous le le jour où on agrèche tout ça euh une fois de plus euh la liberté barenvriie néanmoins tout part du téléphone portable comme vous le dites on est parfaitement d'accord c'est pour ça que l'ensemble de ces données doivent être considérés comme des données sensible elle doit faire l'objet de protection particulière c'est le cas de de des données sensibles par le rgpd il va falloir qu'on renforce le rgpd il va falloir surtout qu'on fasse converger le rgpd et l'iact aujourd'hui rgpd ICT ne se fondent pas l'un dans l'autre il y a des zones de frottement qui va falloir pouvoir régler donc je pense qu'on on va aller vers un rgpd 2 point zéro qui sera un rgpd compatible avec l'iact de toute façon nous allons en avoir besoin parce que effectivement les algorithmes d'IA ont besoin de beaucoup de données de données très précises et très bien calibré pour pouvoir fonctionner correctement et on en a besoin aujourd'hui on a besoin d'IA avec des données de santé pour faire du dépistage pour permettre de d'accélérer un certain nombre de processus médicaux et si on n pas ces données et si on nourrit pas les algorithmes on les aura pas on en a besoin mais il faut pas non plus que ces données partent n'importe où d'où l'obligation la né ncessité de sécuriser les clouds d'avoir une réglementation sur les clouds très protectrices notamment pour les données de santé si on n pas tous ces réglementations on peut facilement basculer dans un état avec un score social comme on a en Chine c'est-à-dire si vous ne vous êtes pas bien comporté vous avez brûlé trois feux rouges et vous n'avez pas honoré vos dettes vous êtes mal noté oui c'est c'est technologiquement possible c'est c'est là tout l'intérêt de des législateurs d'un d'associations et de professionnels du droit pour pour être sûr que l'ensemble des gardesfous sont bien présents et bien respectés on peut toujours faire la politique du pire il faut aussi voir que l'a est une révolution industrielle qui va pouvoir nous aider sur beaucoup de sujets je reviens sur la santé sans l'a vu la démographie médicale que nous avons nous allons avoir des problèmes de santé publique il va absolument nous falloir de l'IA pour faire du de la prévention pour faire du dépistage pour faire un CRE de de prédiction de risque de maladie ce qui fait qu'on va pouvoir spécifier des des test des des des du dépistage sur un centre de maladie parce que on sait que elles sont dans la famille depuis relativement longtemps et qu'on a documenté que ça pourrait arriver un cas sur 5 et cetera on en aura besoin parce qu'on aura pas suffisamment de médecins et de professionnels de santé pour suivre la population général merci Philippe lat tombe je rappelle que vous êtes membre du groupe modem et membre du collège de laacnil restez avec nous on marque une courte pause avant de comprendre comment le droit nous protège ou pas du tout des dérives de l'intelligence artificielle le numérique pour tous spécial surveillance algorithmique ça continue dans quelques instants et c'est sur Sud Radio Sud Radio le numérique pour tous Vanessa prez et pour continuer cette cette émission spéciale surveillance algorithmique j'ai le plaisir de recevoir maître Gérald pendelon avocat spécialisé en droit pénal des affaires au barreau de Paris et à la Cour pénale internationale de l'E Gérald bonjour Gal qu merci quand on écoute Philippe latom on se dit que on va bientôt punir l'intention de nos actes et non plus l'acte lui-même c'est-à-dire si on pense faire un crime en fait on va être puni alors qu'on allait pas le commettre du tout c'est ça qu'il faut comprendre pour l'instant euh ce n'est pas possible sur un plan juridique notamment en matière pénale il faut toujours un élément intentionnel matériel et formel bon on peut pas punir on peut pas punir l'intention en revanche même si la matérialité l'infraction est réunie si fait défaut l'élément moral l'élément intentionnel euh c'est pas c'est pas poursuivable pas poursuivable alors j'ai envie de vous demander les les algorithmes qui sont mis justement cette couche d'intelligence qu'on met sur les les caméras est-ce qu'ils sont une forme de surveillance illégale aujourd'hui ou alors ils sont conformes au droit bon ils sont considérés aussi bien par la jurisprudence française qu'européenne comme légal lorsque sont pas disproportionné lorsqu'il y a pas une disproportion entre le mécanisme mis en œuvre des caméras intelligentes et cetera et euh et les les conséquences attendues donc là euh c'est pas considéré comme attentatoire aux liberté en revanche et c'est ce que dit la cour européenne des droits de l'homme notamment dans un arrêt 2020 lorsque c'est disproportionné alors c'est considéré comme une surveillance généralisée des masses et cetera et donc c'est contraire à notre édifice normatif euh on le sait he quand on est sur Internet on on pour avoir accès à certains services on est obligé de donner son son consentement et on ne va pas lire les centaines de pages on va dire juridiques et qui sont qui sont qui sont derrière euh est-ce que pour vous ça ça masque des choses en fait qui sont qu'on devrait pas accepter quelque part et qui sont non conformes à à nos droit de l'homme oui parce que ça nous permet bien souvent de consentir à des éléments à des choses qu'on n pas comprises pourquoi parce que il y a une forme d'asymétrie de l'information puisque les entreprises ont un niveau de connaissance que que les utilisateurs potentiels n'ont pas et par conséquent ça pose effectivement un problème de consentement mais euh on est je dirais surveillé euh même par des mécanismes qui nous paraissent anodins par exemple Spotify Netflix euh que sais-je YouTube ou ce qu'on appelle aujourd'hui le design persuasif hein euh les cookies que sais-je encore il y aura encore euh pas mal de d'exemples euh où tout est mémorisé tout est enregistré et par conséquent regardez à chaque fois que vous discutez avec une amie sur un sujet si vous avez un smartphone qui est éclairé tout de suite vous recevez des notifications sur le même sujet c'est incroyable quand même c'est la preuve quand même que notre liberté est relativement encadrée sans que ça conduise systématiquement les poursuitesénal alors justement il y a pas de poursu pénale mais est-ce que ça veut dire que la loi européenne sur la protection des données est correctement appliqué ou alors justement les entreprises préfèrent payer des sanctions et plutôt récupérer la data des des gens qui se servent de leur service à ma connaissance il y a eu qu'une seule décision mais je pourrais vérifier qui est été prise par la Cour européenne où 20 millions d'euros ont été infligés à une entreprise qui ne respectaient pas en toute transparence ces élémentsl mais bien souvent je pense que les entreprises ont le réflexe de payer d'abord pour ne pas être sanctionné sur son plan judiciaire et quelles seraient les sanctions elles sont elles sont violentes si on ne respecte pas ce texte oui oui l'article 2251 du code pénal prévoit des sanctions assez lourdes assez lourdes dans l' thèse où bien sûr et et l'élément intentionnel et matériel aurait été réunis dans dans le cadre de cette infraction mais vous avez également des sanctions fiscales pas que des sanctions pénales vous avez des sanctions fiscales dans le code du travail est prévu queun forme de surveillance peut conduire par exemple devant votre ordinateur on voit que vous n'êtes pas assez productif ou alors que vous n'avez pas respecté les horaires là vous êtes surveillé on peut voir ça s'est donné Absolum absolument absolument ça aujourd'hui c'est c'est c'est c'est observé ou alors pour l'instant on fait fi de de prendre cet emrina trèsemb qu pense Philippe laatombe effectivement on peut observer des collaborateurs qui ne seraient pas assez productif ou qui ne délivre pas dans les temps impartis il il y a eu quelques quelques tentatives de certaines certaines entreprises de pouvoir faire des licenciement sur ce motif là la jurisprudence est pas encore suffisamment établie pour qu'on puisse déterminer si c'est légal ou pas il y a eu quelques cas où c'était flagrant et donc en fait il y avait d'autres éléments matériels qui permettaient de justifier le licenciement donc ça avait été accepté et d'autres qui ét uniquement basé sur de du de l'espionnage du salarié qui n'était pas prévu dans le règlement intérieur qui était pas prévu dans la convention collective ou dans dans le le l'ensemble du contrat de travail donc ça avait été rejeté on est pour l'instant sur des décisions de première instance c'estd de de de prudom on a eu une ou deux affaires qui sont passées en appel pour l'instant on n pas de cours de cassation suffisamment établi mais aujourd'hui clairement le droit du travail très protecteur du salarié sur le sujet Philippe Géral vient de l'évoquer les entreprises préfèrent parfois payer des amendes qui sont monstrueuse plutôt que de respecter la Loi sur la protection des données de votre point de vue effectivement c'est cette équilibre qui est en train de se dessiner euh non il est en train de changer la Cour de justice de l'Union a eu une décision très récente très intelligente qui va rebattre les cartes puisque elle a infligé à une entreprise la possibilité qu'un de ses concurrents puisse l'attaquer en concurrence déloyal parce qu'elle ne respectait pas le rgpd et donc aujourd'hui ça ça va faire glisser la possibilité de pouvoir attaquer une entreprise qui ne respecte pas le rgpd du domaine uniquement de la protection des données donc de laacil et donc avec une sanction administrative vers une procédure pour concurrence déloyale et ça se jugera devant des tribunaux totalement différents des tribunaux qui vont être des tribunaux de commerce qui vont être des tribunaux au civil donc ça va être intéressant de voir comment est que ça va se passer mais l'arrêt de la Cour de justice là-dessus va donner un nouveau coup de projecteur sur la protection des données vous êtes tous les deux dans le domaine du droit donc il y a beaucoup de bouleversement et une accélération de l'innovation on sait que la régulation ne va pas forcément à la même vitesse que celle de l'innovation sur quoi êtes-vous en train de travailler pour vous dire voilà on va prendre un coup d'avance et on sera capable d'encadrer et de protéger les citoyens euh qui veut prendre la parole je pour rebondir ce que dit Monsieur le Député je je crois qu'on n pas totalement non plus démuni en terme de texte il y a effectivement le rgpd l'article 22 dit queon ne peut pas faire l'objet quand même d'une décision automatisée vous avez la loi Informatique et Liberté qui a été réécrite en par parti en en 2018 vous avez quand même la loi sur la République numérique de 2016 vous avez on n'est pas totalement démuni mais en fait au-delà du débat juridique me semble-t-il ce qui est à mon avis important de soulever c'est ce que j'appelle l'arbitrage entre la sécurité et la liberté c'estd que c'est vrai que on pourrait considérer que le fait d'être trop surveillé et cetera peut euh peut être peut enfreindre nos libertés d'autant plus qu'il y a pas de de liberté en retour qui nous soit qui nous soit donné on pourrait considérer également que la République la rublica c'est la chose visible et que là manifestement c'est le secret et l'invisibilisation du pouvoir qui qui l'emporte mais comp tenu de des faits terrorisme en va pas rentrer dans les détails qui ont frappé la France depuis maintenant une quinzaine d'années si l'intelligence artificiel permettez que la sécurité accrue permette ce qui est davantage de liberté de protection des citoyens on peut légitimement se poser la question de savoir si ce serait pas plutôt un bienfait pour conclure Philippe latombe votre position est-ce que sur quoi travaillez-vous concrètement pour avoir un coup d'avance par rapport à l'innovation il va falloir qu'on travaille sur la transposition de la directive Nice 2 sur la cybersécurité qui va du coup toucher beaucoup les données personnelles les fuites de données personnelles on a des exemples très récents on on va citer c'est un grand opérateur de téléphonie eu et donc c'est l'adéquation entre Nice 2 la protection des données personnelles et le rgpd Gérald Pandelon Philippe Platon merci beaucoup pour vos éclairages le numérique pour tous c'est fini pour aujourd'hui et pour prolonger la discussion on se retrouve sur vos réseaux sociaux préférés je vous souhaite une excellente fin de weekend et je vous dis à la semaine prochaine