Encadrement des technologies de surveillance : les enseignements de l’expérimentation des JO 2024

pas bien là on va peut-être pas pas prendre trop de retard dès le début merci à tous d'être là et puis un petit peu désolé de d'avoir basculé dans le distanciel mais c'est une semaine un petit peu particulière et donc ça nous a paru être la solution la plus la plus commode compte tenu des circonstances alors d'abord un très très très chaleureux remerciements à mes trois intervenants qui ont accepté de venir discuter aujourd'hui de ces de la question donc de l'encadrement des technologies qui vont être mises en oeuvre dans le cadre de l'expérimentation pour les Jeux Olympiques de 2024 et donc j'ai le plaisir d'accueillir trois trois intervenants qui ont qui ont chacun leur regard et ils sont voilà qui ont beaucoup réfléchi à ces différents sujets Caroline le kenroe qui est maître maîtresse de conférence à l'Université de Nice et qui dirige à Master 2 sur la gouvernance des données qui travaillent droit algorithmique et gouvernance des données voilà un très beau m2 qui travaille beaucoup sur les questions de droit du numérique de droit algorithmique de gouvernance des données de technologie de surveillance et qui a été amenée à faire des différents rapports et souvent été auditionnés sur ces sur ces différentes questions donc merci beaucoup Caroline d'être là d'être là aujourd'hui avec nous pour nous pour nous donner son point de vue je remercie enchanté de pouvoir engager le débat aujourd'hui et bah très bien je remercie beaucoup aussi et vraiment très chaleureusement Anne Le hennan qui est qui est avec nous qui a beaucoup travaillé sur ces sujets qui a une très forte expertise à différents pour regarde de toute l'expérience qui a été la sienne sur ces sujets elle est députée du Morbihan membre de la commission de la Défense nationale et des forces armées et vous venez de prendre la vice-président de du groupe d'études économie sécurité souveraineté numérique et voilà vous avez beaucoup réfléchi sur ces sujets notamment du point de vue législatif et voilà votre votre regard ne sera extrêmement précieux merci beaucoup d'avoir accepté notre invitation merci pour l'invitation et ravi d'être là également et d'échanger avec avec Caroline et Jérôme sur le sujet passionnant oui en effet important et donc bah voilà Jérôme la transition est toute Jérôme très Hardy qui est conseillé régional délégué au numérique cybersécurité en matière de données au niveau de la région Bretagne et qui voilà s'interroge aussi beaucoup d'un point de vue démocratique sur les différents enjeux de ces questions là donc merci beaucoup d'être là Jérôme et d'avoir accepté notre invitation bonjour à toutes et à tous ravie et plaisir partagé ce petit moment d'échange avec avec Caroline et Anne en tout cas merci beaucoup pour l'invitation alors peut-être commencer en voilà c'est un sujet important qui qui requiert de faire un peu de pédagogie sur ces sujets du point de vue de l'explication de cette technologie par rapport à d'autres technologies qui peuvent qui peuvent exister donc on va d'abord aborder un petit peu des questions de présentation de cette technologie du contexte dans le cadre de la loi sur les jeux olympiques on verra ensuite peut-être un peu la question des enjeux des garanties un peu le contexte les différents enjeux que posent ces technologies et puis ensuite enfin peut-être une question un peu de mise en perspective sur différentes questions qui se posent autour de ces de ses choix qui ont des enjeux en termes de souveraineté en termes de formation de démocratie de voilà de compromis entre efficacité et démocratie qu'il faut bien réussir à trouver aussi et donc je suis vraiment ravie qu'on puisse croiser les regards sur ces technologies qui sont au fond assez et pour que chacun puisse se faire un peu son une idée un peu plus précise de ces sujets là et puis évidemment après on ouvrira la discussion et on sera on sera évidemment très très heureux de prendre les différentes questions alors je vais commencer peut-être par le premier point d'abord peut-être on va commencer par expliquer un petit peu cette technologie alors on connaît un petit peu le contexte des smart cities il y a beaucoup de degrés dans cette technologie quand on parle de caméra intelligente alors Anne Le Hainant vous avez été aussi vous avez travaillé sur ces questions à l'échelle d'une ville à l'échelle de collectivité aujourd'hui vous portez ces enjeux au niveau national est-ce que voilà quel est votre approche en tant qu'a élu de terrain sur sur ces enjeux là et comment quelle explication vous pouvez avoir sur sur cette technologie les caméras sur les espaces publics dans les espaces publics c'est pas nouveau depuis pas mal d'années il y a un déploiement assez rapide ces dernières années de la présence de caméras dans les espaces publics je pense notamment dans les villes principalement pour des usages qui sont bien spécifiques qui sont censés finalement aider à la décision les élus locaux que ce soit aussi au niveau de la mobilité au niveau de la sécurité aussi au niveau de la gestion par exemple de l'énergie aussi pour les bâtiments voilà ce sont des ce sont des Haïtises et les caméras sont équipées finalement d'outils assez simples qui leur permettent de à certains moments de prendre des décisions dans un souci d'économie de sécurité ou de de fluidité voilà ceci dit l'implantation de caméra sur l'espace public est très réglementé on ne peut pas faire n'importe quoi et nécessite de respecter un certain nombre de règle de dispositif bien sûr conforme à la loi Informatique et Liberté il s'agit pas avec des caméras sur la voie publique de filmer ce qui se passe à l'intérieur d'appartement à proximité d'une rue ou le centre de supervision urbaine détecte qui a des choses anormales qui trafic etc l'idée c'est pas d'aller voir les appartements ce qui se passe donc c'est très très réglementé et puis il y a un enjeu également de données dans la mesure de protection des données et de cas de respect du rgpd puisque il y a des collectes de données dans certains cas qui sont effectués pas tout le temps mais assez régulièrement et donc il faut aussi bien sûr avoir une politique et une réglementation très stricte là dessus l'un dans le contexte actuel et ont vraiment votre coloc je dirais il y a pas plus ils ne tombent pas mieux puisque ce soir c'est-à-dire après là après cette coloc nous allons étudier l'article 7 qui permettrait si il est voté de faire évoluer le cadre législatif pour une expérimentation nouvelle dans le cadre des JO donc globalement pour l'instant les collectivités elle l'utilisent pour un usage je dirais de ce qu'on appelle Smart City d'être un peu plus intelligent et efficient dans la conduite des politiques publiques là pour les JO on y reviendra probablement c'est différent donc c'est pourquoi je l'expliquerai tout à l'heure on a besoin de légiférer sur sur ce sujet là merci beaucoup je sais pas Caroline peut-être moi aussi sur la question de la présentation un petit peu de ces technologies et des enjeux que qu'elle pose oui tout à fait alors moi j'aimerais faire un point de distinction entre ce que l'on fait et ce que l'on peut faire et à cette égard je crois qu'il est notre rôle de chercheur de d'informer et d'éclairer aussi le législateur nos politiques sur le monde de la recherche dans le dans le et la recherche et le développement dans ce domaine industriel particulier qui va aujourd'hui très très loin il permet de faire beaucoup de choses j'insiste sur le fait que c'est pas quelque chose qu'on fait en France mais c'est quelque chose qui est possible de faire avec ces technologies aujourd'hui pour ce qui est de la vidéo surveillance intelligente l'industrie promet notamment de reconnaître par exemple les comportements suspects dans une foule lors d'un événement alors derrière ça il y a plusieurs technologies qui peuvent être mobilisées et notamment ce qu'on appelle de la reconnaissance comportementale et de la reconnaissance émotionnelle alors là à partir de là il y a tout un vaste champ de technologie de technique qui peuvent être employées et certaines d'entre elles sont susceptibles de soulever des risques sans contestés voire présente une menace pour les droits fondamentaux et je crois qu'il est très important de préciser un petit peu ce champ là pour faire en sorte que le législateur est bien encadre bien ce champ des possibles et soit conscient que potentiellement il y a ces technologies là qui pourraient aujourd'hui conquérir le champ alors de quoi je parle bien par exemple il y a tout un courant en data science qui consiste à faire résurgger ce qu'on a appelé il y a quelques années la physionomonie et une pseudo-science qui date il y a très longtemps ça remonte Aristote qui consiste à reconnaître les individus par rapport au trait du visage on va dire là au regard de ces expressions on regarde cette trait du visage on peut identifier que telle personne est dangereuse les travaux qui ont été menés par l'industrie récemment ont permis notamment alors c'est des travaux qui sont très contestés mais ont permis notamment à titre d'exemple de repérer les traits des criminels et de d'avoir des profils types de personnes qui pourraient être dangereuses donc encore une fois je suis bien consciente que là il me semble pas que c'est la technologie qu'on souhaite développer mais l'industrie à ça aussi sous son chapeau et il faut dire que ce lobbying industriel l'industrie qui a aussi vocation et la volonté de se déployer sur notre territoire à la possibilité d'offrir demain ces outils là et il me semble que ces outils sont très inquiétants et posent des risques en termes de discrimination parce qu'il reproduisent une forme de génisse et typiquement je crois que là cette pente là de vidéo surveillance on doit faire attention de ne pas y aller après en ce qui concerne la vidéo surveillance des objets la surveillance des foules en termes de densité par exemple là en revanche on a des études scientifiques très solides qui montrent qu'il y a une expertise qui peut être mis au service d'un d'une surveillance et d'une performance d'une performance accrue des agents tour sur le terrain pourquoi parce qu'il y a un consensus scientifique là où j'insiste également c'est que sur certaines technologies de surveillance notamment les comportementales et les émotionnels et bien il n'y a pas de consensus scientifique et on estime que c'est encore très largement dysfonctionnel on a eu des tests au sein de l'Union européenne notamment aux frontières de l'Europe on a expérimenté des systèmes de reconnaissance émotionnelle la Commission européenne a financer ce type de projet là et on s'est aperçu qu'il était dysfonctionnel à hauteur de 76%.

donc est-ce qu'on peut faire il y a ce qui à mon sens qu'on le doit pas faire et puis il y a aussi ce qui fonctionne et ce qui ne fonctionne pas ce qui relève plutôt du discours industriel que de la réalité scientifique voilà sur ce que je pouvais dire au niveau de cette technologie et de leur présentation alors un des enjeux c'est aussi la question de un peu de la qualification juridique donc c'est ces caméras n'ont pas vocation à recueillir des données biométriques c'est ça alors si enfin la formulation du texte sur laquelle on il y a une discussion donc c'est pour détecter les objets les objets abandonnés les mouvements de fou lui aussi les comportements anormaux et sur cette sur cet aspect de comportement anormaux que ça passerait par des reconnaissances détection des émotions notamment et je crois aussi ce qu'on a échangé au préalable avant cette conférence qui est un peu la question aussi de stockage de ces données que le il y aurait pas de stockage de ces données c'est ça aussi Anne le Hainaut qui est alors effectivement la question de base c'est pourquoi nous faisons évoluer un système qui existe déjà sur les espaces publics globalement où vont se dérouler les événements Houdan ou à côté des jeux il y a des caméras déjà de vidéoprotection ou de vidéosurveillance pourquoi on fait évoluer la technologie principalement parce que en l'état actuel des choses les caméras positionnées sur l'espace public ne sont pas en capacité de comment dire de voir qu'il y a entre guillemets une anomalie ou une situation jugée anormale et qui finalement mettre la sécurité publique en difficulté et l'objectif de ces caméras dit d'intelligent nécessite qu'on y intègre un logiciel ça passe par la loi c'est-à-dire si on ne vote pas le texte que ce soir parce qu'on va étudier l'article 7 de la loi sur les JO ce soir si ce texte ne passe pas on ne le fera pas évidemment mais ce texte permettrait de mettre un logiciel qui est en capacité de manière intelligente et autonome sous surveillance humaine je le précise c'est à dire que des personnes habilités donc des agents de sécurité la police des personnes qui seront habilités pour cela et bien seront capacité grâce à ces caméras qui sur un instant T c'est bien du constat c'est pas du stockage de données il n'y aura pas de croisement avec d'autres fichiers ou d'autres collègues de données à un instant T sur un site le logiciel permettra finalement de faire prendre décision ou pas aux agents qui regardent les écrans qu'il faut intervenir l'objectif c'est quoi c'est pas d'abord j'exclus tout de suite ce qui ne va pas y avoir dans ces logiciels il n'y aura ni donner biométrique ni reconnaissance faciale par contre l'objet du marché public ce que c'est l'État qui va à partir du texte voter ce soir passer un marché public faire passer un marché public auquel les industriels vu les délais très courts vont répondre et bien il est en capacité ce logiciel a détecter par exemple un objet posé je pense une valise un carton posé dans cet espace et qui est peut-être susceptible de représenter un danger c'est aussi par exemple un regroupement soudain de personnes soit qui met en péril la fluidité des mouvements soient qui semble anormale dans le comportement de groupe j'entends bien soit un véhicule soit voir un individu avec une arme par exemple donc il a cette capacité là mais il n'y a ni donner biométrique ni reconnaissance faciale pas de stockage des données pas de réutilisation des données après il y a d'autres enjeux on reviendra dessus tout à l'heure effectivement au niveau industriel par où passe les données dans quel dans quel réseau de communication qui va répondre à ce marché public voilà il y a aussi d'autres enjeux derrière et et on aura l'occasion de d'y revenir l'idée c'est vraiment de rendre finalement la tâche des forces de sécurité pendant les JO plus facile plus rapide et finalement de faire en sorte que l'événement soit une fête du début jusqu'à la fin oui Caroline oui alors je vais pas me lancer dans un débat doctrinal je crois que c'est vraiment pas lieu sur la qualification des des données parce qu'il y a un débat parmi nous entre les juristes sur la est-ce que oui ou non il y a de la donnée biométrique sur ce type de traitement parce que la donnée comportementale en tant que telle elle est considérée comme de la donnée biométrique même si j'entends bien que c'est pas du tout rattaché à une identité civile c'est important de le dire aussi et vous l'avez vous l'avez dit ce qu'il faut comprendre c'est que c'est ces technologies elles sont identifiantes au sens large c'est à dire qu'on va identifier peut-être pas qui vous êtes civilement mais que vous êtes un danger potentiel dans l'espace accessible au public ou dans l'espace public et que cette identification va dans un second temps conduire à une mesure coercitive ou préventive de la part des forces de l'ordre parce que c'est aussi un outil de gestion cela a été rappelé c'est pour faciliter le travail des forces de l'ordre et à partir du moment moment où on met cette mécanique en place je crois que comme il a été dit ce qui va être fondamental de regarder c'est les garanties qui vont entourer le dispositif et son déploiement à cet égard je crois qu'il y a un des points sur lesquels il faut qu'on soit particulièrement vigilant c'est qu'elles vont être les personnes habilités et comment sont formés les personnalités parce qu'on sait que ces systèmes ne sont pas totalement exemps de biais par exemple en particulier dans la liste comportementale il y a deux semaines de ça il les associations d'autistes au Royaume-Uni ont publié un certain nombre de communiquer pour dire attention la vidéo surveillance intelligente elle va potentiellement discriminer nos publics parce que est-ce que une personne autiste parce qu'une personne autiste n'a pas nécessairement un comportement normal et on sait pas ce que c'est qu'un comportement normal dans l'espace public donc évidemment il va falloir que l'agence soit en capacité de combler d'éventuelles biais de combler d'éventuelles dysfonctionnement de l'appareil sans compter les attaques possibles qui peuvent être fait sur ces systèmes pour transformer les résultats ça c'est connu à l'étranger il y a eu déjà eu des cas sur les la les outils de vidéosurveillance donc au regard de tous ces risques potentiels là les garanties la formation des agents qui comment regarde ça et contrôle ça ça va ça ça va être un des éléments qui va nous permettre de dire si la loi offre un régime démocratique ou pas ce que je trouve intéressant dans la dimension expérimentale c'est qu'on comprend bien quel elle anticipe en quelque sorte des régimes de loi plus larges qui seront discutés et adopter dans les deux ans qui viennent pour faire aussi un bilan de tout ce qui est fait et l'idée c'est pas simplement à mon sens on est dans un momentum très important l'idée n'étant pas simplement de tester la technologie voir si elle est efficace sur les agents mais voir aussi comment on a pu mettre en place des régimes de redevabilité des procédures qui sont satisfaisante du point de vue démocratique et qui rendent ces technologies acceptable et dernier point je pense qu'il faut être d'autant plus vigilant qu'on le sait le domaine de la sécurité et le domaine de l'exceptionnalité le rgpd la directive police justice demain lacte offre un très grand nombre d'exceptions qui vont permettre du traitement algorithmique donc on sait que ça à partir du moment où on a des des motifs légitimes de sécurité de menaces terroristes de sécurisation des événements ça va peut-être être plus facile donc pour résister entre guillemets à cette tentation et pour faire en sorte que ce soit acceptable et démocratique et bien il est important aussi de réfléchir à tous ces éléments là et à ces régimes qui vont accompagner le déploiement des outils merci je sais pas si Jérôme ou les réagir peut-être Jérôme je veux bien avec grand plaisir déjà je voulais vous dire que moi je me positionne pas comme le spécialiste parce que vous l'aurez compris j'ai face à moi d'un côté juriste et de l'autre côté en tant que examinatrice de la loi des spécialistes moi je me permets modestement de me positionner comme comme citoyen et élu comment il appréhende un petit peu ce sujet là et donc je pense que c'est pour ça que je suis ravi l'échange aujourd'hui parce que je pense que ce débat qu'on a là qu'on initie qui va être forcément trop court et un débat qui est pas assez public parce qu'il génère comme questionnement et comme point d'interrogation parce que quand on je pense que il est important qu'on puisse prendre le temps de débattre d'une part et on commence par ça par la technologie parce que forcément à pas comprendre la technologie derrière on peut devenir technophobe et donc c'est important aussi de de regarder ça et parce que c'est un débat éminemment important ce qu'on est en train de de de discuter aujourd'hui et quasiment philosophique on va dire puisque ça appelle à beaucoup de choses sur sur un peu le la liberté de chacun et et ce qu'on met en place en face pour la sécuriser donc de et donc loin de moi en tout cas le le fait aujourd'hui de dire de dire c'est bien ou pas bien parce que je pense que ce que je vais modestement essayer de faire c'est de poser un peu les questionnements et réflexions que m'amène un petit peu cette loi en tant que en tant que lui-même si en tant qu'individu forcément j'ai des doutes d'ailleurs on a pu en échanger en préparant c'est c'est ce moment je pense qu'en tant qu'élu il est important de mettre ça de côté pour appréhender la complexité du débat et on le voit il a plusieurs échelles il a un pas déjà technologique puisque on voit bien déjà dans les prémices de cette introduction de bien comprendre la technologie qui a derrière et je pense que c'est aussi au delà d'ado en tant que tel il est important de comprendre quelle technologie vont être utilisés je pense que ça Anne reviendra sûrement dessus sur cette réflexion qui a derrière puisqu'on ouvre au niveau légal une porte et de voir quelle technologie il y a derrière mais je trouve aussi que c'est un sujet de droit passionnant et c'est pour ça que je pense que c'est pas pour rien qui est cette ambivalent cette dualité un peu dans le discours parce que on voit bien que les technologies repensent un peu les limites aussi derrière et et questionne un peu là-dessus et puis de dire que quand je me suis penché sur la loi je me suis dit que en fait on voit que c'est une loi qui est un peu globale qui englobe bien évidemment la dimension surveillance dont on est en train de parler mais qui parle de beaucoup de choses et qui va du droit de travailler le dimanche au à la gestion de la publicité sur le parcours de la flamme et je pense que à tel débat mériterait peut-être une loi en tant que tel enfin débat en tant que tel je pose ça pour pour Anne mais je trouve qu'effectivement on y met dedans un débat qui est à pas même niveau et donc je pense qu'il aurait pu enfin il pourrait être intéressant de de parler de ça et puis pour finir un peu ce petit propos introductif ce qu'il faut se dire je pense que c'est cette loi permet aussi de poser ce débat alors malheureusement peut-être un peu plus éclipsé de par la l'actualité qu'on connaît mais en tout état de cause on voit bien qu'il y a déjà des choses qui je dessine dessus on voit bien que dans certaines villes les caméras classiques il y a des entreprises qui viennent des marchés les élus et qui viennent derrière mettre des technologies qui utilisent de la l'intelligence artificielle alors je suis pas allé me plonger dans le dans le sujet mais qui utilise une forme d'intelligence artificielle pour lire le flux vidéo donc il y a déjà des choses qui sont développées dans les villes et donc en tout cas le cette loi le mérite je trouve aussi de poser un débat un peu plus global sur le sujet donc je trouve que de ce point de vue là il est important et enfin en tout cas il est extrêmement intéressant voilà ce que je voulais dire un petit peu comme propos introductif merci beaucoup et Caroline je vois que tu veux réagir et j'ai aussi un peu une question par rapport à la qualification de cette technologie au regard de la hiat on est on est dans de Lia aux risques on est simplement dans les règles un petit peu de transparence qui encadrent les technologies de détection des émotions alors je vais peut-être réagir et ensuite enchaîner là dessus qui était assez marquant dans nos débats préparatoires c'est en tant que citoyen finalement on convergeait beaucoup dans nos dans les attentes qu'on pouvait avoir ensuite les trois invités que nous sommes on a des positionnements dans la société dans la société en général madame le Hainant elle a le la difficulté d'être au coeur du pluralisme des intérêts il y a les forces de police le souci de sécurité les citoyens de l'autre côté l'industrie d'entendre tout tout il faut entendre toutes ces voix et il faut opérationnaliser c'est sans doute un des rôles les plus les plus délicats en tant que juriste et en tant que chercheur nous notre souci c'est l'état droit donc ça va être de lire les choses d'une manière bien particulière souvent les juristes on nous dit on est les empêcheurs de tourner en rond c'est pas l'idée mais c'est qu'on essaye aussi d'un dans notre rôle pour se dire toute cette vague technologique qui est notre qui est notre société qui est notre quotidien Aujourd'hui c'est pas qu'on la veut pas mais on essaye de faire en sorte qu'elle qu'elle soit le plus démocratique possible et le plus proche de nos règles alors en ce qui concerne l'iacte je crois que les interprétations ne sont pas l'unanimité parce que pourquoi parce que la reconnaissance comportementale et émotionnelle n'avaient pas fait l'objet de beaucoup de travaux en amont de la yak qui avait été en tous les cas démocratisé si bien que dans la première version de layak me semble-t-il c'était même pas dans la liste des à haut risque c'est après à l'issue d'un certain nombre d'articles qui ont compilé les travaux et montrer qu'il y avait pas de consensus comme je disais tout à l'heure qu'on s'est dit il y a des risques et puis ça a été aussi le temps de la réflexion de l'expérimentation qui ont montré qu'il pouvait potentiellement y avoir des discriminations celles-ci ont notamment été révélée par les usages qui a été faits de cette technologie particulière la reconnaissance comportementale à l'étranger dans des dictatures par exemple c'est ce qui va permettre d'identifier les Iraniennes qui portent pas le voile on va pas on va pas identifier le fait que vous votre état civil mais on va voir que vous ne portez pas un masque c'est ce qui va permettre d'identifier alors là l'industrie promet c'est les derniers développements de reconnaître quels sont les personnes homosexuel ça c'est un des dernières trouvailles et on sait que l'homosexualité encore interdit là en Afrique pour prendre cet exemple là d'entrer en 9 pays ils sont en train de s'équiper de tous ces réseaux là cette technologie elle est mise au service de ces politiques publiques là dangereuses je sais qu'on est loin de tout ça en France je le dis aussi je j'achète le drapeau des risques j'ai Régis le drapeau des risques mais pour avoir un spectre plus large parce qu'on sait aussi la Versa la versatilité technologique aujourd'hui c'est dans les mains d'un pouvoir responsable demain on sait pas ce que sera donc quand on construit des bases légales faut mettre aussi des verrous pour dire on peut pas faire n'importe quoi demain avec ces technologies c'est dans cette perspective là que je le dis et de ce point de vue là au niveau de l'analyse d'erics du fait que le rgpd la directive police justice sont article concernant les les données sensibles et la définition des données biométriques mentionne les données comportementales le fait également que le contrôleur européen des données disent bien attention identification ne signifie pas rattachement à l'état civil c'est aussi identifié dans le sens de catégoriser à mon sens ce sont des technologies qui relèvent des technologies à haut risque d'accord merci je sais pas si Anne voulait rebondir sur ça ou oui oui avec plaisir c'est vraiment intéressant quand j'entends Caroline je me dis que j'ai de la chance d'être française quand même parce que évidemment elle dépeint le scénario mais elle a raison et nous en tant que législateur notre rôle c'est aussi d'anticiper ou d'imaginer les scénarios aux catastrophes en fait c'est-à-dire les pires usages possibles de vidéaste de caméra intelligente par contre je vais quand même rappeler dans quel cas dans ça se passe les JO on l'a bien compris mais c'est dans le cadre surtout d'une expérimentation c'est à dire que la loi que nous allons voter si elle passe n'est applicable que pendant la durée des Jeux donc c'est bien pour la sécurisation des Jeux olympiques et paralympiques 2024 tous l'événement jusqu'à fin 2024 date à laquelle la CNIL notamment devoir remettre son rapport d'analyse finalement de cette expérience ce qui veut dire que le texte déjà pour rassurer tout le monde c'est bien dans le cadre des JO qu'il est écrit et qu'il sera voté alors aujourd'hui évidemment tant que législateur ce serait totalement malhonnête de ma part de vous dire que bah on fait un bilan et puis promis on arrête là c'était juste pour les JO l'idée quand même enfin moi ça m'intéresse en tant que législateur c'est de me dire et j'espère que la CNIL sera vraiment très très comment dire exigeant dans son analyse et là je pense que Jérôme sera très intéressé d'entendre ça vu l'introduction qu'il a faite c'est que il ne faut pas que nous fassions un rapport d'analyses si je peux dire un rétexte seulement sur la partie efficacité sécurité publique mais tout ce qui a autour c'est à dire peut-être des biais des des évolutions vers une charte des usages des valeurs qui vont autour de la caméra intelligente etc c'est à dire je pense qu'il va falloir qu'on aille très très loin et finalement comme disait Caroline c'est que d'une nécessité opérationnelle parce qu'on souhaite que les JO se passent bien et qu'on sait que ce sera un outil qui va nous aider jusqu'à un cadre socialement acceptable et là les chercheurs les citoyens les élus effectivement font partie prenantes de cette analyse est-ce que c'est socialement acceptable est-ce que c'est respectueux de du citoyen français de l'individu de l'espace public de la personne jusqu'à l'anticipation d'un usage dévié de ces caméras intelligentes dans je ne sais combien d'années parce que au pouvoir ou que ce sera entre des mains qui n'auront pas la même vision que nous en 2023 tout ça doit rentrer dans notre raisonnement mais là pour l'instant on parle des JO et on y reviendra tout à l'heure et je pense que là ce sera très intéressant sur une discussion beaucoup plus philosophique éthique en tant que législateur en tout cas moi et avec d'autres il y a pas de je ne suis pas seul et heureusement je vous rassure nous irons beaucoup plus loin en tout cas si ce texte est représenté puisqu'il le saurait si éventuellement ça se passe très bien sous une forme où là on ira beaucoup plus en profondeur je tiens quand même à vous assurer là-dessus et notamment sur un cadre ou et un texte qui ne concernerait que ce sujet là parce que là comme dit Jérôme triardi effectivement c'est finalement la loi des JO qu'on est en train d'étudier et dedans il y a l'article 7 ça mérite un texte comme celui-là d'être totalement dédié à la caméra intelligente dans les espaces publics évidemment de manière générale en France ultérieurement merci alors effectivement il y a la question potentiellement de la de la pérennisation enfin en tout cas des leçons qu'on tirera de cette expérimentation et peut-être aussi avec le parallèle sur des expériences étrangères mais peut-être on le garde pour le troisième point sur la partie sur les perspectives peut-être du coup ce qu'on a abordé ça de façon un petit peu incidente la question des des enjeux des garanties qui vont entourer cette expérimentation alors peut-être je vous laisse encore un peu la parole pour présenter un petit peu le bon le contexte vous en avez un peu dit un mot sur les enjeux de sécurité évidemment qu'on comprend bien autour des autour des Jeux Olympiques peut-être les évolutions du texte comment est-ce que cette article 7 a été appelé au fil des travaux que vous avez pu faire en commission alors en fait un texte est proposé donc le ministre de l'Intérieur l'avait annoncé de toute façon un texte relatif aux JO il y a déjà quelques mois année même il y a déjà un an et demi deux ans on en parlait bien entendu des groupes des organisations de travail sur la sécurité des JO depuis des années je pense notamment à la cnsie à la police la préfecture les gendarmes etc donc l'armée aussi ils travaillent là-dessus donc c'est pas un sujet nouveau c'est pas on le fait pas dans la précipitation c'est c'est un parcours le texte arrive au député et le premier passage en l'occurrence sur ce texte là a été de manière globale la commission culture et sport et puis la commission des lois c'est la commission des lois qui a étudié le texte sur le l'article 7 sur la sécurité et les caméras intelligentes lors d'une commission toutes les toutes les représentations politiques y compris les positions et présente et donc peut amender le texte et cet article 7 c'est vrai en commission des lois j'ai assisté bien que ce ne soit pas ma commission habituelle parce que moi je suis en commission la défense j'ai assisté parce que c'est toujours intéressant de connaître les objections ou les critiques par rapport à un texte a été très très discuté ça a donné lieu à de nombreux amendements donc au final cet article 7 a été voté en commission des lois et donc arrive ce soir dans l'hémicycle ou de nombreux amendements vont être présentés par l'ensemble des groupes moi je porterai je défendrai l'article 7 dans l'hémicycle ce soir et je sais que notamment sur un aspect un amendement que nous allons porter notamment sur le marché public parce que faut quand même aussi aborder ce sujet là il y a donc l'État va mettre sur le marché ce logiciel et va donc ouvrir à l'ensemble des sociétés la possibilité de répondre à l'appel d'offres et que bien entendu se pose derrière des questions également de confidentialité de sécurité de souveraineté nationale puisque ce sont les JO que ça se passe en France et que il n'y a pas comme le Caroline tout à l'heure que des aspects industriels c'est très important que ce texte d'article 7 ne soit pas que finalement vu sous un angle technologique filière industriel mais sur bien d'autres aspects donc des amendements je pense qu'on en a une bonne partie de la nuit ce soir ce soir et cette nuit sur cet article 7 et puis une fois qu'ils sont à voté et bien l'état pourra lancer le marché public et toute société même étrangère pourra répondre au marché très bien merci à vous alors forcément ça suscite des effectivement des questions sur les enjeux que vous avez soulevé de souveraineté numérique de quels enjeux sur les filières industrielles sur les entreprises qui pourront éventuellement être obtenir ce marché public je sais que sur cette question des filières industrielles et sur ces enjeux peut-être Jérôme tu avais envie de réagir oui en fait je veux bien réagir il y a pas mal de choses qui ont été dit et qui me permet juste pour dire sur ça en fait ce qui me paraît vraiment important c'est pas tant la technologie mais l'usage qu'on en fait et que on l'a vu en filigrane Caroline l'a abordé également mais on ne peut pas faire fi pour le citoyen du fait d'avoir en toile de fond c'est ce qui se passe dans d'autres pays et que quand même je me permets de rappeler qu'en Chine on a ce qu'on appelle le passeport social et qui est quand même marquant donc je pense que en tant que responsable politique on se doit d'avoir ça en toile de fond je pense que la Chine est quand même une dictature qui a les moyens de ses ambitions grâce à la technologie et il faut en avoir conscience et donc par rapport à ça il est extrêmement important d'une part de poser les garde-fous à nous la rappeler Caroline en parler également mais c'est extrêmement important de voir le rapport au pouvoir effectivement les les gouvernements passent les femmes et les hommes qui les dirigent passent également et après c'est cette capacité de projection qui est extrêmement importante et puis derrière aussi c'est comme l'a dit Anne il y a un marché public qui va s'ouvrir donc c'est quelle technologie et donc je pense qu'il y a une nécessité une grande transparence de ce point de vue là pour rassurer et pour et pour expliquer et de bien à mes yeux voir comment ça s'articule dans la République et donc c'est pour ça que c'est ce débat là est extrêmement important et qu'il est pas qu'un débat voilà que technique parce que il y a ces éléments là et je voudrais poser ça aussi là le sujet de la formation des élus parce qu'on voit bien que c'est un sur ces sujets du numérique et voilà donc c'est vrai qu'avec Anne on se connaît parce qu'on a eu l'occasion de ne pas m'échauffer quand elle était concert régional donc j'ai eu cette chance de pouvoir avoir ces échanges là donc c'est vrai que on se rend compte que ce niveau de compréhension de ce dont on parle là et nécessite une certaine aguration et donc je pense aussi que se joue aussi cette capacité de pouvoir collectivement au niveau politique aussi bien comprendre les effets de bord et et là-dessus et c'est vrai que tu m'amené sur la partie munsen sur la partie un peu filière économique et tout ça et je vais terminer là-dessus c'est que effectivement pour on voit bien que les entreprises dans cette case cette capacité à créer du besoin et tout ça et donc c'est important aussi derrière de de de pouvoir bien poser le cadre et c'est pour ça qu'au-delà de cette expérience qui est décrit là je pense que le cadre d'exécution de l'expérimentation et donc des je pense que peut-être Anne pourra nous ordir un peu plus mais va être extrêmement important et structurant dans dans cette dans cette phase d'expérimentation effectivement le compte rendu de la CNIL va être très éclairant là-dessus mais effectivement on voit bien qu'on touche du doigt quelque chose qui et je peux comprendre peut inquiéter donc je pense qu'en tant que responsable politique il est extrêmement important pour nous de bien poser ce cadre là et cette réassurance aussi et cette capacité à se projeter et à mettre les bons garde-fous et avoir une bonne compréhension des technologies parce comme je disais derrière actuellement c'est à dire sans cette loi là on se focalise sur cette peur mais il y a des villes qui je les dis tout à l'heure contractualiser avec des entreprises qui utilisent les flux vidéo et qui sont là dessus alors peut-être car lui je me trompe pas mais je crois qu'à Nice il y a des choses qui ont été fait là-dessus de ce que j'ai lu un peu en préparant ça se débat là et donc on va bien que c'est hors cadre de toutes hors cadre aussi donc donc il est extrêmement important de d'avoir cette montée voilà ce que je pouvais dire un petit peu mais je voulais un peu quand même réagir sur ce qui avait dit avant avec mon ma casquette citoyen et élu Jérôme alors Caroline puisqu'on est dans les garanties il y a plusieurs choses importantes qui ont été dites il y a plusieurs angles de vue sur lesquels il faut être vigilant j'aimerais revenir sur notre relation aux opérateurs technologiques à l'industrie une minute donc Madame la député disait que le marché serait ouvert aux entreprises nationales et plus largement des entreprises internationales ce que l'on peut comprendre notamment au regard de l'efficacité la performance des entreprises étrangères et donc là on va rentrer dans un autre question c'est où on met le curseur entre l'effet l'efficacité et par ailleurs les exigences démocratiques puisqu'il a été aussi mentionné par mes deux copanellistes la nécessité de transparence la nécessité de s'appuyer sur le rapport de la CNIL pour continuer à construire et donc il va falloir à la fois qu'on parvienne à avoir des outils qui sont efficaces technologiquement mais aussi la possibilité d'avoir des garanties démocratiques sur ce terrain là qui est la transparence et là à cet égard il y a peut-être quelques points aussi de vigilance à avoir parce qu'il y a pas mal de de choses qu'on a expérimentées sur le territoire européen pour lequel on a essayé de creuser d'avoir plus d'éléments pour la Cnil notamment je vais parler d'un exemple c'est celui de la Denis et de la frontière européenne Nice quand la tester la reconnaissance faciale elle a elle a accepté de le faire parce qu'elle avait été des marchés par une entreprise israélienne qui était la plus performante du marché et qui montrait des résultats qui étaient particulièrement forts par rapport à ce qu'il lui avait été présenté par ailleurs donc elle a accepté de de tester ça sur cette base là quand par la suite la CNIL a demandé des comptes à la ville de Nice pour savoir ce qu'il avait été de cette cette expérimentation la ville de Nice en toute bonne foi a rendu son rapport d'expérimentation en disant voilà ce qui a fonctionné voilà ce qui a pas fonctionné mais quand la CNIL a cherché à creuser en disant mais est-ce qu'il y a des biais notamment est-ce qu'il y a une discriminations et tout un ensemble de questions qu'on peut se poser la ville de Nice n'a pas été en mesure de répondre pourquoi parce que c'est des questions qui auxquelles seule l'entreprise peut répondre ça s'est arrêté là mais ça posait déjà le problème là plus récemment dans le système de reconnaissance comportementale et émotionnelle aux frontières de l'Union européenne on a eu quelque chose de beaucoup plus important qui a été testé sur trois pays de l'union avec un système qui permettait de fluidifier la gestion des enfin des des flux de personnes et le travail des agents comme je vous le disais c'était largement dysfonctionnel donc il y a certains députés européens qui ont demandé à avoir beaucoup plus d'éléments sur ce système pour pouvoir le tester voir s'il était attentatoire aux droits fondamentaux là de nouveau fin de mon recevoir donc c'était l'Agence européenne de la recherche avec un consortium d'entreprises il y a eu du contentieux au niveau de l'Union européenne qui a été portée devant les juridictions et en première instance le jus européen dit clairement pas vous communiquer les documents parce qu'il y a le secret industriel donc je crois que si on veut pouvoir construire des systèmes où il va où on va avoir des des garanties tangibles de ce de ce point de vue là il va falloir aussi exiger que les entreprises partenaires puissent fournir un certain nombre de garanties dans le cadre de ces éléments-là et alors ce qui se dessine aujourd'hui avec laiate c'est que c'est tout un système de certification ou dès lors que vous êtes unis à au risque vous allez chercher votre certification une fois que vous êtes certifié Vous pouvez aller sur le marché donc là ce qui est en train de se passer et qui est quand même inquiétant au niveau européen c'est de se dire qu'on va couper court à tout ce que nous sommes en train de raconter là puisque l'acteur aura derrière sa certification et voudra pas davantage rendre des comptes toutefois on sait bien que c'est dans les usages que peuvent se révéler aussi les discriminations donc là je crois que dans la perspective d'un régime de redevabilité future il y aura peut-être un certain nombre d'exigences minimum à exiger des acteurs sans quoi et bien on risque

[Musique]

oui alors justement il y a la question de la certification pour pour avoir une mise sur le marché dans l'illac mais il y a aussi des quelques garanties pour essayer de limiter un peu les billets algorithmiques sur enfin voilà plusieurs un certain de dispositions sur ça est-ce que il peut y avoir des choses rassurantes sur l'encadrement qui pourrait venir alors il y aura l'encadrement du droit national sur ces sur cette technologie là et aussi de l'ayat ou ça semble ça ressemble insuffisant ou alors là j'aurais une réponse peut-être un peu frustrante parce que en même temps ce qui est très positif et la discussion d'aujourd'hui le montre c'est qu'il y a des débats c'est qu'on a une conscience des risques donc ça c'est déjà un premier pas pour pouvoir y répondre après le problème c'est que on ne sait pas parce qu'on ne sait pas comment ça va être opérationnalisé c'est à dire que là le législateur européen il est en train de déléguer donc il va falloir aller retrousser ses manches aller dans les standards techniques et voir ce qui s'y fait et là de ce point de vue là un échelon beaucoup plus global géopolitique il y a une vraie lutte pour les standards qui sait qui s'est engagée la Chine est particulièrement agressive sur les technologies de surveillance elle a tenté à plusieurs reprises une OPA à l'IUT notamment donc c'est-à-dire cette organisme de normalisation qui est rattachée à l'ONU pour pouvoir imposer ces standards en matière de technologie de surveillance et donc là c'est les débats à venir au sein de ces enceintes qui vont déterminer et les résultats qui produiront qui permettront de dire si oui ou non c'est pleinement satisfaisant en termes opérationnel et là pour l'instant on n'a pas on n'a pas beaucoup de réponses en tous les cas il va falloir que les juristes ont droit fondamentaux se mettent au standard technique ça m'a ça sera ma réponse on essaye on essaye alors j'avais juste une petite chose c'est Anne

[Musique]

son ordinateur qui a planté donc elle me parle que voilà donc d'accord on va j'avais une question pour elle mais de relayer de participants mais on la posera plus tard peut-être oui alors on a un peu dit un mot sur la question des filières industrielles les enjeux de souveraineté numérique Jérôme tu abordé tout à l'heure un autre point extrêmement important sur la place de l'humain sur la question de la formation des agents quel contrôle humain sur ces technologies et ce qu'il y a des risques un peu de biais d'automatisation de faire un peu une confiance excessive comment est-ce que voilà qu'elles sont un petit peu les enjeux simplicité auquel je vais essayer de répondre modestement modestement bien évidemment bien évidemment

[Musique]

la et on le voit bien que dès qu'il y a un peu ce type de surveillance elle est toujours accompagnée d'une présence humaine notamment pareil en préparant un peu le rendez-vous je me rendais compte que même dans tout ce qui est verbalisation de d'infraction routière ça peut pas être automatique et forcément il y a un humain qui est derrière pour pour aider à enfin pour valider l'amende donc on voit bien que la présence humaine est importante et et c'est pour ça que à mes yeux c'est c'est un accompagnement qui formation qui doit aller devier et de de de enfin qui doit aller avec cette réflexion justement c'est les garde-fous dont on parlait un petit peu et je pense que dans la construction de la loi et dans enfin en tout cas de cette expérimentation et tout ça le facteur humain et comment l'homme reste maître dans tout cas de de de de l'usage qu'on fait de la technologie je pense que c'est quelque chose qui est qui doit être crucial même si on le voit bien et c'est pour ça que c'est à des 5 je parle aussi de de tout ce qui est infraction routière parce qu'il y a une forme de de là-dessus qui a pas mal de choses qui ont été qui ont été éprouvés d'ailleurs la CNIL si je me trompe pas à même retoquer je crois l'usage de l'utilisation des des des plaques d'immatriculation enfin je je sais plus exactement détails que peut-être Caroline les juristes ici pourront y faire référence il voit de quoi je parle mais en tout état de cause on voit bien que c'est pas non plus le garde-fou unique et qu'il faut se garder de dire bah il suffit de mettre de l'humain et là-dessus tout est réglé et on voilà donc je pense qu'il faut que il faut se garder de penser c'est bien évidemment important de l'avoir de l'humain dans le processus mais c'est pas le garde-fou ultime de du sujet qu'on est en train de parler là donc voilà et je pense que c'est important là-dessus de l'avoir en tête merci beaucoup Jérôme flocon année revenue parmi nous alors il y avait une donc enfin deux sujets d'une part une émission pour terminer sur la question des enfin ou en tout cas prolonger sur la question des garanties et ce qu'il est prévu que les algorithmes de ces caméras soient rendus publics je relai une des questions qui se pose que les participants posent un peu en parallèle avec ce que le Conseil constitutionnel avait pu décider pour parcoursup et puis après l'autre aspect sur laquelle on avait commencé à discuter était la question de du contrôle humain sur ces comment on envisage le voilà le contrôle humain potentiellement sur ses algorithmes pas plus généralement la question des différentes garanties alors rendre public les algorithmes honnêtement je le pense pas parce que c'est un usage quand même de sécurité et on ne met pas sur l'espace public des données justement aussi je dirais comment dire sécuriser soit-elle conforme au rgpd c'est un outil de travail donc ce sont des données destinées aux forces de sécurité et pas à tout citoyen par contre ce que je peux vous dire c'est que le rapport il sera public on a obtenu cela les parlementaires ont obtenu cela lors de la commission des lois donc le rapport sera public les données par définition non par contre ce que je voulais dire aussi c'est que dans le cadre du marché public parce que j'ai vu une question sur ce sujet là la définition et le cahier des charges précise un certain nombre de choses moi je compte beaucoup sur et j'ai encore échangé récemment avec ce qui est qui vont rédiger des charges pour le marché public à ce qu'on soit extrêmement exigeant sur les critères je dirais que plus nous serons exigeants et fins dans les critères et plus un nous aurons des chances de protéger au maximum le système la façon de procéder est d'éviter les bières et ensuite personnellement en tant que parlementaire je souhaite que ce soit une industrie française à minima européenne et française qui puisse je dirais équiper les caméras intelligentes des JO 2024 donc pour cela le cahier des charges de l'appel d'offre va être extrêmement important donc il va falloir vraiment y passer du temps et je pense peut-être qu'il est qu'il est déjà fait maintenant au niveau des des garanties ou en tout cas de cadre de l'utilisation de ces logiciels c'est vrai que on l'a dit tout à l'heure les personnes euh n'importe qui je tiens ne va pas être devant des écrans à regarder ce qui se passe sur sur sur les espaces publics autour et dans les jeux par contre les personnes seront habilitées donc autre information également pour les personnes qui nous écoutent c'est que les personnes sont habilitées par la Préfecture de Police donc c'est bien une habilitation du ministère de l'Intérieur si je puis dire c'est à dire qu'on va pas faire appel à des sociétés des prestataires des sous-traitants et voilà on va il y aura un minimum quand même de de vigilance sur la qualification l'expérience le parcours des personnes qui auront accès à ces images et ce seront principalement d'ailleurs des policiers sur la sauvegarde des données il n'y en aura pas moins ce qui m'inquiète enfin en tout cas un point de vigilance de mon côté c'est quand même aussi la circulation des informations on sait qu'aujourd'hui les réseaux de télécoms c'est un point important aussi de la garantie je dirais de la discrétion de la sécurité la protection des données donc les réseaux par lesquels passeront ces images évidemment c'est aussi un sujet sur lequel on va discuter je pense longuement ce soir et une fois l'expérimentation faite pour des usages futurs ailleurs dans d'autres événements c'est évidemment un sujet qu'il faudra aborder l'enseignement nous permettra de ce qu'on aura vécu pendant les JO d'écrire peut-être c'est pas une certitude on est assez transparent en fait une future loi qui tiendra compte de tous ces aspects je pense également qu'un autre aspect très important c'est l'information donc je parlais de transparence c'est l'information à la population dire qu'il faut pas mettre des caméras intelligentes ou des caméras tout court sur les espaces publics sans expliquer dire aux gens à quoi ça sert comment ça fonctionne nous il faut vraiment que sur les lieux sur les sites on puisse informer en quoi ça consiste à quoi ça sert et puis et puis bien sûr je pense qu'il est très important que ce ne soit pas il ne faut absolument pas je l'ai vraiment dit et avec insistance aux équipes du ministère d'intérieur qui travaillent sur ce sujet qu'il ne faut pas que ce soit uniquement un sujet de technicien c'est comme tout moi j'ai travaillé beaucoup la cyber sécurité confier la cybersécurité uniquement les techniciens est une erreur de la même manière confier la vidéo intelligente sur les espaces publics seulement à des techniciens et je respecte beaucoup les techniciens les ingénieurs il y a pas de souci avec ça mais c'est multi party en fait et donc il faut que chaque maillon de la chaîne caméra intelligente et pu donner son expertise ses risques ses enjeux les interrogations et aucun moment il n'y est de point d'interrogation sur cette chaîne constituée d'un certain nombre de maillons dont les techniciens et les spécialistes des logiciels des caméras des télécoms il y a pas de doute mais il y a pas que ça c'est extrêmement important qu'on élargisse vraiment largement aux sciences sociales aux élus aux citoyens et aux organisateurs d'événements également puisque derrière il y a la gouvernance et la gouvernance c'est le pilotage donc il faut que tout le monde sache qu'il a à faire et de quelle manière le faire dans le respect de de la vie privée des gens et de et de et de finalement de nos valeurs républicaines j'ai donné la parole à Karine j'avais peut-être une dernière question sur le périmètre de expérimentation sur les lieux qui seront concernés sur un peu l'ampleur du dispositif alors en fait potentiellement ça concerne combien de caméras qu'elle comment les lieux ont été un peu définis ou je sais pas si encore déterminé dans la loi alors oui oui bien entendu en fait les caméras elles sont déjà en place pour la plupart Gérald Darmanin avait déjà dit il y a deux ans et d'ailleurs on a débloqué des budgets au niveau national pour accompagner les communes les territoires les collectivités qui allaient accueillir des événements sportifs la possibilité avec financement public national un financement public national de d'élargir la présence des caméras donc les caméras en tant que tels existent déjà comme nombreuses villes donc précisément le chiffre là je ne l'ai pas jeté un logiciel alors sur sur les caméras déjà existantes c'est ce que je disais tout à l'heure c'est à dire que le logiciel va venir se plugger au caméra déjà existantes et bien sûr dans les sites où vont se dérouler les événements sportifs et aux abords quand je dis aux abords c'est finalement les lieux qui pourraient être les esplanades devant les stades les fans les je dirais une salle municipale pour pas ou aux abords où il y aura un événement festif avec des enfin vous voyez c'est tout ce qui se rapportera finalement à la vie des jeux que soit au niveau sportif culturel espace public de manière générale d'accord très bien Caroline j'ai plusieurs réactions par rapport à ce qui a été dit peut-être je vais commencer par rebondir sur le dernier point parce que je crois que aussi une des conditions pour que ça fonctionne c'est des exigences techniques alors là on passe entre les réflexions philosophiques on revient à les considérations techniques ça c'est peut-être un point un petit un tout petit point d'inquiétude parce que un des problèmes qui se pose aussi c'est qu'il y a certaines villes qui sont sont pas équipées de caméra dernier cri et sur lesquels on bloque des logiciels mais qui font mal qui prennent mal les images du coup les logiciels fonctionnent mal et ça c'est un premier sujet d'inquiétude un deuxième sujet d'inquiétude c'est qu'il va falloir avoir aussi des systèmes extrêmement solides en termes de sécurité parce que comme l'a dit dans son dernier rapport ça nous expose à partir du moment où on s’équipe ça nous expose et ça c'est des moyens d'entrer dans les systèmes et on a vu qu'il y avait eu aussi un certain nombre de cyberattaques qui permettait de transformer les résultats les résultats que produisaient ces logiciels où on va changer le résultat de la reconnaissance faciale alors je sais qu'on n'est pas dans la reconnaissance faciale mais c'est pour donner des exemples ou même on va identifier à tort ou de manière ou inversement on va pas identifier des personnes il y a cette possibilité là donc là il va y avoir donc les années à venir si on équipe plus largement les polices peut-être pas les sites dont on a parlé mais si on équipe plus largement là il y a quand même un vrai enjeu et un vrai un vrai sujet alors je voulais revenir une rapide seconde sur la formation des agents je crois que on a un vrai sujet qui a été aussi soulevé au travers des marchés publics je crois qu'il va falloir très largement former les agents qui vont signer ces marchés alors peut-être pas dans le cadre des JO mais de manière plus large parce que aujourd'hui quand on est sur le terrain on s'appelle on nous fait énormément remonter le fait que les entreprises technologiques sont très agressives au niveau des marchés publics et qu'elle profite notamment du biais des procédures de négociation elle demande des procédures de négociation il y a beaucoup de collectivités qui vont par là et qui tentent le rapport de force là dedans pour notamment introduire des clauses qui ne sont pas nécessairement très conformes en matière de protection des données en matière de vie privée sur tout un ensemble de points qui ont été qui ont été soulevés et là si vous n'avez pas une personne en marché qui est sensibilisée à ces questions qui à l'oeil du DPO pour repérer que là ça ne fonctionne pas il y a bien souvent on se retrouve avec des contrats les les entreprises se financent aussi sur la collecte des données qu'ils font donc là je crois qu'il va falloir aussi il y a un enjeu qui dépasse évidemment le le cadre de la loi sur la d'expérimentation mais qui est un vrai enjeu en matière technologique surveillance par ailleurs je voulais redire un mot aussi en terme de formation concernant la garantie humaine alors je sais qu'on dit contrôle humain à l'échelon européenne moi j'aime bien le terme de garantie humaine parce que c'est un peu le made in France la garantie la garantie humaine ça fait plusieurs années qu'on réfléchit là dessus justement sous ce titre là et où on a véritablement développé une vraie expertise sur la question et je rejoins tout ce qui a été dit précédemment sur sur la nécessité mais dire vraiment que ça se décrète pas c'est vraiment un construit la garrigue la garantie humaine toutes les études récentes pour mon qui ont été menées en matière judiciaire en matière de médecine en matière plus légèrement on a aussi testé la garantie humaine sur des personnes qui pouvaient se regrouper discuter entre elles par rapport aux résultats d'un algorithme c'est extrêmement difficile de prendre la doucement la distance par rapport à une décision par rapport à une décision algorithmique d'avoir un recul et de compenser les biais la dernière étude que je trouve très intéressante sur la question a été menée par une spécialiste de la reconnaissance faciale aux États-Unis claire-garvis et elle dit ben voilà pour former véritablement un agent qui sera opérationnel sur le terrain et faire en sorte qu'ils soient pas pris par ses propres biais qui vont renforcer les biais de la machine et qu'on est un une un usage responsable de ces machines il faut 6 mois elle estimait à 6 mois de formation ce qu'il fallait pour pouvoir parvenir à quelque chose de pleinement satisfaisant donc je crois que lorsque l'on réfléchira plus largement à l'issue de ces jeux à ces questions là il faudra vraiment que on pense encore une fois à opérationnaliser ces éléments un dernier petit point qui une question si j'ai le droit à une petite question madame la députée en ce qui concerne la conservation des des données alors je sais qu'il y a plusieurs versions du texte c'est aussi pour ça que je vous pose il avait été question de conserver les données pour permettre l'entraînement en matière de recherche et développement est-ce que ça c'est toujours envisagé ou pas voilà je vais me remettre mon micro en fait dans l'article 7 et d'ailleurs c'est un amendement que je vais porter ce soir un amendement du Gouvernement pour faire évoluer justement cette partie là non il était demandé que à l'origine les sociétés les industriels qui allaient répondre au marché public puisse prouver en fait et et montrer les données sur lesquelles elles se sont appuyées pour dans le cas de leur recherche et développement amenant au logiciel tel qu'il le propose au marché public les sociétés françaises nous ont carrément dit que ce n'était pas envisageable pourquoi parce qu'en France quand on est comme partout ailleurs quand on développe un logiciel de ce type là c'est des années de recherche et développement les données ne sont pas concernées d'abord la loi l'empêche en France de toute façon elles ne sont pas conservées au mieux peut-être 30 jours voilà quelques mois quand ils sont pas des données à caractère personnel enfin bon voilà donc les industriels français ont exprimé finalement leur résistance finalement et et leur résistance en tout cas ont été assez honnêtes en disant nous on pourra pas satisfaire le marché public si vous nous demandez de fournir les données qui ont prouvé qu'il y avait pas de bien dans nos logiciels c'est pas possible on y travaille depuis quatre cinq ans parfois donc l'amendement que je présenterai ce soir consistera notamment à alléger cet aspect là en disant qu'on nous demandera pas finalement de nous apporter les données sur lesquels se sont basés les expérimentations qui ont amené au logiciel parce que c'est pas possible bon alors c'était dans le cadre du marché public c'était pas dans le cadre du logiciel en tant que tel une fois qu'il sera installé sur les caméras c'était bien dans le cadre du marché public voilà donc si j'espère que ça répond à votre question concernant vos interrogations je me permets de revenir dessus c'est que je rappelle que c'est le marché public c'est bien l'état qui le passe avec les industriels c'est pas les collectivités locales donc en termes de formation là on parle bien des JO c'est bien l'état français avec un industriel ou voilà donc mais par contre vous avez raison à l'avenir et je sais que c'est un sujet que Jérôme trdit que on laissera peut-être s'exprimer sur le sujet aussi et attentif à ce sujet bien et on en avait parlé en préparation il est extrêmement accompagné important d'accompagner les collectivités locales et notamment les agents qui écrivent les marchés publics de d'avoir un niveau de connaissances de compétences suffisant mais je dirais que c'est valable pour des tas et d'état et des tas de sujets c'est-à-dire qu'aujourd'hui quand on veut acheter local faut qu'un agent il soit formé à qu'est-ce que c'est que la chalocale quand on veut faire des achats verts respectueux de l'environnement et bien ou RSE des formations pardon des formations sont indispensables et nécessaires pour les agents territoriaux pour la cybersécurité aujourd'hui on conseille effectivement que ce soit secure by design quand on achète des logiciels pour la petite enfance ou pour gérer l'eau d'une ville donc je dirais que ce sujet là évidemment la formation des agents territoriaux est indispensable ce sera dans un deuxième temps si un jour après les JO on propose une loi qui sera généralisée est-ce que ce sera piloté que par l'État ou ou par les préfets par les collectivités locales je j'en sais rien moi je ne parle que des JO à ce stade oui mon propos était beaucoup plus large je le dis bien je sais bien que ce marché particulier mais c'est quand même un point de d'un point d'inquiétude que je souhaitais mettre sur la table de ma part parce que comme l'avait dit Jérôme les villes sont déjà équipées de dispositifs qui pour la techno surveillance et donc du coup quand on contracte ces marchés il y a des enjeux extrêmement sensibles avec des données sensibles potentielles et c'est là-dessus que j'insistais sur le fait que voilà il faut être il faudra être vigilant alors pour vous rassurer en tout cas moi j'ai été premier adjointe encore jusqu'à il y a peu à Vannes qui est équipé de 170 caméras qu'on a vraiment fortement développé ces dernières années pour des raisons de sécurité publique mais aussi de d'efficacité dans nos décisions politiques on ne le fait pas seul on est abîmé on est on est accompagné par des cabinets on le fait vraiment avec des spécialistes ce genre de dossier c'est tellement sensible c'est tellement finalement un sujet d'experts que on le fait pas avec les agents qui sont qui ont l'habitude d'écrire des marchés publics pour pour des bâtiments des routes des ronds-points c'est pas du tout le même métier donc on ne le fait pas seul en tout cas nous à Vannes on ne le faisait pas seul et je pense que c'est le cas peut-être ailleurs aussi pas toujours c'est pour ça de ce qui met de ce que j'ai pu observer en tant que chercheuse sur le terrain qui m'a été remontée de la part de certains agents c'est pour ça que je me permets de le mettre mais je suis pas en train de dire tout le monde est méchant il y a des c'est pas une question de ça d'ailleurs c'est il y a des comportements vertueux il y a des gens qui ont pris en considération les enjeux et puis il y a des administrations ou des collectivités pour qui les technologies c'est comme on disait il y a quelques jours acheter une nouvelle imprimante et qui sont très loin de tout ce que nous sommes en train de poser en termes de débat public en termes de risques et c'est de ce point de vue là que que je que je que j'appelais à un point de vigilance justement ce qu'on a un retour sur les différents les différentes expériences qui a pu avoir au sein de collectivités territoriales en France ou d'expérience étrangères justement qui aurait pu être un peu intégré dans la question des études d'impact de cette expérimentation on a des retours d'expérience un petit peu un petit peu concret ou on navigue à vue mais est-ce qu'on est obligé de de d'anticiper les choses parce qu'il y a pas d'expérience précise sur lesquelles on pourrait se fonder je sais pas si il y a des situations où ce type de technologie a déjà été déployé sur lequel on peut se fonder ou c'est vraiment un dispositif assez nouveau notamment en termes de détection des émotions ce genre de ce genre d'algorithme ça ça n'existe pas le seul endroit où vous allez pouvoir finalement tester de l'émotion ou du visage de quelqu'un ce n'est interdit sur l'espace public en France c'est pour ça qu'on va faire une loi en première expérimentation et on va pas jusqu'à la reconnaissance faciale donc ça n'existe pas en France ça si ça existe dans votre supermarché parce que ce qui est quand même paradoxal c'est que actuellement en France les sociétés privées peuvent utiliser ce type de caméra quand vous allez acheter au supermarché 1 kg de carottes et 1 kg de tomates si c'est pas le même prix et que vous passez par la machine en libre-service la caisse en libre-service vous pouvez avoir des caméras intelligentes biométrique parce que on veut que vous payez le juste prix c'est-à-dire vous étiez venu pour des carottes et vous voyez ce que je veux dire c'est pour contrôler que c'est bien le bon produit qu'on passe à la caisse automatique tout seul et qu'on est honnête dans notre dans la pesée donc dans les sociétés privées ça existe donc là on parle des JO pour sécuriser les espaces publics protéger les populations les visiteurs et les sportifs sachez quand même que ça existe dans les espaces privés rien n'empêche une entreprise privée d'utiliser cette technologie ce n'est pas voilà là on parle bien d'une loi qui concerne l'espace public parce que et donc on est très transparent vous voyez on est très transparent on il faut qu'on explique c'est normal et moi j'y tiens je suis très attaché à ces valeurs à la philosophie à l'éthique qu'on met derrière ces outils parce que c'est toujours un moyen ce n'est pas une fin mais par contre les sociétés privées je suis désolé vous allez dans et parfois normalement ça doit être indiqué mais ce n'est pas toujours le cas et ça permet notamment à des aux agents de la sécurité privée d'intervenir et vous interpeller à la sortie de la caisse en libre-service si vous n'avez pas mis le bon produit au bon prix je veux bien rebondir là-dessus parce que Anne je pense extrêmement intéressant ce que tu poses et en fait c'était un peu mon propos tout à l'heure sur la montée en compétences collectif sur ces sujets là en fait il y a beaucoup de méconnaissance et c'est pour ça que je trouve que

[Musique]

je c'est pourquoi ça mérite un débat beaucoup vraiment centré sur le truc je reviens là-dessus parce que parce que je il y a une méconnaissance globale sur sur ce qui est il y a un peu des vides même des fois de de alors législatives je me risquerais pas parce que je suis pas un expert dedans mais ça me paraît quand même on voit bien qu'il y a des endroits où c'est pas très clair et je pense qu'on est en tant que citoyen pas on challenge beaucoup la la puissance publique puisqu'elle est un devoir de transparence et et heureusement mais effectivement dans dans le domaine privé il y a des choses qui dont on n'a pas forcément conscience et c'est pour ça que je pense que au-delà de la formation des agents forcément dans nous dans les collectivités il y a mais le numérique dans sa globalité amène en soi un changement de paradigme extrêmement puissant et qui déstabilise fondamentalement nos institutions par les sujets qu'on a là on prend un sujet mais globalement on parle de la cybersécurité plein de choses une complexité et je pense que c'est ça un peu le challenge aussi derrière c'est que face à cette complicité là et et légiférer n'est pas simple non plus on voit bien que dans cette phase d'expérimentation ça le mérite comme je le dis de poser le débat sur la table mais c'est pas simplement non plus parce que il faut donner à avoir la technologie mais jusqu'à quel point parce que comme on a dit ouvrir l'algorithme c'est quand même compliqué parce qu'on parle de sécurité donc on a un changement je trouve et je vois en même temps qu'elle sont qui portent ces sujets du numérique et globalement qui traverse un peu toutes les compétences de la collectivité du Conseil régional de Bretagne la complexité aussi de cette montée en compétences et je trouve que le débat aujourd'hui nous amène aussi à nous interroger là-dessus et donc je pense que quand on voit ce que mette en place les gafams notamment et quand on parle de caméra intelligente regardez les les Amazones est capable de faire comme qui va bien plus loin que ce qui était donné comme exemple que la pesée Amazon on rentre dans un magasin où il y a des milliers de caméras qui sont enfin on est on est très très avancés sur le truc et là-dessus pour le coup dans quel cadre si ça vient s'implanter en France donc quel cadre c'est mis et donc voilà et donc je c'est pour ça que je pense que un débat citoyen sur le sujet est extrêmement important et que encore une fois je me répète un peu mais le le

[Musique]

mérite de cette expérimentation permet de donner à avoir ce sujet là aussi et c'est ce que j'y vois comme d'intéressant c'est de porter un peu sur la le domaine public cette interrogation et ce que comme citoyen comme on appréhende ce sujet là de m'excuser mais je vais devoir aller dans l'hémicycle parce on commence l'article justement les drones notamment est-ce qu'il y aura des gros équipés de ce type de technologie oui justement avant de partir je vois les questions là qui défilent il y aura effectivement des drones ou également avec les mêmes les mêmes systèmes les mêmes technologies et ça me fait passer à l'autre sujet qui est la communication nous avons obligation évidemment sur l'espace public et c'est valable dans une ville puisqu'on pose la question pour vannes comme pour les JO de de d'indiquer la présence de caméra c'est obligatoire ça c'est réglementaire donc évidemment il faut indiquer quand il y a une caméra c'est heureusement les gens ne sont pas pris par surprise et non voilà quand même un cadre législatif on fait pas n'importe quoi en France heureusement donc ils seront ils seront avertis et puis d'autre part c'est très encadré également au niveau éthique quand même parce que par exemple on a des comités éthiques dans une commune quand il y a des caméras il y a un comité étiquet avec des gens neutres qui ne sont pas des élus qui sont des gens extérieurs des anciens magistrats qui qui dans des cas litigieux ou si il y a une saisie par un citoyen par exemple étudie cette situation et répondre au cas par cas et rectifie si c'est nécessaire je dois partir j'interviens dans 10 minutes pour toutes ces explications participer merci beaucoup merci beaucoup désolé au revoir à bien merci je sais pas à Caroline peut-être tu voulais réagir sur Oui je voulais rebondir sur la question qui vient la question initiale que tu avais posée et dire aussi un mot sur le débat qui a lancé qu'elle lançait Jérôme donc deux choses premièrement la confrontation entre le public et le privé c'est vrai que c'est des régimes qui sont différents mais qui appellent à une réflexion commune parce que quand vous ouvrez toute la journée votre téléphone avec la reconnaissance faciale c'est que ça devient compliqué à tenir dans le discours de dire là il y a un enfant perdu ça c'est ça c'est le cas classique que l'on pose dans les débats d'opinion vous avez perdu votre enfant est-ce que vous autorisez le système de reconnaissance faciale est déployé dans la foule pour le retrouver et là on a la plupart des gens qui disent oui et souvent un des arguments qui qui ressort c'est de dire bah alors comment vous ouvrez votre votre téléphone avec un avec votre visage et là vous refusez la reconnaissance faciale qui va sauver vos enfants et c'est vrai que là ça commence à être compliqué dans le débat et donc je crois que en effet il faut qu'on mène la réflexion plus largement ensuite je tiens à dire que il y a cette technologie sont déployées dans le privé en effet mais c'est illégal en grande partie on n'a pas le droit de déployer enfin c'était la légalité des dispositifs qui sont qui sont développées dans les entreprises et tout à fait tu as fait contestables d'autant plus qu'à partir du moment on a des outils de surveillance c'est comme il y a il y a un rapport d'autorité le rapport d'autorité qui est établi entre l'employeur et l'employé fait que on peut pas déployer n'importe comment les choses et que le consentement ne peut pas de l'employer ne peut pas suffire avec les autres fondements légaux ne permettent pas nécessairement de de combler ça donc là je serai quand même plus prudente ensuite bon pour revenir à la question initiale est-ce que ça a été déployé ou quand comment c'est vrai que alors il y a eu un phénomène pendant les on va dire les cinq dernières années la l'initiative Technopolis a permis de le mettre en évidence où il y a eu des expérimentations dans certaines collectivités mais de la même manière qu'on expérimenterait comme je vous dis qu'on achèterait une nouvelle imprimante comme je vous disais c'est on teste un nouveau joujou et on voit et donc là c'est maintenant que le débat de l'IA des Technologies vient davantage dans l'espace public commence à se dire ah mais est-ce qu'on a vraiment les fondements légaux est-ce qu'on peut aller plus loin qu'est-ce qu'on fait avec tout ça alors de ce point de vue là il faut dire qu'il y a une vraie difficulté pour les chercheurs c'est que comme on a eu cette cette méthode expérimentale ça a été très difficile de cartographier qu'est-ce qui s'est fait très concrètement moi j'ai été amenée à faire une enquête sur le territoire européen plus largement j'ai eu énormément de de difficultés à pouvoir identifier tous les projets qu'il y avait été menés ça a été un travail d'enquête quasi-je journalistique il a fallu faire des demandes partout chercher dans les articles de presse on le Nutella Pour savoir concrètement ce qui avait été fait du fait de cette approche par l'expérimentation et de la l'approche neutre que l'on peut on a on considère que la technologie est neutre c'est pour ça d'ailleurs qu'on l'expérimente et qu'on considère que on a plus ou moins des fondements légaux donc ça ça a rendu extrêmement compliqué pour autant ça a été expérimenté déjà alors on parlait du privé j'y reviens à un instant parce que aujourd'hui la reconnaissance faciale elle est très très largement utilisée comportementale pour les entretiens d'embauche par exemple aux États-Unis aujourd'hui 70% des entretiens d'embauche se font grâce à des IA qui vous font passer les entretiens et qui détectent si vous êtes une personne fiable ou pas fiable en Chine on a beaucoup développé dans les écoles pour pour ça pour pour surveiller les enseignants pour voir s'il répondait bien aux besoins des étudiants et pour savoir si ils ne les endormez pas puisque c'est le degré d'attention de l'étudiant et de l'élève qui est mesurée au travers de ce dispositif j'espère que ça ne sera pas grande échelle n'est-ce pas parce que c'était quand même des pratiques qui sont qui interrogent et les retours d'expérience qu'on a et qui sont connues montrent c'est quand même des systèmes qui sont qui sont dysfonctionnels qui sont pas encore tout à fait au point la plus grande expérience en Europe sur la reconnaissance comportementale c'est ce fameux système iborder contrôle quand nous donne le taux final 76% d'erreurs on se dit qu'il y a quand même une difficulté qu'on n'est pas tout à fait encore dans les iaperformantes et sur la vidéo surveillance intelligente dans le volet reconnaissance comportementale justice prédictive là on n'a même pas des on n'a pas de consensus je le redis encore une fois on n'a pas de consensus scientifique donc je sais même pas si on sera efficace un jour d'ailleurs aux États-Unis comme en Angleterre on recule sur l'usage de ces outils on s'aperçoit pas on s'aperçoit que c'est pas pleinement satisfaisant que ça renforce les biais en pratique que ça induit en erreur que ça pose un risque en termes cyber et donc on revient sur ces usages là on abandonne aussi les outillages ce mouvement là qui existe dans le monde alors la partie de la France Europe monde dans le monde on est on abandonne aussi ces outils à certains endroits et je voudrais rajouter une dernière chose après je promets que je voulais savoir mais il y a aussi les promesses industrielles qui qui à mon sens appel à réfléchir parce que le lobbying hier enfin il y a trois jours nous étions avec Henri Verdier l'ambassadeur du numérique en France il nous disait à Bruxelles il y a plus de lobbyistes que de parlementaires et le lobbying en matière dia en matière de technologie de surveillance il est extrêmement forte et là il va falloir il va y avoir un vrai effort à faire entre ce qui est possible de faire est-ce qu'elle est-ce qu'elle promet cette industrie et un des biais c'est qu'on va vous dire on va on va on démarche beaucoup les collectivités en leur disant regardez c'est formidable on va vous mettre à disposition des outils qui vont garantir la sécurité mais qui vont aussi vous permettre de faire beaucoup de rendement puisqu'on va pouvoir verbaliser automatiquement les poubelles ça va être automatique vous allez vous pouvoir vous passer de beaucoup d'argent et rentrer dans vos frais très rapidement donc adopter nos outils qui sont magnifiques sur à plus d'un titre donc il faut dire au regard des expériences que je citais que c'est pas si magnifique que ça que c'est pas encore si opérationnel que ça que ça coûte très cher au deniers publics et que ça répond pas toujours aux promesses qui sont annoncées voilà très bien merci beaucoup peut-être un dernier mot pour conclure ce qui est 18h30 et puis ça va être l'heure de conclure cette conférence Jérôme je sais pas s'il y avait un dernier point ou si on a fait le tour deux choses ça va être très rapide la première chose je pense que on manque cruellement et c'est une des séances des remarques que j'ai vues dans dans le chat au niveau national d'un comité d'éthique un peu sur le numérique comme on l'a en bioéthique également alors je sais qu'il y a un comité du numérique mais vraiment une réflexion éthique un quasiment un peu philosophique sur justement l'usage de ces de ces de ces technologies dont on va nous parler parce que c'est pas tant la technologie encore une fois que l'usage qu'on en fait je trouve et je sais que c'est un débat que j'avais avec la député j'ai déjà eu un député mais je trouve qu'on gagnerait à avoir une réflexion au niveau national de ce point de vue là ça c'est la première chose et la deuxième chose c'est qu'à mes yeux et là je trouve que le point de bascule sur toute cette contrainte discuter là c'est vraiment la reconnaissance faciale c'est à dire que vraiment le fait de pouvoir identifier un individu de façon très précise et unique et de de par ce biais là de pouvoir le reconnaître et le suivre et je trouve que à mes yeux si on basculé là je trouve que là on est sur un point de bascule assez un peu porté préjudice sur le futur donc voilà c'est deux petits sujets mais de petits points de conclusion en tout cas pour donner un peu de la perspective sur ce sujet hautement important merci beaucoup je vous propose qu'on s'arrête là pour pour ce soir mais il y aura d'autres échanges c'est sûr vu le nombre de participants qu'on a eu ça montre aussi tout l'intérêt que suscite et toutes les questions que suicide c'est technologies un grand grand merci à vos trois intervenants vraiment d'être venu à expliquer et présenter un petit peu les enjeux voilà Caroline Giraud et Jérôme et Anne sur ces sur ces sujets là de votre disponibilité merci à tous les participants on a eu vraiment beaucoup de monde donc voilà c'est un sujet qui intéresse beaucoup et en effet qui appelle à un débat démocratique qui existe un petit peu au niveau local est celle de Priol parlait tout à l'heure dans le chat de ce qui se fait au niveau du Conseil citoyen du numérique responsable à l'échelle de règne il doit y avoir d'autres expériences comme ça et peut-être aussi en effet des discussions un peu plus ciblées au niveau national merci beaucoup voilà c'est malheureusement terminé pour ce soir mais à suivre du coup sur les échanges merci beaucoup à tous merci à bientôt à bientôt merci