IA : faut-il confier la guerre à des robots ?

j'ouvre le second débat de ce sens public volontairement décalé de de l'actualité du jour vous le savez avec cette question la guerre a-t-elle basculé dans l'aair de l'intelligence artificielle alors que le ministre français de la Défense vient d'annoncer la création d'une agence spécifique les deux conflits en cours prouve que les robots les algorithmes l'intelligence artificielle prennent de plus en plus de place à la fois dans les opérations et dans la stratégie militaire avant d'en débattre une première démonstration centrée sur la guerre Israël Hamas Fabien AC c'est un programme baptisé évangile absora en hébreux une intelligence artificielle utilisé par l'armée israélienne pour mener ses frappes dans la bande de Gaza absura c'est un programme informatique qui vraisemblablement a la possibilité la capacité d'agréger un très grand nombre de données et des données très hétérogènes c'est-à-dire issu de type de renseignement différents donc ça peut être des images satellites des images de drone des écoutes téléphoniques des images de vidéosurveillance du renseignement humain cet algorithme euh les agrège et ensuite produit à partir de ces informations une recommandation de cible dans Gaza qualifié par tsal d'usine à cible l'IA fournit des recommandation à un rythme effrainé une centaine de cibles potentielles par jour affirme un ancien chef d'état-major de l'armée israélienne là où précédemment Israël n'identifiait dans Gaza qu'une cinquantaine de cibles par an de quoi expliquer la cadence record des frappes sur l'enclave responsable de la mort de 31700 personnes en majorité des civils selon les autorités de santé Gazaoui l'implication grandissante de l'IA dans les systèmes de combat soulève des question éthique et juridique analyse cette chercheuse en cas d'exaction commise dans un contexte où l'intelligence artificielle aurait été utilisée il est très difficile de dire qui peut être tenu pour responsable du développeur du commandement militaire de l'opérateur et il y a une sorte de de flou de responsabilité qui peut s'avérer extrêmement problématique au regard de l'exercice de la justice pénale internationale utilisé dans la guerre à Gaza liya est aussi employé dans le conflit ukrainien selon les chercheurs en particulier pour optimiser le guidage des drones et rendre ces derniers plus autonomes en cas de brouillage de la liaison entre le drone et son opérateur au sol comment la guerre est en train de basculer dans l'aire de l'intelligence artificielle on en débat avec Louis Perez bonsoir bienvenue vous êtes doctorant à l'Université Paris de Panthéon àas et à l'Institut de recherche stratégique de l'école militaire et vous préparez une thèse justement sur la régulation internationale de l'intelligence artificielle militaire Amaël Guitton bonsoir bienvenue à vous vous êtes journaliste à Libération spécialiste des enjeux numériques on attend Christine dugouin Clément dans un instant et Mathieu croissand est rester à mes côtés éitorialiste politique peut-être un premier chapitre sur pour rebondir sur le reportage de le sujet de Fabien REER sur ce qui se passe en ce moment à à Gaza Louis Perez quelle place prend l'intelligence artificielle dans les les opérations de tsal on a vu quelques exemples dans le sujet est-ce qu'on peut détailler un peu elle est déterminante et surtout elle est croissante ça fait quand même quelques années que Israël se distingue dans ses opérations par le recours à des systèmes d'intelligence artificielle il y a quelques années on entendait parler du système irondom qui permet peut-êt de protéger contre certains systèmes enfin contre certains certains missiles attaquants et aujourd'hui notamment depuis le début de depuis le 7 octobre on a vu une pluralité de systèmes qui ont été utilisés à la fois pour le renseignement pour le mélange de ces renseignements avant afin d'avoir des cibles pour frapper pour prévoir la planification de ces cibles et ensuite pour attaquer ou ou se défendre militairement mais mais quand on quand on parle de gospel là c'est ce que ce que ce qu'on évoquit là cette intelligence qui suggère les cibles les plus je met guillemets pertinentes lors d'une attaque juste pour bien comprendre c'est à quel stade de l'assaut c'est avant au moment de la stratégie c'est juste avant de décider de tirer c'està-dire que c'est lia qui dit là vous avez un terroriste là vous avez un civil je vous voyez ce que je veux dire ici on d'être le plus concret possible sur l'utilisation de ces outils c'est pas au stade de la stratégie enfin la stratégie elle ne fait que dire on est d'accord pour utiliser ce type de ce type de système c'est au moment opérationnel et tactique donc au moment opérationnel on va récolter les informations du système enfin mélanger et puis faire travailler on va dire le le système et avoir les les informations utiles et au moment tactique où on va lancer des des attaques en accord avec ces informations là oui donc ce qui pose une vraie question sur qui déclenche qui fait le choix et ça posera notamment la question du droit de la guerre on y consacrera un vrai chapitre dans dans dans ce débat Amaël Guiton c'est peut-être pas très étonnant de voir Israël à ce point avancé sur les sur les les questions de de l'utilisation de de l'IA c'est un des pays alors au-delà de du militaire c'est un des pays les plus puissants en la matière alors il y a écosystème tech comme on dit qui est qui est très fort et et surtout il y a euh euh on sait que c'est un des pays qui a notamment beaucoup travaillé le le cyber au sens à la fois défensif et offensif c'est qu'on sait qu'il y a un écosystème à la fois public et privé avec enfin c'est c'est euh ils se sont eux-mêmes appelés la la startup nation et c'est pas pour rien c'està qu'il y a toujours eu un un écosystème privé très dynamique sur ces questions-là y compris sur des usages effectivement d'espionnage des usages militaires et cetera euh et sachant qu'effectivement il ils se sont ils s'appuient sur les technologies depuis depuis un certain temps et qu'ils ont effectivement travaillé cet aspect là de convergence entre le public et le privé depuis des années en réalité officiellement c'est le deuxème pays derrière les États-Unis la la France 3e j'ai lu ça dans l'Express ce weekend alors c'est peut-être compliqué de valider des ch compliqué notamment parce que il y a quand même un acteur qui est extrêmement opaque sur lequel on a peu d'éléments mais dont on sait qu'il est extrêmement puissant et c'est la Chine donc c'est vra c'est toujours extrm compqué faire des classements moi je suis toujours assez prudente effectivement avec ça parce qu'il y a des pays sur lesquels on a peu d'information quand vous dites qu'il a un secteur privé un secteur public assez assez imriqué en tout cas est-ce que ça veut dire que comme aux États-Unis l'industrie militaire comme les États-Unis financec l'industrie militaire et et la subventionne beaucoup c'est c'est le cas pour l'industrie cyber pour le coup je pour le coup je connais moins mais il me semble qu'il y a là aussi comme aux États-Unis un certain nombre de fonds d'invest que effectivement les agences de recherche aussi finan enfin le modèle américain en tout cas c'était clairement celui-là et d'ailleurs ça a toujours été le grand paradoxe notamment de la silicone Valy qui a construit cette espèce de mythologie de l'entrepreneur alors même que c'est aussi une industrie qui qui a énormément profité notamment des fonds de de recherche abondés par par le militaire ou quand on quand on parle d'intelligence artificielle d' militaire on pense forcément alors l'ORD du fantasme des robot c'est ce qu'évoquait la sénatrice LRD haut scène Christine Lavarde sur notre plateau c'était en décembre dernier dans un débat général sur liya voilà ce qu'elle nous disait quand on se pose la question de la défense on est très vite confronté à cette question de jusqu'où peut-on aller est-ce qu'on pourra parce que là on peut être face à des armes létales de de de massif parce qu'un robot tueur on a même plus le problème d'envoyer quelqu'un qui va se faire tuer on n plus que face à de la matière qui va tuer des êtres humains donc c'est plus du tout quand il y a un attentat la personne qui va va se faire exploser à un moment quand même elle se dit qu'elle va mourir pour la cause là quand on envoie un robot qu'en plus on est très loin parce qu'on peut les commander à distance ça change quand même aussi la manière de de de de de faire la guerre voilà Christine Lavarde qui venait de participer à un cololloque du du du de son parti du parti LR sur les questions d'intelligence artificielle bonjour Christine du moinclément bienvenue bonsoir euh vous êtes chercheuse pour la cher risque à l'Institut d'Administration des Entreprises Paris Sorbonne et au centre de recherche de l'école des officiers de la Gendarmerie nationale bienvenue à à vous et merci d'avoir accepté notre invitation alors je là là je j'ai j'ai envoyé dans le débat ce terme robotueur je vrais savoir ce que vous en pensez les uns et les autres est-ce que c'est euh de la science-fiction Christine Clément tu un robot tueur autonome évidemment on a on rajoute ce euh ce qualificatif alors en fait ça a fait l'objet de tout un débat et notamment quand on parle de robot tuur on pense à des drones qui auraient la capacité de faire du ciblage et de prendre la décision de tir donc létal de manière autonome en réalité il y a des cadres éthiques hein ça a été notamment l'objet d'une commission qui a été menée au sein du ministère de la défense avec des un public assez large c'estàd qu'on avait aussi bien évidemment des juristes que des militaires forcément mais des gens des sciences sociales des étisticiens et cetera et on en est arrivé à se dire que la décision de tir serait toujours en France délégué à ce qu'on appelle un red card holder c'est-à-dire à une personne humaine qui prendrait cette décision là et qu'elle ne serait pas délégué uniquement à une machine hors supervision ça a été un des un des il y a eu un débat quand même c'est qu'on se soit posé la question et c'est le cas que en France ou les autres pays sont d'accord avec ça alors c'est tout l'enjeu c'est-à-dire que ça fait de manière assez globale l'unanimité mais où va s'arrêter et c'est un des problèmes la confiance que l'on aura dans d'autres États qui déploient aussi des systèmes de drone alors qu'il soit terrestre maritime ou aérien et ça a été notamment un objet un petit peu de de stupeur de choc et stupeur au moins dans la dans la dialectique quand Moscou avait annoncé qu'ils allaient déployer une unité uniquement constitué de Dron pour le cûtait rien en Syrie donc ça avait fait énormément de bruit dans les faits et dans la réalité les résultats étaient pas opérationnel l'étaé était discutable on était en 2019 voilà parce que ça avance tellement vite l'intelligence artificielle vouliz intervenir mais oui c'est en fait je c'est l'une des difficultés de mettre effectivement dans le débat cette question du robot tueur c'estàd du une arme totalement autonome c'est que ça fait presque oublier qu'en fait il y a aujourd'hui tout un tas de systèmes d'intelligence artificielle qui ne sont pas entièrement autonome où il y a toujours à un moment donné de l'humain qui intervient mais ça soulève déjà des tas de difficultés sur les risques que ça pose sur les questions de proportionnalité c'est toute la question que pose l'usage de l'intelligence artificielle aujourd'hui par l'armée israélienne dans la bande de Gaza c'est c'est la question de la proportionnalité aussi qui est essentielle quand on parle de de de droit international donc on est déjà confronté à beaucoup de de difficultés avant même d'en arriver au stade de de l'arme totalement totalement autonome ouais pour l'instant Louis Perez alors évidemment ma question elle est trop générale vous pouvez pas répondre pour tous les pays mais on peut considérer que c'est encore un humain qui appuie sur la détente ça dépend parce qu'on a aussi des systèmes qui sont quand on utilise une mine en soi une mine ça se déclenche automatiquement donc c'est souvent un parallèle est-ce que c'est de l'intelligence artificielle non ça n'en est pas donc on a des on a on a les munitions reuses aussi qui qu'on va libérer pendant un certain temps dans un certain espace et qui une fois qu'elles ont détecté la cible pour laquelle on a programmé la munition vont aller sur cette cible c'est peut-être pr les dronees maritime par exemple qui ont la capacité de si j'ai bien compris de reconnaître le navire pour être sûr que c'est la la bonne cible là il y a quand même un humain qui décide de de de de déclencher ou alors il est parti il est armé et il y va pas forcément ça dépend ça dépend des systèmes le milieu maritime il est intéressant pour les armées parce qu'il y a pas de civil on n'est pas dans des zones urbaines et donc en théorie sauf s'il y a un navire de pêcheur qui passe par à mais a priori un navire de de pêche et un navire de guerre se distingue donc l'autonomie elle est elle est assez propice à être utilisée dans dans le domaine naval parce que il y a pas il y a assez peu de vie civil qui qui sont en jeu ce qui est pas le cas des domaines urbains là où on a souvent le fantasme un peu du drone autonome quiit en ville pour tirer sur éventuellement des alors justement pour puisqu'on parle des fantasmes je pense que c'est important à ce moment du débat Mathieu de de se pencher si parce que moi c'est j'avoue que mon sur un débat comme celui-là et l'une des raisons pour lesquelles il m'intéresse c'est parce que j'ai été nourri de film de science-fiction donc vous êtes ch sur les représentations de la guerre du futur au cinéma ou parce que je sais pas vous mais moi quand j'entends la même phrase intelligence artificielle et guerre ben je prends peur et vous le dites très bien c'est la faute au cinéma qui n'a cessé depuis des années de nous faire peur avec l'intelligence artificielle c'est bien simple à chaque fois elle échappe à son créateur en haut depuis la rébellion de de de h dans dans Dom DESS de l'espace jusqu'au répliquant de de Blade Runner sans oublier un nombre incalculable que je ne citerai pas de nanard que j'ai pu voir et adorer à chaque fois quoi que l'homme dote une machine d'une capacité d'aide à la décision ou de libre arbitre et ben ça se termine mal dans The Creator qui est un film qui est sorti l'an dernier le cinéraste Garret Edward imagine même le pire on est en 2070 alors que l'humanité a cédé une partie des rennes à à l'intelligence artificielle ben celle-ci lâche de son propre chef si j'ose dire une bombe nucléaire sur Los Angeles déclenchant une guerre sans merci entre humains et et et robots ce qui pose quand même dans dans dans tous ces films la même question les hommes ont-ils le droit de là on en est sur les robots peuvent-ils tuer les hommes sans qu'un homme les commande mais dans les films ça se termine toujours par les hommes ont-ils le droit de débrancher une intelligence artificielle quand elle est finit par avoir une conscience humaine ou quelque chose comme ça alors est-ce que c'est un sinistre présage on sait que le cinéma est Friant de ses dilemmes en particulier je trouve dans les films de guerre où le côté sale est sanglant du combat se joue désormais largement derrière un écran et je cite comme exemple the good kill que vous av sûement vu dans Nicole où euh où on a qui était d'ailleurs réalisateur du du trait futuriste bienvenu à gataka dans lequel il y a un de ces fameux pilotes de drone qui est dans un préfabriqué dans le désert du Nevada et qui exécute des talibans avant d'aller retrouver sa petite famille et qui finit évidemment avec un syndrome post traumatique car dans la guerre d'aujourd'hui comme dans la guerre du futur tel que l'imagine Hollywood B il y a pas de place pour la guerre propre liya n'est qu'une arme supplémentaire moins bruillante mais encore sans doute plus destructrice quand elle sert la folie des merci Mathieu il il y a un mot qu'il faut employer je pense c'est auto-apprenant euh Ahmed Guiton des systèmes auto-apprenants de quoi on parle bah en fait c'est toute la difficulté aujourd'hui de l'intelligence artificielle en tout cas telle qu'elle s'est développé ces dernières années parce que le mot lui-même est est polycémique et peut renvoyer à des choses très très différentes mais quand on parle ces dernières années effectivement d'apprentissage profond d'algorithme auto-apprenant c'est qu'à un moment donné le le c'est je je saurais pas tellement l'expliquer techniquement parce que j'ai pas les mains dedans mais enfin l'idée c'est quand même que le le le le système lui-même apprend des des données qui qui l'ingurgitent et qu'au bout d'un moment les concepteurs même de ces systèmes d' finissent par ne plus avoir en réalité totalement la main ou une compréhension totalement fine de de ce qu'ils ont codé au départ et c'est vrai que c'est assez vertigineux de se dire que c'est ça devient même compliqué à auditer pour les concepteurs mêmes de ces algorithmes Christine votre avis là-dessus est-ce que encore une fois peut-être que je j'enfon des portes ouvertes et que je suis là avec avec mes fantasmes de fans de de science-fiction mais est-ce que ces robots auto-apprenants peuvent peuvent finir par échapper à leur créateurs que je ayant moi-même une culture du nanard assez assez importante euh non peut-être un petit point sur parce qu'on parle d'intelligence artificielle avec un terme assez global en réalité on va avoir plusieurs systèmes on a parlé de Deep learning donc d'apprentissage profond de machine learning vous allez avoir des As qu'on qualifie de superviser c'est-à-dire que pour faire ça de manière en coupant dans les virages mais vous allez l'entraîner à repérer des éléments que vous avez vous-même étiquetés et sélectionnés donc vous allez pouvoir par ce qu'on appelle un renforcement c'est-à-dire en lui disant oui correct non incorrect renforcer ces élémentsl et vous aurez des IA qui seront semiupvisés voir non superviser et dont le fonctionnement et là on va beaucoup parler par exemple de réseau de neuron et effectivement on aura de l'apprentissage profond l'idée c'est sur un ensemble de données de trouver des éléments qui permettent de donner une cohérence et une lecture je coupe très très fortement dans les l'idée générale est celle-là et ce qu'and ce dont vous parlez ce sont des systèmes qu'on appelle des Black BO donc des boîtes noir où effectivement on sait pertinemment quel est l'algorithme que l'on va utiliser en entrée et on va essayer de laisser li a travailler pour faire ces ses propositions en sortie là où on a des éléments qui qui permettent un petit peu peut-être de de rassérenner et de de casser la prochaine super production hollywoodienne bollywoodienne rassurez-nous allez-y je sais pas si je vous assurit mais c'est que notamment depuis quelques années il y a une exigence qu'on appelle de l'explicabilité euh oui ça fait non non mais la terminologie est un peu particulière qui dit que on doit pouvoir expliquer potentiellement postoc c'est-à-dire une fois qu'on a le résultat comment l'intelligence artificielle est arrivée à la proposition qu'elle va vous faire quelle que soit la proposition et quel que soit le champ sur lequel elle travaille et c'est tout un champ de recherche sur lequel on travaille pour que même si on narrive pas exactement à avoir le détail de ce qu'il y a dans cette boîte noire on puisse comprendre le résultat en final c'est quelque chose qui est qui est né au sein de la DARPA qui est l'agence de gestion de l'innovation du ministère de la Défense américaine donc c'est un point qui est important et qui est d'autant plus important et je finirai là-dessus y compris pour les militaires parce que on a beaucoup d'études qui vous disent que si vous ne comprenez pas le fonctionnement si vous n'y adhérez enfin si vous n'avez aucune lecture et bien on aura du mal à avoir l'acceptabilité de cette techno et donc son usage ouais ça coûte un peu cher on préfère que ça soit utilisé donc ça c'est un des gros champs au niveau occidental sur concrètement parce que je n'y connais rien comme comme ça se voit ça aide aujourd'hui essentiellement au ciblage ou au guidage de de munition de missilees ou est-ce qu'on peut imaginer demain que dans un champ de bataille ça ça puisse générer des tactiques parce qu'on aura fait inurgiterz làus et où Christine clment alors juste un point avant parce qu'on a beaucoup parlé de science-fiction et je pense qu'à ce moment-là le débat tombe un peu dans un écueil qui est assez régulier c'est-à-dire de euh se baser voilà l'anthropomorphisme se baser sur les filmes la science-fictionoui B je l'ai dit en préembu c'est normal de dépasser ne serait- que le terme intelligence artificielle et anthropomorphique et donc logiquement on tombe on tombe dans cet écueil pourquoi c'est un écueil c'est parce que c'est un élément de discours souvent des États qui permet de mettre à distance le sujet et les développements notamment dans le domaine militaire donc mise mise à distance à travers voilà la science-fiction Florence parli lorsqu'elle était ministre des Armées avait dit Terminator ne défilera pas au 14 juillet et en même temps ça permet de dire on ne développera pas des Terminator à côté de ça et on le voit avec le cas israélien on développe des systèmes qui eux pour le coup existent bien modifie les pratiques dans la guerre qui ne sont pas des terminateurs et pourtant peuvent causer autant de autant de de victimes civiles que s'il y avait un Terminator pour répondre la stratégie l'accompagnement de la stratégie c'était un peu la la la question de de de Mathieu c'estàd que je crois que notamment sur la guerre en Ukraine il y a des il y a des des systèmes d'intelligence artificielle je crois venu des États-Unis qui qui permettre de cartographier et et à la fois la géographie et les mouvements des troupes et donc une aide à la décision j'imagine pour pour les généraux Ukrainiens aujourd'hui les les systèmes qui sont les plus intéressants à côté de ceux qui intègr de l'autonomie dans les systèmes d'armes ce sont ceux qui aident à la décision donc c'est un peu ce que je disais au début de l'émission qui permett de d'amasser un ensemble de données et de permettre de d'améliorer la décision de manière plus rapide et de manière de manière plus précise et de plus en plus mais peut-être de manière plus voilà dont on prend moins en compte les les résultats on a en effet des systèmes qui qu'on va souvent appeler de War gaming qui vont permettre un petit peu de tester différents scénarios possibles et de voir lequel serait le plus adapté sur le terrain militaire Christine Clément rapidement là-dessus parce qu' y a encore pas mal de thèmes rapidement en fait on a eu une numérisation du champ de bataille qui a démarré dans les années 90 on appelle ça la RMA la révolution dans les affaires militaires en bon français euh et on a le prolongement c'est ce que l'on pourra faire avec de l'intelligence artificielle mais ça va être aussi utilisé par exemple pour avoir une capacité d'autonomie des drones dans les cas de brouillage ça va être utilisé alors effectivement pour essayer de numériser les mouvements mais on l'aura aussi dans d'autres approches par exemple pour avoir la route la plus efficiente ou voir où est-ce qu'il va falloir et là je pense au génie euh quand vous avez des infrastructures détruites lesquelles sont à réparer en priorité par rapport au bassin de vie voilà c'est des choses aussi sur lesquelles on va pouvoir travailler et qu'on a vu être déployé allez on va se s'installer s'intéresser à ce que la France prépare et je propose à Steve Jourdain de nous rejoindre puisque c'est aussi pour ça on a décidé de faire ce débat l'annonce du ministre de la Défense rebonsoir Steve la France donc qui se prépare aux guerres de demain oui demain c'est déjà aujourd'hui Thain puisqu'en Ukraine des drones kamikaz sont programmés par intelligence artificielle pour détecter et cibler des soldats russes la plupart des pays sont en train de se doter d'une stratégie en matière d'IA le Pentagone a dévoilé la sienne c'est au mois de novembre l'Ukraine a présenté un plan la semaine dernière la Chine dépense des milliards et déjà en avant sur le sujet bref c'est la cour et la France ne veut pas rester sur la touche on voir cette déclaration de notre ministre des Armées c'était aux écho début mars soit l'armée française prend le virage de l'IA soit elle décroche le même jour Sébastien Lecornu était en visite à l'école polytechnique il a dévoilé la stratégie française et annoncé le lancement d'une nouvelle agence écoutez-le le saut technologique que représente l'intelligence artificielle est sans doute celui qui révolutionnera la manière de faire la guerre ou même plus important encore de l' j'ai donc décidé la création de l'agence ministérielle pour l'intelligence artificielle de défense agence ministérielle de l'intelligence artificielle de la défense amiade pour les intimes elle est composée de deux structures Thomas un pôle de recherche situé sur l'École polytechnique qui sera situé sur sur l'École polytechnique à palzo et un pôle un pôle technique basé à Bru en île et villenes le patron de l'agence c'est lui Bertrand rondpierre un polytechnicien de 34 ans il a travaillé par le passé pour le laboratoire d'intelligence artificielle de l'entreprise Google c'est une petite star dans le dans le milieu de l'intelligence artificielle alors qu'est- sont quelles sont les les missions de la miad et les moyens c'est le plus important dé bloquer le gouvernement nous dit que laamad doit conceptualiser voir fabriquer l'intelligence artificielle dans les grands programme militaire actuel comme futur pour ça l'agence pourra s'appuyer sur un super calculateur c'est la première grande investissement de la nouvelle de la nouvelle structure un super calculateur Thomas c'est un très très grand ordinateur qui fonctionne avec plusieurs dizaines de milliers de processeurs ça permet de faire beaucoup d'opérations de calcul notamment sur des données classées secret défense il devrait être fonctionnel à partir de l'année prochaine ça sera le plus gros calculateur dédié àya en Europe selon le gouvernement on va voir quelques chiffres à présent l'amiat sera dotée de 300 millions d'euros par an elle doit recruter 300 experts d'ici la fin de l'année 2026 en espérant que ces experts préfèrent le secteur public le secteur public face au salaire proposé par les géants de la high-tech un autre chiffre Thas en 2024 la France va consacrer 130 millions d'euros à c'est 130 c'est pas 150 130 millions d'euros à lia de défense c'est un budget qui doit être doublé dans les années à venir mais à titre de comparaison le Pentagone devrait pouvoir compter lui sur une enveloppe de 1 millard800 millions de dollars en matière d'A de défense la course est lancée on voit la différence merci beaucoup Steve pour tous ces ces chiffres el Guiton le super calculateur je vois bien vous entendre là-dessus euh c'est c'est il y a quoi il y a des là on va parler de souveraineté évidemment après que je trouve par ailleurs assez intéressant dans dans l'annonce de du du ministre des Armées c'est qu'on a l'impression qu'il y a une qu' il y a une volonté assez forte de réaffirmer le rôle du régalien dans cette histoire et notamment je pense par rapport à ce qu'on a vu ces dernières années il y avait notamment un très grand projet qui s'appelait Artémis qui était porté par deux acteurs privés donc Athos et Thalès qui sont par ailleurs des habitués he des des grands contrats avec le régalien euh qui donc Artémis pour architecture de traitement et d'exploitation massive de l'information multisource c'est ce qu'on appelle le traitement de données hétérogènes puisque il faut pouvoir utiliser des données qui viennent de capteurs très différents de l'image du son du texte et cetera et là avec avec cette agence qui par ailleurs en plus dont le poltechnique est donc installé à Bru euh auprès de la Direction générale de l'armement maîtrise de l'information c'est-à-dire l'organe qui dans l'état s'occupe des l'é franise aun réffirmationès forte du régalien rapport privé Mo en tout cas je sens ça du public par rapport au privé par rapport privé aussi effectivement tout c'est la volonté affichée on verra comment ça se ça se met en œuvreisz est-ce que vous êtes d'accord avec ce que dit Sébastien le corn soit l'armée française prend le virage de soit elle décroche euh je sais pas s'il est question d'être d'accord ou pas je pense que le le choix il est déjà fait alors faut le prendreo prendre mais je crois que on rivalisera pas malheureusement avec c'est un peu des fétises comme discours je suis désolé mais avec la la Chine et les États-Unis surtout avec une approche nationale comme le fait la France c'est je trouve que c'est une très bonne chose ça fait quelques années donc c'est vrai que c'est une réaffirmation parce que depuis déjà 2019 on a eu beaucoup d'initiatives en matière d'intelligence artificielle de défense et la France est un des pays européens qui est vraiment à la tête dans ce domaine et qui se repose à mon sens essentiellement sur des entreprises privées en dépit d'une dynamique publique mais seul avec 300 millions par an on rivalisera jamais la seule initiative on a vu l'écart la seule initiative elle est elle peut être que européenne à mon sens et encore peut-être des partenariats entre les États-Unis et l'Europe mais on parle quand même de la guerre un moment c'est chacun pour soi et tant qu'on a pas une dynamique de défense européenne en tout cas pour le développement de le système militaire ça va être compliqué de rivaliser avec des grands États comme la Chine et les étatunis Clément c'est c'est trop tard c'est un peu que j'entends dans votre dans votre ou trop petit en fait on a on a véritable enjeu sur les super calculateurs à l'heure actuelle en France notre super calculateur il s'appelle Jan et on est à un petit peu plus de 36 pétaflop quand le premierends leot pfop ah mais je vais vous en apprendre un deuxè pfop le plus gros qui est un Américain frontière dépasserait un exaflope pour vous donner une idée d'échelle dans un cas on est à un million de millions de calcul secondes dans l'autre on a un milliard de millions de calcul secondes d'accord ok ça fait beaucoup de puissance derrière derrière le 10 mais pour dire on a un véritable on a un véritable Gap en terme de capacité de puissance de calcul au niveau des super calculate c'est cohérent de mettre d'abord l'argent sur un super calculateur français digne de ce nom un moment on va avoir on a plusieurs enjeux on en a un qui est d'arriver à avoir des super des super calculateurs excusez-moi qui est la capacité de puissance puisque c'est un des ça a été un des gros freins du développement de l'intelligence artificielle qui est conceptuellement une technologie qui a quelques décennies parce qu'on avait pas la capacité de puissance calcul quand on a obtenu les données et la capacité de puissance calcul on a eu cette explosion de l'intelligence artificielle on a toujours ce principe là et le deuxième enjeu si on se projette encore un petit peu c'est qu'à l'heure actuelle je sais pas si vous avez vu et vos auditeurs des images de super calculateur mais ça tient dans des pièces vous avez des masses de serveurs et cetera le deuxième enjeu ça sera d'arriver à numériser et à miniaturiser des principes qui permettent d'avoir des super calculateurs beaucoup plus petits alors là on est dans un avenir beaucoup plus loin et embarqué h donc en jeu de souveraineté on l'a bien compris hein euh vous vous mettez les uns et les autres un certain nombre de de bémol je vrais quand même essayer de donner une note un peu positive dans dans dans ce débat sur le l'état de l'écosystème tech ou intelligence artificiel français et je je suis tout simplement la la la couverture la Une de du magazine L'Express de ce weekend que vous avez certainement les un et les autres vu ce cocorico pour lia cocoriaaco euh on a de vrais atout Amel Guiton est-ce que vous êtes aussi optimiste que L'Express sur l'écosystème de l'intelligence artificielle en France les cerveauxup je serai quand même plutôt moins ne serait-ce que bah ne serait-ce que parce que au vu de ce qu'on voit en matière de d'intelligence artificielle dans le domaine civil tout simplement c'estàd qu'on voit aujourd'hui encore le poids que peuvent avoir les très gros acteurs américains pour une raison toute simple he c'est que ce sont des acteurs qui ont énormément de données donc qui ont une espèce de de on on a le S sentiment qu'ils ont effectivement un peu un temps d'avance sur tout le monde parce que comme ils ont eu beaucoup de données ils ont pu effectivement avancer assez vite et que et que on on on on rame un peu enfin moi j'ai le sentiment qu'on rame un peu derrière pour le coup je rejoindrai quand même pas mal Louis Perez sur le fait que à un moment donné l'échelle la plus enfin l'échelle optimale quand on parle d'IA n'est probablement pas l'échelle nationale mais plus l'échelle européenne et qu'à un moment c'est c'est à un moment donné c'est aussi comme ça que c'est aussi comme ça que ça se pose ouais Christine Clément l'armée française elle l'utilise comment aujourd'hui il y a par exemple en aviation ça fait longtemps ça fait plusieurs années que euh que c'est une aide au pilotage et à la décision pour les pour les pilotes aide au ciblage par exemple c'est des des des techno qu'on va pouvoir utiliser mais ça pourra être aussi des technologies qui alors pourrait être utilisé dans la marine notamment pour aller gérer quand vous avez des navires qui sont extrêmement longs et qui ont les problèmes de rouie bah à l'heure actuelle on le fait sur des systèmes un petit peu à l'ancienne bah voilà là ça peut permettre d'arriver à avoir ce genre de travail là donc tout ce qui va être beaucoup beaucoup reconnaissance ciblage et cetera ça c'est énormément de choses que l'on va utiliser ça va être utilisé aussi euh en terme de renseignement pour arriver à identifier et à reconnaître sur ce modèle là et puis il y a d'autres travaux mais qui sont qui sont des des enjeux euh pour les euh notamment pour les les puissances qui peuvent se permettre de développer de l'A euh ça va être deux choses alors on parle par exemple des aliers loyaux hein ou des loyal Wingman aers loyaux oui l'aiilier loyal c'est euh l'idée d'avoir c'est un drone si vous voulez qui aura pour finalité de pouvoir travailler en partenariat en binôme avec un pilote de chasse donc ça veut dire que vous avez un drone qui a des capacités à peu près similaires et qui doit travailler binomé mais la décision de tir encore une fois resterait euh au pilote du binom l'idée étant d'arriver à avoir une capacité augmentée de protection c'est le c'est des approches aussi où on va penser à tout ce quiord les drones en essin donc d'arriver à avoir des essins de drones qui puissent travailler se réorganiser euh grâce à des à des algorithmes d'intelligence artificielle tout cela étant particulièrement complexe dans la gestion des IAS dédiés et vu la place que tout ça va prendre si on vous écoute est-ce que ça veut dire demain que les cibles prioritaires vont changer je dis aujourd'hui on on tape un dépôt de carburant pour empêcher les charart d'avancé est-ce que demain les sites prioritaires ça sera les serveurs ça sera les câbles ça sera les satellites qui per permett à toute cette intelligence artificielle de c'est déjà le cas non non mais c'est c'est c'est déjà le cas les Data Center ou les câbles sous-marins sont aujourd'hui Ukraine en Ukraine c'est le cas c'est le cas aujourd'hui en Ukraine ou en Russie comme on frappe des centrales électriques j'imagine qu'on va sûrement frapper à travers ça on va essayer de toucher en fait les infrastructures qui se reposent dessus Chris en Ukraine il y a une petite particularité alors depuis le début du conflit 2014 et depuis le début deinvasion massive c'est qu'il y avait une volonté russe de récupérer le territoire pour pouvoir l'utiliser donc donc la destruction des infrastructures dans un premier temps était pas forcément quelque chose de recherché parce que bah vous essayez de récupérer quelque chose plutôt que de le reconstruire on a eu un pivot on a eu un changement avec une une volonté justement d'aller opérer sur différents systèmes qu'on appelle des infrastructures critiques ce qui a posé notamment la question d'arriver à avoir des options alternatives notamment pour la communication des commandes contrôle allez il nous reste une dizaine de minutes dans dans dans ce débat chapitre forcément important sur le le droit de la guerre Louis Perez à quel point l'utilisation massive de l'intelligence artificielle euh par par les armées dans le guerre moderne oblige à redéfinir des règles estce que c'est un nouveau droit de la guerre finalement qui qui est en train de s'écrire ou qu'il va falloir écrire euh oui et non alors euh vous parlez de droit moi je préfère parler de droit des droits des conflits armés c'est mais bon c'est non non mais je je vous suis donc on a déjà des règles qui existent dans dans lorsqu'on fait la guerre même si on voit avec Gaza ou avec l'Ukraine qu'elles ne sont pas forcément respectées ces règles notamment depuis 19 49 les fameuses Conventions de Genève qui ont été adoptées permettent de s'appliquer à l'intelligence artificielle on n'est pas dans un nomansland juridique on a des règles parce qu'elles sont générales et abstraites qui peuvent s'appliquer à l'intelligence artifici sont des grands principes donc par exemple la distinction entre les cibles civil les cibles militaires la proportionnalité lorsqu'on cible une cible militaire il faut pas causer trop de dommage au au bien civil à côté à côté par exemple prendre les précautions les précautions nécessaires lorsque lorsqu'on mène une attaque tous ces grands principes s'appliquent logiquement lorsqu'on utilise un système d'intelligence artificielle militaire ce qui va changer maintenant c'est l'interprétation de ces principes au regard de la nouvelle technologie et la manière dont la nouvelle technologie va influencer et modifier les pratiques militaires et comment est-ce que ces nouvelles pratiques sont conformes ou pas avec avec les règles existantes qui on juge dans dans un tribunal après un conflit si si le si l'intelligence artificielle a pris la main encore une fois je posa des questions deien volontairement il y aura pas de prise de main par l'intelligence AR mais ce qui est difficile en effet c'est qu'il y a déjà ce qu'on appelle le brouillard de la guerre c'estàdire que il y a un flou qui environne déjà les opérations avec les systèmes d'intelligence artificielle ce flou est renforcé parce que non seulement ça a été dit on ne sait pas exactement comment vont fonctionner les systèmes ni de quelle manière on va pouvoir se reposer sur eux mais en plus voilà avec le le chaos ambiant on sait pas exactement si qui a pris la décision de de de faire quoi ce qui pose un un problème mais aujourd'hui comme on parle plutôt de système d'aide à la décision il me semble qu'on pourra toujours s'en prendre à un militaire qui a des décidé de se servir de ce système là mais il y a une faille qui est quand même créée qui est que le militaire n'aura pas décidé n'aura pas eu l'intention criminelle on utilise le terme dédié enfin le terme c'est le terme dédié de commettre un crime et dans ce cas-là ça peut en effet être compliqué de de juger un militaire qui n'a pas eu l'intention de commettre un crime de guerre ou Amel Guiton ça rejoint d'une certaine façon la ce dont on parlait tout à l'heure sur le fait que l'État français veille reprendre la main et la question de l'écrélibre entre le public et le et et le privé quoi quelle quelle règle ça applique et à qui vous voyez ce que je veux dire euh alors il y a effectivement la question de la responsabilité mais moi ce que je trouve assez frappant c'est qu'on se retrouve et d'ailleurs un peu comme en cyber face à une une énorme difficulté de la discussion multilatérale puisque de toute évidence les États qui ne sont pas des grandes puissances en matière d'intelligence artificielle sont plutôt favorables à des discussions pour aboutir à un traité les États qui sont de grande puissance ils sont plutôt défavorables ou mettent le pied sur la [ __ ] de frein ou disent qu'ells sont fav alors qu'en fait non typiquement la Chine et quand on entend Sébastien Lecornu dire en fait si la France prend pas le train on va décrocher on voit bien que la logique c'est c'est celle effectivement d'une espèce de de entre guillemets de course aux armements en matière d'intelligence artificielle et et on voit bien qu'effectivement ça rend toute discussion multilatérale assez compliquée on peut pas exclure qu'à un moment y compris parce que on a vu ça notamment en matière de cyber offensif on peut pas exclure qu'à un moment le le le oup d'entrée pour utiliser des des systèmes d'intelligence artificielle militaire finissent par baisser tellement qu'il ait une telle prolifération que même les grandes puissances se disent peut-être que ça serait bien de négocier enfin c'est ce qu'on voit arriver en matière de de cyberattaque notamment ou en matière de logiciel d'espionnage extrêmement intrusif la France par exemple pousse beaucoup à ce qu'il y ait un code de conduite parce qu'en fait ça s'est tellement répandu et et il y a tellement d'États qui ont recours que tout le monde se dit qu'il va falloir ir à un moment donné mettre des cadres là on sent qu'en matière d'IA on n est pas encore là du tout parce qu'il y a un groupe d'État assez limité qui effectivement a un temps d'avance et puis les autres qui sont derrière et qui eux aimeraient bien quand même pouvoir mettre des bornes tout de suite un champ de bataille Christin Clément où où il y aurait finalement pas d'humains des humains seulement à l'arrière qui guident des qui guident des des robots multiples et variés ça fait partie des des scénarios qui sont qui sont travaillés déjà aujourd'hui ou encore c'est de la science-fiction on est on est loin d'en être on est loin d'en être là je revenais parfin j'aiévoqué tout à l'heure de manière assez rapide dans cette unité d'Orlan donc là on est en Russie hein c'est ça on est en Russie avec un déploiement sur le théâtre syrien et on s'aperçoit que les résultats sont pas forcément optimum donc on est plutôt sur de l'interaction et de l'interopérabilité donc avec des systèmes d'aide à la décision et un travail parallèle le but étant alors dans certaines doctrines alors effectivement d'avoir un une aide à la décision mais aussi d'avoir un et une protection de la vie humaine donc le principe étant c'est ce qui est souvent avancé c'est-à-dire avoir en gros du porteur avoir quelque chose qui est capable de se mettre en bouclier ou ce genre de chose qui est un des enjeux pour limiter bah les pertes humaines et puis pour aussi autre chose c'est que plus les systèmes d'armes sont complexes quel qu'il soit qu'on parle d'une plateforme comme un avion qui reste une plateforme sur laquelle on va opérer des des envois d'armement mais à la formation des pilotes est particulièrement longue coûteuse complexe et ce sont des savoir-fa que vous n'allez pas remplacer en cas de perte humaine en un claquement de doigt donc le fait de pouvoir limiter cette mise en avant du facteur humain est un intérêt majeur euh en plus du coup humain individuel et social si vous voulez d'un point de vue purement tactique et et et stratégique vous avez un véritable enjeu à ce niveau-là euh donc on a tout ce travail là et peut-être pour en revenir sur la question de la responsabilité que vous évoquiez tout à l'heure c'est quelque chose que l'on a déjà pu voir dans des technologies qui embarque de l'intelligence artificielle dans le civil par exemple quand on regarde sur les voitures à pilotage autonome en disant voilà si demain on a un accident et là on a un enjeu juridique notamment qui va toucher à ce qui sera l'indemnisation des victimes avec qui est en responsabilité et c'est là où le terme d'intelligence artificielle et je rejoins tout à fait mon voisin est assez piégeux pour le dire ainsi c'est-à-dire que on a tendance même maintenant à penser que on est sur une autonomie euh Unia elle a pas écrasé quelqu'un elle a pas reconnu un ensemble de pixels si je coupe dans les virages et au final vous allez avoir quoi c'est une problématique sur la nature de la programmation et là on est sur quelle sera exactement quel sera l'enjeu de euh la programmation et les Cluses de programmation n il nous reste quelques minutes je voudrais euh qu'on qu'on écoute sur ce thème de la la la sécurité de l'intelligence artificielle une prise de position récente de la vice-présidente américaine Kamala Haris c'était le jour où les américains annoncent la création d'un Institut sur la sécurité de l'IA écoutez si l'intelligence artificielle peut faire beaucoup de bien elle peut aussi faire beaucoup de mal il s'agisse de cyber atttaque activé par l'IA à une échelle dépassant tout ce que nous avons connu jusqu'à présent ou d'une arme commandée par liia qui pourrait mettre en danger la vie de millions de personnes ces menaces sont souvent appelées les menaces existentielles de l'IA ama Guiton de quoi parle ou qu'évoque Kamala Haris quand elle dit des cyberattaques activées par une IA ça change quoi l'intelligence artificielle dans une cyberataque bah c'est ça démultiplie les cible ça c'est c'est effectivement c'est un peu le problème en matière de cyberattaque comme en matière de manipulation de l'information ouaite je veux vraiment réser à très gros TR donc effectivement c'est c'est c'est une montée la possibilité d'e d'une montée capacitaire d'une certaine façon Louis Perez est-ce qu'on peut dire que plus une armée est dépendante de l'IA plus elle prend le risque de se de subir une une cyber attaque oui puisque si elle si elle développe pas de manière sûre c'est j'enfon des portes ouvertes encore je préfère voilà être le plus simple possible si elle ne développe pas de manière sû ces systèmes il il est fort probable que en effet elle ouvre cette porte là et de toute façon ça a été dit on est de plus en plus sur une guerre qui est numérisée donc dès qu'on se sert d'un d'un système numérique on est on porte le flan à à des cyberattaques il y en a eu contre des systèmes d'intelligence artificielle militaire Militaire pas à ma connaissance mais c'est une comme on vient de le voir c'est un risque qui est vraiment pris au sérieux notamment la PR de l'empoisonnement des données on a dit que les systèmes d'intelligence prenaient à travers sur des données si on met des données erronées ou préjudiciables dans ce qu' apprend le système il va mal il va malagè de fait ouis Chrisine Clément il y a eu des exemples récents quand même de fait ce que ce que d'ingérance russe sur des sur des systèmes de de pilotage j'avais cru entendre ça il y a plusieurs choses va y avoir des attaques cyber assez traditionnelles qui vont viser des systèmes alors que ça soit des systèmes algorithmiques euh classiques ou à base d'intelligence artificielle un des enjeux de l'intelligence artificielle c'est que notamment on va pouvoir créer de manière beaucoup plus rapid des lignes de code malfaisant et que quelqu'un qui a des compétences assez limitées sera en capacité de déployer des lignes des malwir euh de manière assez rapide et ça ça peut augmenter votre bruit de fond euh donc un environnement qui va déjà être beaucoup plus mouvant donc ça c'est un c'est un des enjeux un autre enjeu que l'on aura il est sur le volet informationnel avec la capacité é de créer de manière beaucoup plus rapide par de l' générative ou par du Deep fake et bien beaucoup plus de capacité de désinformation voire de créer des sites paria qui vont eux-mêmes générer du bruit puisqu'on est maintenant sur une conflictualité qui ne s'arrête pas uniquement à l'artillerie même si c'est un besoin crucial des Ukrainiens mais on a tout ce niveau-là et ça ça pose de véritables enjeux c'est-à-dire l'utilisation qu'on va faire pour monter ce bruit de fond donc faire de la levée de doute sur des opérations des attaques cyber sur des infrastructures critiques par exemple la capacité de pouvoir déployer de plus en plus des contenus informationnels avisé d'intoxication et ça nous amène à ce qu'on pourrait appeler une capacité d'auto trolling de l'intelligence artificielle ouais c'est après le petaflop et l'exaflop c'est tout simplement que notamment quand on va parler d'une ni générative elle fait quoi elle va prendre des données sur le web au sens large et à partir de là sur un système de statistique fréquentielle elle va vous dire quel est le mot qui qui a le plus de probabilité d'arriver à un autre donc on n' pas d'idée du ni chat GPT sauf que plus vous allez mettre des contenus qui vont être mensongés ou autre plus votre probabilité qu'il viennent inférer dans la possibilité statistique va augmenter donc on peut arriver à avoir une capacité d'autoolling d'autointoxication de ces systèmeslord je suis pas sûr que ça m'est rassuré merci beaucoup merci à tous d'avoir participé à ce débat pardon pour mes questions parfois très basique mais je pense que sur un débat comme celui-là c'est-être important je vous dis à bientôt sur sur public Scéna notez que demain votre prochain rendez-vous politique Orian mansini reçoit Patrick caner le président du groupe socialiste ici au Sénat belle soirée avec ous