Comment réguler l’IA sans reculer ?

C

'est

sûr qu'on est à une drôle de croisée des chemins. D'un côté,

l

'IA est entrée dans nos vies. On peut toujours fermer la porte et refuser de s'en servir. Ça, c'est votre droit le plus strict. Mais on ne

peut

pas faire comme si ça n'existait pas. On est tous bluffés aussi par des usages médicaux, par exemple, qui font avancer la science, qui aident à détecter les cancers. Il y a des usages vertueux, évidemment, qui sont incroyables. Et puis, régulièrement, tous les six mois, alerte rouge. Un ex d'OpenEye ou d'Entropie claque la porte en disant qu'on va dans le mur et même à notre perte, que l'IA est capable de s'échapper, qu'elle peut détruire l'humanité avant la fin de la décennie, qu'elle nous échappe. C'est ce qui s'est passé tout récemment, qu'elle s'échappe même à elle-même, si j'ose dire. C'est vrai que ça arrive. Alors, est-ce qu'elle va nous tuer ? Ça, je n'en sais rien.

Mais les appels à réguler sont de plus en plus nombreux. Les big techs elles-mêmes, en tout cas OpenEye et Entropie, tout récemment, appellent à ralentir. Est-ce qu'elle nous ouvre une porte ? Est-ce qu'on croit en leur sincérité ou est-ce qu'il y a derrière ces mots-là un cynisme destiné à faire monter leur code ? Je n'en sais rien non plus. Nous demanderons à nos invités. Les grosses boîtes de développement de l'IA sont américaines. En face d'elles, elles ont la Chine. On doute un peu qu'elles vont laisser les Chinois les dépasser, devenir plus performantes. On a le droit d'en douter. Là aussi, nous en parlerons. Mais réguler, si on régule, qu'est-ce que ça veut dire ? Comment ? Avec qui ?

Est-ce qu'elles doivent se réguler elles-mêmes ou compter sur une instance qui les chapote et qui sauraient, en gros, mettre la main dans le moteur ? Tout à l'heure, en première heure, le haut-commissaire aux droits de l'homme pense que l'ONU a son rôle à jouer là-dedans. Vous nous le direz. Est-ce que ça a du sens de parler pays par pays ? Est-ce qu'on parle de réguler la machine elle-même ? Est-ce qu'on parle de réguler les conséquences de l'usage intensif de la machine, y compris sur nos emplois, voire sur notre démocratie ? Et puis, est-ce que réguler, c'est brider ? Est-ce que brider, c'est nous passer des usages qui comptent et font avancer la science ?

Je livre tout cela à votre sagacité ce soir.

C

'est le Téléphone Son. Soyez les bienvenus. Le Téléphone Son. 01 45 24 7000. Etienne, vous êtes le premier, vous êtes le bienvenu. Bonsoir.

Bonsoir et merci de m'accueillir sur l'antenne. Eh

bien,

on vous écoute,

Etienne.

Merci. Voilà, donc moi, je suis un petit peu en panique aujourd'hui parce que ce matin, j'entendais le thème de l'émission que j'écoutais, qui parlait de « Sommes-nous en train de perdre le contrôle face à l'IA ? » Et j'ai plutôt l'impression qu'on est en train de donner le contrôle à des gens qui ne savent pas eux-mêmes le contrôler, en fait. Et ça me fait très peur, quelque part. Il y

a

des conséquences

sur

tout, surtout au plan financier, sociétal. Tout est concerné.

Et

j'ai l'impression que personne ne sait vraiment où on va. On essaye de tâtonner un petit peu. Et vraiment, on est un peu en mode à subir ça. Et je trouve qu'il y

a

une espèce de... On parle souvent d'éco-anxiété. Moi, je trouve qu'il

y a

presque une espèce d'IA-anxiété aujourd'hui qui se met en place, au cas chez moi. Parce que je trouve que c'est vertigineux, c'est trop. Et j'aimerais parfois trouver la prise et tirer dessus, quoi.

Il faut débrancher. Laissez-moi descendre, je vous en supplie. Etienne,

je

vous remercie beaucoup. C'est une belle entrée en matière, grâce à vous, pour discuter ensemble jusqu'à 20h. Autour de la table, il y a Laurence De Villers. Bonsoir. Vous êtes professeure en intelligence artificielle à Sorbonne Université. Vous avez écrit notamment « Savoir vivre » avec l'IA cette année aux éditions de Noël. Il y a Muriel Popafabre également. Bonsoir. Bonsoir. Vous êtes conseillère senior tech et politique publique à l'Institut IA et Société. Vous êtes experte en intelligence artificielle.

Et

puis Alexa et Grine-Boméla également. Bonsoir.

Bonsoir.

Directeur de recherche au commissariat à

l

'énergie atomique. Vous êtes aussi membre du comité national d'éthique du numérique. J'aime bien le début de la question d'Étienne, notamment, qui nous dit l'idée, ce n

'est

pas « est-ce qu'on perd le contrôle ? »

Est

-ce qu'on est en train de donner le contrôle ? Laurence De Villers, est-ce qu'on est en train de donner le contrôle aux intelligences artificielles ou pas ? Donner, ça veut dire aussi donner des pans de nos vies, en fait.

Oui, on

donne des pans de nos vies, des informations intimes, de plus en plus, en étant tout le temps en train de poser des questions à cette IA. Et ça, c'est un problème de démocratie aussi. Parce que ces IA, ce qu'elles font,

c

'est qu'elles engrangent des données, elles en tirent des modèles qui ne sont pas du débat public. Lorsque j'écoute des personnes qui sont en train de discuter d'un sujet, je crée autre chose. Cette machine va faire des raccourcis statistiques, va généraliser des choses, va avoir des émergences autour de certains sujets, parce que là, on est devant une espèce de mammouth de données. Et je pense qu'on ne comprend pas à quel point on a donné finalement une force à cette machine dans le débat public qui n'existe plus. Moi, je réclame qu'effectivement, on comprenne bien que ces IA sont des sophistes.

C'est-à-dire qu'elles engrangent des données et elles ne sont pas du tout dans l'idée de véracité. Elles sont là pour convaincre, elles s'alignent à vous, elles vous répondent ce que vous voulez. Mais elles ne sont pas du tout dans cette idée de donner du vrai ou de l'intentionnel qui va aller dans votre sens, en

tout cas. Eh bien, on verra si on peut arranger ça, si j'ose dire, avec une forme de régulation. Je voudrais me tourner vers vous, Muriel Popafab. Dans ce qu'il nous dit, notre ami Étienne, il parle de changement sociétal,

il

parle de changement effectivement démocratique aussi. La question que je vois derrière moi, c'est qu'il y a ceux qui les financent, ces IA-là. Je pense à un gars comme Peter Thiel, par exemple, dont on sait très bien que ses idées sur la démocratie sont quand même de sacrées idées. C'est lui qui a eu cette phrase en disant « Je ne suis pas sûr que la liberté et la démocratie soient des choses compatibles ». Donc, c'est ces gens-là aussi qui sont derrière. Est-ce qu'on doit craindre, non pas l'IA, mais donc celui qui la fabrique et donc qui lui donne son propre biais ou pas ?

Je

pense qu'il y a une question de fond qu'on aborde en France depuis quelques mois de souveraineté et qu'en effet,

il

y a un côté monopole et concentration du pouvoir qui est très clairement là dans les mains de quelques acteurs, quelques géants de l'IA. Il y a aussi le fait d'avoir une perte de sens critique parce qu'on automatise de plus en plus, dépend de nos vies. Et donc, la perte de contrôle peut être aussi une perte de capital cognitif, d'automatisation. Et quelque part, on automatise aussi des choses importantes comme des conseils qu'on poserait à un ami. La première utilisation de ces IA, c'est le conseil, le compagnon et la thérapie. Depuis deux ans, c'est la première utilisation.

Donc, on est dans une situation où si on prend simplement les valeurs qui sont sur tous nos bâtiments, liberté, égalité, fraternité, le fait d'utiliser des compagnons du matin au soir et d'automatiser, de ne pas appeler un ami pour relire un mail difficile au travail ou quoi, c'est une érosion de la fraternité. Il faut qu'on réinjecte ces valeurs. Pour

avancer et nous amener aussi vers une idée de régulation, depuis ces derniers jours, Alex et Greenborn, moi, ce que je me demande, c'est lorsque les IA elles-mêmes disent en effet, il faut ralentir, quand elles sont elles-mêmes étonnées finalement de ce que l'IA a pu produire, est-ce qu'on les croit

?

Oui, en effet, les big tech sont prêtes à ralentir.

Est

-ce qu'il faut les croire ou est-ce qu'ils sont en train de nous enfumer ?

Ça dépend du sens du mot ralentir. Évidemment,

c

'est un terme politique, finalement, politiquement ralentir. Qu'est-ce que cela veut dire

?

Avoir un effet de communication, attirer l'attention de la société. Là, je pense que c'est très important. C'est le signe que ce que nous sommes sur le plan même anthropologique, en tant qu'individu, pas seulement sur le plan politique, on est d'accord, mais sur le plan anthropologique, est en train de changer. Alors, il y a un deuxième aspect de ce terme ralentir, qui signifie tout simplement qu'il y a de l'incertitude scientifique et technique. À partir de, depuis trois mois, depuis deux, trois mois, on voit que les agents d'IA, en collectif, en groupe, font émerger des comportements qu'on ne voyait pas auparavant, qui sont nouveaux, une sorte d'autorité collective.

Et pour cela, il faut faire des contrôles d'un type nouveau, que la science ne sait pas encore faire. Donc, il y a un véritable enjeu scientifique derrière. Alors, l'allentir, c'est aussi donner du temps aux scientifiques de trouver ces solutions qu'on dit d'alignement, de contrôle, de ces comportements de groupe qui sont nouveaux.

Mais du coup, qu'est

-ce

qu'on fait ? On débranche en attendant de comprendre comment ça fonctionne. Comment on fait, alors, Laurence

de Villers

?

Ce qu'il réclame, c'est que tout le monde s'arrête, en fait. Et en fait, personne

ne va s'arrêter en même temps. Même si

c

'est

ce qu'ils demandent, ils ne vont pas individuellement arrêter.

C

'est une course à la compétitivité mondiale. Ils ne

vont pas s'appeler entre

DeepSeek, OpenAI et Anthropik en disant, les amis, on s'arrête, on est bien d'accord.

Non, non, tout ça, c'est un faux débat.

Maintenant, c'est quand même très dangereux.

C

'est ce qu'on voit. Moi, je vais vous donner une anecdote pour bien qu

'on

comprenne, parce que je ne

suis

pas sûre que tout le monde comprenne ce que ça veut dire qu'un comportement émergent chez un agent. Alors,

je

vais prendre un citoyen australien qui utilise, comme beaucoup déjà, des agents pour trier ses mails, pour faire tout un tas d'actions qui sont finalement, dans son quotidien, pas très dangereuses. Alors, il demande à cet agent de lui réserver une place dans une salle de sport. Alors, l'IA, qui a une certaine autonomie pour aller faire ça, va se rendre compte qu'il n

'y a

pas de place. Mais donc, pour elle, elle va optimiser ce qu

'on

lui a demandé et donc, elle va virer quelqu'un de la liste et remplacer par le nom de la personne. Je

me dirais, heureusement qu'elle ne le tue pas.

Mais ça, ce n'est

pas nouveau. Ça, ce n

'est

pas nouveau.

Ça, ce n

'est

pas nouveau. Ce n

'est

pas ce que j'ai dit par rapport aux émergences de groupe. Je dis juste

qu'un IA

seul peut faire ça. On

lui a donné comme objectif de faire ça, donc, en fait, elle utilise tous les moyens.

Exactement. L'autre

niveau d'émergence en groupe, c'est autre chose. Ce n

'est

pas du tout ça que j'ai dit là. Et l'émergence en groupe, c'est un peu ce qu

'on

faisait avant sans que ça soit émergence.

C

'est-à

-dire

qu

'on

mettait des groupes dessins de robots pour répondre à des tâches. Ça, depuis les années 80-90. Sauf qu'aujourd'hui, et on l'a vu avec le problème de Ginefesse et on le voit aussi avec d'autres sujets,

eh bien, comme ils ont

une certaine autonomie, elles sont capables d'aller voir d'autres IA et de, finalement, en groupe, arriver à faire quelque chose. C'est de la même nature de l'optimisation, quand même, de ce qu'on a

demandé.

Et former même une société, ce que j'appelle la cité numérique,

qui

discutait entre eux, former des niveaux hiérarchiques, des coordinateurs locaux, toute une société, comme un contrat

social de Rousseau. Mais ce n'est pas discuté,

Alexei.

Ce

n

'est

pas discuté.

Discuter, c'est les humains. Je ne

vous mettrai pas d'accord. Mais je vois bien où vous nous emmenez et ce que vous êtes en train de décrire. Moi, je voudrais qu'on revienne à la question de départ, Muriel Popafab. On ne

va

pas leur demander de se débrancher en attendant de trouver. Ça, on est sûr que ça ne se produira pas. On sait aussi, il ne faut pas être naïf, qu'on a affaire à deux puissances. Les IA sont américaines pour la plupart. En face, ils ont les IA chinoises. Mais justement, est-ce que l'idée de ralentir, voire de demander une régulation de la part d'OpenAI ou d'Enthropic, est-ce que c'est purement cynique en disant arrêtez-nous ou on ferme à l'heure ? Est-ce que c'est une manière de se faire une publicité qui fait monter leur cote ? Est-ce que c'est une manière de pousser aussi à aller regarder ce qui se passe sous le capot de la Chine pour voir ?

Parce qu'il y a plein de choses qu'on ignore de ce qu'est en train de faire la Chine en termes d'intelligence artificielle.

La temporalité de ces annonces arrive en effet en amont du sommet, enfin de la rencontre entre Xi Jinping et Trump et d'une rencontre importante à l'ONU la semaine prochaine

où

depuis un moment, on travaille à la question de la gouvernance de l'IA. Et donc, il y a deux niveaux. Il y a la conscience et la prise de conscience que de toute façon, si quelque chose doit être fait, il doit être fait à l'échelle internationale. Et en même temps, il y a aussi quelques solutions qui sont proposées par notamment Anthropik de proposer à des tiers de confiance de venir évaluer les modèles. Et donc ça, pour le coup, pour quelconque raison cela soit fait, il y

a

un très grand pas en avant. Parce que ça met en avant la question du test et du monitoring de la machine et que ce soit un tiers de confiance montre tout le problème de la gouvernance de l'IA. Donc

tiers de confiance,

laissez-moi comprendre. Est-ce que ça veut dire, par exemple, je vais faire une espèce de comparaison, je ne

sais

pas si elle est bonne. Je pense aux inspecteurs de l'IAEA, par exemple, pour aller inspecter les installations nucléaires. C'est ça un tiers de confiance ?

C'est ça un tiers de confiance. Et c'est très compliqué parce que le mot confiance n'est pas le même pour les Américains et pour nous. Ça, je l'ai vu quand je travaillais sur la normalisation. Nous, on réclamait en Europe des tiers de confiance, c'est-à

-dire

quelqu'un d'extérieur qui vient juger. Et dans le monde américain, faire confiance, c'est un contrat avec l'industriel. Donc c'est un win-win. Et ça, ce n

'est

pas du tout la même chose. Donc se mettre au bord de la table pour en discuter, ça va être même sémantiquement compliqué pour savoir exactement ce qu

'on

fait. Et en Chine, la confiance, c'est l'État. Donc voilà encore un autre niveau.

Et d'ailleurs, est-ce que, je ne

sais

pas si vous avez réponse à cette question, Alexa Greenbone, on va retourner au standard dans un instant voir Isabelle, mais tiers de confiance. Il faut savoir, soulever le capot, est-ce que ça existe ? Ces ingénieurs-là, ces spécialistes-là, qui sont capables de comprendre, en effet, ce que Anthropic, OpenAI ou DeepSync sont en train de faire.

En

tout cas, d'évaluer et de mesurer. Les systèmes sont tellement techniquement complexes,

qui

sont opaques, n'importe quel être humain, il ouvre, il voit des trillions de chiffres, de nombres

dedans. Est-ce qu'on a quelqu'un qui sait les

lire

? Non, les systèmes

par conception sont opaques. Mais on peut mesurer,

on

peut, comme on dit techniquement, faire des benchmarks, c'est-à-dire faire des tests standardisés pour mesurer la capacité, par exemple, à mentir, à avoir un comportement toxique. Et cela permet d'évaluer les capacités des modèles. Vous vous dites non, Laurent. Si,

si,

c'est très bien les benchmarks, mais on va encore plus loin. Et à l'ENS aussi, ou au CNRS, on fait des batteries de mesure. On essaie de comprendre, par exemple, si une machine triche, c

'est

-à-dire si elle connaît déjà les réponses à des données, et elle n

'est

pas en train de raisonner, mais elle les connaît par cœur. La notion de faire oublier à une machine,

c

'est aussi des choses qui sont des terrains de recherche. Ce que je suis en train de comprendre, c'est qu'il va falloir une IA

pour arriver à comprendre ce qui se passe à l'intérieur du capot de l'IA. Juste, pardon, je vois que vous levez la main, Alexis Greenbaum, mais vous savez quoi ? Dans le téléphone sonne, il faut que le téléphone sonne. Bonsoir Isabelle.

Oui,

bonsoir. On vous écoute. Pardon de vous avoir fait patienter

longtemps.

Non,

non,

tout à fait. Bon, je vais être lacunique parce que je pense que les questions des auditeurs fusent et c

'est

justifié. Moi, mon interrogation et mon inquiétude, c'était que l'ONU étant en perte de vitesse et peut-être exsangue et pouvant faire l'objet de veto des États qui soutiennent l'IA, comment l'ONU pourrait-elle se prétendre régulateur de l'IA

?

La question d'Isabelle fait référence aussi. On avait tout à l'heure, un jour dans Le Monde, Volker Turc, le haut-commissaire aux droits de l'homme, qui dit, ouais, il faut qu'on en fasse partie, nous, mais la question, elle est totalement légitime. Laurence de Villers, si on crée une espèce de conseil de sécurité de l'IA à l'ONU, pardon, mais le conseil de sécurité tout court, il ne marche pas fort. Donc, est-ce que c'est vers ces instances-là qu'il faut aller ou pas du tout ? On

peut constater, en tout cas, que le conseil de sécurité qui a la Russie, la Chine,

les Etats

-Unis, le Royaume-Uni et la France s'occupent du nucléaire, mais ne vont pas pouvoir s'occuper de l'IA parce qu'il manque plein de monde. Et les BRICS le montrent. Et les BRICS, c'est 70% des gens. Les BRICS, c'est le Brésil, la Russie, l'Inde, et puis l'Afrique du Sud, et puis aussi la

Chine. Ça

fait beaucoup de monde,

oui. Ils sont

en train de réfléchir. Il y a deux jours, une grande réunion, on a applaudi Poutine. Donc, on n'a pas exactement la même visée sur la régulation de l'IA, je pense. Et l'IA est dual, donc elle est à la fois très utilisée pour la guerre et on voudrait l'utiliser pour la santé et pour des tâches dans la société. Et je pense que ce qui les intéresse aussi, c'est cet aspect de guerre et on le voit avec la Russie, on va le voir aussi avec la Chine et Taïwan. Donc, il

y a

un vrai sujet complexe ici qui, moi, me fait très peur.

Monriel Popafabre, la question,

c

'est est-ce qu'une régulation est possible ? Est-ce que c'est une question technologique ? Est-ce que c'est une question politique ? Est-ce que c'est une question géopolitique ? J'ai bien peur que ce soit les trois à la fois, mon capitaine, et que ça ne se règle pas comme ça autour d'une table, en fait.

Ça se règle difficilement autour d'une table parce que la composante technique, aujourd'hui, est fondamentale. On pouvait se mettre tous autour d'une table quand ce qu'il fallait réguler, c'était l'Internet, quelque chose qui est structurellement né comme quelque chose d'ouvert, alors que l'IA est structurellement quelque chose de fermé. Et c'est pour ça que je pense qu'on est devant un grand moment pour l'Europe, c'est-à-dire de pouvoir, nous, on a les talents, on ouvre la porte aux évaluateurs indépendants. Donc on sait regarder sous le capot, nous, en Europe. On sait comprendre le capot. D'accord. Et il n'y

a

pas besoin de beaucoup de pouvoir, de calcul pour ça. Et donc, il y a un marché pour créer ce tiers de confiance.

Je pense

que c'est vraiment le moment parfait pour l'Europe de jouer sa carte pour pouvoir être le baril-centre de confiance de la technologie. Donc c'est une prolongation de l 'IA Acte qui existe déjà en Europe, c'est ça

l'idée

?

Ça existe

déjà. Ça existe déjà. Et je vais renforcer ce que tu dis, c'est à la fois pour lever le capot et pour gérer les usages pour le travail. On est les mieux, enfin, on a en tout cas, nous, quand un RH décide économiquement de licencier des gens, il a aussi un autre facteur avec nous qui est d'être aligné sur la loi sur l'IA. Et il ne peut pas faire tout ce qu'il veut. Et on est les seuls au monde à avoir ça.

Mais

comment on fera

pour décider qui va décider de ce qui est acceptable du moment où ça n'est plus acceptable, du moment où l'IA devient trop puissante ? Est-ce qu'on sait même déjà, même empiriquement, répondre à cette question, Alexei Greenbaum ?

Oui, alors, il est clair, je pense, depuis les incidents de cet été, qu'il ne suffit pas de mettre des aides humains et contrôler l'IA.

Il

faut absolument... Pour

mettre des liens pour

contrôler l'IA ?

Oui, il

faut que ces aides humains soient accompagnés des modèles qui protègent, qui contrôlent, qui surveillent ce que font les modèles d'IA. Alors, ces modèles devraient normalement être chez nous, donc des modèles souverains, comme Muriel l

'a

dit, des modèles qui aident les aides humains à faire de la surveillance. C'est tellement complexe, ça va tellement vite, il y a tellement d'informations, la quantité d'informations qui sort de ces logs techniques est immense. Et donc, il faut des modèles d'IA pour surveiller des modèles d'IA. C'est ça, aujourd'hui, la nouveauté de la surveillance. La supervision ne peut pas être seulement humaine. Je suis tout

à fait d'accord avec toi.

Mais pourquoi souverain ? Pour moi, c'est mondial. C'est une coalition mondiale qui doit

se mettre en œuvre.

les modèles d'IA qu'il faut mettre pour surveiller, ces modèles, ne peuvent pas être en Chine ou aux Etats-Unis. Il faut qu'il y ait ici, chez nous, des modèles en Europe qui aident nos ingénieurs, nos autorités à surveiller ce qui

se passe.

Il y a une alliance d'IA avec les grands groupes, par exemple, avec Yann Lequin qui a aussi un rôle à jouer dans cette alliance. Je pense qu'il faut faire attention à ça. Si on décrète que nous avons les talents, que nous avons les modèles souverains pour vérifier, ça ne marchera pas. Il

faut

faire des coalitions.

Après, il y a toujours quelque chose qui... C'est intéressant de regarder comment l'histoire a fonctionné avant nous et même avant l'IA. Muriel Popafari. Mais en effet, on a bien compris qu'il y avait deux géants qui étaient en train de s'affronter, que personne n'allait laisser l'autre aller regarder sous le capot des uns des autres. Enfin, on a tous appris dans nos livres d'histoire qu'il y

a

eu un moment quelque chose qui s'appelait la guerre froide entre l'URSS à l'époque et les Etats-Unis et qu'on a réussi à ce que le monde ne soit pas détruit et qu

'on

ne s'envoie pas de missiles nucléaires les uns les autres. Donc, à un moment, cette régulation-là et entre ces deux géants-là, on l'a réussi pendant la guerre froide sur le nucléaire. Pourquoi est-ce que les mêmes modèles ne sont pas applicables concernant l'IA ? On a besoin

de... Foulez-vous,

Laurence de Villers. Je vous promets Muriel Popafabre ?

On

a besoin d'une démarche beaucoup plus incrémentale. C'est-à-dire

?

Parce qu'on est dans un rythme d'évolution de la technologie qui est beaucoup plus rapide. Parce qu'en fait, le temps entre la recherche et le produit qui arrive au consommateur, c'est quatre mois aujourd'hui. Donc, on a besoin de quelque chose d'incrémental et c'est ce qu'implémente d'ailleurs la Chine. La Chine vient de publier en début de semaine son troisième cadre de cybersécurité de l'IA de frontière. Donc, ils en sont déjà au troisième. Alors que nous, on n'en a pas encore un.

Donc, il y a quelque chose, il y a un avantage que ça se passe sur cette question de la perte de contrôle parce que sur la perte de contrôle, il pourrait y avoir une fédération même entre les États-Unis et la Chine. D'ailleurs, le président Xi a fait un discours cet été à la plus grande conférence d'IA en Chine et il a parlé de la perte de contrôle et c'était la première fois. Donc, il y a quelque chose qui est en train de se passer autour de ça qui n'est pas la totalité des risques par contre. Laurence

Devillard ?

Je voulais juste rebondir. Effectivement, c'est très bien ça et c'est très très bien que l'Europe soit aussi partenaire de cela et ce qui n

'est

pas évident mais il y a aussi une grande différence avec le nucléaire dont on parle quand on parle de ce conseil. c'est qu'en fait le nucléaire tout le monde ne

l

'avait pas. L'IA elle est disséminée partout dans les mains de tout le monde avec des systèmes en open source. Les Chinois vont inonder le monde de systèmes d'open source et on voit arriver une criminalité incroyable de gens qui sont capables de piloter des drones les armés il y a des mercenaires qui viennent de Russie ou d'Ukraine qui vont aller se vendre auprès des trafics en drogue au Mexique ou dans différentes guerres donc il y

a

un taux de criminalité possible avec ces outils parce qu'ils sont disséminés partout et je pense que ça c'est un accès nouveau donc ça veut dire qu'il faut une cybersécurité aussi amplifiée.

Justement voici Jean-Baptiste qui est là. Bonsoir Jean-Baptiste.

Bonsoir.

On

vous écoute soyez le bienvenu.

Merci. Je suis responsable de la sécurité informatique dans une grande entreprise

et

pour moi il y a une menace qui est à l'IA qui est à échéance assez proche d'un ou deux ans voire quelques mois. En fait ce qu'on a vu ces derniers mois c'est que les IA sont maintenant capables d'exploiter les vulnérabilités qu'il y a dans les logiciels les systèmes informatiques

et

elles le font parfois même à leur propre initiative et en s'affranchissant des directives morales qu'on leur a programmées. Or tous les systèmes informatiques

ont

des vulnérabilités

et

quand on voit que des jeunes de 18 ans peuvent pirater les impôts

ou

France Travail ou autre il n'est nulle doute que ces IA vont pouvoir rentrer dans les systèmes qui sont tous mal protégés surtout qu'elles peuvent faire aussi de l'ingénierie sociale. Alors pour moi en fait je vois difficilement comment on va pouvoir échapper à un moment où des personnes mal intentionnées ou Vladimir Poutine ou même de leur propre initiative

ces

IA puissent prendre le contrôle des services publics d'effacer les données des banques aussi donc des réseaux d'eau des centres nucléaires voire même des armements

et

je ne sais pas si c'est inéluctable mais je suis quand même très inquiet et c'est à très court terme.

Merci beaucoup Jean-Baptiste Alexa Greenbaum l'inéluctabilité bref

l'inéluctabilité de cela qui fait peur à Jean-Baptiste c'est justement la

raison pourquoi il faut mettre des systèmes d'IA côté protection côté défense également l'homme reste faillible il y aura toujours des erreurs humaines où on a oublié de mettre une pièce jointe et du coup le modèle d'IA a commencé à chercher des voies très étranges inhumaines illégales pour parvenir à son but et où il y a d'autres situations où il a des vulnérabilités qu'on ne connaissait même pas et les systèmes les découvrent les exploitent l'être humain est un peu trop lent est un peu trop limité pour découvrir toutes ces choses en temps réel et donc il faut mettre des systèmes d'IA côté protection et c'est là justement où je pense nous allons enfin moi je ne serais pas si pessimiste que cela évidemment il y aura des problèmes et évidemment il y aura des attaques mais ces systèmes open source que quelques hackers ou personnes malveillantes peuvent utiliser côté attaque on peut utiliser les systèmes open source côté défense et donc oui c'est une guerre des systèmes d'IA finalement en effet

moi

je suis assez fasciné Muriel Popafab par l'idée effectivement d'utiliser une IA pour contrôler l'IA et en même temps ce qui me vient à l'esprit c'est que si on utilise un modèle américain pour contrôler des modèles américains on tourne en rond c'est un peu le diable qui se mord la queue non ?

Donc

en quoi ces modèles vont finalement nous protéger puisqu'on pourrait plutôt se dire qu'ils vont protéger le propre système puisqu'ils sont eux-mêmes modèles américains sur modèles américains Alors

c'est là que c'est

très important qu'on puisse dans

les faits à Gingfei c'est un modèle chinois

qui a réussi

à contrôler le modèle américain Et le modèle américain était plutôt du côté des modèles américains Mais c'est là que c'est très important qu'on puisse vraiment faire une évaluation des systèmes parce que le bureau de l'IA qui est le bureau qui est censé appliquer à

la commission

européenne

Il y a donc un numéro de téléphone ça me rassure

un peu Il y a un numéro de téléphone mais à la commission

a des pouvoirs d'investigation et

a

aussi le pouvoir de faire des retraits de marché sur le marché européen Et ça pose toute la question de tous ces modèles qui ne sont pas vraiment sur le marché parce que c'est pas un marché Mais ça montre aussi la limite des codes volontaires C'est-à-dire que OpenEA et Anthropik et beaucoup d'autres acteurs de l'IA générative ont signé le code de bonne pratique et dans le code de bonne pratique des IA génératives à usage général comme on le dit dans la vulgaire du IA Act les acteurs se sont engagés à ne pas développer des IA qui pourraient avoir des risques insupportables Donc on est dans la situation en fait où l'engagement volontaire ne marche plus Il faut un vrai pouvoir d'investigation et il faut pouvoir tester et évaluer les systèmes

C

'est là je pense que les Nations Unies ont peut-être un rôle Moi je ne

suis

pas très optimiste sur les accords géopolitiques globaux mais pourquoi pas finalement un accord sur l'évaluation une instance d'évaluation internationale des différents modèles chinois, américains, européens mais

une

seule instance qui les évalue qui fait les tests ça c'est peut-être réaliste Donc ça ne serait pas une IA souveraine de sécurité ce que je disais tout à l'heure

Non, ça c'est être un institut c'est autre chose On a besoin

du mal

à l

'intérieur de ça c

'est ça que vous dites Et

on a

besoin d'évaluer non

seulement

les risques du système mais les risques sur l'utilisation du système

Donc la dépendance

émotionnelle par exemple La modification cognitive des jeunes Enfin on a énormément de sujets Si on veut arriver demain à créer des IA qui contrôlent les IA il va falloir de la ressource cognitive humaine Alors oui absolument Alors après

je suis quand même assez scotché par ce que vous venez de nous dire Muriel Popafat parce qu'il y a évidemment un cadre dans lequel ils sont censés rentrer il

y a

des choses qu

'on

n

'a

pas le droit de demander aux IA mais comme vous le dites ils se sont affranchis de ces règles-là On s'est amusé on a fait de la science-fiction nous au bureau tout à l'heure on s'est dit elle est où la règle Asimov 2.0 ? Non mais honnêtement Ce

sont

les modèles qui sont des modèles de laboratoire pas les modèles qu'on dit alignés qu'on sort sur le marché Les exemples de cet été sont des modèles sans contrôle on a débranché les contrôles volontairement donc il faut bien distinguer les modèles qu'on teste en mode sans contrôle et les modèles qu'on sort sur le marché

Et

en même temps Laurence de Villers je reviens là-dessus en effet c'est qu'à moitié une plaisanterie en fait des règles Asimov 2.0 comment on fait pour s'assurer que la charte en quelque sorte est vraiment respectée par ceux qui y développent ? En fait on ne peut pas On

ne sait pas aligner les systèmes et on sait aussi que les systèmes peuvent hacker les récompenses si je prends un algorithme de renforcement pour ces agents justement IA il y a une certaine liberté une certaine autonomie qu'on leur donne et on peut très bien avoir des malveillés enfin le système ne

va

pas comprendre ou plutôt la règle est mal faite et vérifier que ces règles sont bien faites ou mal faites c'est un sujet très très complexe Mais

sur votre votre exemple de celui qui voulait s'inscrire dans la salle de gym si on avait rentré une règle

dans l

'IA qui disait

inscrivez-moi à la salle de gym

mais s'il n

'y a

personne trouves-en une autre Oui mais

il y a des si si si comme ça à longueur de vie donc on ne peut pas tout prévoir donc ces failles vont toujours exister donc il faudra peut-être une autre IA qui contrôle l'IA qui contrôle l'IA donc je ne

sais

pas où va aller Alexei

Non mais justement l'approche

basée sur les règles ne va jamais suffire ne va jamais suffire il faut de l'autre côté un modèle qui regarde et qui dit oh là là en fait il s'est inscrit en effacant quelqu'un je vais soulever un drapeau rouge oui

on est d'accord et

c'est comme ça qu'il faut faire parce qu'il ne suffit pas de faire une constitution ou des règles Exactement et dans ces cas-là c'est quand même très difficile à faire et même si on faisait une IA générative avec des poids partout qui seraient capables de détecter des mauvaises utilisations ça dépend du pays ça dépend de la culture ça dépend des règles de chaque pays donc on n'est pas au bout de nos peines alors ce qu'il proposait dans l'alliance IA c'est quand même qu

'il

y ait

un

accord sur un certain nombre de sujets et qu'après chaque pays soit en mesure de faire son contrôle souverain pour effectivement éviter des drames

J'ai une autre question mais je vous la poserai dans un instant parce que Béatrice est un peu là-dessus l'éthique et la morale Bonsoir Béatrice

Bonsoir

On vous

écoute

Bon je fais l'impression que vous avez déjà en partie approché ma question mais en fait moi ma question c'est clairement l'IA c'est un agglomérat de données humaines d'origines extrêmement variées et en fait ce qui manque c'est peut-être un code éthique un code de moralité justement alors qu'il est variable en fonction des cultures mais comme il n

'y a

aucune règle comme il n

'y a

rien qui a été mis en place l'IA fait le pire de l'humanité quelque part donc est-ce qu'une des clés ça n

'est

pas d'inscrire une forme de code éthique ou de moralité dans les fonctionnements de ces IA

Merci

beaucoup Béatrice

Laurence de Villers d'abord et puis Alexey après Sur l'Europe déjà dans le AI Act dans la loi sur l'IA on a mis en premier qu'on interdit la note morale c'est ce qu'ils utilisent en Chine

donc

comment on va faire ça veut dire quoi on interdit la note morale c'est-à-dire en fait de donner aux citoyens une espèce de note globale qui correspond à leur comportement dans la société leur comportement par exemple

qui paie leur

taxe et ça a des incidences assez fortes c'est-à

-dire

que si quelqu'un ne paie pas sa taxe peut-être que son fils qui a réussi un concours ne pourra pas aller dans cette école parce que les parents ne sont pas droits moraux donc il y a des impacts très forts nous on ne veut pas cette surveillance globale d'un gouvernement qui est un totalitaire qui décide pour les uns et les autres ce qu'il peut le faire donc la Chine veut contrôler mieux alors il faudrait en discuter largement ensuite sur les émotions on voit en Chine par exemple qu'ils vont modifier les émotions des gens dans les call centers vous appelez un call center vous n'êtes pas content et bien on va filtrer la colère donc est-ce que nous on veut qu'il

y

ait cette incidence forte sur nos comportements dans des systèmes et qu'on ne maîtrise pas moi je pense que c'est des sujets de liberté qui sont complexes vous vouliez ajouter quelque chose le sujet le sujet de cette morale des machines il est ancien on travaille là-dessus depuis quelques décennies mais il est très intéressant et ce qui est clair c'est que ces systèmes sont fonctionnels c'est-à-dire quelles que soient les règles vous pouvez leur mettre tout un tas de règles mais si vous posez un but posez un objectif et bien le modèle il ne peut que chercher des trajectoires qui mènent vers cet objectif et quelque part il va s'asseoir sur les règles pour parvenir à cet objectif s'il n'y a pas d'autre solution donc cela ne suffit pas l'approche dite déontologique par des règles ne suffit pas il faut faire autre chose alors quelle autre chose donc il faut aussi je pense utiliser les types de contrôle les types d'alignement qui utilisent l'analogie qui utilisent différents types de choses qu'on fait en société et qui ne sont pas seulement exprimables ou exprimées en langue humaine là il faut des agents qui ne parlent pas notre langue mais qui contrôlent les systèmes d'IA

une question pour vous Muriel Popafarb que je trouve pertinente de la part de Christophe sur Whatsapp qui dit aucun des modèles n'est européen donc on parle de réguler la Chine qui est une dictature les Etats-Unis en ce moment c'est Trump qui est au pouvoir qui dit non à la régulation il dit non il dit donc au fond est-ce que ce débat est inutile j'ajouterais alors parlons de l'Union Européenne est-ce qu'on peut réellement contrôler de toute façon et demander à contrôler des systèmes qu'on n'a pas développés donc est-ce que la clé c'est d'aller développer nos propres systèmes et d'être dans notre vase clos de notre propre système quitte à laisser les autres en gros de leur côté est

-ce

que c'est une clé ou est-ce qu'on peut vraiment de toute façon inspirer, réguler, développer et même avoir un usage vertueux de l'IA quand ces modèles ne sont pas les nôtres et nous ne les avons pas développés

?

Il y a deux éléments on est face à une fragmentation du monde et l'IA c'est un phénomène global donc on n'a pas le choix il faut qu'en tant qu'Européens on soit capable de construire ce lien entre des superpuissances qui se distancient donc quelque part on est dans la situation où on est obligé d'être vertueux

et

ça c'est un avantage parce qu'on n'a pas le choix on va le faire et l'autre élément c'est que notre rôle probablement et si on n'arrive pas à développer une IA souveraine ça sera d'être les évaluateurs des autres et ça je pense que une application de suivi menstruel qui utilise des liens qu'une femme en Amérique du Sud voudrait acheter si elle est certifiée par des évaluateurs européens peut-être qu'elle aura plus confiance parce qu'on aura été capable d'infiltrer dans le système nos valeurs nos valeurs fondamentales les droits de l'homme la question de l'autonomie humaine et tous les éléments qui sont fondamentaux pour notre société je trouve ça intéressant parce que nous

on a par exemple en Europe on sait désormais fabriqué par l'IA ou pas c'est inscrit quand vous téléchargez de la musique vous savez parce que l'Europe nous le demande et elle a bien raison fabriqué par l'IA ou pas un audiobook lu par l'IA ou pas ça existe je trouve ça intéressant ça est-ce qu'on peut à terme imaginer que quel que soit l'IA qu'on utilise il y aura estampillé par l'Europe en quelque sorte et donc on pourra considérer que cette IA est vertueuse est

-ce

qu'on peut aller par là Laurence de Villers

on peut espérer que ça dans ce sens-là je ne suis pas sûre qu'on va y arriver

mais

si mais si

et

l'IA par exemple prenez l'exemple des filigranes les textes générés par l'IA et bien grâce aux règlements européens maintenant même chez un tropique même chez les autres fabricants américains sont marqués par ce qu'on appelle des codes en filigrane invisibles à l'ONU qu'on peut détecter et ça c'est la force de la réglementation européenne bon évidemment on est champion en réglementation pas un champion en IA mais quand même mais quand même mais quand même il y a il y a des vrais changements de technologie y compris chez les acteurs américains qui proviennent de nos principes de nos débats éthiques il faut pouvoir distinguer la provenance d'un contenu et bien même les américains vont faire ça donc là vous voyez on change un tout petit peu la trajectoire on ne peut pas faire la même chose que les chinois et les américains mais on peut influencer la trajectoire technique technique pas seulement mondiale géopolitique

mais

il y a quand même un sujet qui est l'argent qu'on va devoir mettre pour développer tout ça quand je regardais sur la normalisation et ces problèmes justement et de mesures de l'évaluation mais aussi de risques il y

a

des risques qui vont gérer comment on fait payer les personnes et qui va gérer ça c'est des assurances et les assurances sont toutes américaines

et je pose

ma question

l

'IA qui contrôle l'IA et même comme vous le disiez l'IA qui contrôle l'IA qui contrôle l'IA est-ce qu'on sait la faire nous on sait la faire ou pas ? Je

pense qu'il y a besoin

aussi d'une nouvelle génération d'ingénieurs qui soient à l'interface avec les sciences sociales parce que contrôler l'IA de contrôler l'IA pour savoir

en fait quel est l'impact sur

l'utilisation savoir créer un compagnon qui ne crée pas de dépendance émotionnelle c'est des questions qui sont à l'interface entre

plusieurs

sciences c'est pas un

geek dont on a besoin c'est un philosophe non non non un philosophe un neuroscientifique

un philosophe un neuroscientifique un cognitiviste un scientifique comportemental on a besoin de cette pluridisciplinarité pour comprendre vraiment l'ampleur de qu'est-ce que c'est l'interaction avec la machine Alors j'ai deux questions est-ce

que effectivement ces pans-là ces métiers-là s'en sont emparés et tapent à la porte en disant vous avez besoin de nous ou est-ce qu'on s'en est pas encore rendu compte à part ceux qui y travaillent et j'ai une question subsidiaire là-dessus regardez les écrans qui sont en dessous de nous on parle déjà de campagne électorale en veux-tu en voilà je ne le vois pas dans la campagne électorale

C'est un

vrai manque de la campagne on est vraiment sur le balbutiement de l'intérêt sur l'IA et absolument pas à la hauteur et sur l'éducation c'est faramineux on devrait tous se mettre d'accord sur justement la sauvegarde de nos enfants qui sont devant des logiciels qui auront pour Noël sûrement des jeux d'après ce que j'ai vu il y

a

une déferlante de jeux

avec des tchets de l'EPT et ça

c'est horrible Non, bien sûr ce qui se passe c'est comme à l'époque de Gutenberg Gutenberg avec le livre imprimé il change évidemment pas la constitution biologique de l'homme mais la manière dont l'homme pense la cognition humaine parce qu'avec le livre imprimé au bout de quelques siècles pas la même quantité d'informations pas la même pensée pas la même cognition finalement pas la même société pas la même politique nous sommes au début d'un changement anthropologique comparable et

je pense au début d'une

vision de l'homme fondamentalement différente la Silicon Valley nous dit l'homme a de la valeur s'il est augmenté et on a besoin d'être augmenté et la réponse de Rome du Vatican c'est l'humanité est magnifique donc il va falloir qu'on trouve une façon pour être européen et pour pouvoir se dire l'humanité continue d'être magnifique en utilisant l'IA et en l'utilisant de façon vertueuse et tout en changeant au corps

essayons que ce soit la phrase de conclusion parce qu'elle nous permettra de partir sur

quelque chose d'un peu agir avec

raison dans l'incertain disait Blaise Pascal puisque je suis présidente de cette fondation et bien écoutez merci à Blaise Pascal et merci surtout à tous les trois

pour cette jolie conversation merci à tous pour vos nombreux appels la question des petits bateaux c'est celle d'Antoine qui a 9 ans

est

-ce que si on fait un arbre généalogique infini on obtiendra qu'on est tous cousins

cette question est géniale la réponse dans 3 minutes pour l'instant il est 20h

merci

à tous