IA dans les services publics : les promesses incertaines

France Culture Les matins d'été, Julie Gacon

En arrivant au bureau tôt ce matin, j'ai voulu retrouver une phrase croisée chez Anna Arendt évoquant l'état moderne au tournant des années 60. Je ne l'avais plus précisément en tête, mais il me semblait que l'avènement de l'intelligence artificielle dans les services publics dont nous parlons ce matin était une confirmation de ce qu'avait théorisé la politologue et philosophe. J'écris dans la barre de recherche, dans une bureaucratie développée, « Il ne reste plus personne à qui l'on puisse présenter des griefs ». C'était à peu près ce que j'avais en mémoire. Et j'avais oublié que depuis la fin juillet, Google propose avant toute chose une réponse formulée par intelligence artificielle.

L'IA me confirme la phrase, la complète, me donne quelques éléments de contexte et m'interroge « Souhaitez-vous explorer comment Anna Arendt explique ce problème ou parler de son impact sur la vie de tous les jours ? » Et bien sûr la vie de tous les jours, mais je l'ai gardée pour moi. Merci monsieur, restons-en là, on a beaucoup mieux dans ce studio. Bonjour Soazic Pénicaud. Bonjour. Merci d'être avec nous. Bienvenue, vous êtes chercheuse et consultante indépendante en politique publique de l'intelligence artificielle. Vous êtes la cofondatrice de l'Observatoire des algorithmes publics et enseignante à Sciences Po Paris. D'abord Soazic Pénicaud pour bien poser le cadre de cette discussion.

Parler de l'IA dans les services publics, c'est parler d'intelligence artificielle générative, d'algorithmes, d'outils d'assistance ou de prise de décision. De quoi on parle ce matin ?

Oui, c'est vrai que ça fait beaucoup de termes en même temps. Alors peut-être que le point d'entrée très actuel, c'est l'IA générative, l'intelligence artificielle générative, qui donc sont ces nouveaux systèmes type ChatGPT ou Google Overview dont vous venez de parler, qui permettent de générer du contenu, du texte, des images, des sons, à partir d'une requête en langage naturel, en langage humain.

Ça, ça a été des annonces qui ont été faites par le gouvernement il y a quelques semaines, que l'administration allait accélérer l'utilisation de ces outils pour faire de la transcription, d'entretiens ou de réunions, pour assister les agents publics, avec l'assistant IA, dans la rédaction de texte, dans la synthèse, pour faire de la traduction également. Mais en réalité, dans l'administration, quand on parle d'automatisation au sens plus global, c'est une histoire qui est beaucoup plus longue. Notamment, dès les années 70, on a eu une numérisation du système des impôts et une automatisation des calculs.

Et c'est vrai qu'on ne voudrait peut-être pas que les humains calculent à la main nos impôts ou nos allocations sociales. Mais c'est aussi, depuis notamment le début des années 2010, une accélération des systèmes pour faire des prédictions. Par exemple, des algorithmes utilisés par la Direction générale des entreprises pour prédire les entreprises à risque de faillite et mieux les accompagner. Mais aussi, les algorithmes utilisés par les administrations sociales pour contrôler les allocataires. On a beaucoup entendu parler du score de risque des CAF de France Travail, plus récemment également.

On le développera, bien sûr, tout à l'heure.

Voilà. Et c'est aussi, notamment Parcoursup. Tout le monde connaît Parcoursup. Et donc là, on voit qu'en fait, on a tout un ensemble de systèmes utilisés qui recouvrent des technologies très différentes mais qui ont des impacts très, très importants.

Dont certains systèmes, d'ailleurs, sont plutôt présentés comme améliorant le quotidien des agents, automatisant des tâches répétitives. Quoi qu'il arrive, nous dit-on, un humain vérifiera que le résultat est correct. Par exemple, pour les systèmes de retranscription d'entretien dont vous parlez et qui utilise, par exemple, la police, système parole, qui utilise la police pour retranscrire des auditions d'enfants victimes. Déjà, est-ce que sur ces outils d'intelligence artificielle vous présentez comme bénin ? Est-ce que déjà, vous avez des interrogations là-dessus ?

Oui, moi, j'ai des interrogations sur ça parce qu'en réalité, on retrouve à peu près les mêmes discours qu'on avait sur des algorithmes qui étaient plutôt des systèmes statistiques où on nous disait, ça va assister les agents, les agents vont vérifier, ne vous inquiétez pas, tout est contrôlé. En réalité, sur de la retranscription d'entretien et notamment dans des contextes de grande importance, on sait que l'IA générative peut faire des erreurs puisqu'on rappelle que c'est des systèmes qui ne résonnent pas et qui vont fonctionner par probabilité.

Donc, par exemple, dans la retranscription d'entretien, il peut y avoir des erreurs de retranscription qui, si elles ne sont pas vérifiées, peuvent avoir des conséquences très importantes. Un exemple sur de la retranscription ou de la synthèse, c'est, par exemple, dans le système médical, on s'est rendu compte que certains modèles vont avoir tendance à minimiser les problèmes de santé des femmes et à prendre au sérieux ceux des hommes. Généralement, ces systèmes fonctionnent plutôt bien. Donc, on a tendance à abaisser notre vigilance. Mais si une erreur se glisse dans ne serait-ce qu'une retranscription sur 100 ou une synthèse sur 100, quelle est la conséquence pour cette personne ?

Et c'est ça qui pose vraiment question, même si ces systèmes sont présentés comme de simples systèmes de productivité ou d'assistance des agents ?

D'autant qu'on ne sait pas encore aujourd'hui à quel point cette intelligence artificielle peut déresponsabiliser au bout d'un moment parce que c'est répétitif, parce qu'on ne sait plus tellement ce qu'on fait tous les jours. Ça s'accumule. En plus, ces technologies sont censées supprimer les temps morts. Donc, le rythme s'accélère et peut-être qu'un agent, à la fin, se sent un peu déresponsabilisé et moins vigilant. Non, ça, ce sont des choses qu'on ne sait pas. Soisic-Pénicaud, en tout cas, la France va investir 655 millions d'euros supplémentaires dans le développement de l'IA. Mais aujourd'hui, quels services publics l'utilisent déjà et lesquels ne l'utilisent pas ?

Parce que je ne sais pas si c'est encore le cas, mais il y a encore deux ans, certaines collectivités, par exemple, s'étaient engagées à ne pas l'utiliser. La municipalité de Marseille, par exemple, avait bloqué Tchadjipiti, je ne sais pas si c'est encore le cas, sur les ordinateurs. Il y avait des réticences. Est-ce qu'elles existent encore ?

Oui, je pense que Montpellier aussi avait mis des lignes rouges. Alors, c'est une très bonne question, notamment parce qu'en réalité, c'est très difficile de savoir où sont utilisés les systèmes et comment ils sont utilisés. Il n'existe pas, à ce jour, de cartographie spécifique des usages dans ne serait-ce que les ministères, mais aussi dans les collectivités. Donc, on a un vrai problème de transparence à la base. Ce qu'il faut aussi dire, c'est qu'il y a des agents qui utilisent ces systèmes et des agents qui ne les utilisent pas.

Et du coup, je mettrai aussi une nuance en disant, surtout sur les systèmes d'intelligence artificielle générative, on est parfois sur des utilisations d'initiatives individuelles. Et c'est d'ailleurs ce que le gouvernement utilise comme argument pour dire, il faut proposer une alternative officielle à des outils commerciaux parce que les agents les utilisent déjà. Mais en réalité, comme vous le dites, il y a des agents qui n'utilisent pas ces outils et qui n'ont peut-être pas envie de les utiliser. Mais en tout état de cause, c'est très difficile d'avoir un aperçu exhaustif des pratiques.

Donc, les ministères de la Justice et de l'Intérieur, par exemple, disposeront, dès cette année, nous dit-on, de technologies les plus avancées dans l'IA pour traiter des données sensibles, accélérer le traitement de visa notamment. Vous nous disiez, Soazic Pénicaud, que la direction numérique des impôts était de toute façon pionnière en la matière. Mais là, ça s'est bien sûr accéléré. On parle d'autre chose. L'assurance retraite, qui en parle comme d'un moyen d'apporter des réponses de premier niveau d'assistance informatique. Mais encore une fois, avec toutes les questions que ça pose sur la suite.

Et puis, les collectivités territoriales aussi, qui sont essentielles dans le mouvement qui se déploie actuellement sur les usages et qui touchent ces collectivités territoriales à des services publics très proches des usagers et qui touchent à notre vie quotidienne.

Oui. La ligne rouge dans les collectivités territoriales, c'est notamment celle de ne pas utiliser d'agents conversationnels, donc de chatbots, en lien direct avec les usagers. Par exemple, ça, c'est une ligne rouge qu'on voit. Après, en tout état de cause, moi, je n'ai connaissance d'aucune administration qui a mis une ligne rouge complète, surtout quand il s'agit d'outils officiels. Et il est clair que l'injonction globale, c'est d'utiliser ces outils de plus en plus avec le postulat que ce sont des outils qui vont permettre d'améliorer les services rendus, d'améliorer aussi, ça, c'est l'autre argument, le travail des agents. On remarque aussi qu'on parle beaucoup de...

Là, si on décrypte ce que le gouvernement a annoncé, il a annoncé une IA souveraine, utile et humaine en parlant des agents, en parlant de qui maîtrisait ces technologies, mais il n'a pas parlé directement des citoyens et citoyennes et de la manière dont nous serions associés à ces prises de décision.

Pour les places en crèche, par exemple, pour les tarifs pour la cantine, le périscolaire, la taxe de séjour, aujourd'hui, tous ces services publics passent par l'intelligence artificielle ?

Alors, je pense encore une fois qu'il faut séparer ce qui relève de l'intelligence artificielle, donc de l'IA générative dont on parle beaucoup et ce qui relève de systèmes qui peuvent être des systèmes statistiques ou des tableurs de calcul type Excel qui sont vraiment juste des critères qui vont être ensuite additionnés. Par exemple, les places en crèche, à ma connaissance, il n'existe pas de collectivité qui va utiliser de l'intelligence artificielle générative pour prendre ces décisions ou Parcoursup ou le score des CAF. Tout ça, ce n'est pas de l'IA générative.

En revanche, ce sont des systèmes de calcul qui reposent toujours sur de la technique et après, ce qui est intéressant aussi, c'est pour ça que je fais cette distinction, c'est parce que ces technologies vont avoir des enjeux différents. En revanche, le point commun de tous ces systèmes et c'est pour ça qu'on peut parler d'automatisation et l'observer d'un point de vue global, c'est qu'ils viennent avec une aura d'objectivité, de neutralité, d'efficacité qui est rarement questionnée, en tout cas, de prime abord.

Parce que c'est un système technique, on a l'impression que c'est neutre, cet objectif, alors qu'en réalité, il s'agit de choix qui sont profondément humains, de par les critères qui vont être utilisés par ces systèmes, mais aussi dans la volonté même de les mettre en place dans le cadre de politiques publiques.

On a beaucoup dit, par exemple, combien les algorithmes de la CAF avaient reproduit des biais discriminatoires et menés à des abus, à des traques d'allocataires, on en parlera tout à l'heure après le journal de 8h, Soazic Pénicaud, que ce soit Stanislas Guérini, l'ancien ministre de la Transformation et la Fonction Publique qui avait lancé le mouvement en 2023, que ce soit beaucoup plus récemment David Amiel, ministre de l'Action et des Comptes Publics, ces ministres ont lancé des expérimentations à grande échelle de l'IA générative dans le service public. Au tout début de l'expérimentation, il y avait déjà plus de 1000 agents volontaires.

Alors, on ne sait pas si ces 1000 agents volontaires avaient par ailleurs des réserves, étaient sans doute conscients que l'IA sera destinée un jour à supprimer pas mal d'emplois et toutes les questions que vous soulevez dans l'observatoire. Mais est-ce que tous les bilans, toutes ces expérimentations ont fait l'objet de bilans et est-ce que ces bilans sont publics ? C'est une très bonne question.

Alors, sur l'assistant IA, donc l'agent conversationnel de l'État, il y a une expérimentation qui a été faite et une synthèse, une évaluation qui a été faite de l'expérimentation et une synthèse de l'évaluation a été publiée que moi, je trouve assez parcellaire mais on pourra y revenir. En revanche, j'ai regardé un peu et sur les systèmes de traduction, notamment utilisés par le ministère des Affaires étrangères mais qui vont être généralisés je n'ai pas vu d'évaluation sur l'efficacité par rapport à des langues qui notamment sont connues pour être moins bien prises en charge par ces systèmes ou sur les systèmes de transcription. Là, pareil, je n'ai pas vu d'évaluation publiée.

C'est d'ailleurs une tendance qu'on remarque dans l'administration en général. Dans les chiffres qu'on compile avec l'Observatoire des algorithmes publics, on s'est rendu compte que moins de 10% des administrations publient des évaluations de quelque sorte qu'elles soient sur les algorithmes qu'elles développent.

Alors, cet assistant IA, cet agent conversationnel est expérimenté depuis 2025 auprès de 10 000 agents volontaires. L'investissement de départ, c'est 300 000 euros pour la phase pilote. La généralisation de l'outil doit coûter 700 000 euros environ pour, pour l'instant, des expérimentations dont on ne connaît pas exactement les résultats. Aujourd'hui, le ministre David Amiel assure que l'objectif est de faire gagner du temps aux agents publics et non pas de les remplacer. Est-ce que, à ce sujet-là, il y a également des études d'inspecteurs qui ont remis un rapport à Matignon sur ce sujet, la question de l'emploi public, que peut-il devenir avec l'IA ?

Est-ce que l'objectif est de faire des économies ? Et ça, là-dessus, est-ce qu'on a également des garanties ? Oui.

Cette question de l'amélioration du quotidien des agents, elle revient en permanence et elle était déjà présente avant l'IA générative. on disait qu'on va mettre en place des systèmes automatisés ou d'aide à la décision qui vont améliorer le quotidien des agents. Ce qu'il faut voir, c'est que c'est souvent ce qui est affiché et après, derrière, les résultats ne sont pas forcément au rendez-vous.

Un rapport de la Cour des comptes par rapport à l'utilisation de l'IA dans les ministères économiques et financiers a d'ailleurs souligné que c'était en réalité très rarement le cas, qu'il y avait seulement sur la quinzaine de cas d'usage, un seul cas où ça s'était révélé vrai, ce repositionnement, cette amélioration du quotidien des agents et repositionnement sur des tâches intéressantes et c'était que 25 agents, ce qui est assez peu. Ce qu'on remarque aussi, c'est que quelle que soit la volonté affichée, ça crée potentiellement aussi des effets de bord ou ça ouvre la porte à des réductions d'emploi que ces outils se soient montrés efficaces ou non.

et ce qu'on remarque aussi, c'est qu'on ne demande pas systématiquement leur avis aux agents sur quelles tâches ils vont trouver importantes et on ne demande quasi jamais leur avis aux usagers et usagères sur est-ce qu'ils ont trouvé que le service s'était vraiment amélioré. Je pense que c'est sur ce point aussi qu'il faut beaucoup insister parce qu'en réalité, quand on parle de service public, on parle bien sûr de fonctionnaires et du travail des agents, mais on parle surtout d'un service public rendu et c'est pour ça que des évaluations en contexte avec des personnes concernées sont vraiment indispensables.

Vous travaillez aussi au sein de l'Observatoire des algorithmes publics donc vous êtes la cofondatrice Soazic-Pénicaud, vous travaillez aussi sur la question du contrôle et de la protection des données. Est-ce que les systèmes algorithmiques développés, utilisés par ces administrations ne le sont qu'en interne ou est-ce que les données circulent d'une administration à l'autre mais passent aussi par des prestataires privés ? Les données

utilisées par les administrations sont de plus en plus partagées entre administrations donc très concrètement si on prend l'exemple du système social la CAF partage des informations avec France Travail partage des informations avec l'URSSAF en tout cas toutes ces administrations se partagent des données entre elles la police avec la CAF également la CAF avec la police oui c'est des choses qu'il faut savoir ça c'est des accords qui sont passés entre administrations dans le cadre de leur mission de service public et très concrètement ça peut vouloir dire que les employeurs aussi transmettent les données à la CAF directement et que France Travail transmet les données des personnes en recherche d'emploi c'est des systèmes de partage qui sont de plus en plus fréquents et qui sont souvent justifiés encore une fois par une amélioration du service rendu aux usagers un meilleur accès aux droits ce qu'on remarque c'est que c'est aussi des systèmes qui peuvent être utilisés pour accentuer un contrôle et une surveillance notamment les nouvelles bases de données mises en place dans les systèmes sociaux désormais sont utilisées dans le cadre des contrôles mais il faut savoir aussi comme vous l'avez mentionné que ces systèmes sont souvent développés de concert avec des prestataires privés qui eux aussi ont potentiellement accès à ces données et en fait ça crée autant de zones de vulnérabilité qui peuvent favoriser la fuite de données également ou via des piratages et ça c'est pas forcément des choses qui sont volontaires mais il faut rappeler que l'administration a des obligations de protection des données qu'elle collecte et qu'elle utilise et que ces dernières années les fuites de données se sont multipliées

En l'occurrence quel prestataire auprès de qui un organisme public de services public peut s'adresser pour demander des données sur telle ou telle personne ?

Alors ça va être moins des données qui vont être produites par les prestataires mais ça va être beaucoup plus par exemple des cabinets de conseil qui vont développer des outils pour les administrations et qui vont dans ce cadre collecter des données Alors à l'étranger on a des exemples qui sont un peu glaçants par exemple en ce moment l'entreprise Palantir qui a beaucoup fait parler d'elle parce qu'elle mène des activités dans les domaines de la surveillance et militaire c'est l'entreprise prestataire du système de sécurité sociale britannique et on s'est rendu compte que Palantir malgré les garanties qui avaient été apportées par l'entreprise et par le gouvernement détenait les données de la sécurité sociale des britanniques et donc était susceptible de les partager avec d'autres ou bien de les utiliser dans des cadres qui n'avaient rien à voir avec la mission qui lui avait été confiée dans le cadre de ce contrat de prestation

Au Royaume-Uni aussi on a utilisé récemment des données récoltées par des compagnies aériennes pour lutter contre la fraude sociale Qu'est-ce qu'elles disent ces données-là ? Qu'est-ce qu'on cherche à prouver ?

Donc là en l'occurrence et c'est des choses qui ont été discutées en France aussi donc là c'est pas forcément des données qui vont être achetées à des prestataires c'est des données qui vont être récoltées d'entreprises privées mais l'objectif des britanniques était d'identifier si des personnes avaient quitté le territoire sans le déclarer donc pour déclarer des situations irrégulières ce qui s'est passé c'est que notamment des personnes qui étaient irlandaises et qui étaient parties d'un aéroport par exemple Dublin et revenus par un autre aéroport par exemple Belfast s'étaient vu dire qu'elles avaient quitté le pays pendant un an parce qu'on avait enregistré leur départ mais pas enregistré leur retour et ça pourquoi ça se passe c'est parce que les données de toute façon ne sont pas objectives et ne sont pas forcément complètement correctes et ces erreurs dans les bases de données ont mené à une suspicion des personnes au lieu de se dire bon peut-être qu'on a des problèmes dans nos bases il faudrait qu'on aille les regarder et c'est là aussi où on se rend compte que toute cette façade d'objectivité d'efficacité elle se fissure assez facilement

surtout vous nous disiez Sosik Pénicaud qu'il y a une réflexion aussi en France dans les administrations pour reprendre modèle sur ce qui se passe au Royaume-Uni donc avec l'exemple que vous venez nous donner c'est forcément un petit peu inquiétant il y a eu en France l'affaire de la caisse des allocations familiales de Gironde en 2023 révélée par la cellule d'investigation de Radio France la CAF avait envoyé des données sur ses allocataires à un prestataire qui les a mis en ligne en pensant qu'il s'agissait de fausses données enfin en tout cas les données personnelles de 10 000 allocataires sont retrouvées en ligne durant des années et peut-être un mot également sur la question du stockage des données parce que là encore on doit passer par des entreprises privées par des prestataires et ça les administrations se posent la question de savoir où sont stockées les données ou c'est un impensé pour l'instant ?

C'est de plus en plus quelque chose dont on parle notamment parce que beaucoup des entreprises qui stockent les données sont américaines donc Microsoft Azure Amazon et que avec les changements dans l'administration américaine cette question de la souveraineté revient énormément c'est quelque chose qui est en cours et en fait très concrètement ce que ça veut dire aussi c'est que si vos données sont stockées sur des serveurs américains sur des serveurs qui appartiennent à des entreprises américaines même en France le gouvernement américain peut demander à accéder à ces données donc on voit qu'il y a des énormes problèmes sur ça c'est je pense des discussions qui sont en cours en revanche et je pense qu'on en parlera plus tard cette question du stockage des données prend toute la place par rapport à la question sur pourquoi on construit ces systèmes et je pense que c'est ça dont il est important de discuter

Pourquoi on construit ces systèmes et comment est-ce qu'on les construit ? L'IA permet aussi de nous noter tous en fonction de critères qui restent opaques et qui sont des algorithmes qui reproduisent des biais de discrimination on vous retrouve plus tard pour en parler Soazic Pénicaud vous restez avec nous vous écoutez France Culture il est 8h

7h 9h les matins d'été Julie Gacot

Nous sommes toujours avec notre invitée Soazic Pénicaud cofondatrice de l'Observatoire des algorithmes publics pour parler de l'intelligence artificielle dans les services publics et de ses promesses très incertaines car on nous parle des bénéfices de l'IA comme d'évidence et sans prendre la peine de les mettre en balance avec son coût financier et qui profite aux fournisseurs et à ceux qui collectent et valorisent les données sans prendre en compte non plus son coût environnemental ses effets sur la relation à l'usager avec sa langue pauvre et impersonnelle ni ses dysfonctionnements Soazic Pénicaud on a beaucoup dit combien les algorithmes de la CAF par exemple avaient reproduit des biais discriminatoires et menés à des abus à des traques d'allocataires qu'a changé le nouvel algorithme mis en place en janvier par la caisse d'allocation familiale

Donc ce qu'il faut rappeler c'est que depuis 2011 les CAF utilisent un score de risque pour prioriser les allocataires à contrôler donc à partir du moment où vous touchez une allocation de la CAF y compris les allocations familiales il existe dans une base de données un score qui vous concerne En 2023 l'association La Quadrature du Net et les journalistes du Monde et de Lighthouse Reports ont révélé que ces algorithmes favorisaient donc provoquaient le surcontrôle de populations vulnérables telles que les familles monoparentales donc en majorité des femmes les personnes handicapées qui travaillent qui touchaient l'allocation adulte handicapé et de manière plus globale les personnes précaires avec des situations d'emplois variables etc.

Suite à cela et également suite à un contentieux qui a lieu en ce moment mené par des associations la CAF la Caisse Nationale des Allocations Familiales a changé son algorithme début 2026 elle a notamment enlevé un certain nombre de critères et on le sait parce qu'elle a maintenant publié le code les critères de tous les algorithmes qu'elle a utilisés ce qui permet aussi de se rendre compte que l'algorithme précédemment utilisé s'appuyait notamment sur un critère de nationalité donc si vous n'étiez pas de nationalité française votre score augmentait si vous aviez attaqué en justice votre CAF votre score augmentait ou si vous habitiez dans un quartier défavorisé votre score augmentait

et quand on appelle très souvent la CAF aussi ça fait monter le score entre guillemets

ça faisait varier le score ça faisait ça fait plus ce n'est plus un critère qui est pris en compte en revanche et c'est ça qui est très intéressant et qui illustre bien le problème donc la CAF a essayé entre guillemets de débiaiser ses algorithmes en retirant certains critères elle a retiré les critères de comportement donc contacté sa CAF elle a retiré le critère de nationalité elle a retiré le critère du lieu d'habitation mais elle a et c'est là où on voit l'intérêt des évaluations réaliser des simulations pour voir quel type de profil serait encore contrôlé donc avec un algorithme qui est beaucoup plus épuré qui prend surtout en compte encore les ressources la situation familiale mais avec beaucoup moins de critères il se trouve que cet algorithme défavorise toujours les mêmes personnes donc toujours les familles monoparentales et les femmes célibataires avec enfants toujours les personnes de nationalité étrangère donc en réalité enlever les critères techniques de l'algorithme n'a rien changé et on peut expliquer pourquoi ensuite

ce qui avait été révélateur enfin je ne sais pas si ça avait été révélateur à titre personnel ça m'avait frappé ça peut paraître anecdotique mais quand la quadrature du net et ces journalistes que vous citiez ont révélé en 2023 le caractère discriminatoire de cet algorithme de détection des fraudes à la CAF dans un entretien un directeur de la CAF avait dit mais non l'algorithme est neutre voire même l'inverse de discriminatoire car je cite nul ne peut expliquer pourquoi un dossier est ciblé ce serait gage de qualité enfin c'est comme si à l'époque c'était gage de qualité de ne pas savoir pourquoi l'algorithme avait ciblé un dossier en particulier

oui et en plus c'est assez faux parce qu'on pouvait l'expliquer puisque c'est un score encore une fois on n'est pas sur des boîtes noires techniques très complexes à expliquer l'opacité elle est le choix un choix politique et la preuve maintenant la CAF a publié ses algorithmes effectivement c'est la technique gage de qualité et gage aussi

d'objectivité et je vous ai coupé mais vous alliez choisir Pénicaud nous expliquer pourquoi l'algorithme tel qu'il a été modifié et mis en place donc en janvier pose toujours problème

en fait ce qui pose problème c'est que la CAF n'a pas changé le type de personne qu'elle veut contrôler donc l'objectif ce n'est pas seulement pas de traquer la fraude la CAF explique qu'elle veut contrôler les erreurs qui ont mené à des trop perçus donc quand les allocataires ont perçu trop d'argent par rapport à ce qu'il leur est dû ce qui est normal qu'il les fait exprès ou non ce qui est normal après on peut se dire ils n'essayent pas de contrôler les allocataires qui n'ont pas perçu assez d'argent on se concentre en majorité sur les allocataires qui ont perçu trop le problème c'est que comme la cible de la CAF n'a pas changé les personnes qui vont être contrôlées seront toujours les mêmes ce n'est pas on ne peut pas changer les critères techniques de l'algorithme pour arriver à ce résultat le problème c'est l'algorithme même et les politiques de contrôle si on cherche à identifier les personnes qui touchent beaucoup trop d'argent de la CAF mécaniquement ça va être des personnes dont les situations sont complexes parce qu'il va y avoir plus d'erreurs dans leur dossier donc notamment qui vont toucher les minima sociaux ou qui touchent beaucoup d'allocations familiales et le problème c'est de se concentrer sur une solution technique donc ici l'algorithme est sur une solution de contrôler au lieu de la solution d'informer en amont donc pour réduire les erreurs de potentiellement aussi mieux accompagner les allocataires de simplifier les règles et donc on se trompe de chantier et on ne pourra pas rendre cet algorithme plus juste puisque de fait on va toujours chercher à contrôler les mêmes personnes

C'est la même chose chez France Travail anciennement Pôle Emploi qui a mis en place des algorithmes de notation pour détecter je cite les comportements suspects avec des scores de suspicion pour évaluer l'honnêteté des chômeurs le score d'employabilité pour mesurer leur attractivité et là on aimerait quand même vraiment savoir comment on mesure aussi l'attractivité ou l'employabilité de quelqu'un les algorithmes de détection des allocataires en situation de perte de confiance les algorithmes ont fait psycho soit Zip et Pénico mais on se demande comment ils vont chercher ou ils vont chercher des informations pour confirmer ça

oui tout à fait alors moi je connais pas le détail exact de chacun de ces systèmes ce qu'on remarque en revanche c'est que c'est beaucoup d'algorithmes qui sont utilisés dans la sphère sociale donc là dans le cadre des personnes en recherche d'emploi ou dans le cadre des allocataires au détriment par exemple de systèmes qui pourraient être utilisés dans la lutte contre la fraude fiscale des entreprises ça moi je n'ai pas entendu parler d'algorithmes qui permettaient de faire ça ce qu'il faut remarquer aussi c'est que même les algorithmes qui sont présentés comme étant bénéfiques pour les personnes peuvent être détournés c'est ce que vous dites sur la perte de confiance est-ce qu'un système qui évalue la perte de confiance alors déjà comment pourquoi avec quels critères ça c'est une très bonne question mais est-ce que ce système va être vraiment utilisé pour mieux accompagner les personnes ou va être utilisé pour les sanctionner encore plus en se disant

c'est pas la peine de l'envoyer à un entretien d'embauche ça ne marchera pas

exactement ou alors le score d'employabilité comment va-t-il être utilisé et donc c'est aussi ça que j'amène comme contrepoint quand on pose la question de est-ce qu'on peut utiliser les algorithmes pour améliorer le quotidien des usagers et des usagères ou l'accompagnement la réponse c'est c'est souvent prendre le problème à l'envers et ça pose très très souvent plus de problèmes que ça n'apporte de solution

et j'ajoute ou précise tout à l'heure je parlais du fait qu'appeler la CAF ça pouvait empirer le score qu'on a aussi auprès de la caisse d'allocations féminales en fait il s'agissait quand on allait avec cet algorithme quand on allait souvent voir si la CAF avait un nouveau document à nous montrer ou si on allait avoir toucher une aide etc et bien plus on se connectait plus on était considéré comme suspect parce que alors parce que quoi

c'est une très bonne question et en réalité ça fluctuait c'est à dire qu'il y avait une espèce de juste milieu où vous deviez vous connecter pas trop mais pas non plus pas assez et c'est là aussi où ça remet encore en question cette question des choix c'est à dire qu'à un moment quelqu'un a fixé un plafond et un plancher pour dire ça c'est le bon nombre bien sûr sur la base d'analyse statistique mais c'est des analyses statistiques qui encore une fois à la fin ont été analysées par des humains pour prendre des décisions sur comment on allait utiliser ces chiffres mais c'est vrai que c'est des décisions qu'on a du mal à comprendre de l'extérieur et qui sont très peu explicitées

Vous parliez de ces algorithmes que la CAF a rendu public vous comme observatoire des algorithmes publics est-ce que vous pouvez si vous le demandez obtenir le code source des algorithmes et est-ce que les usagers de ces services s'ils veulent comprendre pourquoi ils n'ont pas eu accès à une aide à laquelle ils pensent pouvoir prétendre qui a accès à ces algorithmes est-ce qu'on a le droit de les demander et surtout est-ce que ces organismes ont le devoir de nous les donner

Tout à fait alors il existe un cadre légal français bientôt aussi un cadre légal européen renforcé avec l'AI Act le règlement européen sur l'intelligence artificielle mais ce qu'il faut rappeler c'est que les administrations qui utilisent des algorithmes pour prendre des décisions ont des obligations de transparence donc elles sont normalement tenues de publier en ligne les algorithmes qu'elles utilisent mais vous avez aussi le droit en tant que citoyen citoyenne personne concernée ou personne juste curieuse de demander des informations sur ces systèmes au titre de ce qu'on appelle l'accès aux documents administratifs donc ça vous pouvez demander des informations sur n'importe quel algorithme mais par ailleurs si vous avez été sujet à une décision où un algorithme a été utilisé déjà l'administration a l'obligation de vous en notifier même si la décision n'était pas complètement automatisée et vous avez ensuite le droit d'écrire à l'administration pour lui demander plus de précision sur le rôle qui a été joué par l'algorithme dans la décision et si l'administration

refuse ou ne répond pas

oui l'administration refuse souvent et ne répond pas souvent alors là il est possible d'aller jusqu'au tribunal administratif pour se battre pour cet accès c'est un gros travail ça ne veut pas dire qu'il ne faut pas essayer parce que parfois ça fonctionne et à un niveau individuel ça peut fonctionner mais effectivement c'est l'un des écueils l'autre écueil étant qu'il y a des exceptions qui permettent à une administration de refuser sous certaines conditions notamment des systèmes qui permettent de lutter contre des infractions ça c'est des choses que l'administration utilise souvent comme excuse ou comme raison pour ne pas communiquer des informations

alors la semaine dernière dans le journal La Croix apparu une tribune signée de deux juristes Élise De Grave et Thomas Honnet le titre de cette tribune la dénumérisation de nos services publics paraît absolument nécessaire et ces deux chercheurs de rappeler que deux rapports du défenseur des droits ont déjà alerté sur les effets de cette numérisation qui n'offrent qu'un accès dégradé et rétréci aux droits des usagers je cite ce rapport pourquoi est-ce qu'il faudrait absolument se dire qu'on garde le cap de l'IA pourquoi ce serait une évidence que maintenant on ne peut plus revenir en arrière Sozique Pénicaud

Je pense qu'il y a plusieurs raisons une raison qui est intéressante c'est celle de l'injonction à l'innovation et de dire aussi que si on refuse d'utiliser ces outils c'est parce qu'on ne veut pas améliorer l'action publique le service public et que la seule manière de le faire c'est d'innover avec le numérique moi je pense qu'il y a plein de manières d'innover dans l'action publique qui n'implique pas le numérique ou qui implique un numérique autre j'invite également effectivement à lire le rapport annuel du défenseur des droits et les autres rapports qui donnent des exemples éclairants de personnes qui sont touchées par ça donc je pense que c'est cette injonction à l'innovation et la réponse c'est donc peut-être qu'il y a d'autres solutions et peut-être aussi quand on met en place des algorithmes et des systèmes d'IA déjà il y a des lignes rouges des systèmes qu'on ne veut pas mettre en place du tout il faut le rappeler et par ailleurs quand on décide de mettre en place un système des manières de les encadrer via des évaluations via de la participation via des systèmes de retour en arrière aussi ou si ça ne fonctionne pas on l'arrête qui devrait être mis en place mais effectivement notamment sur la question de la numérisation et de l'accès aux droits la réponse démontrée par beaucoup de chercheurs ce n'est pas le numérique

les comités citoyens aussi qui existent alors on ne peut pas dire que ça existe partout dans le monde que ça soit très développé mais dans la ville de Portland aux Etats-Unis par exemple il y a un comité de surveillance des technologies urbaines ce sont vraiment des citoyens qui s'impliquent pour voir comment ça marche et éventuellement demander à ce qu'on arrête tout comment ça se passe

Tout à fait alors il en existe aussi en France des comités participatifs notamment à Rennes notamment à Montpellier il me semble c'est des comités alors parfois c'est des comités qui sont seulement consultatifs et c'est ça qui est problématique aussi c'est à quel point les citoyens et citoyennes ont vraiment une voix voix au chapitre et à quel point cette participation n'est pas qu'une participation de façade à Portland ce qui est intéressant c'est que les personnes sont rémunérées pour leur participation donc ça leur permet ça permet aussi à des personnes qui ont moins de ressources et qui ne pourraient pas le faire de manière bénévole de le faire là-bas on peut aussi mentionner sur la dénumérisation la ville de Villeurbanne qui a instauré un droit au non numérique et donc depuis 2023 ou 2024 met en place un accès systématique soit au guichet soit par téléphone à toute personne qui veut faire des démarches sans passer par le numérique et ça c'est des choses qui sont très intéressantes et qui montrent aussi que c'est possible

et la cour constitutionnelle belge très récemment a aussi établi une nouvelle garantie constitutionnelle la triple voie d'accès à une administration il faut pouvoir la joindre par courrier par téléphone ou au guichet et c'est une obligation c'est désormais inscrit dans la constitution les juristes que je citais tout à l'heure citent par ailleurs Gunther Anders qui est mort en 92 donc c'était avant l'ère d'internet mais sa critique de la technique dans l'obsolescence de l'homme nous parle aussi de la numérisation et d'intelligence artificielle comme de l'accomplissement ultime de l'aliénation moderne de la fantomisation du monde comme disait Gunther Anders il rejetait les arguments donnés pour justifier cette numérisation arguments qu'il connaît je cite jusqu'à la nausée tant ils sont repris aussitôt de toutes parts toujours avec le même fracas et toujours identiques arguments qui disait-il n'ont aucune autre fonction que celle de nous aveugler sur le caractère véritablement révolutionnaire de ce qui a lieu Sozic Pénicaud avec tout le respect que j'ai par ailleurs pour les informaticiens et les métiers du numérique mais est-ce qu'on a donné le pouvoir entre guillemets à ces métiers-là ?

Je pense que quand on parle de service public bien sûr on a donné du pouvoir aux personnes qui ont des compétences techniques mais on continue aussi à donner le pouvoir aux bureaucrates de l'administration aux fonctionnaires dont j'ai fait partie et pour lesquels j'ai beaucoup de respect mais il faut rappeler que quand on parle d'algorithmes dans le secteur public on parle de décision publique de politique publique on parle d'éducation de santé de protection sociale et qu'on ne parle pas de système technique et donc que les problèmes qu'on retrouve dans les algorithmes c'est des problèmes qui sont amplifiés par la technique mais qui se retrouvent dans l'administration au global cette opacité ce sentiment d'impuissance aussi face à l'administration et je pense que c'est ça qui est intéressant aussi c'est-à-dire que c'est pas c'est pas une question de numérique et pour ça il y a deux réponses il y a à la fois mieux encadrer les responsabilités de l'administration demander plus de garanties renverser la charge de la preuve en disant montrez-nous que ça fonctionne au lieu de nous dire que ça fonctionne et charge à nous de vous dire que ça fonctionne pas mais il y a aussi redonner du pouvoir aux citoyens citoyennes en leur rappelant leurs droits en les aidant à exercer leurs droits et en disant mais oui l'administration peut faire des erreurs elle n'est pas toute puissante mais face à ces erreurs c'est elle qui est responsable et pas les algorithmes les personnes techniques c'est vraiment les personnes qui prennent les décisions au plus haut de l'administration

en 2023 il y avait eu une proposition de loi pour la réouverture des accueils physiques dans les services publics qui préconisait que nul ne peut se voir contraint à recourir à des procédures dématérialisées dans ses relations avec l'administration pourquoi on n'en entend plus parler de ce texte ?

c'est une très bonne question il a disparu dans les limbes je n'ai pas la réponse mais je pense que c'est encore une fois le signe que peut-être on ne pose pas les bonnes questions ou peut-être qu'on ne veut pas poser les bonnes questions peut-être qu'effectivement la question c'est est-ce qu'on peut remettre des personnes au guichet est-ce qu'on maintenant pour aller à la CAF il faut prendre rendez-vous c'est difficile pour les gens de prendre rendez-vous on ne peut plus faire la queue il y a une fragmentation de l'accès aux droits et ce qui est intéressant c'est de mêler cette question de l'automatisation et de la dématérialisation parce qu'en réalité c'est un peu la façade cachée la façade visible de ce que le numérique fait à l'état donc je ne sais pas pourquoi on n'en parle plus mais on pourrait en reparler

et puis encore une fois on fait comme si l'intelligence artificielle ne devait faire l'objet d'une évaluation critique qu'en situation donc une fois déployée dans tel ou tel contexte social plutôt que se dire on va quand même bien réfléchir avant de le faire et donc de partir du principe que c'est inéluctable c'est oublié on peut conclure quand même Madame Pénicaud avec ça le coût écologique quand même mettre tout le monde d'accord je crois le coût écologique de l'intelligence artificielle et le mouvement d'exploitation aussi de ces dizaines de millions de personnes qui participent au développement et à la maintenance des infrastructures notamment dans les pays du sud aujourd'hui quand on parle de l'IA dans les administrations ça fait travailler ces personnes-là qui sont sous-payées dans les pays du sud où on a un peu autonomisé les choses enfin remis un peu comme vous disiez de souveraineté

alors là encore on revient plutôt sur l'IA générative donc par exemple l'algorithme de la CAF dont on a beaucoup parlé n'est pas forcément concerné à un tel niveau par ces dimensions d'exploitation mais c'est clair que l'industrie de l'IA générative repose sur une exploitation des personnes des ressources des données personnelles ou des données protégées par droit d'auteur en l'état actuel des choses c'est très difficile de dire si l'administration a une approche vertueuse et d'ailleurs c'est plus que probable surtout parce qu'on fait appel à des prestataires privés qu'il y ait ces exploitations à différents niveaux de la chaîne donc oui ça a aussi un coût même quand c'est utilisé par le secteur public et même quand on dit que c'est souverain et qu'il y a un critère de localisation géographique

Merci beaucoup Soazic Pénicaud d'avoir été avec nous dans les matins d'été Je rappelle que vous êtes chercheuse et consultante indépendante en politique publique de l'intelligence artificielle cofondatrice de l'Observatoire des algorithmes publics enseignante à Sciences Po Paris Merci d'avoir été avec nous