Christian Paul et Daniel Le Métayer : « La puissance publique maîtrise trop lentement l’IA »

Illustration Vraiment Vraiment

Ni ange ni démon : comment mettre l’IA au service de l’action publique ? C’est le titre de votre chapitre introductif qui pourrait résumer un peu le positionnement de cet ouvrage collectif. Les systèmes d’intelligence artificielle (SIA) fascinent autant qu’ils inquiètent… Quel regard portez-vous sur cette « révolution de l’intelligence artificielle » ?

Christian Paul – L’intelligence artificielle n’est pas une idée neuve, mais une étape dans l’histoire longue de la révolution numérique qui est « notre » révolution industrielle. L’IA a connu de très fortes accélérations au cours des années récentes, pour devenir un phénomène doté d’ubiquité. Mais si on parle du monde public, des administrations d’État ou des collectivités, le déploiement concret n’est pas un tsunami. Ce qui est sidérant sans être encore avéré, c’est le potentiel des usages de l’IA « publique ».

Des réalisations spectaculaires déboulent sur la scène mondiale et sur le marché. L’apparition de ChatGPT, avec sa puissance d’analyse sémantique, a déjà un effet planétaire. Et sans minimiser le rôle des start-ups, l’IA arrive par les grands acteurs du numérique.

La première interrogation est le bien-fondé et la réalité des usages publics. Dans les offres mises sur le marché à l’intention des acteurs publics, lesquels constituent un progrès réel ? Les avant-gardes applicatives de l’IA public doivent être en permanence challengées sur leurs conséquences et les progrès permis. Les coûts sont considérables, mais surtout l’acceptabilité et la confiance constituent des préalables à ne pas enjamber.

La seconde interrogation qui a vraiment concentré notre attention, c’est la maîtrise collective de l’IA à chaque niveau de la décision publique, et donc la régulation, le contrôle démocratique, la délibération ou la souveraineté. Convenons qu’en ce début du grand cycle de l’IA publique, les cadres de compréhension et de décision démocratique ne sont pas prêts, malgré le travail toujours précieux de la Commission nationale de l’informatique et des libertés (CNIL). Le Comité national pilote d’éthique du numérique (CNPEN) en est encore à ses premiers avis.

Daniel Le Métayer – En effet, il faut bien comprendre que l’IA n’est pas une technologie autonome existant in abstracto : elle se matérialise généralement par un ensemble de composants intégrés dans un système informatique qui est lui-même conçu et utilisé dans un contexte social donné. De multiples acteurs interviennent dans ce contexte et chacun d’eux possède, à sa mesure, des moyens d’influencer le processus : l’État comme commanditaire, utilisateur et régulateur ; les informaticiens et les acteurs économiques comme concepteurs et fournisseurs de technologie ; les individus comme utilisateurs, fournisseurs de données et citoyens. Sans prétendre à l’exhaustivité, les contributions de notre ouvrage fournissent un aperçu des outils existants ou envisageables pour chaque catégorie d’acteurs. Pour résumer, nous ne vivons pas dans des sociétés prédéterminées : la recherche, les développements, les choix économiques, les déploiements sont le fait de personnes et de groupes qui doivent agir en responsabilité. À chaque niveau, le contrepoids ou le contre-pouvoir doit exister.

Le choix d’une typologie pour distinguer les différents types de SIA n’est pas neutre selon vous. Quelle meilleure typologie possible faut-il avoir en tête pour garder une distance critique suffisante lorsqu’on est décideur public ?

Daniel Le Métayer – Tout dépend de l’intention. S’il s’agit d’identifier les bénéfices et risques potentiels liés au déploiement d’un système, trois typologies reposant sur les destinataires, les finalités et le degré d’automatisation sont primordiales.

En effet, les enjeux sont très différents selon qu’un SIA soit destiné aux administrés ou citoyens (agent conversationnel permettant un accès rapide aux services publics, par exemple), aux agents (ciblage de contrôles fiscaux, diagnostics médicaux, etc.) ou aux décideurs pour l’élaboration de leur politique ou de leur stratégie d’action (affectation des espaces urbains, identification des besoins en termes de formation, etc.).

De même, la finalité (assister, augmenter le pouvoir d’agir ou remplacer des personnes dans l’accomplissement de leurs tâches) et le degré d’automatisation (ou, inversement, la place laissée à l’humain) sont des dimensions essentielles pour évaluer la pertinence du déploiement d’un SIA.

Le développement des SIA dans les administrations requiert des compétences rares dans un domaine très compétitif et l’État n’est pas toujours dans la meilleure position… Il accuse même du retard par rapport aux GAFAM du secteur privé, faute de ressources suffisantes, de compétences… Quelles pistes d’action préconisez-vous en la matière ?

Christian Paul – Ce sont des dizaines de métiers auxquels il faut préparer les générations actuelles et celles qui viennent. Cette transformation exige des formations, des reconnaissances professionnelles, des positions stratégiques dans les organisations, et… des capacités de calcul.

En France, chaque grande rupture technique et économique a généré la création de corps de professionnels au sein de l’État. Les ingénieurs des Eaux et forêts ont accompagné les transformations du monde rural, ceux du corps des Mines l’industrie depuis le XIX^e siècle. Au-delà des startupers, la révolution numérique dans le monde public aura-t-elle ses écoles, ses trajectoires professionnelles nouvelles, et pas seulement des directeurs des systèmes d’information (DSI) et des data scientists, évidemment indispensables.

Les développements des algorithmes et de l’IA appellent des compétences de stratégie, de management du changement et d’innovation globale. Je plaide aussi pour des formations hybrides sciences humaines et sociales (SHS)/informatique, sciences politiques et data…

Les laboratoires publics recèlent de grands talents. Il est urgent d’amplifier leurs ressources et leurs capacités de calcul. Le supercalculateur Jean Zay du CNRS figure parmi ces atouts très largement dédiés à tous les champs de l’IA qui peuvent fidéliser des chercheurs en France (sans minimiser son empreinte énorme : la chaleur produite correspond à la couverture thermique de 1 000 logements). Il entraîne Bloom, un modèle de traitement de langage naturel qui tente de jouer dans la cour des grands en open source et pour de l’IA responsable. À suivre…, car déserter ou minimiser excessivement l’IA serait une faute lourde pour la France, comme de ne pas créer des lieux indépendants pour penser son avenir.

Daniel Le Métayer – En plus de la formation, il est essentiel de disposer de structures susceptibles d’accueillir des experts au sein des services de l’État. À cet égard, une initiative comme le programme Entrepreneurs d’intérêt général de la DINUM (Direction interministérielle du numérique), qui est analysée dans notre ouvrage, est à encourager. D’autres structures sont en train de monter en compétences sur l’IA. Sur le volet contrôle, on peut citer notamment le Pôle d’expertise de la régulation numérique (PEReN)² et la CNIL qui sont également présentées dans l’ouvrage.

Comment mieux maîtriser l’intelligence artificielle au service de l’action publique ? J’ai posé cette question à la dernière version de ChatGPT, l’IA générative d’OpenAI³, et voilà sa réponse résumée en six priorités : éduquer les décideurs politiques et les professionnels sur l’IA ; développer des stratégies pour utiliser de manière éthique et responsable ; mettre en place des réglementations pour encadrer l’utilisation de l’IA ; favoriser la transparence et la responsabilité dans le développement et l’utilisation de l’IA ; créer des partenariats entre la communauté de l’IA et les acteurs de l’action publique ; inclure des représentants de diverses communautés et groupes dans les décisions sur l’utilisation de l’IA. Que vous inspirent ces éléments de réponse ?

Christian Paul – Trop fort ChatGPT ! Il produit ici une réponse nourrie de bonnes références, sans entrer dans les détails. Il est CNIL-compatible, me semble-t-il. Bien que très formatées, ces réponses font sens. La mesure de l’impact actuel de ce robot, c’est que vous nous invitiez à commenter les réponses de ChatGPT. C’est une première pour moi. D’autres médias réalisent même des interviews du robot en direct ! Sur le fond, il importe de comprendre que ses performances inouïes n’évacuent pas les risques évidents qu’il véhicule au moment où nous parlons. Celles qui viennent en premier sont repérées à l’école et à l’université ! Avant de confier à des robots des tâches de service public, les administrations seraient bien avisées d’en comprendre les ressorts et les biais.

Daniel Le Métayer – Sur le fond, les réponses (sauf l’avant-dernière) ne portent pas sur l’IA dans le domaine public alors que celui-ci pose des questions spécifiques.

En réalité, ChatGPT répond à la question : « Quelles sont les réponses les plus souvent associées à la question suivante sur internet ? » Il est important à mon avis de bien comprendre les limites de ce genre d’outil : il analyse de grandes quantités d’informations pour synthétiser des réponses, mais semble incapable de raisonner et peut répondre de grosses bêtises.

Pour preuve, les quelques questions simples citées par le sociologue Gérald Bronner dans L’Express du 2 février 2023⁴, qui requièrent deux minutes de réflexion et pour lesquelles ChatGPT échoue lamentablement. On a vu aussi dans les réseaux sociaux l’exemple de la devinette : « La mère de Quentin a trois enfants : Riri, Fifi et… ? » À quoi ChatGPT répond Loulou… Microsoft vient d’ailleurs d’annoncer que les premières déclinaisons de ChatGPT seraient son intégration dans le moteur de recherche Bing (pour offrir un dialogue plus naturel) et dans Teams (pour synthétiser des notes de réunion), ce qui semble effectivement des applications adaptées à ce genre d’outil.

Le déploiement de l’IA est encore très progressif dans les services publics, très inégal selon les administrations et souvent expérimental. C’est le constat dressé par les rapporteurs du Conseil d’État en septembre 2022⁵. En est-on encore au même point aujourd’hui ?

Daniel Le Métayer – Il va de soi que la situation n’a pas évolué significativement en quelques mois. L’IA est moins développée dans le domaine public que dans le secteur privé, en effet, mais ce constat n’est pas propre à la France (même si certains pays peuvent être plus avancés sur des sujets spécifiques, comme Singapour sur la ville numérique ou les Pays-Bas en matière de police). Un rapport récent du Centre de recherche de la Commission européenne⁶ faisait le même constat à l’échelle de l’Union européenne : si le nombre de cas recensés n’était pas négligeable (près de 700), les deux tiers en étaient encore en phase expérimentale ou en développement. Étant donné les enjeux particuliers posés par les SIA dans ce domaine, liés notamment aux obligations de services publics (principes d’égalité, de continuité, d’accessibilité, de transparence, de neutralité, de fiabilité, etc.), il n’est pas surprenant, ni scandaleux, que leur déploiement se fasse à un rythme plus mesuré. Le plus important, comme le souligne aussi le rapport en question, est que l’État acquière et maintienne une forte compétence en matière d’IA et d’ingénierie de la donnée, soit pour garder la possibilité de développer ses propres systèmes en interne, pour réduire sa dépendance au secteur privé, soit pour être en mesure d’acheter et de contrôler parfaitement ceux qui sont fournis par des acteurs tiers. Il est en effet primordial que l’État garde une entière maîtrise sur les SIA qu’il déploie.

Christian Paul – Les projets qui n’avancent pas, voire sont enterrés, sont souvent ceux qui présentent des risques pour les libertés. Souvent, ils reviennent par d’autres voies. Il en est ainsi de la reconnaissance faciale, justement entravée par la CNIL, dont on voit d’autres applications en gestation pour prévenir les troubles et détecter les comportements suspects, contenues dans le projet de loi relatif aux Jeux olympiques de 2024. L’identité numérique est un autre domaine de stop and go. Aujourd’hui, l’accès à des services publics numérisés s’obtient via des mots de passe. La pression continue pour des identifications faisant appel à l’IA, jugées plus ergonomiques.

Là encore, c’est dans le processus de fabrication, le design participatif, le refus de l’opacité, la force des contrôles qu’il faut chercher la maîtrise de ces solutions.

Où en sommes-nous de la Stratégie nationale en intelligence artificielle lancée par le président de la République fin mars 2018⁷, dont l’ambition est de positionner la France comme un leader en Europe et dans le monde ? Comment se décline-t-elle dans l’administration ?

Daniel Le Métayer – De gros efforts ont été effectués, aussi bien pour soutenir et structurer la recherche en IA que pour favoriser son adoption au sein des services de l’État. L’action la plus visible sur le plan de la recherche a été la création d’un réseau d’instituts interdisciplinaires d’intelligence artificielle (Instituts 3IA) fortement dotés qui ont vocation à animer l’ensemble de la communauté française dans ce domaine. Comme le rappelle dans notre ouvrage Renaud Vedel, coordonnateur de la Stratégie nationale pour l’intelligence artificielle jusqu’en juillet 2022, 1,5 milliard d’euros supplémentaires ont été accordés au titre du Programme France 2030 lancé l’an dernier, avec un effort primordial sur la formation (700 millions d’euros d’ici à 2025).

Cependant, ces montants restent modestes au regard des sommes considérables investies dans l’IA par des sociétés privées, notamment américaines⁸ (plus de 10 milliards de dollars par OpenAI pour ChatGPT).

Par ailleurs, des domaines prioritaires ont été définis, comme la santé, la mobilité, l’environnement ou la défense, avec des projets phares comme la création du Health Data Hub pour faciliter l’exploitation des données de santé. D’un point de vue organisationnel, il faut également mentionner la création en août 2020 du PEReN qui met à disposition des administrations une expertise pointue dans le domaine de la régulation numérique.

Christian Paul – Là où les acteurs économiques et leurs laboratoires font de grands bonds, la puissance publique avance par petits pas. Ce rapport a émis des propositions pour une politique nationale et européenne. Mais comme souvent en France, le portage politique du numérique reste marginal, une fois les rapports rendus et salués au plus haut niveau.

La suite de la révolution numérique, qu’incarne l’IA, comme ailleurs la transition écologique, réclame des outils de planification intelligente à grande échelle qui n’existent pas, malgré les efforts de coordination interministérielle.

Sur la question de l’éthique de l’IA et de la régulation de ses usages, de plus en plus prégnante aujourd’hui, la France et l’Europe prennent-elles la bonne direction ?

Daniel Le Métayer – Sur le plan juridique, le sujet est d’une actualité brûlante puisqu’un projet de règlement européen dédié à l’IA est en cours de discussion⁹. Il repose sur une démarche d’analyse des risques qui conduit à distinguer trois groupes : les SIA prohibés, les SIA qui présentent des risques importants et qui sont soumis à un certain nombre d’obligations, et les SIA qui ne présentent pas de risques significatifs. La démarche paraît raisonnable compte tenu de la grande variété de SIA. Ce projet présente toutefois de nombreuses lacunes. Il est notamment très en deçà de ce qu’on pourrait espérer sur le plan de la lutte contre les discriminations, comme l’a pointé la Défenseure des droits, et en matière de transparence. Par ailleurs, les citoyens sont quasiment absents de la proposition de règlement alors même que celle-ci prétend promouvoir une IA centrée sur l’humain.

Pour ce qui est de l’éthique, la situation est loin d’être satisfaisante. Les comités d’éthiques existants sont largement inopérants, ils produisent des rapports très généraux sans véritable impact.

Pour mieux prendre en compte la dimension éthique, il faudrait distinguer deux niveaux de discussion : d’une part, quelques questions fondamentales qui correspondent à des choix de société et devraient donner lieu à des débats au niveau national – du genre de ceux qu’organise la Commission nationale du débat public (CNDP) dans le domaine de l’environnement, par exemple –, d’autre part, une méthodologie¹⁰ pour débattre des enjeux spécifiques posés par chaque projet de SIA sensible. En effet, les applications de l’IA étant extrêmement variées, chaque SIA peut poser des enjeux différents qu’il convient d’analyser en tenant compte de tous les éléments du contexte et en impliquant toutes les parties prenantes, et en premier lieu les citoyens concernés. Pour gagner sur ce terrain, l’avenir de l’IA au service de l’État ne saurait se résumer à un débat d’initiés et de spécialistes des algorithmes. Le recours à des comités d’éthique ou des chartes de bonnes conduites ne pourrait suffire quand il s’agit de prendre des décisions comportant de tels enjeux.

Christian Paul – Face aux inquiétudes qui montent, une demande d’IA éthique, responsable, maitrisée est naturellement apparue. Dans le monde public, cela doit être une priorité absolue. Si l’on veut ne pas se contenter de principes vertueux sans applications concrètes, cela crée deux obligations à la France et à l’Europe : d’une part, triompher de l’opacité, de la « boîte noire de l’IA », d’autre part, se doter de puissants moyens d’évaluation des impacts de l’IA. Et l’éthique ne peut être confiée aux États ou aux GAFAM.

À côté d’autorités indépendantes comme la CNIL, nous avons besoin de centres d’expertise neutres et indépendants. La Fondation internet nouvelle génération avait rempli ce rôle pendant 20 ans pour le numérique en France. Le besoin est encore plus criant alors que l’IA se déploie.

Autrement dit, la société civile doit prendre la parole et tenter de… prendre la main.

Comment les collectivités locales peuvent-elles utiliser au mieux les SIA ?

Christian Paul - Les premiers grands domaines applicatifs sont déjà dessinés : la gestion de la ville et les mobilités, les interfaces avec le public, la sécurité, l’environnement. Si les collectivités achètent de l’IA sur étagères, sans projet cohérent et transparent, sans organiser les débats et le contrôle démocratique en amont ou a posteriori, elles iront dans le mur, et l’IA aura son cimetière comme dans les étapes précédentes du numérique. Il faut donc insister là aussi sur la nécessité de compétences internes pour ne pas subir le push des fournisseurs, sur la conduite de projets pour éviter des accidents industriels coûteux connus dans les premiers âges du numérique.

Plutôt que de céder à l’achat compulsif de l’IA et aux effets de modes, les collectivités doivent préparer dès aujourd’hui des stratégies d’intérêts général de long terme et y associer les habitants.

Daniel Le Métayer - De nombreuses applications sont possibles dans le contexte de la « ville intelligente », ou « ville numérique », sujet majeur qui est abordé dans plusieurs contributions de notre ouvrage : analyse des pratiques de mobilité pour améliorer l’offre de transports en commun, des indicateurs de qualité de l’air pour ajuster les mesures de lutte contre la pollution, des volumes de déchets pour optimiser les collectes, etc.  Cependant, il est primordial en effet d’associer dès le début la population à ce genre de projet. Un contre-exemple devenu emblématique est celui de l’ambitieux projet de « Google City » à Toronto qui a finalement été abandonné alors que Sidewalk Labs, filiale d’Alphabet, y avait investi 34 millions d’euros. Ce projet avait été fortement contesté par les habitants, notamment sur la question de la confidentialité des données et du respect de la vie privée.

Comment les SIA vont-ils évoluer dans le futur, notamment dans la fonction publique ?

Christian Paul - D’ores et déjà, trois enjeux se dessinent, à fort impact pour les organisations et les agents publics. D’abord, le remplacement par l’automatisation. L’IA est créditée en général d’une forte capacité de remplacements des humains au travail. Des estimations très contradictoires s’entrechoquent. Dans le monde public, marqué par des traitements de masse, des accueils d’usagers en grand nombre, des décisions quotidiennes innombrables, les promoteurs de l’IA tracent un chemin pour gagner du « temps public. » Le remplacement va s’amplifier dans le contact citoyen, où la déshumanisation des services a fortement commencé. L’IA sera-t-elle plus qualitative ? Les bureaucraties étaient taylorisées au XXème siècle. Au XXIème, la perspective affichée sera la personnalisation des services, espérée des applications de l’IA. Pour autant, si nombre de métiers vont demeurer, les tâches, elles, vont changer. Ensuite, la défiance devant les dérives ira grandissante. Car l’arrivée de l’IA par le haut et par le marché produit déjà des répulsions. Ceci rend encore plus nécessaires les contre-pouvoirs puissants pour obtenir des garanties de loyauté et de transparence. Cette bataille n’est pas perdue, il faut s’y préparer. Enfin, il y aura de l’appétence pour l’IA si elle permet réellement d’optimiser le travail quotidien, c’est-à-dire faciliter, alléger, simplifier. La revendication d’une IA éthique, inclusive, responsable monte déjà au sein de la société, et les services publics doivent s’en saisir au plus vite pour en être les leaders actifs.

Daniel Le Métayer - Je pense aussi que l’IA se développera dans le domaine public comme partout ailleurs parce qu’elle pourra apporter des bénéfices (pour les administrés, les agents ou les décideurs) dont on ne voudra pas se priver. Cependant, tout projet sensible devrait être conditionné à une analyse préalable des avantages et des inconvénients pour toutes les personnes concernées. Par exemple, certains SIA sont rejetés par les agents car ils ont pour effet de réduire leur autonomie.

La question de la fiabilité est aussi cruciale puisque, comme on l’a déjà évoqué avec ChatGPT, elle n’est généralement pas garantie pour un système qui repose sur l’apprentissage automatique. Que se passerait-il par exemple si un utilisateur subissait un préjudice causé par la réponse erronée d’un système conversationnel de l’administration ? 

1. Paul C. et Le Métayer D. (dir.), Maîtriser l’IA au service de l’action publique. Une responsabilité individuelle et collective, 2023, Berger-Levrault, Au fil du débat-Action publique. Ce livre est le troisième titre de la collection Au fil du débat-Action publique créée par la chaire Transformations de l’action publique de Sciences Po Lyon en partenariat avec les éditions Berger-Levrault.
2. Le PEReN est un service à compétence nationale, rattaché au directeur général des entreprises pour sa gestion administrative et financière, et placé sous l’autorité conjointe des ministres chargés de l’Économie, de la Culture et du Numérique, dont les missions et l’organisation sont fixées par le décret n^o 2020-1102 du 31 août 2020.
3. « ChatGPT ouvre-t-il une nouvelle ère ? », www.lemonde.fr 21 janv. 2023 (https://www.lemonde.fr/pixels/visuel/2023/01/21/intelligence-artificielle-chatgpt-ouvre-t-il-une-nouvelle-ere_6158772_4408996.html).
4. Il s’agit de tests proposés par le psychologue Shane Frederick en 2005 pour évaluer des biais cognitifs. Bronner G., « Quand ChatGPT a tout faux au célèbre test de réflexion cognitive », L’Express 2 févr. 2023 (https://www.lexpress.fr/idees-et-debats/quand-chatgpt-a-tout-faux-au-celebre-test-de-reflexion-cognitive-par-gerald-bronner-4KQAVAMQIVAWVP534SDSH33PYU/).
5. Voir « Intelligence artificielle et action publique : où en sont les administrations ? », interview de Thalia Breton et Alexandre Lallet (co-rapporteur.e.s de l’étude du Conseil d’État, Intelligence artificielle et action publique : construire la confiance, servir la performance), www.horizonspublics.fr 10 sept. 2022.
6. European Commission, AI Watch. European Landscape on the Use of Artificial Intellligence by the Public Sector, JRC Science for Policy Report, 2022.
7. Guillaume Avrin a été nommé au poste de coordinateur national pour l’intelligence artificielle le 26 janvier 2023. Il succède à Renaud Vedel.
8. Selon une étude de l’OCDE, les entreprises américaines et chinoises évoluant dans le domaine de l’IA ont capté en 2021 environ 80 % des investissements mondiaux de capital risque dans le secteur.
9. Ce texte est discuté dans plusieurs contributions de notre ouvrage.
10. Nous avons proposé une telle méthodologie dans une note Inria : Castelluccia C. et Le Métayer D., Analyse des impacts de la reconnaissance faciale. Quelques éléments de méthode, 2019, Inria.