Soizic Pénicaud : « Les collectivités ont un pouvoir d’agir sur les systèmes d’IA »

Dans un contexte d'engouement pour l'IA dans les collectivités, quels sont les principaux messages que vous souhaitez faire passer dans votre rapport ?

Notre volonté est d'offrir un document ressource aux agents publics et aux élus. L'idée est de les encourager à se poser les bonnes questions avant d'acquérir ou de mettre en place des outils d'IA.

Le rapport est structuré autour des mythes et des enjeux de l'IA, présentés sous forme de points d'attention. Il ne s'agit pas d'un plaidoyer pour ou contre l'IA, mais d'un guide pour une réflexion éclairée.

Ce rapport n’est pas conçu comme un guide des « pour » et des « contre » de l’IA, mais comme une exploration des points d’attention à garder en tête avant et pendant l’utilisation de ces outils dans les territoires.

Quels sont justement les mythes autour de l’IA que vous déconstruisez dans cette étude ?

Nous en avons identifié quatre. Premier mythe : la neutralité et l'objectivité des systèmes. On a tendance à penser que les algorithmes sont neutres parce qu'ils sont basés sur des mathématiques. En réalité, la subjectivité humaine, voire les biais, sont toujours présents et souvent déplacés. Or, l'exemple de Science Po Bordeaux, qui a modifié son algorithme Parcoursup pour favoriser l'admission d'étudiants boursiers, montre bien que les choix opérés dans la conception d'un algorithme reflètent des orientations politiques. 

Deuxième mythe : la performance infaillible de ces systèmes. L'affaire du logiciel Compas aux États-Unis est révélatrice. Cet algorithme, censé prédire la récidive à partir de 100 paramètres, s'est avéré aussi performant avec seulement deux paramètres très simples.

Troisième mythe : le contrôle humain comme solution miracle face aux limites de l'intelligence artificielle (IA). Ce contrôle humain est souvent un garde-fou moins efficace qu’il pourrait y paraître. Parfois, le contrôle humain se limite à un « coup de tampon ». À titre d’exemple, en décembre 2023, la Cour de Justice de l’Union européenne a statué sur le cas de l’agence de crédit allemande Schufa, qui produit pour les banques un « score de crédit » qui correspond à une estimation de la solvabilité d’un client. Elle a considéré que cet outil constituait une décision entièrement automatisée, car les employés de la banque qui décidaient d’octroyer ou non le crédit se fiaient systématiquement au score attribué par l’outil…

Quatrième mythe déconstruit : l'IA comme solution pour alléger ou améliorer les tâches des agents. Cette vision est souvent trop simpliste, la réalité est plus nuancée.

Les outils d’IA sont souvent mis en avant comme une solution pour optimiser le travail des agents et leur permettre de se consacrer à des tâches plus importantes. Par exemple, une enquête portant sur le secteur privé aux États-Unis a montré que 77% des salariés considéraient que les outils d’IA avaient en réalité augmenté leur charge de travail.

Au-delà de ces mythes, quels sont les enjeux majeurs que vous identifiez ?

Nous avons identifié trois enjeux principaux pour une IA responsable dans les collectivités territoriales. Premier enjeu : les conséquences sur l’environnement et la société. L'IA générative est gourmande en ressources naturelles (eau, minerais, électricité) et productrice de gaz à effet de serre. Elle a aussi des conséquences sur les territoires avec l’implantation de datacenters sans réel débat démocratique. L’IAG repose aussi sur des travailleurs sous-payés dans les pays du Sud. Par exemple, OpenAI a fait appel à des travailleurs au Kenya payés 2 dollars de l’heure. Deuxième enjeu : les risques de cybersécurité et de protection des données personnelles. L'utilisation d'outils d'IA implique de collecter un nombre toujours plus important de données, augmentant le risque de piratage et d'exploitation malveillante. Troisième enjeu : les questions de transparence, de redevabilité et de souveraineté. La transparence est essentielle pour comprendre, débattre et contester les politiques publiques outillées par des algorithmes. La redevabilité implique qu'une entité ou une personne en charge d'un outil d'IA soit responsable de la prévention et de la réparation des éventuels effets néfastes de son utilisation.

Or, peu d'administrations respectent leurs obligations de transparence. Les expérimentations des outils algorithmiques se font souvent dans une certaine opacité, et la modification du travail induite par l'IA n'est ni documentée ni intégrée dans le dialogue social.

Comment imaginez vous la suite de cette étude ?

Avec les Interconnectés, nous travaillons sur un deuxième volet sous la forme d'un carnet d'inspiration. L'idée est de présenter des exemples de bonnes pratiques de collectivités, en France et à l'étranger, pour répondre aux points d'attention soulevés dans le rapport. Nous voulons montrer que, malgré les défis, les collectivités ont un pouvoir d'agir.