Vers une intelligence artificielle responsable ?

Le 2 août 2019

Les décisions automatisées envahissent de plus en plus d’aspects de notre quotidien. Des algorithmes et des systèmes d’intelligence artificielle (IA) prennent des choix pour nous pour décider d’une attribution de logement, d’étude, de prêt, etc. Comment s’assurer que ces choix soient équitables, responsables, éthiques ? Qu’ils respectent la loi ? Qu’ils soient transparents quand les logiciels eux-mêmes ne savent pas toujours expliquer les motivations de leurs choix ? Comment anticiper les conséquences sociales des outils que l’on déploie ? Tel est l’enjeu de l’éthique appliquée aux algorithmes.

Résumé

Comment rendre l’intelligence artificielle (IA) et les traitements algorithmiques responsables ? À l’heure où les politiques publiques et les grandes entreprises de la technologie se questionnent sur la responsabilité des calculs, construire des principes éthiques pour la recherche et le développement de ces technologies n’est pas si simple. Le risque, assurément, est de ne proposer que de grands principes, certes vertueux, mais qui peinent à devenir opérationnels. Des comités d’éthiques dépourvus de capacité d’action et déconnectés des modalités d’exécution. Pourtant, des solutions existent pour évaluer l’impact des systèmes sur ceux qu’ils calculent et sur la société : listes de contrôle et matrices d’impacts et d’évaluation, tentent de répondre aux questions de responsabilité et d’équité auxquels les traitements doivent se conformer.

L’enjeu de ces solutions : ouvrir la discussion sur les effets, les biais, les techniques des outils en développement afin de questionner leurs impacts et proposer des perspectives pour y répondre. Et bien sûr rendre concrets les principes généraux de responsabilité en permettant de mieux évaluer les effets des calculs pour améliorer les garanties proposées à ceux qui sont calculés. Des solutions qui permettent aussi de faire sortir la question des calculs de la seule analyse des spécialistes : ce qui n’est pas un petit avantage pour des systèmes qui doivent apprendre à discuter avec ceux qu’ils impactent !

Fruit de la collaboration de plusieurs organismes publics et de chercheurs, la boîte à outils Éthiques et algorithmes propose également une très intéressante matrice d’évaluation pour garantir l’équité algorithmique des outils gouvernementaux. 

Le rapport de la mission Villani, L’intelligence artificielle au service de l’humain (mars 2018)2, s’engageait à « poser un cadre éthique » à l’intelligence artificielle (IA), notamment via un groupe international d’experts en intelligence artificielle (G2IA) qui sera officiellement lancé en août 2019 mais qui a déjà publié une déclaration de valeurs3 très consensuelle en faveur d’une « IA éthique, centrée sur l’humain et fondée sur les droits de la personne ». L’Union européenne a également publié récemment un ensemble de recommandations et de règles4 pour développer des applications d’IA éthiques et responsables. Des principes certes vertueux (et ce d’autant que ni la Chine ni les États-Unis, pourtant leaders dans le domaine, n’ont publié de principes pour orienter leur R&D), mais « tièdes, à courte et vue et délibérément vagues », critique l’éthicien allemand Thomas Metzinger5 qui a participé à la commission qui a planché sur le rapport européen et qui n’hésite pas à parler de « blanchiment éthique » (ethics washing). Pour lui « l’industrie organise et entretient des débats éthiques pour gagner du temps » et retarder toute réglementation qui limiterait ses actions. Les grandes entreprises de la technologie elles-mêmes sont nombreuses à avoir annoncé des comités d’éthiques, à l’image de Google, dont le comité s’est dissous une semaine après son lancement6.

Le risque de comités d’éthiques sans pouvoir

Le risque que se développent partout des comités Théodule, des labels autoréférentiels, des principes éthiques conceptuels un peu déconnectés des réalités opérationnelles est réel. Pour le chercheur autrichien Ben Wagner, directeur du Privacy Lab de l’université de Vienne, créer des comités d’éthiques sans cadres pour rendre leur responsabilité opérationnelle ne mènera pas loin7. Pour l’instant, force est de constater que les employés des grandes entreprises sont ceux qui ont le plus de pouvoir sur ces questions : ce sont des critiques internes qui ont contesté le comité d’éthique de Google, ce sont des critiques internes qui ont poussé l’entreprise à annuler un contrat de surveillance signé avec le Pentagone pour analyser des images de drones… Pour Wagner, pour que les comités d’éthiques fonctionnent, ils ne doivent pas se limiter à émettre des principes généraux, mais proposer des dispositions concrètes pour protéger ces valeurs et disposer de pouvoirs réels leur permettant d’être indépendants des structures qu’ils surveillent. Cela signifie que leur fonctionnement doit être transparent vis-à-vis de l’intérêt public qu’ils défendent par rapport aux institutions qui les ont mis en place et qu’ils doivent pouvoir s’adresser directement au public. Ils doivent être dotés de pouvoirs, comme de droit de veto sur les dispositions ou projets que prennent les entreprises. Pour le chercheur, les chartes et déclarations de principes en tout cas ne suffisent pas. IBM, par exemple, a lancé des initiatives éthiques, ce qui ne l’a pas empêché de travailler à développer des outils de surveillance avec les forces de police des Philippines8. Pour l’instant, l’intérêt des entreprises pour l’éthique ne les a pas empêchés d’accompagner des causes qui ne l’étaient pas.

La question de l’éthique ne se résout donc pas par des boîtes à outils, des principes, des codes de conduite, des cadres, des manifestes et serments… Elle ne consiste pas à appliquer des feuilles de route sur un produit ou à coller des principes sur des pratiques.

« Face aux multiples biais inscrits dans la production même des données utilisées par les algorithmes et les outils d’apprentissage automatisés, le risque est d’exacerber les problèmes plus que de les résoudre », souligne Kate Crawford, cofondatrice de l’AI Now Institute. Pour remédier à ces problèmes, l’AI Now Institute propose un cadre9 pour aider les organismes publics qui souhaitent mettre en place des outils de prise de décision algorithmique. Ce cadre recommande notamment de mettre à contribution la communauté de la recherche et à permettre à ceux que le système calcule de faire appel des décisions prises à leur sujet. L’initiative AI Now a appelé à la fin de l’utilisation de systèmes opaques pour les décisions publiques, afin d’assurer l’équité et la régularité des procédures et se prémunir contre la discrimination. Leurs recommandations invitent les systèmes à respecter le droit d’information du public, à recourir à des examens par des chercheurs indépendants, à améliorer l’expertise des organismes qui les conçoivent et à développer des modalités pour permettre au public de contester les décisions prises. L’initiative recommande aux agences publiques de répertorier et décrire les systèmes de décision automatisés, y compris d’évaluer leur portée et impact. Elle recommande également de mettre en place des modalités d’accès afin que des chercheurs, des experts indépendants, des associations ou des journalistes puissent accéder et évaluer ces systèmes et pour cela doivent s’assurer notamment que leurs fournisseurs privés de systèmes acceptent ces vérifications. Elle souligne également que les agences doivent monter en compétences pour être expertes des systèmes qu’elles mettent en place, notamment pour mieux informer le public, et invite les fournisseurs de solutions à privilégier l’équité, la responsabilité et la transparence dans leurs offres. Cela permettrait également aux organismes publics de développer des procédures de médiation, d’appel ou de réfutation des décisions prises. Obliger les systèmes à publier des analyses d’impact de leurs outils de décision automatisé pourrait enfin permettre au public d’évaluer les outils et la transparence des services.

Mesurer l’impact des systèmes sur l’existence des gens

La question de la mesure d’impact des systèmes d’IA s’inspire des politiques en matière d’évaluation environnementale des projets10. L’idée est de parvenir à évaluer l’efficacité et le caractère discriminatoire des systèmes automatisés en les soumettant à une évaluation publique afin de responsabiliser le producteur d’un traitement automatisé, explorer des alternatives argumentées et mieux expliciter les conséquences des systèmes (un peu comme le propose l’analyse d’impact relative à la protection des données de la CNIL11).

Pour Ben Wagner, pour que les comités d’éthiques fonctionnent, ils ne doivent pas se limiter à émettre des principes généraux, mais proposer des dispositions concrètes pour protéger ces valeurs et disposer de pouvoirs réels leur permettant d’être indépendants des structures qu’ils surveillent.

La recherche en IA travaille à des outils de détection automatique des biais, mais en attendant que les promesses de ces recherches se réalisent, il est nécessaire de trouver d’autres méthodes pour mesurer et limiter l’impact des outils de traitement automatisés qui colonisent les outils de prise de décisions. La mathématicienne américaine Cathy O’Neil, qui s’est fait connaître en dénonçant les dangers de ces outils avec son livre Algorithmes : la bombe à retardement12, a lancé des méthodes d’audit algorithmique pour certifier leur caractère équitable, par exemple, en travaillant avec des entreprises qui proposent des tests de personnalité à l’embauche en les aidant à s’assurer que leurs logiciels ne soient pas discriminants. Pour cela, elle a développé une « matrice éthique », une grille permettant d’évaluer l’impact des outils développés sur les populations qu’ils calculent. Cette matrice propose d’évaluer simplement le risque du traitement en termes d’exactitude, de cohérence, de partialité, de transparence, d’équité, etc. Elle sert avant tout à créer de la conversation pour révéler où se situent les problèmes, via des questions d’une grande simplicité, comme « les algorithmes que nous déployons vont-ils améliorer les processus humains qu’ils remplacent ? », « pour qui l’algorithme échoue-t-il ? ». L’enjeu consiste à répondre à une liste de questions permettant de faire le tour des problèmes qui peuvent se poser.

Des outils pour surveiller les systèmes

Fruit de la collaboration de plusieurs organismes publics et de chercheurs, la boîte à outils Éthiques et algorithmes13 propose également une très intéressante matrice d’évaluation pour garantir l’équité algorithmique des outils gouvernementaux. Une liste de questions permet ainsi aux porteurs de projets algorithmiques d’évaluer l’impact de leurs calculs sur les personnes ou les biens, leurs usages, la responsabilité et les biais. Pour chaque évaluation, les répondants doivent répondre à une série de questions, par exemple, sur la question de l’impact, identifier qui est impacté, le type d’impact (l’accès à un service ou à des biens, notamment), le degré d’impact (identifier si le calcul a un impact mineur ou majeur, comme sur l’accès à un service) et enfin l’échelle de l’impact (à savoir s’il impact peu de gens ou beaucoup, etc.). Le croisement de l’échelle et du degré permet de déterminer la portée de l’impact de l’algorithme.

D’autres grilles permettent ensuite d’interroger le risque d’utilisation des données, afin de s’assurer qu’on utilise des données adaptées au calcul, cohérentes avec les finalités. D’évaluer la perception potentielle du risque à utiliser un tel traitement afin de déterminer un score de risque. L’enjeu de ces grilles consiste à aider les porteurs de projets de traitements automatisés à saisir où sont les risques dans les systèmes qu’ils mettent en place. D’autres questions permettent de mesurer, entre autre, le risque méthodologique, le risque de partir de données biaisées ou le risque d’avoir un outil techniquement biaisé… En réponse aux différents risques identifiés, les auteurs proposent des mesures d’atténuation. Ainsi, si les données d’entraînements se révèlent à risque, le conseil invite à trouver une source de données plus appropriées ! Un conseil un peu basique au final, mais certainement utile pour éviter les pires écueils pour les porteurs de projets algorithmiques.

Nos systèmes, de la responsabilité des systèmes

Depuis 2 ans, la Fondation internet nouvelle génération (Fing) travaille à améliorer la responsabilité sociale des systèmes de calcul, dans le cadre du groupe de travail Nos systèmes. Après avoir présenté des pistes d’innovation pour améliorer l’intelligibilité des traitements (reposant sur la médiation, l’explicabilité, la jouabilité, la symétrie et l’ouverture), la Fing publiera en septembre une matrice pour aider les porteurs de projets à évaluer l’impact social des systèmes automatisés14.

L’enjeu de ces nombreux outils d’analyses (et on en recense des centaines), est bien de rendre concrets les principes généraux de responsabilité et d’équité des systèmes, de s’intéresser à leur exécution concrète, quand les systèmes automatisés reposent avant tout sur des questions d’exécutions et surtout de susciter des discussions pour sensibiliser aux enjeux. Tout choix de traitement, son ordonnancement, repose sur des choix qui doivent être explicités et explicables. Les modalités de calcul pour décider de l’attribution d’un prêt bancaire, d’une place en crèche ou d’une place à l’université varient d’une méthode choisie à une autre et les méthodes retenues ont un impact direct sur ceux qui sont calculés. Tout l’enjeu de ces outils, des audits, des déclarations d’impact, des matrices et des listes de contrôle15 visent à relier les principes à la pratique, à réduire les erreurs et à évaluer les choix faits dans la méthode même du calcul. Le but est de comprendre en amont là où les problèmes risquent de se poser. Et ce n’est pas un petit enjeu.

L’impact du calcul sur la société ne s’imposera pas par ses qualités

En décembre 2017, la direction scolaire publique de la ville de Boston a proposé de changer les horaires du ramassage scolaire pour diminuer le coût du transport. Pour cela, la direction a fait appel à des chercheurs qui ont produit un algorithme pour optimiser le calcul, prenant en compte le temps passé par les élèves dans le bus, l’équité et la contrainte budgétaire, tout en ayant la possibilité de modifier les horaires d’ouverture et de fermeture des écoles. Leur calcul permettait d’économiser quelque 120 bus sur les 650 utilisés chaque jour tout en harmonisant la durée de transport du plus grand nombre d’élèves, notamment de ceux provenant de loin. Leur proposition a été néanmoins abandonnée, face à la fronde des parents et notamment des parents les plus privilégiés qui étaient le plus menacés par l’équité des temps de déplacement. Un exemple qui souligne que les algorithmes, aussi qualitatifs soient-ils, ne prouvent pas leur valeur par eux-mêmes. Un système ne s’impose pas par ses qualités propres et le dialogue avec la société n’est pas réductible. Pour transformer des critères aussi vertueux soient-ils en politique, il ne suffit pas d’améliorer le calcul. Il faut aussi expliquer l’objectif, les critères… Mais même si la communication autour du projet avait été mieux réalisée, cela n’aurait peut-être pas suffi. L’algorithme proposé bouleversait le rythme de vie des familles tant la question des horaires a un impact fort sur la vie des gens. Malgré la qualité de son calcul, l’algorithme a été terrassé par un conflit profondément humain. Un exemple à méditer. Les systèmes de calcul ne s’imposeront pas par leurs qualités propres. L’équité n’est pas une question technique, elle est avant tout politique ! Et elle ne s’imposera pas sans médiation et explication.

  1. Hubert Guillaud est également responsable du groupe de travail « Nos systèmes : pour des systèmes techniques intelligibles, à la Fing »,
  2. Villani C., Donner un sens à l’intelligence artificielle, rapport remis au Gouvernement, mars 2018, www.aiforhumanity.fr
  3. Costes L., « Pour une utilisation responsable de l’intelligence artificielle : déclaration commune du Canada et de la France », actualitesdudroit.fr 16 mai 2019.
  4. Commission européenne, “High-level Expert Group On Artificial Intelligence”, avr. 2019, www.ec.europa.eu
  5. Metzinger T., “Ethics washing made in Europe”, Det Tagesspiegel 7 avr. 2019, www.tagesspiegel.de
  6. Bonaventure L., « Le comité d’éthique de Google sur l’intelligence artificielle n’aura existé qu’une semaine », lemonde.fr 5 avr. 2019.
  7. Wagner B., “Ethics as an Escape from Regulation : From ethics-washing to ethicsshopping ?”, in Hildebrandt M. (dir.), Being Profiling. Cogitas ergo sum, 2018, Amsterdam University Press, www.privacylab.at
  8. Joseph G., “Inside the Video Surveillance Program IBM Built for Philippine Strongman Rodrigo Duterte”, The Intercept_ 20 mars 2019, www.theintercept.com
  9. Reisman D., Schultz J., Crawfort K. et Whittaker M., “Algorithmic Impact Assessments : a Practical Framework for Public Agency Accountability”, AINow avr. 2018,
    https://ainowinstitute.org/aiareport2018.pdf
  10. Voir l’article « Étude d’impact » sur www.fr.wikipedia.org et Ministère de la Transistion écologique et solidaire, « L’évaluation environnementale », ecologique-solidaire. gouv.fr 1er avr. 2019.
  11. CNIL, « Ce qu’il faut savoir sur l’analyse d’impact relative à la protection des données (AIPD) », CNIL.fr 6 nov. 2018,
  12. O’Neil C., Algorithmes : la bombe à retardement, 2019, Les Arènes.
  13. http://ethicstoolkit.ai/
  14. La Fing, « Nos systèmes : les pistes d’innovation. 5 pistes d’innovation pour rendre la complexité des systèmes techniques intelligible », www.fing.org
  15. La technique de la liste de contrôle, imaginée par le chirurgien Atul Gawande pour réduire les erreurs dans les salles d’opération en s’inspirant des listes de contrôle du domaine aérien, permet justement de contrôler que toutes les étapes d’une procédure sont validées. Leur efficacité est liée à leur simplicité.
A retrouver dans le dossier
Par

Hubert Guillaud

Rédacteur en chef

InternetActu.net, le média de la Fondation internet nouvelle génération (Fing)