Vers une intelligence artificielle responsable ?

Fruit de la collaboration de plusieurs organismes publics et de chercheurs, la boîte à outils Éthiques et algorithmes propose également une très intéressante matrice d’évaluation pour garantir l’équité algorithmique des outils gouvernementaux. 

Le rapport de la mission Villani, L’intelligence artificielle au service de l’humain (mars 2018)², s’engageait à « poser un cadre éthique » à l’intelligence artificielle (IA), notamment via un groupe international d’experts en intelligence artificielle (G2IA) qui sera officiellement lancé en août 2019 mais qui a déjà publié une déclaration de valeurs³ très consensuelle en faveur d’une « IA éthique, centrée sur l’humain et fondée sur les droits de la personne ». L’Union européenne a également publié récemment un ensemble de recommandations et de règles⁴ pour développer des applications d’IA éthiques et responsables. Des principes certes vertueux (et ce d’autant que ni la Chine ni les États-Unis, pourtant leaders dans le domaine, n’ont publié de principes pour orienter leur R&D), mais « tièdes, à courte et vue et délibérément vagues », critique l’éthicien allemand Thomas Metzinger⁵ qui a participé à la commission qui a planché sur le rapport européen et qui n’hésite pas à parler de « blanchiment éthique » (ethics washing). Pour lui « l’industrie organise et entretient des débats éthiques pour gagner du temps » et retarder toute réglementation qui limiterait ses actions. Les grandes entreprises de la technologie elles-mêmes sont nombreuses à avoir annoncé des comités d’éthiques, à l’image de Google, dont le comité s’est dissous une semaine après son lancement⁶.

Le risque de comités d’éthiques sans pouvoir

Le risque que se développent partout des comités Théodule, des labels autoréférentiels, des principes éthiques conceptuels un peu déconnectés des réalités opérationnelles est réel. Pour le chercheur autrichien Ben Wagner, directeur du Privacy Lab de l’université de Vienne, créer des comités d’éthiques sans cadres pour rendre leur responsabilité opérationnelle ne mènera pas loin⁷. Pour l’instant, force est de constater que les employés des grandes entreprises sont ceux qui ont le plus de pouvoir sur ces questions : ce sont des critiques internes qui ont contesté le comité d’éthique de Google, ce sont des critiques internes qui ont poussé l’entreprise à annuler un contrat de surveillance signé avec le Pentagone pour analyser des images de drones… Pour Wagner, pour que les comités d’éthiques fonctionnent, ils ne doivent pas se limiter à émettre des principes généraux, mais proposer des dispositions concrètes pour protéger ces valeurs et disposer de pouvoirs réels leur permettant d’être indépendants des structures qu’ils surveillent. Cela signifie que leur fonctionnement doit être transparent vis-à-vis de l’intérêt public qu’ils défendent par rapport aux institutions qui les ont mis en place et qu’ils doivent pouvoir s’adresser directement au public. Ils doivent être dotés de pouvoirs, comme de droit de veto sur les dispositions ou projets que prennent les entreprises. Pour le chercheur, les chartes et déclarations de principes en tout cas ne suffisent pas. IBM, par exemple, a lancé des initiatives éthiques, ce qui ne l’a pas empêché de travailler à développer des outils de surveillance avec les forces de police des Philippines⁸. Pour l’instant, l’intérêt des entreprises pour l’éthique ne les a pas empêchés d’accompagner des causes qui ne l’étaient pas.

La question de l’éthique ne se résout donc pas par des boîtes à outils, des principes, des codes de conduite, des cadres, des manifestes et serments… Elle ne consiste pas à appliquer des feuilles de route sur un produit ou à coller des principes sur des pratiques.

« Face aux multiples biais inscrits dans la production même des données utilisées par les algorithmes et les outils d’apprentissage automatisés, le risque est d’exacerber les problèmes plus que de les résoudre », souligne Kate Crawford, cofondatrice de l’AI Now Institute. Pour remédier à ces problèmes, l’AI Now Institute propose un cadre⁹ pour aider les organismes publics qui souhaitent mettre en place des outils de prise de décision algorithmique. Ce cadre recommande notamment de mettre à contribution la communauté de la recherche et à permettre à ceux que le système calcule de faire appel des décisions prises à leur sujet. L’initiative AI Now a appelé à la fin de l’utilisation de systèmes opaques pour les décisions publiques, afin d’assurer l’équité et la régularité des procédures et se prémunir contre la discrimination. Leurs recommandations invitent les systèmes à respecter le droit d’information du public, à recourir à des examens par des chercheurs indépendants, à améliorer l’expertise des organismes qui les conçoivent et à développer des modalités pour permettre au public de contester les décisions prises. L’initiative recommande aux agences publiques de répertorier et décrire les systèmes de décision automatisés, y compris d’évaluer leur portée et impact. Elle recommande également de mettre en place des modalités d’accès afin que des chercheurs, des experts indépendants, des associations ou des journalistes puissent accéder et évaluer ces systèmes et pour cela doivent s’assurer notamment que leurs fournisseurs privés de systèmes acceptent ces vérifications. Elle souligne également que les agences doivent monter en compétences pour être expertes des systèmes qu’elles mettent en place, notamment pour mieux informer le public, et invite les fournisseurs de solutions à privilégier l’équité, la responsabilité et la transparence dans leurs offres. Cela permettrait également aux organismes publics de développer des procédures de médiation, d’appel ou de réfutation des décisions prises. Obliger les systèmes à publier des analyses d’impact de leurs outils de décision automatisé pourrait enfin permettre au public d’évaluer les outils et la transparence des services.

Mesurer l’impact des systèmes sur l’existence des gens

La question de la mesure d’impact des systèmes d’IA s’inspire des politiques en matière d’évaluation environnementale des projets¹⁰. L’idée est de parvenir à évaluer l’efficacité et le caractère discriminatoire des systèmes automatisés en les soumettant à une évaluation publique afin de responsabiliser le producteur d’un traitement automatisé, explorer des alternatives argumentées et mieux expliciter les conséquences des systèmes (un peu comme le propose l’analyse d’impact relative à la protection des données de la CNIL¹¹).

Pour Ben Wagner, pour que les comités d’éthiques fonctionnent, ils ne doivent pas se limiter à émettre des principes généraux, mais proposer des dispositions concrètes pour protéger ces valeurs et disposer de pouvoirs réels leur permettant d’être indépendants des structures qu’ils surveillent.

La recherche en IA travaille à des outils de détection automatique des biais, mais en attendant que les promesses de ces recherches se réalisent, il est nécessaire de trouver d’autres méthodes pour mesurer et limiter l’impact des outils de traitement automatisés qui colonisent les outils de prise de décisions. La mathématicienne américaine Cathy O’Neil, qui s’est fait connaître en dénonçant les dangers de ces outils avec son livre Algorithmes : la bombe à retardement¹², a lancé des méthodes d’audit algorithmique pour certifier leur caractère équitable, par exemple, en travaillant avec des entreprises qui proposent des tests de personnalité à l’embauche en les aidant à s’assurer que leurs logiciels ne soient pas discriminants. Pour cela, elle a développé une « matrice éthique », une grille permettant d’évaluer l’impact des outils développés sur les populations qu’ils calculent. Cette matrice propose d’évaluer simplement le risque du traitement en termes d’exactitude, de cohérence, de partialité, de transparence, d’équité, etc. Elle sert avant tout à créer de la conversation pour révéler où se situent les problèmes, via des questions d’une grande simplicité, comme « les algorithmes que nous déployons vont-ils améliorer les processus humains qu’ils remplacent ? », « pour qui l’algorithme échoue-t-il ? ». L’enjeu consiste à répondre à une liste de questions permettant de faire le tour des problèmes qui peuvent se poser.

Des outils pour surveiller les systèmes

Fruit de la collaboration de plusieurs organismes publics et de chercheurs, la boîte à outils Éthiques et algorithmes¹³ propose également une très intéressante matrice d’évaluation pour garantir l’équité algorithmique des outils gouvernementaux. Une liste de questions permet ainsi aux porteurs de projets algorithmiques d’évaluer l’impact de leurs calculs sur les personnes ou les biens, leurs usages, la responsabilité et les biais. Pour chaque évaluation, les répondants doivent répondre à une série de questions, par exemple, sur la question de l’impact, identifier qui est impacté, le type d’impact (l’accès à un service ou à des biens, notamment), le degré d’impact (identifier si le calcul a un impact mineur ou majeur, comme sur l’accès à un service) et enfin l’échelle de l’impact (à savoir s’il impact peu de gens ou beaucoup, etc.). Le croisement de l’échelle et du degré permet de déterminer la portée de l’impact de l’algorithme.

D’autres grilles permettent ensuite d’interroger le risque d’utilisation des données, afin de s’assurer qu’on utilise des données adaptées au calcul, cohérentes avec les finalités. D’évaluer la perception potentielle du risque à utiliser un tel traitement afin de déterminer un score de risque. L’enjeu de ces grilles consiste à aider les porteurs de projets de traitements automatisés à saisir où sont les risques dans les systèmes qu’ils mettent en place. D’autres questions permettent de mesurer, entre autre, le risque méthodologique, le risque de partir de données biaisées ou le risque d’avoir un outil techniquement biaisé… En réponse aux différents risques identifiés, les auteurs proposent des mesures d’atténuation. Ainsi, si les données d’entraînements se révèlent à risque, le conseil invite à trouver une source de données plus appropriées ! Un conseil un peu basique au final, mais certainement utile pour éviter les pires écueils pour les porteurs de projets algorithmiques.

L’enjeu de ces nombreux outils d’analyses (et on en recense des centaines), est bien de rendre concrets les principes généraux de responsabilité et d’équité des systèmes, de s’intéresser à leur exécution concrète, quand les systèmes automatisés reposent avant tout sur des questions d’exécutions et surtout de susciter des discussions pour sensibiliser aux enjeux. Tout choix de traitement, son ordonnancement, repose sur des choix qui doivent être explicités et explicables. Les modalités de calcul pour décider de l’attribution d’un prêt bancaire, d’une place en crèche ou d’une place à l’université varient d’une méthode choisie à une autre et les méthodes retenues ont un impact direct sur ceux qui sont calculés. Tout l’enjeu de ces outils, des audits, des déclarations d’impact, des matrices et des listes de contrôle¹⁵ visent à relier les principes à la pratique, à réduire les erreurs et à évaluer les choix faits dans la méthode même du calcul. Le but est de comprendre en amont là où les problèmes risquent de se poser. Et ce n’est pas un petit enjeu.

1. Hubert Guillaud est également responsable du groupe de travail « Nos systèmes : pour des systèmes techniques intelligibles, à la Fing »,
2. Villani C., Donner un sens à l’intelligence artificielle, rapport remis au Gouvernement, mars 2018, www.aiforhumanity.fr
3. Costes L., « Pour une utilisation responsable de l’intelligence artificielle : déclaration commune du Canada et de la France », actualitesdudroit.fr 16 mai 2019.
4. Commission européenne, “High-level Expert Group On Artificial Intelligence”, avr. 2019, www.ec.europa.eu
5. Metzinger T., “Ethics washing made in Europe”, Det Tagesspiegel 7 avr. 2019, www.tagesspiegel.de
6. Bonaventure L., « Le comité d’éthique de Google sur l’intelligence artificielle n’aura existé qu’une semaine », lemonde.fr 5 avr. 2019.
7. Wagner B., “Ethics as an Escape from Regulation : From ethics-washing to ethicsshopping ?”, in Hildebrandt M. (dir.), Being Profiling. Cogitas ergo sum, 2018, Amsterdam University Press, www.privacylab.at
8. Joseph G., “Inside the Video Surveillance Program IBM Built for Philippine Strongman Rodrigo Duterte”, The Intercept_ 20 mars 2019, www.theintercept.com
9. Reisman D., Schultz J., Crawfort K. et Whittaker M., “Algorithmic Impact Assessments : a Practical Framework for Public Agency Accountability”, AINow avr. 2018,
   https://ainowinstitute.org/aiareport2018.pdf
10. Voir l’article « Étude d’impact » sur www.fr.wikipedia.org et Ministère de la Transistion écologique et solidaire, « L’évaluation environnementale », ecologique-solidaire. gouv.fr 1^er avr. 2019.
11. CNIL, « Ce qu’il faut savoir sur l’analyse d’impact relative à la protection des données (AIPD) », CNIL.fr 6 nov. 2018,
12. O’Neil C., Algorithmes : la bombe à retardement, 2019, Les Arènes.
13. http://ethicstoolkit.ai/
14. La Fing, « Nos systèmes : les pistes d’innovation. 5 pistes d’innovation pour rendre la complexité des systèmes techniques intelligible », www.fing.org
15. La technique de la liste de contrôle, imaginée par le chirurgien Atul Gawande pour réduire les erreurs dans les salles d’opération en s’inspirant des listes de contrôle du domaine aérien, permet justement de contrôler que toutes les étapes d’une procédure sont validées. Leur efficacité est liée à leur simplicité.