Évaluer pour mieux innover ou innover pour mieux évaluer ?

Pourquoi évaluer les dispositifs d’innovation publique ?

Si la motivation originelle de l’évaluation de politiques et dispositifs publics est de rendre compte de l’action publique (DDH, art. 15 : « La société a le droit de demander compte à tout agent public de son administration. »), la fonction essentielle d’une évaluation est aujourd’hui d’être au service de l’amélioration de l’action publique, quelle qu’en soit sa forme : politique nationale, dispositif d’expérimentation, programme local, laboratoire d’innovation, etc.

Le besoin d’évaluation pour les dispositifs et acteurs de l’innovation publique est encore plus criant au regard de la nature même des objets à analyser : le propre d’une innovation ou d’une expérimentation est d’être incertaine, les résultats et impacts qui peuvent en être attendus ont donc besoin d’être vérifiés et appréciés avant une éventuelle généralisation.

Cet enjeu d’évaluation est par nature bien plus fort pour les innovations publiques que pour les innovations technologiques ou sociales produites par le secteur privé. En effet, pour les premières, la loi de l’offre et de la demande ne peut faire office de « juge de paix » sur la plus-value de l’innovation pour les publics ciblés : il est beaucoup moins aisé d’apprécier les effets d’une innovation qui aurait pour objet de simplifier le parcours d’un usager que de mesurer la pénétration d’un nouveau smartphone sur le marché.

Pour autant, même si cela est plus compliqué, il est indispensable de produire des évaluations des innovations publiques pour s’assurer qu’elles ont bien répondu aux besoins des cibles et qu’elles ont atteint leurs objectifs.

Quoi évaluer dans le champ de l’innovation publique ?

Le champ de l’innovation publique est large par définition : elle s’applique tant aux services publics qu’aux politiques publiques ainsi qu’au management des administrations nationales ou territoriales et prend des formes très diverses : prototypages et expérimentations ; lieux d’innovations, comme les laboratoires d’innovations qui se sont développés dans les administrations d’État et collectivités, à l’instar des EAK ; méthodes de travail ; projets collectifs, etc.

En formalisant le raisonnement et en modélisant l’intervention, l’innovation publique devient à la fois débattable et évaluable.

Toutes ces formes d’innovation peuvent faire l’objet d’une évaluation de type politique publique, en s’appuyant sur la théorie du changement qui structure l’innovation. Par « théorie du changement », nous entendons la représentation schématisée de la manière dont le changement est censé se produire par l’introduction de l’innovation. En tant que cadre conceptuel expliquant comment les actions structurant l’innovation sont censées produire un ensemble de résultats pour les bénéficiaires directs qui contribuent à la réalisation des impacts finaux prévus, elle « théorise » l’ensemble des mécanismes de cause à effet de diffusion de l’innovation publique.

Comment évaluer les dispositifs d’innovation ?

L’explicitation de cette théorie du changement qui doit être au cœur du processus d’innovation est la première pierre d’une démarche d’évaluation. En effet, en formalisant le raisonnement et en modélisant l’intervention, l’innovation publique devient à la fois débattable et évaluable. À charge de l’évaluation selon qu’elle soit ex ante (vérification de la robustesse de la théorie du changement), à mi-parcours (identification des premiers résultats et analyse de la mise en œuvre) ou finale (estimation des impacts) d’apporter les éléments de connaissance et d’appréciation sur la pertinence, la cohérence ou l’efficacité de l’innovation publique mise en place.

Rendre évaluable une innovation publique en explicitant sa théorie du changement permet en outre de s’assurer que l’instrumentation du déploiement de l’innovation facilitera son évaluation. Nous avons tous en tête que, pour vérifier le bénéfice d’une innovation médicale, il est indispensable de prévoir en amont un protocole d’expérimentation avec un groupe témoin.

Si la mise en place d’une approche de type essai aléatoire contrôlé n’est pas toujours possible pour une innovation publique, cela ne dédouane pas pour autant de réfléchir au bon protocole d’évaluation, notamment par la construction de questions d’évaluation et la mise en place des indicateurs afférents.

Retour d’expérience de l’évaluation des laboratoires d’innovation publique

La mise en place d’un tel protocole a été réalisée à la demande de la direction interministérielle de la transformation publique (DITP) pour les laboratoires d’innovation publique qu’elle soutenait dans le cadre du fonds « Transition numérique de l’État et modernisation de l’action publique » mis en place en 2014.

Les trois temps de la démarche d’évaluation des laboratoires d’innovation publique

La démarche d’évaluation des laboratoires d’innovation publique est structurée en trois temps :

• la définition du questionnement d’évaluation pour les douze laboratoires soutenus ;
• la construction d’une méthode d’évaluation adaptée ;
• la réalisation d’une première évaluation.

Neuf questions évaluatives ont été identifiées afin de couvrir l’ensemble des interrogations à prendre en compte dans le cadre de l’évaluation de la démarche des laboratoires d’innovation publique. Ces questions se répartissent en deux volets distincts : un volet spécifique décline un questionnement évaluatif identique pour chaque laboratoire et un volet global décline un questionnement évaluatif à portée plus générale.

Au regard de ces questionnements posés par l’évaluation et du test conduit auprès de deux laboratoires, la méthode de collecte et d’analyse a reposé sur des outils qualitatifs et participatifs : entretiens individuels, collectifs ou auprès de non-bénéficiaires ; enquête auprès de bénéficiaires ; zoom qualitatif sur un projet ou un type de projet du laboratoire, et analyse comparative pour positionner les laboratoires d’innovation publique par rapport à d’autres initiatives ou laboratoires d’innovation.

Quels enseignements ?

Les différentes caractéristiques et logiques d’action susmentionnées ont permis d’identifier trois grandes familles de laboratoires d’innovation publique. Les laboratoires avec un modèle d’action :

• intégré et axé sur des problématiques de transformation interne des administrations ;
• également intégré, mais centré davantage sur la transformation externe des politiques publiques portées par les administrations ;
• facilitateur et tourné essentiellement vers la transformation externe des politiques publiques.

L’étude des données disponibles a permis également le recensement d’un total de 94 réalisations de différentes natures :

• des projets concrets et structurants (appelés « chantiers ») qui nécessitent une forte implication du laboratoire ;
• des réalisations courtes pour laquelle l’intervention du laboratoire est plus ponctuelle ;
• des actions de montée en compétences au travers de formations ou d’actions de sensibilisation des agents aux enjeux de la modernisation et de l’innovation publique.

Toutes réalisations confondues, l’analyse du bilan indique que les modèles dits « intégrés » conduisent en moyenne près de deux fois moins d’actions que les modèles dits « facilitateurs ». Ce constat est cohérent au regard de l’investissement différent qu’impliquent les deux modèles d’accompagnement.

Sur l’ensemble des réalisations de ces laboratoires « intégrés », la moitié portent sur la création et l’expérimentation de nouveaux outils (16 actions sur les 33 identifiées). L’appui à la conception innovante de projets constituent le deuxième type de réalisations le plus fréquemment conduit par les laboratoires.

Les projets portés par les laboratoires facilitateurs sont davantage plurithématiques et s’inscrivent sur des temporalités plus courtes : 57 % des projets menés par ceux-ci sont des projets de court terme, contre 39 % pour les laboratoires suivant un modèle intégré. L’analyse de la nature des réalisations des laboratoires facilitateurs indique une plus grande diversification comparativement aux laboratoires suivant un modèle intégré. En effet, si la création et l’expérimentation de nouveaux outils restent la nature d’action dominante, ce type d’actions ne représente toutefois qu’un tiers des réalisations. Par ailleurs, si les chantiers occupent ainsi une place importante dans les activités des laboratoires facilitateurs, les interventions ponctuelles ou les formations représentent une part plus significative de leurs réalisations que les laboratoires intégrés.

Quels bénéfices ?

L’évaluation approfondie conduite sur un échantillon de laboratoires d’innovation publique a débouché sur quatre grands types de recommandations, démontrant la boucle vertueuse entre innovation publique et évaluation.

Sur l’accompagnement des laboratoires :

• sur le plan financier, la nécessité d’accompagner les laboratoires dans la pérennisation de leurs capacités de financement afin de leur permettre de préserver leur approche interservices, interadministrations (risque de retour vers une approche en silo) ;
• sur le plan méthodologique, le besoin d’animer un réseau des acteurs de l’innovation publique (enjeu fort de capitalisation autour des bonnes pratiques et de légitimation de la démarche).

Sur la structuration des laboratoires :

• l’importance de préserver la capacité des laboratoires à disposer d’un lieu dédié ;
• l’indispensable encouragement et sécurisation de la participation des agents aux activités des laboratoires (importance de la sensibilisation des hiérarchies intermédiaires) ;
• le besoin de préserver des modes de gouvernance qui garantissent la liberté d’action et de création des laboratoires.

Sur le périmètre des laboratoires :

• la nécessité d’encourager la dimension « hors les murs » des laboratoires et de déployer leurs activités sur l’ensemble des territoires ;
• ainsi que d’encourager le développement d’initiatives internes en parallèle des laboratoires (et les rapprocher) pour amplifier leurs effets.

Sur la pérennisation de la démarche :

• l’importance de poursuivre l’évaluation des laboratoires et d’en diffuser les résultats pour démontrer et convaincre de leur intérêt (et éviter qu’ils ne « passent de mode »).

L’évaluation des politiques publiques a ainsi été naturellement et régulièrement intégrée aux EAK dans la perspective d’aider les services du département à toujours progresser dans le management des politiques publiques.

Comment innover et diffuser les pratiques d’évaluation grâce aux EAK ?

La question des grandes évolutions sociétales et de l’impact sur la gouvernance territoriale est au cœur des réflexions qui animent le laboratoire d’innovation publique du département des Hauts-de-Seine. Les enjeux liés à l’évaluation des politiques publiques ont été intégrés très tôt dans les pratiques de management de la collectivité, le département ayant été un des premiers à créer un service d’évaluation (la première départementale). En effet, une mission Inspection et évaluation est créée dès 1997 (à titre de comparaison la Société française d’évaluation [SFE] est fondée en 1999) et est renforcée en 2007 avec la mise en place d’une délégation à l’évaluation des politiques publiques et à l’audit en 2007, accompagnée du recrutement de plusieurs chargés d’évaluation ainsi que depuis 2022 d’un pôle Évaluation, accompagnement et audit.

L’évaluation des politiques publiques a ainsi été naturellement et régulièrement intégrée aux EAK dans la perspective d’aider les services du département à toujours progresser dans le management des politiques publiques qu’ils mettent en œuvre. Plusieurs cahiers ont en effet traité directement ou indirectement de cette question (cahier n^o 19, L’ère du management paradoxal ; cahier n^o 21, Comment mesurer et valoriser le bien-être territorial ou encore le cahier n^o 46, L’évaluation participative des politiques publiques). Ce dernier cahier (EAK interne) a notamment permis un regard croisé entre approches méthodologiques de l’évaluation participative et retour d’expérience des services départementaux, de sorte à mieux définir les conditions de la participation à tous les niveaux (élaboration, pendant et ex-post).

Quatre modes d’association des citoyens dans le cadre d’une évaluation de politiques publiques ont ainsi pu être discutés et illustrés par des exemples :

• le citoyen-copilote : des citoyens sont associés aux instances d’évaluation. Ils sont impliqués et contribuent à la supervision de l’ensemble des travaux aux côtés des parties prenantes habituellement concernées (décideurs et opérateurs). Les citoyens ne sont pas là pour faire l’évaluation à la place de l’évaluateur ;
• le citoyen évaluateur : dans ce schéma, il lui est demandé de réaliser l’évaluation de la politique publique en tant que telle ;
• le citoyen-participant : il lui est donné une place à un moment spécifique de l’évaluation, le plus souvent au moment de la collecte de données ;
• le citoyen-juge : le processus d’évaluation est relativement classique, mais à la fin, des citoyens sont associés au jugement et aux propositions. Généralement, le citoyen-juge aura été associé aussi en amont pour qu’il puisse porter un jugement plus éclairé.

Cette typologie d’évaluations citoyennes a permis de souligner les bénéfices en termes de mobilisation pour plus d’efficacité dans l’action, de renforcement de l’exercice de la démocratie dans la politique, de gain en cohésion pour la société, bénéfices essentiels face aux enjeux de fragilisation de l’expression démocratique, de transitions ou encore de performance de l’action publique (au sens de sa capacité à produire du changement). Dans cette perspective de progrès que se fixe le département, un enjeu clé a ainsi pu être discuté : celui de dépasser la seule association des usagers des politiques et services départementaux dans l’évaluation pour aller vers l’implication des habitants du département des Hauts-de-Seine, qu’ils soient usagers ou non.

Un outil essentiel pour une action publique plus impactante

La confrontation entre évaluation et innovation n’est pas toujours aussi fructueuse qu’on pourrait l’imaginer. Bien souvent, la mise en place de ces pratiques se fait de manière indépendante et/ou opportuniste : réfléchir à la fin d’une expérimentation aux indicateurs d’évaluation pour en faire le bilan ou conduire une évaluation sans rechercher à améliorer sa performance en introduisant des innovations que ce soit dans le processus (implication de citoyens, par exemple) ou dans la méthode (utilisation du big data).

Pourtant le potentiel d’amélioration de l’action publique par imbrication systématique des deux démarches est réel, comme nous avons tenté de le mettre en évidence ci-dessus. Le laboratoire d’innovation publique du département des Hauts-de-Seine conjugue aujourd’hui les trois grandes finalités identifiées pour les laboratoires d’innovation soutenus par la DITP (transformation interne de l’administration, transformation externe des politiques publiques et implication des partenaires) après avoir pris conscience que la transformation externe ne pouvait se faire sans un travail prospectif pour faciliter l’innovation interne et transformer l’administration. Ainsi les EAK sont devenus, en organisant un espace de réflexion prospectif et décloisonné pour inspirer l’innovation, un outil essentiel au service d’innovations mieux évaluées et d’évaluations plus innovantes pour une action publique plus impactante.

1. Créé en 2006, Planète publique est une société de conseil qui développe son activité autour de trois champs d’intervention : – l’évaluation de politiques publiques (tous secteurs confondus) ; - l’environnement et le développement durable (eau, énergie, mobilité, biodiversité, déchets, Agenda 21, etc.) ; – l’accompagnement dans les démarches participatives (panel citoyens, conférences citoyennes, etc.).
2. L’association 4D, pour « dossiers et débats pour le développement durable » est un think tank citoyen sur la transition vers un développement durable. Créée après le sommet de la Terre de Rio de 1992, 4D construit un savoir et une expertise sur le développement durable et contribue à faire connaître ses enjeux, vitaux pour le xxi^e siècle. Elle développe son activité à l’international, comme au niveau national et local (www.association4d.org).