L’évaluation : une boucle pour soutenir le projet et non le contrôler

En quoi est-il important de sensibiliser les territoires à l’évaluation ?

L’évaluation est une étape à part entière du cycle d’une politique publique : conception, mise en œuvre et évaluation. Cela ne concerne pas que le domaine de la transition. On peut distinguer deux temps : le suivi tout au long de la mise en œuvre, qui permet de vérifier que l’on va dans la bonne direction ; puis, un temps d’évaluation final où l’on peut consacrer plus de ressources afin de répondre à des questions plus approfondies. Les apprentissages liés à l’évaluation vont alors permettre de nourrir la réflexion sur la suite de la politique évaluée. C’est pourquoi nous parlons de cycle. Mais les démarches de transition sont un peu particulières, dans le sens où elles se rapprochent d’une expérimentation, car le chemin n’est pas forcément tout tracé et la destination est incertaine. L’évaluation permet ainsi d’être attentif et de partager ce qui émerge et les ajustements que l’on fait chemin faisant. C’est ce que nous avons essayé de transmettre lors de notre intervention dans la première phase du parcours en se basant sur notre travail au long cours avec l’agence de l’environnement et de la maîtrise de l’énergie (ADEME) et certains territoires pionniers.

Qu’est-ce que cela implique pour une collectivité de s’engager dans une démarche de transition ?

Il existe plusieurs points fondamentaux qui vont permettre à une collectivité de s’engager dans une démarche de transition, et qui sont notamment relayés dans le cadre du parcours. S’il n’y en avait qu’un seul à retenir, je citerais l’importance de travailler sur les dynamiques de coopération entre acteurs. C’est un invariant des travaux de capitalisation sur ces démarches. Le terme peut paraître un peu abstrait, mais, pour faire simple, un des premiers résultats attendus d’une démarche de transition est de réussir à embarquer un ensemble d’acteurs, qui soit le plus large possible. Cela peut notamment être amorcé par une mise en récits territoriale.

De manière générale, comment travaillez-vous ? Avec quels outils ?

L’évaluation est une démarche à la fois assez normée dans ses étapes (définition d’un référentiel d’évaluation, collecte d’information, analyse et conclusions), mais qui laisse aussi la part belle au travail des évaluateurs pour s’adapter à chaque contexte et tenir les enjeux multiples de la démarche de bout en bout. Les outils fondamentaux de l’évaluateur sont le référentiel d’évaluation (avec les questions et les critères de réussite), la logique d’intervention qui explicite les chaînes de résultats entre ce que l’on fait et nos objectifs afin de rendre la politique évaluable. Pour ce qui est des outils de collecte d’information, ils sont principalement issus des sciences sociales (entretiens, enquêtes, études de cas, etc.).

Un des premiers résultats attendus d’une démarche de transition est de réussir à embarquer un ensemble d’acteurs, qui soit le plus large possible. Cela peut notamment être amorcé par une mise en récit territoriale.

Durant le programme Territoires pilotes qu’avez-vous cherché à évaluer ?

Dès le départ, le périmètre de l’évaluation était centré sur les effets du parcours sur les territoires participants. C’est notre question d’évaluation principale et ce que nous cherchons à évaluer dans le cadre du parcours. Une autre question a émergé lors de la phase de cadrage concernant l’aspect innovant du parcours : en quoi constitue-t-il une nouvelle façon d’accompagner les territoires dans leurs démarches de transition ? Les deux questions sont évidemment très liées, car certains choix réalisés dans la conception du parcours vont déterminer les résultats et ce que l’on peut en attendre dans le cheminement des territoires.

En quoi est-il important que l’évaluateur soit « embarqué » dans l’expérimentation ?

Comme je l’évoquais tout à l’heure, l’évaluation d’une expérimentation nécessite d’être attentif à ce qui émerge. Si les alliés avaient une certaine vision du parcours au départ, ils vont s’adapter aussi chemin faisant, car ils sont, bien sûr, réflexifs sur ce qu’ils sont en train de faire, via les retours des territoires ou l’identification de points durs. En tant qu’évaluateurs, nous sommes très attentifs à cela, car ce sont des apprentissages utiles à capitaliser. Nous essayons aussi de les nourrir tout au long du parcours via les retours des outils de suivi et la création d’espaces de réflexivité entre les acteurs impliqués.

Les territoires avaient-ils la même vision du parcours et les mêmes attentes ?

Nous avons débuté l’évaluation par un temps collectif avec les territoires et les alliés sur leurs attentes vis-à-vis du parcours, notamment afin de nourrir le référentiel d’évaluation. Nous avons identifié certaines thématiques plutôt récurrentes comme la volonté d’échanger et de créer, ou renforcer, les liens avec les acteurs de leur territoire et des autres délégations territoriales. Mais aussi la mise en œuvre de premiers changements dans leur démarche de transition. Le contexte de leur inscription dans le parcours peut fortement varier et a également un impact. Certains d’entre eux avaient pu bénéficier d’un diagnostic en amont par la Fabrique. Il faut aussi prendre en compte qui sont les acteurs moteurs qui ont engagé le territoire dans le parcours (que ce soit des agents ou des élus) ou encore le niveau d’avancement de leur démarche de transition. Ce dernier point était néanmoins plus difficile à cadrer, car certains peuvent avoir des démarches de transition au long cours, mais vont retravailler des éléments majeurs qui peuvent notamment être révélés dans le cadre du diagnostic.

Quel est l’intérêt des études de cas qui sont menées actuellement ?

Après différents temps de structuration de l’évaluation, suivi et collecte d’information, nous menons effectivement des études de cas auprès d’un échantillon de quatre territoires engagés. Cet outil permet d’explorer et d’illustrer la mise en œuvre et les effets du parcours autour d’un cas concret. Il est donc complémentaire des enquêtes également menées dans le cadre du parcours qui, si elles permettent de monter en généralité, n’ont pas cette capacité à remettre le parcours dans un contexte précis.

Est-ce qu’il y a déjà des premiers points saillants qui émergent de l’évaluation du parcours ?

À titre d’exemple – et en lien avec ce que l’on évoquait précédemment sur la façon dont les alliés pensent et ajustent le parcours chemin faisant – j’ai été assez marqué par la manière dont ils ont pu lier les différentes phases entre elles pour aboutir à une vision globale de ce que le parcours devrait permettre pour les territoires. Finalement, les différentes phases sont au service d’un élément clé : mettre en capacité les territoires à porter un regard critique dans l’idéal partagé sur leur démarche de transition. Cela se construit petit à petit au travers de la transmission des fondamentaux lors du tronc commun, du diagnostic réflexif et d’un accompagnement de terrain sur un projet. Je pense que c’est une façon de penser le parcours de manière durable, dans le sens où ces effets ne s’arrêtent pas quand le parcours s’interrompt. Les prochaines étapes de l’évaluation nous permettront de voir dans quelle mesure ce pari est tenu. Se pose notamment des enjeux de la diffusion sur les territoires quand une partie seulement des acteurs participent de manière intensive au parcours.

Un des intérêts de l’évaluation sera d’adapter les prochains parcours en fonction de celle-ci ?

C’est effectivement toujours un des usages attendus de l’évaluation, mais pas seulement. Il s’agit aussi de diffuser plus largement les enseignements de celle-ci à d’autres acteurs qui accompagnent les territoires, notamment au sein de la Fabrique des transitions.

1. https://quadrant-conseil.fr