Quand l’éducation nationale adopte les méthodes d’expérimentation

Le seul jugement des acteurs, qu’il s’agisse des décideurs, des inspecteurs, des enseignants ou des parents, ne suffit pas à établir la pertinence d’une innovation en éducation. La méthode expérimentale propose de tester, à une échelle plus réduite que celle de l’action publique habituelle, de nouvelles approches pédagogiques ou structurelles conçues afin d’améliorer l’efficacité du système éducatif et d’en mesurer les effets. Cette démarche méthodologique est empirique : elle s’appuie sur un système d’observation et de recueil des données, dont la finalité sera la production de connaissances inédites éclairant l’action et le débat publics.

Dans son acception la plus forte, elle nécessite de pouvoir tirer au sort, parmi un ensemble d’élèves, de classes ou d’établissements, ceux qui – dans un premier temps – bénéficieront de l’innovation éducative et ceux qui n’en bénéficieront pas. Lorsque l’innovation est mise en œuvre en classe, il est également nécessaire de tirer au sort les enseignants, afin de ne pas confondre l’effet de l’innovation avec l’effet de l’enseignant qui la déploie. Pour mesurer précisément l’effet d’un nouveau dispositif ou d’une nouvelle méthode d’enseignement sur les apprentissages, il est en effet indispensable de pouvoir comparer un groupe d’élèves y étant exposés avec un autre groupe d’élèves non exposés, mais présentant des caractéristiques très similaires (par exemple, en termes de niveau scolaire initial, de motivation, d’implication parentale dans la scolarité ou d’exposition à des pratiques enseignantes données – à l’exception de celles induites par l’innovation expérimentée). Ce dernier groupe, appelé « groupe de comparaison », doit permettre de rendre compte des apprentissages qui auraient été mesurés chez le groupe d’élèves bénéficiaires, si ces derniers n’avaient pas bénéficié du nouveau dispositif ou de la nouvelle méthode d’enseignement. La différence de réussite entre les deux groupes fournit une mesure de l’effet causal de l’intervention évaluée. Dans l’approche expérimentale, la comparabilité des groupes est obtenue grâce à la sélection aléatoire des bénéficiaires et des non-bénéficiaires, pour peu que le nombre d’unités tirées au sort soit suffisamment grand (c’est ce que l’on appelle la « loi des grands nombres »).

Le milieu scolaire, un terrain propice à la démarche expérimentale

La crise sanitaire du covid-19 nous a montré, s’il en était encore besoin, que l’École française n’est pas immobile. Du jour au lendemain, la quasi-totalité des enseignants et élèves ont basculé dans l’enseignement et l’apprentissage à distance. Si la mise en œuvre de la continuité pédagogique pendant les périodes de fermeture des établissements scolaires a pu prendre des formes variées selon les environnements scolaires et les contextes d’exercice, les enseignants ont, dans l’ensemble, su préserver le lien avec les élèves ainsi que les communautés d’apprentissage tout en s’assurant que les élèves poursuivent des activités scolaires à la maison afin de maintenir leurs acquis, voire de développer des apprentissages nouveaux². Ils ont ainsi adapté leurs cours, testé de nouveaux outils et modalités d’enseignement, et ont pu réajuster leurs pratiques aux conditions matérielles et besoins de leurs élèves. L’effort consenti n’est pas anodin, car avant la pandémie, les enseignants français se démarquaient par une faible maîtrise du numérique utilisé à des fins pédagogiques, comme le rappelle une note de l’OCDE³. Selon les données de la dernière enquête TALIS (enquête internationale sur l’enseignement et l’apprentissage), en 2018, à peine un professeur des écoles sur dix et un enseignant de collège sur cinq exprimaient une grande capacité à encourager l’apprentissage des élèves à travers le recours à la technologie numérique. Le développement de compétences numériques pour l’enseignement figurait parmi leurs besoins de formation prioritaires.

L’inventivité et la capacité à innover des enseignants malgré les difficultés rencontrées ne sont pas surprenantes. En temps ordinaire, la démarche d’innovation et d’expérimentation fait partie intégrante du métier d’enseignant. L’École n’a de cesse d’être traversée par les bouleversements sociaux, économiques et culturels de la société. Ceux-ci questionnent les identités, finalités et pratiques du métier. Ils amènent les professeurs, de manière isolée dans leur classe et parfois aussi à l’échelle d’une équipe, à innover de façon constante, que ce soit pour répondre aux besoins des élèves comme aux demandes sociétales, pour s’adapter à l’évolution des connaissances dans les disciplines enseignées comme dans les processus d’apprentissage des élèves, ou pour travailler aux côtés de nouveaux partenaires du système éducatif. À première vue, l’École constituerait donc un terrain naturel pour le développement de la méthode expérimentale.

Cette méthodologie exigeante, connue également sous le nom d’expérience contrôlée ou d’évaluation aléatoire, est directement inspirée des essais cliniques dans les sciences médicales. Elle est au cœur des travaux du laboratoire de recherche J-PAL (Abdul Latif Jameel Poverty Action Lab), dont deux des co-fondateurs, Esther Duflo et Abhijit Banerjee, ainsi qu’un chercheur affilié, Michael Kremer, ont reçu le prix Nobel d’économie en 2019. Au lieu de traiter des grandes questions générales souvent objets de débats idéologiques (par exemple, « la politique d’éducation prioritaire est-elle efficace pour réduire les inégalités sociales ? » ou « faut-il donner plus d’autonomie aux établissements scolaires ? »), cette innovation méthodologique propose de répondre à des questions plus précises. Dans cette optique, des actions testées à une échelle réduite, mais dans des contextes d’enseignement et d’apprentissage suffisamment variés, peuvent apporter progressivement des preuves empiriques permettant d’éclairer les orientations à donner à l’action publique.

À la différence des essais cliniques, le placebo n’existe pas dans le cadre des expérimentations sociales. L’art de l’évaluateur consiste donc à minimiser le risque de biais comportementaux pouvant être induits par le dispositif expérimental et amenant à confondre tout ou partie des effets de l’action expérimentée avec des effets psychologiques liés au fait de participer à une expérimentation. Dans la littérature scientifique, ces effets psychologiques sont désignés par les termes « effet Hawthorne » (quand ils affectent le groupe de bénéficiaires) ou « effet John Henry » (quand ils affectent le groupe de comparaison).

Contrairement à une idée répandue, la démarche expérimentale est pilotée par un cadre théorique : l’évaluation doit prévoir une collecte d’informations permettant de lier les résultats à l’intervention testée et de comprendre les mécanismes d’impact sous-jacents. Prenons l’exemple fictif de l’expérimentation d’une nouvelle méthode d’apprentissage de la lecture à laquelle un ensemble d’enseignants seraient formés. Dans ce cas, il serait utile de collecter des informations permettant de répondre à une série de questions du type : « la formation a-t-elle été organisée et suivie ? », « les enseignants ont-ils appris à mettre en œuvre la nouvelle pédagogie ? », « est-elle appliquée en classe ? », « quels changements de pratiques d’enseignement induit-elle ? », « sur quels leviers des apprentissages la méthode agit-elle, le cas échéant ? », « quels sont les effets (à court terme comme à moyen terme) sur les compétences en lecture des élèves ? », etc. La préparation de l’évaluation nécessite donc de bien appréhender la motivation théorique du projet expérimental, d’identifier les besoins auxquels il répond ainsi que les objectifs des actions qui vont être menées et d’expliciter la théorie du changement, c’est-à-dire la chaîne causale par laquelle les effets sont attendus. Avec ce type d’approche, on peut espérer apprendre de l’expérimentation, que celle-ci produise ou non les effets attendus.

La place de la méthode expérimentale dans l’évaluation du système éducatif en France

En France, la méthode expérimentale comme instrument de politique publique a été particulièrement soutenue dans le cadre du FEJ créé en 2008 sous l’impulsion de Martin Hirsch. Le FEJ avait pour originalité de financer, à la fois, des actions innovantes en faveur de la jeunesse et leur évaluation (par un évaluateur externe) afin de fournir aux décideurs des connaissances inédites et solides sur leurs effets, en vue parfois de préfigurer certaines politiques nationales. Il a ainsi permis, en lien avec l’Éducation nationale, de tester et d’évaluer rigoureusement des dispositifs éducatifs innovants et variés, dont certains ont été intégrés aux politiques scolaires depuis, comme la « mallette des parents » visant à améliorer le dialogue entre les parents et l’institution scolaire ou encore les internats d’excellence offrant à des élèves issus de milieux populaires l’opportunité de développer leur potentiel scolaire grâce à une structure et un encadrement renforcés. Une note récente de Roxane Bricet⁴ dresse un bilan des résultats de certaines expérimentations du FEJ menées dans le champ scolaire. Ce travail de synthèse et de mise en perspective des enseignements d’expérimentations mobilisant des leviers parfois très différents est essentiel pour tirer le meilleur parti de l’approche expérimentale au service de la conception des politiques publiques.

Quand la méthode expérimentale ne peut être mise en œuvre, autrement dit quand il n’est pas possible de tirer au sort les bénéficiaires d’une mesure parmi un ensemble d’individus éligibles, les économètres peuvent avoir recours à des méthodologies « quasi-expérimentales » plus complexes que l’évaluation aléatoire et reposant souvent sur des hypothèses plus fortes pour isoler les effets des actions expérimentées (par exemple, Behaghel⁵ pour une introduction non technique à ces méthodes). De manière générale, les méthodologies « quasi-expérimentales » nécessitent d’être soigneusement planifiées afin d’identifier un groupe de comparaison pertinent. Elles peuvent s’avérer plus coûteuses que la méthode expérimentale, car, en l’absence d’un tirage au sort des bénéficiaires et des non-bénéficiaires, les protocoles impliquent souvent de collecter des informations préalables (concernant notamment les compétences initiales des élèves, leur sexe, leur milieu familial) afin d’atténuer les biais de sélection (le fait que le groupe de bénéficiaires ne soit pas comparable au groupe de comparaison).

Comme le rappellent Jean Bérard et Mathieu Valdenaire⁶, le recours à l’expérimentation est souvent présenté comme une piste prometteuse pour rénover l’action publique, mais c’est un coup d’épée dans l’eau si les enseignements des expérimentations ne sont pas fondés sur des données objectives ou s’ils ne sont pas réellement pris en compte. Là où le bât blesse, c’est que, quelle que soit la méthodologie d’évaluation utilisée (aléatoire ou « quasi-expérimentale »), elle doit être pensée le plus en amont possible de la mise en œuvre des actions qui seront évaluées. Pour des raisons diverses, rares sont les exemples de politiques qui sont mises en place avec l’appui préalable de chercheurs ou de services statistiques pour y adosser un protocole d’évaluation rigoureux permettant d’isoler et de mesurer les effets des actions engagées. Très souvent, la question de l’évaluation (et des défis majeurs qu’elle pose) arrive de façon trop tardive, privant le décideur de données les plus fiables possible pour éclairer les politiques publiques.

À cet égard, il faut souligner l’évaluation de la politique de dédoublement de la taille de classe en éducation prioritaire, conduite par la DEPP, le service statistique du ministère chargé de l’Éducation nationale, avec l’appui de chercheurs spécialistes en sciences de l’éducation et en évaluation des politiques publiques. Les collectes de données destinées à mesurer les effets de la politique ont été lancées au moment de la mise en place de la réforme afin de disposer d’un point de référence. Mesure phare du volet éducation du programme d’Emmanuel Macron en 2017, son déploiement ne permettait pas, pour des raisons politiques évidentes, d’envisager une mise en œuvre progressive qui aurait pu justifier à court terme de tirer au sort les premières écoles bénéficiaires de la mesure. Dès 2017-2018, toutes les écoles situées en REP+ ont bénéficié des CP dédoublés. D’un point de vue éthique, le recours à la méthode expérimentale n’était par ailleurs pas justifié au vu des conclusions de la littérature scientifique favorables à ce type de politique (par exemple, Bouguen, Grenet et Gurgand⁷). La DEPP a donc évalué les effets du dédoublement en comparant notamment la progression d’élèves des écoles de REP+ avec celle d’élèves d’écoles de REP au profil scolaire et social proche mais non-bénéficiaires de la réforme.

Si, dans certaines situations, les résultats tirés des méthodes « quasi-expérimentales » peuvent être moins fiables que ceux d’une évaluation aléatoire, les méthodes « quasi-expérimentales » présentent l’intérêt non négligeable de pouvoir se déployer à très grande échelle. L’échelle expérimentale est souvent réduite et ne permet pas, le cas échéant, de révéler tous les problèmes que pourrait poser la mise en place d’une réforme au niveau national. Par exemple, une étude de Jepsen et Rivkin⁸ a montré qu’une politique de réduction de la taille des classes déployée très rapidement en Californie dans les années 1990 avait induit un très fort besoin de recrutement insuffisamment anticipé et in fine l’embauche d’enseignants non qualifiés dans les écoles scolarisant les élèves les plus en difficulté. La politique mise en œuvre dans l’ensemble des écoles de l’État avait en fait généré une mobilité des enseignants expérimentés vers les écoles au profil le plus favorisé, venant annihiler les effets bénéfiques de la réforme dans les autres écoles. Ces effets d’équilibre sont parfois difficiles à identifier. Lorsqu’ils sont anticipés, le protocole expérimental peut toutefois être adapté afin de permettre de les mesurer (par exemple, Crépon et al.⁹ pour une illustration dans le cadre d’une expérimentation dans le domaine de l’emploi).

Les pistes pour favoriser une démarche expérimentale exigeante au service de la réussite scolaire

Lorsqu’elle est rigoureusement déployée, l’évaluation aléatoire parait donc un bon outil pour fournir une mesure fiable des effets d’une innovation éducative, mais elle n’est pas toujours très bien acceptée par les acteurs de terrain. Pour ces derniers, le tirage au sort soulève des enjeux d’ordre éthique, en privant au moins à court terme des bénéficiaires potentiels d’une aide supplémentaire. À cet égard, il convient de rappeler que l’on expérimente une nouvelle approche pédagogique ou structurelle quand ses effets sont inconnus ou incertains de prime abord. La révision constitutionnelle de 2003 a consacré le droit à l’expérimentation : selon l’article 37-1, « la loi et le règlement peuvent comporter, pour un objet et une durée limités, des dispositions à caractère expérimental ». À l’Éducation nationale, le droit à expérimenter en milieu scolaire procède d’un fondement juridique plus ancien encore, puisque la loi Haby de 1975 permettait déjà « la réalisation d’une expérience pédagogique et pour une durée limitée à la conduite de celle-ci, dans des conditions définies par décret ». Depuis 2003, plusieurs lois sur l’École se sont succédées afin de consacrer la place de l’expérimentation et rappeler que l’évaluation est consubstantielle à la méthode expérimentale. Selon le cadre juridique actuel, les écoles ou établissements peuvent, sous réserve de l’autorisation de l’autorité académique et après consultation des équipes concernées, prévoir la réalisation d’expérimentations pédagogiques d’une durée limitée à cinq ans. Quel que soit leur objet (par exemple, l’organisation pédagogique de la classe, l’utilisation du numérique, la répartition annuelle des heures d’enseignement, ou encore les procédures d’orientation des élèves), les projets d’expérimentation doivent intégrer un protocole d’évaluation détaillant, entre autres, les indicateurs envisagés afin de mesurer les effets potentiels des actions testées et les modalités de recueil des données mobilisées à cette fin. Notons toutefois que le cadre juridique n’aborde pas la question incontournable de la méthodologie d’évaluation.

Les enjeux pour l’État sont sans doute, d’une part, de maintenir la dynamique créative à l’œuvre dans les classes et au sein des équipes éducatives, et, d’autre part, de renforcer la relation entre les enseignants et les chercheurs. À l’Éducation nationale, certaines démarches expérimentales locales se sont structurées autour des lieux d’éducation associés (LéA), qui sont des recherches collaboratives fondées sur un questionnement de terrain lié aux besoins des écoles et établissements scolaires impliqués. Les LéA associent, pour une durée de trois ans, l’équipe éducative et une équipe de recherche afin de trouver une réponse commune en créant des ressources pédagogiques et didactiques. L’échelle des LéA étant très réduite, elle ne permet pas nécessairement le déploiement des méthodes d’évaluation aléatoire ou « quasi-expérimentale ». Cependant, ce modèle de recherche-action collaborative est intéressant s’agissant du partenariat qui s’établit entre le monde de la recherche et celui de l’École. Il permet au chercheur de s’appuyer sur l’expertise des praticiens afin de concevoir un protocole d’évaluation plus pertinent. Il engage les équipes des écoles et des établissements scolaires dans des projets expérimentaux répondant à des besoins qu’elles ont identifiés et les associe à la conception des solutions qui vont être testées et évaluées. Cette approche « bottom-up » vient contrer la défiance exprimée par certains acteurs du milieu scolaire à l’égard de projets d’expérimentation pouvant être perçus comme imposés par la hiérarchie, impliquant parfois des acteurs du secteur privé dont la culture est très différente de celle de l’Éducation nationale et amenant certains praticiens à se sentir dépossédés de leur expertise. Les recherches collaboratives de ce type représentent également une opportunité pour former les enseignants aux méthodes et usages de la recherche, leur apprendre notamment à distinguer les pratiques d’enseignement dont l’efficacité repose sur des données solides de celles davantage fondées sur des effets de mode.

Pour être levier de changement au service de la réussite des élèves, l’innovation en éducation doit s’inscrire dans un cadre permettant de produire des connaissances, quelle que soit leur nature, et de les mettre à disposition du praticien, comme du citoyen et du décideur. Un effort de pédagogie reste à conduire pour promouvoir les méthodologies expérimentales les plus exigeantes : tous les indicateurs de résultat ne se valent pas ! L’innovation qui pourrait être attendue au sein de l’État porte finalement autant sur les méthodes de conception et d’évaluation des politiques publiques, que sur la nature des actions proposées pour améliorer l’efficacité du système. Sous sa forme ambitieuse, la méthode expérimentale requiert un temps long. Les résultats d’évaluation ne sont pas toujours disponibles au moment où le décideur pourrait souhaiter s’en saisir. Toutefois, en tant que résultats scientifiques, ils viennent alimenter, par briques successives, une bibliothèque de connaissances inestimable sur le système scolaire et les voies possibles pour améliorer ce dernier !

1. L’auteure de cet article travaille au sein de la direction de l’évaluation, de la prospective et de la performance (DEPP) du ministère chargé de l’Éducation nationale. Elle s’exprime dans cet article à titre personnel et ses propos ne sauraient engager l’administration.
2. Barhoumi M., Blouet L., Charpentier A. et al., « Crise sanitaire de 2020 et continuité pédagogique : les élèves ont appris de manière satisfaisante », Note d’information DEPP 20 juin 2020, https://www.education.gouv.fr/crise-sanitaire-de-2020-et-continuite-pedagogique-les-eleves-ont-appris-de-maniere-satisfaisante-305214
3. OCDE, « Quel est le niveau de préparation des enseignants et des établissements face aux changements provoqués par la pandémie de coronavirus dans l’apprentissage ? », L’enseignement à la loupe 2020, n^o 32, OCDE, https://www.oecd-ilibrary.org/
4. Bricet R., « La place des familles dans les dispositifs de réussite éducative. De la coopération avec les parents à l’éloignement du milieu d’origine », INJEP analyses & synthèses 2020, n^o 42, INJEP, https://www.experimentation-fej.injep.fr/IMG/pdf/ias42_place-des-familles.pdf
5. Behaghel L., Lire l’économétrie, Repères, 2006, La Découverte, https://www. cairn.info/lire-l-econometrie--9782707147486.htm
6. Bérard J. et Valdenaire M., « L’expérimentation pour renouveler les politiques publiques ? », La Vie des idées, 2013, https://laviedesidees.fr/L-experimentation-pour-renouveler-les-politiques-publiques.html
7. Bouguen A., Grenet J. et Gurgand M., « La taille des classes influence-t-elle la réussite scolaire ? », Note IPP 2017, n^o 28, https://www.ipp.eu/publication/n28-la-taille-des-classes-influence-t-elle-la-reussite-scolaire/
8. Jepsen C. et Rivkin S., «Class Size Reduction and Student Achievement. The Potential Tradeoff between Teacher Quality and Class Size », Journal of Human Resources 2009, http://jhr.uwpress.org/content/44/1/223.refs
9. Crépon B., Duflo E., Gurgand M. et al., «Do Labor Market Policies have Displacement Effects ? Evidence from a Clustered Randomized Experiment », The Quarterly Journal of Economics 2013, https://academic.oup.com