Comment évaluer l’impact des politiques publiques ?

À la recherche de la causalité pure

Comment ? Les auteurs proposent de comparer la situation des bénéficiaires d’une politique publique à celle qu’elle aurait été en l’absence d’intervention – situation hypothétique appellée « contrefactuelle ». Un chômeur aurait-il retrouvé un emploi sans le stage de formation qu’il a suivi ? Un élève aurait-il eu de meilleurs résultats scolaires dans une classe de taille plus petite ?

L’exercice suppose, d’une part, de choisir des indicateurs pertinents au regard de l’objectif poursuivi – le retour en emploi, les résultats scolaires – et, d’autre part, de neutraliser les biais de sélection – les chômeurs non bénéficiaires du stage, pris pour comparaison, doivent avoir des caractéristiques similaires à celles des bénéficiaires. Quel est l’objectif de ces précautions de rigueur ? Établir une causalité pure et non un simple lien de corrélation entre la politique évaluée et les résultats attendus. Quant au choix de la méthode, il dépend essentiellement des contraintes opérationnelles et de la disponibilité des données. L’expérimentation contrôlée ou aléatoire est souvent privilégiée mais d’autres méthodes sont également courantes, comme la différence de différence, la régression par discontinuité, les variables instrumentales ou le matching.

Généraliser, interpréter et comparer

Les auteurs estiment aussi que, pour aller au-delà de la mesure des impacts sur les seuls bénéficiaires, il est  nécessite souvent d’avoir recours à une approche structurelle, c’est-à-dire faisant appel à une représentation de l’économie, de ses mécanismes et du comportement des agents. L’approche structurelle peut s’avérer utile (et même indispensable) pour simuler la généralisation d’une intervention – l’impact d’une extension du RSA aux moins de 25 ans par exemple. Elle l’est aussi pour interpréter les résultats, c’est-à-dire comprendre les mécanismes économiques à l’œuvre et les quantifier – dit autrement : expliquer les causes des effets mesurés. Attention cependant, les résultats sont très sensibles aux hypothèses qui sous-tendent la représentation du modèle.

Les auteurs propose également une méthode susceptible de fournir des clés de compréhension utiles : l’approche qualitative basée sur des entretiens et de l’observation directe. Complémentaire de l’approche quantitative, elle peut être mobilisée pour comprendre les causes de non-recours à certains dispositifs par exemple ou, plus généralement, celles de résultats mitigés au regard des effets attendus. Enfin, ils mobilisent l’analyse coût-efficacité ou coût-bénéfice  quand il s’agit de comparer entre elles des politiques publiques.

De l’usage des bonnes pratiques

Qu’il s’agisse de mesurer l’impact d’un dispositif sur ses bénéficiaires ou les effets de sa généralisation, d’expliquer les raisons de son échec ou de son succès, ou encore d’en mesurer l’efficience relative, les résultats des évaluations doivent produire des résultats, non seulement rigoureux, mais également compréhensibles par les décideurs et l’opinion publique.

De là, un certain nombre de bonnes pratiques à respecter au cours de l’exercice sont évoquées par les auteurs : s’appuyer sur les travaux disponibles, prendre garde aux limites de chaque méthode, s’interroger sur le caractère transposable des résultats à une population plus large, favoriser la pluridisciplinarité des approches et, enfin, veiller à l’impartialité du commanditaire comme à l’indépendance des évaluateurs.

Parce que l’efficacité des politiques publiques est un enjeu majeur, la loi, lorsqu’elle instaure un nouveau dispositif, pourrait non seulement prévoir son évaluation, mais aussi les moyens nécessaires à cette évaluation… dans les règles de l’art.