Enquête : Les cinq clés d’une évaluation réussie des politiques publiques

1 Septembre 2016 , Rédigé par FO Services Publics 51 Publié dans #ACTUALITE

Enquête :

Les cinq clés d’une évaluation réussie des politiques publiques

Le succès d’une évaluation suppose tout à la fois un portage politique fort, une bonne gestion du temps, une connexion rapide à la prise de décision, une ouverture à tous les horizons et de la concertation. Il n’y a plus qu’à… Suite du dossier que consacre toute la semaine Acteurs publics à l’évaluation des politiques publiques.

L’indispensable pilotage politique. Cela s’impose désormais comme une évidence : l’évaluation ne peut aboutir sans pilotage politique fort. Pierre Bauby, directeur de l’Observatoire de l’action publique de la fondation Jean-Jaurès, aime ainsi à le répéter : ce n’est pas aux experts, qu’ils soient des grands corps de l’État ou de telle ou telle institution, de confisquer les processus de l’évaluation et plus largement de la réforme de l’État. Le politique doit s’affranchir de ces acteurs et assumer des choix clairs. Et ce n’est pas toujours le cas, à en croire l’ancien ministre du Budget Alain Lambert, pour qui les politiques en responsabilités ne prennent jamais le contre-pied de leurs administrations. Il est donc indispensable de placer le pilotage d’une évaluation au plus haut niveau.

Certains acteurs regrettent ainsi la fin des comités de pilotage de la Révision générale des politiques publiques et des comités interministériels de modernisation de l’action publique qui leur avaient succédé. Ceux-ci avaient, disent-ils, le mérite de fixer un cap clair. Le portage est d’autant plus nécessaire que les différents acteurs de l’évaluation ont chacun leurs propres méthodes. “Chacun fait de l’évaluation un peu à sa façon en tenant compte de son histoire et de ses propres finalités”,constate le président de la Société française de l’évaluation (SFE), Pierre Savignat. “Les sorties de route arrivent, glisse cet ancien membre de cabinet. On passe une commande à un évaluateur. Quelques mois plus tard, on réalise que la feuille de route n’a pas été suivie et qu’il est parti sur des réflexions un peu hors sol. Bien sûr, ce n’est pas très fréquent, mais il faut parfois procéder à du marquage à la culotte avec des points d’étape réguliers.” Attention toutefois à ne pas empiéter sur l’indépendance de l’évaluation, au risque qu’elle perde toute crédibilité.

“Il est important que ce soit un portage du gouvernement qui signe les lettres de mission, estime la secrétaire générale du secrétariat général pour la modernisation de l’action publique (SGMAP), Laure de La Bretèche. Une évaluation vise à vérifier de quel diagnostic on part et comment on facilite le chemin vers la décision politique par une

réflexion collective sur des scénarios.” Et de rappeler que son secrétariat général est “une administration, et pas une autorité administrative indépendante” : “Nous sommes là pour servir le gouvernement et lui permettre d’évaluer les politiques dont il a la charge,ajoute-t- elle, il serait inacceptable que des évaluateurs se prennent pour le politique. L’étape de la décision ne leur appartient pas.” L’évaluateur ne doit pas se substituer, mais se mettre au service du politique.

Le diagnostic posé, l’évaluation des politiques publiques orchestrée par le SGMAP élabore des scénarios. “Le courage de l’évaluateur, c’est de solliciter les acteurs en responsabilité donc les ministères, souvent, mais aussi ceux qui sont directement intéressés à la transformation, pour voir quelles sont les hypothèses possibles. Il faut faire œuvre utile, avoir une totale lucidité sur les contraintes juridiques, économiques, budgétaires existantes non pour les considérer comme inamovibles mais pour en tenir le plus grand compte”, décrit la secrétaire générale du SGMAP. Mais ces scénarios se doivent d’être “réalistes” et ne doivent pas représenter des “marches trop hautes au sens où ils pourraient, par les moyens qu’ils préconisent, braquer des parties prenantes”. “Donner des scénarios, c’est tenir la promesse d’amener aux politiques des options”, affirme encore Laure de La Bretèche.

“Le fait de proposer des scénarios ne fait pas l’unanimité au sein des évaluateurs, constate pour sa part le président de la Société française de l’évaluation, Pierre Savignat, pour qui la question n’est pas de donner un, mais des scénarios, c’est-à-dire des propositions organisées. Il faut que le volet prospectif soit plus musclé. Une évaluation, c’est un bon diagnostic, une bonne analyse, mais aussi de la prospective”. Pour résumer, une évaluation réussie suppose un portage politique fort, des évaluateurs proposant plusieurs options et des mises en œuvre les plus claires possibles selon le degré d’ambition et le calendrier retenu. Simple, isn’t it ?

Renforcer le lien entre évaluation et prise de décision. Le fil entre évaluations et décisions publiques est parfois si fragile qu’il se rompt. Comme lorsque la généralisation du RSA – un exemple parmi tant d’autres – avait été décidée avant même la fin de son expérimentation. “Les rapports entre l’évaluation et la décision publique ne suivent pas un long fleuve tranquille”, constate la cheffe du service de l’inspection générale des Finances, Marie-Christine Lepetit, dans le récent ouvrage L’État en mode start-up (éditions

Eyrolles). “L’évaluation est parfois une manière pour les pouvoirs publics de se donner le temps, prolonge un ancien de Bercy. Mais ces évaluations déconnectées se font de plus en plus rares. D’autant plus que des évaluateurs comme la Cour des comptes n’hésitent pas à revenir deux ou trois ans après l’évaluation pour vérifier le suivi.”

Reste que le lien entre évaluations et décisions doit être renforcé. Comment ? Laure de La Bretèche est réservée. Ce n’est pas un drame, dit-elle, si le SGMAP n’est pas suivi par le politique : “Je respecte un politique élu qui décide en son âme et conscience de ne pas suivre un scénario. Car il représente des options, un programme validé par une élection. Ce qui me décevrait en revanche, ce serait le non-choix, ce serait que l’on ne fasse rien d’une évaluation”, explique-t-elle.

Par contre, insiste Laure de La Bretèche, “que l’on dise et explicite que cette évaluation est importante mais que certains choix vont à rebours de la proposition, qu’elle a été utile mais qu’on a eu un temps d’avance ou que cela a déjà été fait, c’est normal.” La secrétaire générale cite ainsi l’exemple de la délivrance de titres. “On a pensé à cette évaluation, mais elle a été rattrapée par la décision politique de mettre en place un grand plan. Le ministre de l’Intérieur, Bernard Cazeneuve, a jugé qu’il n’était pas nécessaire d’attendre l’évaluation et il a pris un raccourci.”

De son côté, Pierre Savignat, à la Société française de l’évaluation, se félicite que “les propositions du SGMAP soient classées. Elles font sens avec des éléments de faisabilité précis. Cette méthode accroît les possibilités que l’évaluation serve vraiment dans la décision”, estime-t-il. Et de conclure : “Quand on connaît la lourdeur d’une administration centrale, ce n’est pas une mince affaire d’avoir renversé le paradigme.” Le fil se renforce donc, mais doit encore se solidifier…

Une bonne gestion du temps. En matière d’évaluation, la question du temps est essentielle. La secrétaire générale du SGMAP, Laure de La Bretèche, voit dans “le timing cadencé de sept mois en moyenne pour réaliser une évaluation” la capacité de “transformer en profondeur notre démocratie”. “Il est important qu’on s’inscrive dans des délais soutenables qui correspondent au temps de la décision politique”, même s’il est, explique-t- elle, “clair qu’on n’aura pas tout résolu. Ce serait vain de croire cela. Mais c’est aussi un changement culturel qui s’inscrit dans un temps long”. “Il va y avoir des transformations dans des tempos différents, précise-t-elle. On ne voit ce qu’une évaluation a produit que trois ans après.”

Du côté de France Stratégie, on voudrait “faire comprendre à la fois aux décideurs politiques et aux médias qu’une évaluationex post bien menée prend du temps”. Pour son commissaire général adjoint, Fabrice Lenglart, il existe bel et bien un“problème de timing” : “Vous ne pouvez pas disposer d’un travail d’évaluation six mois après qu’une politique a été mise en place ; il faut disposer de temps pour accéder aux données, puis pour faire appel à des équipes de recherche chargées de mener à bien les travaux.” Aussi, “à France Stratégie, nous sommes complémentaires du SGMAP”, estime-t-il. “Les remontées de données statistiques ne peuvent venir que deux ou trois ans après le démarrage d’une politique”, illustre Fabrice Lenglart, citant l’exemple du crédit d’impôt pour la compétitivité et l’emploi (CICE), qui date de 2013. “Pour évaluer l’effet du CICE, il faut disposer d’un minimum de recul temporel et les données micros relatives à l’année 2014 sont disponibles uniquement depuis 2016. Nous ne pouvons mesurer son impact sur l’emploi ou sur les performances à l’export que maintenant.”

La difficulté est donc d’articuler cette exigence avec le temps politique ou médiatique où on cherche tout de suite à savoir si une politique marche ou pas : “Le bon schéma serait d’évaluer en permanence certains dispositifs mis en place il y a quelques années et qu’il y ait un aller-retour sur l’amélioration du dispositif, sur son amendement, ou sur son abandon au vu de cette évaluation.”

Le commissaire général adjoint estime qu’il reste des “progrès à faire” : “Nous sommes dans notre rôle en exerçant une pression sur les instituts qui produisent de la donnée statistique. Par exemple, pour le CICE, nous sommes intervenus auprès de l’Insee, qui a réussi à gagner six mois sur la mise à disposition des données.”

À l’échelle d’un quinquennat, le moment de la commande politique reste un autre facteur déterminant. L’articulation avec la campagne présidentielle reste mal appréhendée et peut entraîner un déficit de la légitimité de l’évaluation. Une partie de la difficulté provient de la culture autoritaire française qui découle des institutions, juge un ancien conseiller ministériel. “On observe une tendance, explique-t-il.On se dit dans les premiers mois que le Président est élu par tous les Français, qu’il a un programme, que ce n’est plus la peine de discuter.” Pourtant, sur certains thèmes, le Président n’a fait que donner des priorités pendant sa campagne, sans s’avancer sur la manière de les traiter.

Solliciter un large panel d’expertises. L’enjeu étant souvent majeur, il n’est pas question de confier la mise en œuvre de l’évaluation à un seul ou à une poignée de spécialistes. France Stratégie dispose ainsi d’une équipe permanente composée d’économistes, de juristes, de sociologues, de politistes et d’ingénieurs. “C’est une variété plus grande d’expertise que dans d’autres administrations, affirme le commissaire général adjoint, Fabrice Lenglart. Pour nos travaux d’évaluation, nous faisons le choix d’interagir le plus possible avec le monde de la recherche. Dans notre équipe, seules 5 ou 6 personnes sont mobilisées sur des travaux de ce type : le plus souvent, elles animent des comités et font faire des évaluations à des équipes de recherche via des appels d’offres.”

Par exemple, pour le CICE toujours, l’appel à projets a mis en concurrence différentes équipes de recherche dont 3 ont été retenues : le Liepp de Sciences-Po, l’OFCE et la fédération TEPP (travail, emploi et politiques publiques) de l’économiste Yannick

L’Horty. “Ce sont 3 équipes universitaires qui articuleront différentes dimensions et croiseront les approches et les méthodes”, commente Fabrice Lenglart.

Un ancien haut fonctionnaire du SGMAP juge que “celui qui conduit l’évaluation doit être crédible par sa compétence et son indépendance”. Il rappelle que “les ministères ont souvent imposé leurs inspections, avec une méthodologie qui n’est pas forcément la même que celle des évaluations : ils connaissent moins la politique dont on parle”. “On aurait dû davantage recourir à des personnalités extérieures, à des économistes, à des praticiens, à des sages, universitaires”, estime-t-il rétrospectivement. Pour assurer une gouvernance indépendante, analyse-t-il, “il ne faut pas choisir au travers d’une réunion interministérielle, avec le jeu classique des acteurs administratifs, il faut avoir un comité indépendant, des économistes, des praticiens, des chefs d’entreprise, des élus de droite et de gauche”. Alors certes, le pilotage politique est déterminant. Mais l’évaluation en elle-même doit s’ouvrir largement à tous les horizons intellectuels.

Concerter ! A contrario d’une Révision générale des politiques publiques imposée du haut sans grande consultation, les évaluations des politiques publiques lancées depuis deux ans ont associé de nombreux acteurs. “Nous demandons aux ministères d’ouvrir une large concertation avec l’ensemble des acteurs impliqués”, indiquait l’ancien secrétaire d’État à la Réforme de l’État Thierry Mandon en 2014, alors que le gouvernement entendait passer l’ensemble des politiques publiques en revue à marche forcée. Les acteurs impliqués étaient les citoyens et usagers, les associations, les entreprises, les collectivités, les hôpitaux, les agents…

Quel bilan deux ans plus tard ? Certes, de larges consultations ont été organisées. Mais “sur la dimension participative, le bilan est mi-chèvre, mi-chou, constate un haut

fonctionnaire. Parfois, il y a des comités trop larges, parfois pas assez vivants ou transparents dans la conduite des travaux et des résultats”. Le président de la Société française d’évaluation, Pierre Savignat, porte un regard plus positif : “Il y a dix-huit mois encore, les représentants d’administration venaient parler de l’évaluation et certains chefs d’inspection générale n’étaient pas emballés par l’idée d’une participation des

citoyens.” Aujourd’hui, “elles font des évaluations et adaptent leurs méthodes. Dans l’évaluation participative, l’idée est d’associer les citoyens y compris jusqu’au scénario”.

Il faut donc aller plus loin. “Si on a un temps de débat public intégré, si on sait faire rentrer le temps de l’évaluation des politiques, le risque qu’on aura de ne pas oser la transformation sera bien moindre”, acquiesce Laure de La Bretèche au SGMAP. Marc Abadie, directeur des réseaux et des territoires de la Caisse des dépôts et ancien chef de l’inspection générale de l’Administration place Beauvau, est sur la même ligne : “L’évaluation n’est pas une science exacte, c’est aussi un instrument du débat public, rappelle-t-il. Il faut que les décideurs admettent que des gens qui ne sont pas placés dans leurs chaînes hiérarchiques donnent une opinion tout en sachant qu’ils ne sont pas obligés d’y souscrire.” En clair, la consultation renforce la légitimité de l’évaluation. C’est un passage incontournable et une prise de conscience s’opère – enfin ! – dans l’esprit des évaluateurs.

ACTEURS PUBLICS : ARTICLE PUBLIE LE 24 AOÛT 2016 PAR SYLVAIN HENRY

Soazig Le Nevé, Sylvain Henry, Pierre Laberrondo

Partager cet article