L’évaluation des politiques publiques. Entre culture du résultat et apprentissage collectif

L’évaluation des politiques publiques est devenue au fil des ans un thème obligé de tout discours réformateur. L’expression, ce n’est pas un hasard, vient de faire son entrée dans la Constitution1. En ce domaine comme dans d’autres, Nicolas Sarkozy n’est pas avare de déclarations et d’initiatives : création d’un secrétariat d’État à la prospective et à l’évaluation des politiques publiques, projet de réforme de la Cour des comptes, lancement d’une révision générale des politiques publiques (Rgpp) censément fondée sur l’évaluation desdites politiques, sans oublier, de manière plus anecdotique, l’« évaluation » de l’action des ministres par le Premier ministre avec l’aide d’un consultant.

Dans la doctrine réformatrice qui se dégage des déclarations présidentielles, l’évaluation est d’abord une mesure de la performance : il s’agit de soumettre les acteurs publics à l’obligation de démontrer, chiffres à l’appui, l’efficacité de leur action. Annonçant des mesures pour prévenir les accidents liés aux soins en milieu hospitalier, il déclarait encore récemment :

Incantation typiquement sarkozienne qui soulève d’évidentes objections : si l’on se mettait à juger les services hospitaliers à l’aune de tels indicateurs, le risque serait grand de les voir se défausser des cas les plus difficiles.

La nécessité de développer la culture du résultat dans l’administration n’est certes pas contestable. Pas plus que les hommes politiques, les fonctionnaires ne peuvent se soustraire à l’obligation de rendre des comptes. Mais il est illusoire de prétendre évaluer l’efficacité d’une action aux enjeux multiples par des « indicateurs simples ». Lorsqu’il est mal ajusté aux finalités réelles d’un organisme, le souci de la performance génère des pratiques perverses. Les initiatives prises par Nicolas Sarkozy lors de son passage au ministère de l’Intérieur démontrent que l’on dérape vite vers une politique du chiffre qui transforme les indicateurs en objectifs immédiats, au détriment de la patience et de la ténacité nécessaires à l’attaque des problèmes de fond.

Mesurer n’est pas évaluer et, d’autre part, l’évaluation des politiques ne peut se limiter au contrôle exercé sur les services chargés de les mettre en œuvre. Centrée sur les résultats, certes, c’est avant tout une démarche d’analyse et de compréhension partagée qui exige de s’interroger sur la pertinence des objectifs et d’aller voir sur le terrain comment ils sont mis en œuvre. Quand on la réduit à la mesure des résultats, on ne rend pas justice à l’ensemble de ses fonctions potentielles, ni même à la manière dont elle est dès à présent utilisée dans l’administration française. Dans leur diversité, les pratiques d’évaluation témoignent d’évolutions de fond qui ne se résument pas au renforcement du contrôle sur le bon usage de l’argent public. Mieux vaut donc ne pas en rester à l’écume d’une « politique de l’évaluation », dont les effets concrets ne sont pour l’instant guère probants, pour tenter de comprendre ce qui émerge du terrain. Le foisonnement de réflexions, d’initiatives et d’innovations institutionnelles auquel on assiste est un bon révélateur des tendances contradictoires de la gouvernance publique.

Depuis une vingtaine d’années, l’évaluation a connu un indéniable développement dans l’administration et les services publics français. Le secrétaire d’État Éric Besson faisait récemment état de 700 évaluations réalisées chaque année dans les ministères2. Ce chiffre est certes à prendre avec précaution compte tenu de l’imprécision des frontières entre l’évaluation, les études, l’inspection ou l’audit, mais il n’en témoigne pas moins d’un réel dynamisme. Et ce développement n’est pas seulement quantitatif : des observations concordantes suggèrent que la pertinence et la qualité technique des évaluations progressent également3.

Les retombées concrètes de cette révolution silencieuse ne sont pourtant guère évidentes : il ne semble pas que nous soyons mieux gouvernés depuis qu’on prétend évaluer l’action publique. Pour en rester à un constat objectif, l’évaluation reste en marge des débats sur les grands choix politiques. Elle est rarement invoquée par les médias et les leaders d’opinion comme une source d’arguments ayant une pertinence et une fiabilité particulières. Elle n’est pas reconnue comme ayant un rôle spécial à jouer, différent de celui que peuvent jouer les autres formes d’étude, d’expertise et de contrôle.

Le besoin d’éclairage des décisions politiques débouche rarement sur une demande d’évaluation au sens précis du terme. Plusieurs lois votées au cours des dernières années incluent une clause d’évaluation – un article prévoyant qu’elles seront évaluées à une échéance donnée –, mais cette obligation donne le plus souvent lieu à de simples bilans administratifs sans recul ni questionnement critique. Enfin, malgré la réforme budgétaire de 2001 et les objectifs affichés de la révision générale des politiques publiques, l’évaluation n’est pas non plus utilisée comme un instrument d’aide à la préparation du budget de l’État : il existe peu d’exemples convaincants d’influence directe d’une évaluation sur une mesure budgétaire.

Comment rendre compte de ce paradoxe ? Le diagnostic est d’autant plus difficile que le paysage de l’évaluation n’a rien d’un jardin à la française : sous couvert d’évaluation se développent des pratiques fort diverses par leur cadre institutionnel, leur temporalité (ex-ante, ex-post), leurs méthodes et leurs finalités. Au sein des administrations d’État, la création d’unités spécialisées – directions, services ou missions – tend à se généraliser. Les corps d’inspection ministériels développent de leur côté une activité d’évaluation plus ou moins nettement séparée de leurs activités de contrôle, d’audit et de conseil.

Dans quelques cas ont été créés des comités d’évaluation auxquels participent des personnes extérieures à l’administration (experts ou « parties prenantes »). L’évaluation se développe également dans les services déconcentrés de l’État et dans les établissements publics. Enfin, dans l’orbite des principaux ministères, un certain nombre d’instances autonomes ont été créées au fil du temps, dont les compétences mêlent souvent évaluation, audit, expertise et prospective : Agence nationale d’évaluation de l’enseignement supérieur et de la recherche, Haut conseil de l’éducation, Haut conseil de la santé publique, Haute autorité de santé, Conseil national de l’évaluation sociale et médico-sociale, etc.

Qu’il s’agisse des objets (politiques, structures ou pratiques) soumis à examen, du cadre réglementaire de l’évaluation, de son degré d’indépendance vis-à-vis du pouvoir politique ou de ses méthodes, tous les cas de figure existent. L’usage indifférencié du mot évaluation pour qualifier toutes ces pratiques accroît les difficultés : il est en partie à la source d’un quiproquo commode qui permet aux politiques de développer sous couvert d’évaluation diverses formes d’examen de l’activité administrative tout en dénonçant l’insuffisance d’une véritable évaluation des politiques publiques.

Les développements multiformes de l’évaluation et des pratiques d’examen qui lui sont plus ou moins apparentés résultent d’une succession de décisions que l’on aurait du mal à relier à une doctrine unifiée de la modernisation de l’État. S’il est tentant de prendre comme fil conducteur l’application au secteur public d’une philosophie néolibérale axée sur l’autonomie, la performance et le compte rendu, il n’est pas difficile d’identifier d’autres influences.

À la fin des années 1980, sous l’impulsion personnelle de Michel Rocard, l’évaluation des politiques publiques a été promue comme l’un des leviers majeurs de la modernisation de l’État et de la démocratisation des institutions. Cette politique était soutenue par des élites administratives préoccupées par le retard pris par la France en ce domaine. Suite au rapport Viveret4, un ensemble d’organismes a été créé : Commission nationale d’évaluation du revenu minimum d’insertion, Conseil scientifique de l’évaluation, Comité national d’évaluation de la recherche, etc. La notion d’« évaluation démocratique » s’est alors imposée comme une idée novatrice et porteuse de sens tant pour les fonctionnaires réformistes que pour les acteurs de la société civile. L’objectif affiché était de faire de l’évaluation un outil au service du débat démocratique. Il était aussi, surtout pour les gens de gauche, de redonner une légitimité à la dépense publique en montrant qu’elle peut être soumise, comme les transactions marchandes, à une contrainte d’utilité et d’efficacité.

Le bilan de cette politique est mitigé5. Le Conseil scientifique de l’évaluation a été remplacé en 1998 par le Conseil national de l’évaluation, lequel a cessé de fonctionner dès 2002 avant d’être officiellement supprimé en 2008. Une trentaine d’évaluations ont été lancées dans le cadre de cette procédure, jugée trop lourde et peu opérationnelle par le pouvoir politique. Quelques-unes de ces opérations ont pourtant eu un réel impact, à l’exemple de l’évaluation de la filière contrôle-sanction en matière de sécurité routière (2003). Au total, cependant, l’ambition de moderniser le débat démocratique grâce à l’évaluation n’a pas été atteinte.

En dépit de ses effets politiques décevants, la politique Rocard a marqué le début d’une institutionnalisation de l’évaluation au sein de l’administration. Faute de percer dans l’espace public, l’évaluation a pris peu à peu sa place comme outil de pilotage des politiques. Au plan méthodologique, le Conseil scientifique de l’évaluation a contribué à fixer et populariser un modèle d’évaluation « pluraliste » associant les différentes parties prenantes de la politique évaluée6. Coexistant avec d’autres formes d’évaluation, ce modèle est bien implanté dans les administrations et les collectivités.

L’évaluation joue un grand rôle dans les organisations internationales, pour des raisons faciles à comprendre : besoin de compenser le manque de légitimité démocratique des décisions, manque de vision concrète des terrains sociaux auxquels elles s’appliquent, procéduralisation comme moyen de dépasser l’hétérogénéité des modèles d’action administrative. La Commission européenne en fournit une parfaite illustration : l’évaluation y revêt un caractère systématique dans tous les domaines d’intervention de l’Union. L’évaluation des politiques de développement régional est emblématique du rôle des procédures européennes dans l’évolution des pratiques de gouvernance à l’échelle du continent.

Depuis le traité de Rome, l’aide aux régions souffrant d’un retard de développement est répartie et gérée au niveau européen. En 1988, le règlement communautaire relatif aux programmes financés dans ce cadre (les « fonds structurels ») a donné le coup d’envoi de l’évaluation en stipulant que l’action communautaire devra faire l’objet d’une « évaluation ex-ante et ex-post destinée à apprécier son impact ». Cette disposition est réellement entrée dans les faits après l’adoption en 1993 d’une directive qui renforce et précise l’injonction d’évaluer. La même année, une circulaire française instituait une procédure d’évaluation des contrats de plan État-régions (devenus depuis contrats de projets), contribuant à faire des régions un pôle de développement de l’évaluation.

Avec plusieurs centaines de rapports d’évaluation produits chaque année, la politique régionale de l’Union européenne est l’une des politiques les plus évaluées dans le monde, et un important marché pour les firmes de conseil. L’obligation réglementaire d’évaluer est d’abord apparue comme une forme déguisée de contrôle de la part de la Commission, mais cette perception s’est modifiée au fil des ans. Les régions européennes se sont emparées du levier européen pour en faire un instrument de bonne gouvernance. L’expérience acquise par les comités régionaux de suivi, non seulement dans l’évaluation mais aussi dans son utilisation pour améliorer en continu la conception et la gestion des programmes, confère à cette procédure un caractère exemplaire. À partir des régions, elle exerce un réel effet d’entraînement sur le développement de l’évaluation dans les pays membres. Le fait est que, dans certaines régions françaises, l’intégration de l’évaluation au processus décisionnel est bien plus réelle et systématique qu’au niveau national.

L’une des caractéristiques notables de l’évaluation à la française est l’importance prise par les instances autonomes créées dans la zone d’influence des ministères. Il est cependant difficile d’en dégager un modèle unique tant leurs statuts et modes de fonctionnement sont divers. La plupart d’entre elles n’ont pas pour mission d’évaluer des politiques mais des établissements sous tutelle et des pratiques professionnelles. L’emploi du mot évaluation ne va d’ailleurs pas de soi pour des procédures d’examen qui s’apparentent à une forme élargie de contrôle de qualité. Dans le domaine social, l’obligation faite aux établissements et associations de procéder à l’évaluation de leur activité sous la supervision du Conseil national de l’évaluation sociale et médico-sociale participe objectivement d’un resserrement de l’emprise gestionnaire de l’État au détriment des logiques institutionnelles et professionnelles qui sont au cœur de leur fonctionnement7. Toutefois, le Conseil national semble soucieux de faire de l’évaluation un outil de valorisation du travail des associations, en évitant de le rabattre sur une forme déguisée de contrôle, d’audit ou de certification8.

Pour autant qu’on puisse en juger, le sens de cette procédure est encore largement ouvert. À travers leur capacité de s’approprier ou non l’évaluation, la question posée est de savoir si les associations sont de simples opérateurs des politiques sociales ou si elles ont les moyens de participer à leur coélaboration. Mutatis mutandis, la question de l’autonomie des milieux professionnels impliqués dans la mise en œuvre d’une politique publique est également au cœur des controverses sur l’évaluation de la recherche scientifique, la création de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (Aeres) en 2006 ayant été dénoncée par les syndicats comme une mainmise du pouvoir politique sur une évaluation jusqu’alors autogérée9 par le monde académique.

La Haute autorité de santé et le Haut conseil de l’éducation incarnent une autre acception du terme évaluation : les objets évalués ne sont pas les établissements, mais les systèmes (système de soins et système éducatif) et les pratiques professionnelles. Les recommandations de ces deux instances s’adressent autant aux professionnels qu’aux pouvoirs publics. Contrairement aux organismes mentionnés ci-dessus, elles ne sont pas perçues par les milieux concernés comme des instances de contrôle. Enfin, seul de son espèce, le Haut conseil de la santé publique a notamment pour mission d’évaluer les politiques de santé publique (c’est-à-dire essentiellement la prévention) et de contribuer à l’élaboration de leurs objectifs.

Par-delà leur diversité, l’existence de ces instances procède de la nécessité pour le pouvoir politique d’instituer des espaces de coproduction et de copilotage de l’action publique. Selon les circonstances politiques et la nature des objets soumis à examiner, l’équilibre entre la tutelle ministérielle et le pouvoir délégué aux milieux professionnels concernés peut considérablement varier. Cette diversité contribue à rendre le système peu lisible, le mot évaluation prenant dans chaque cas un sens particulier.

La loi organique relative aux lois de finances (Lolf) d’août 2001 reflète la volonté du Parlement de s’impliquer plus fortement dans le contrôle et l’évaluation de la dépense publique. La Lolf avait toutefois été précédée de plusieurs initiatives de portée inégale : création d’un office parlementaire d’évaluation des choix scientifiques et techniques (1982), de deux offices parlementaires d’évaluation des politiques et des lois (1997), d’une mission d’évaluation et de contrôle (Mec) à l’Assemblée nationale et d’un comité d’évaluation des politiques publiques au Sénat (2000). Dans le même temps se sont multipliées les dispositions législatives exigeant qu’une loi nouvellement votée soit évaluée au bout de quelques années.

Le bilan reste toutefois modeste, comme le reconnaît d’ailleurs un rapport de la Délégation pour la planification du Sénat de juillet 2004 :

Dans la même veine, les auteurs du rapport regrettent que le Parlement soit resté à l’écart des développements intervenus au sein de l’administration :

La réforme budgétaire de 2001 procède d’intentions qui ne sont pas sans rappeler l’expérience déjà ancienne de la rationalisation des choix budgétaires (Rcb) dans les années 1970. L’objectif poursuivi à travers la Rcb était déjà d’allouer les crédits budgétaires au vu d’un examen de l’efficacité comparée des différentes mesures proposées par les ministères. Cette nouvelle tentative s’inscrit toutefois dans une démarche plus cohérente et ses chances de réussite paraissent meilleures. Instruits par l’échec de la Rcb, les promoteurs de la réforme ont modifié les règles de la procédure budgétaire pour inscrire de manière structurelle la préoccupation des résultats au cœur de la discussion parlementaire.

De ce point de vue, l’innovation majeure est le vote des crédits par missions constituées d’un ensemble de programmes (rappelons qu’ils étaient précédemment votés par ministère et nature de dépense). Chaque programme regroupe

Des annexes explicatives relatives à chaque programme sont jointes au projet de loi de finances. On y trouve notamment :

Quelques années après le vote de la Lolf, il apparaît que les obligations de compte rendu instituées par la réforme ne constituent pas en elles-mêmes un mécanisme d’évaluation de l’action publique. Un examen rapide des indicateurs de résultats associés aux programmes montre que la plupart d’entre eux ne renseignent pas sur la pertinence ni sur la réussite des actions et guère plus sur l’efficacité des services11. Comme l’indique le rapport du Sénat déjà cité :

La réforme constitutionnelle de l’été dernier renforce notablement les attributions du Parlement en matière de contrôle de l’action du gouvernement et d’évaluation des politiques publiques13. Tout dépendra de la manière dont il interprétera cette extension de ses missions. Le plus probable est qu’il s’en tiendra à la pratique habituelle des missions d’étude parlementaire. Il serait pourtant plus profitable pour la démocratie que le Parlement participe à la constitution d’un espace d’évaluation autonome en acceptant de ne pas le contrôler totalement.

Lancée fin 2007, la révision générale des politiques publiques (Rgpp) a été présentée comme une version française de la « revue des programmes » entreprise par le gouvernement canadien de 1995 à 1998, période au cours de laquelle les crédits des ministères ont été amputés de 5 % à 40 %. Mais cette comparaison est trompeuse : la réforme canadienne – on aurait aussi pu s’inspirer des exemples suédois et néerlandais – reposait sur un large consensus social et une étroite collaboration entre le ministère des Finances et les ministères dépensiers.

En bonne logique, la réorganisation de l’administration avait commencé par une rationalisation du sommet de l’État : réduction du nombre de ministres et de directeurs d’administration centrale, etc. Par ailleurs, elle s’était appuyée de manière systématique et méthodique sur les études d’évaluation réalisées au sein des différents départements ministériels. Rien de tel avec la Rgpp. Celle-ci se résume à un vaste audit des administrations réalisé par des équipes mixtes de hauts fonctionnaires et de consultants, placées sous la direction de l’inspection des finances. L’opération est pilotée depuis l’Élysée par une petite équipe présidée par Claude Guéant.

Le cadre de la Rgpp s’inspire formellement de la démarche canadienne. L’ensemble des activités et des missions des ministères a été passé au crible sur la base d’un questionnement rigoureux : « Que faisons-nous ? », « Quels sont les besoins et les attentes collectives ? », « Faut-il continuer à faire de la sorte ? », « Qui doit le faire ? », « Qui doit payer ? », « Comment faire mieux et moins cher ? », « Quel scénario de transformation ? ». Toutes ces excellentes questions auraient pu déboucher sur de véritables évaluations de politiques publiques. Mais tel n’a pas été le cas : compte tenu des délais et des objectifs qui leur étaient impartis, les équipes d’audit se sont rapidement focalisées sur les moyens de faire des économies sans prendre le temps de s’interroger sur les objectifs et les priorités de l’action publique, sans recours à de nouveaux travaux d’étude, ni à un véritable débat avec les fonctionnaires des ministères dépensiers.

La question demeure posée, certes, de savoir si, dans le contexte français, une démarche plus participative aurait permis d’aboutir à des réorganisations qui, pour les intéressés, sont presque toujours douloureuses. Il est permis d’en douter, mais cela ne réduit en rien l’exigence de donner aux décisions un fondement plus objectif et plus transparent en s’appuyant sur de véritables évaluations. Compte tenu de la manière dont se déroule l’opération, les évaluations existantes sont utilisées ponctuellement pour étayer et justifier certaines décisions, mais cette prise en compte ne revêt pas le caractère méthodique et systématique des surveys qui permettent de tirer des leçons rigoureuses des travaux d’étude et d’évaluation précédemment réalisés dans un domaine particulier de l’action publique.

Ce ne sont pas là des points de détail : la rationalisation de l’organisation administrative se heurte vite à des limites lorsqu’elle ne s’inscrit pas dans un examen suffisamment large de la cohérence de l’action publique. La mauvaise organisation des services n’est souvent que la conséquence d’orientations politiques brouillonnes et inconséquentes. La Rgpp n’a pas eu l’ambition d’interroger le sens de l’action publique, ni de reformuler ses objectifs. Elle se contente – ce qui, certes, n’est pas inutile – de mettre en évidence des gisements d’économie et, dans quelques cas, de redéfinir pragmatiquement des missions.

Les décisions prises dans le cadre de la Rgpp – formellement décidées par le Conseil de la modernisation des politiques publiques, dirigé par le président de la République – sont souvent justifiées. Un effort de rationalisation administrative a été entrepris, avec des fusions d’organismes et un allégement des formalités imposées aux particuliers et aux entreprises (simplification des délivrances de visas, suppression de la double instruction des demandes de naturalisation, modification de l’organisation du permis de conduire, déjudiciarisation de certaines sanctions aux infractions routières…). La réorganisation des services territoriaux de l’État (fusion des directions départementales de l’équipement et de l’agriculture, fusion des directions régionales de l’équipement et de l’environnement, subordination du préfet de département au préfet de région) était considérée comme inéluctable, sinon toujours souhaitée.

Mais, dans le détail, les conséquences concrètes de ces mesures sont loin d’être maîtrisées. Faute de concertation suffisante, le contrôle des services territoriaux des ministères techniques est devenu l’enjeu d’une bataille ouverte entre les préfets et les administrations parisiennes. Enfin, les décisions prises dans le cadre de la Rgpp ne disent à peu près rien des conditions sociales de leur mise en œuvre. Malgré les avancées du projet de la loi sur la mobilité dans la fonction publique, la gestion des ressources humaines reste le point faible et névralgique de la réforme de l’État. Les conditions ne sont pas réunies qui permettraient de redéployer des fonctionnaires à grande échelle. Cela supposerait un niveau de consensus social qui n’a aucune chance d’être obtenu dans les circonstances politiques actuelles. Or, sans développement de la mobilité, les réorganisations réduisent peu les coûts de fonctionnement. Au total, contrairement aux réformes menées avec succès dans d’autres pays, la Rgpp ne permettra pas de réduire structurellement et durablement les dépenses de l’État.

La Cour des comptes n’a joué jusqu’ici qu’un rôle mineur dans l’évaluation, même si l’impact médiatique des opinions émises dans ses rapports publics peut donner l’impression contraire. Sauf exception, les jugements portés par la Cour sur la pertinence et l’efficacité des politiques sont davantage des sous-produits non contrôlés de ses activités de contrôle que des résultats d’évaluation au sens plein du terme. En novembre 2007, à l’occasion de son bicentenaire, le président de la République a demandé à la Cour d’engager une réflexion collective pour définir ce que pourraient être les pouvoirs, les moyens et l’organisation d’un grand organisme d’audit et d’évaluation des politiques publiques. La loi de juillet 2008 donne à la Cour une mission d’assistance du Gouvernement et du Parlement en matière d’évaluation des politiques publiques, mais il est trop tôt pour mesurer la portée de cette disposition et l’on ignore encore les suites concrètes que Philippe Séguin entend donner à la demande de l’Élysée.

Dans d’autres pays, les organismes supérieurs de contrôle sont des acteurs importants de l’évaluation, même si le type d’évaluation qui s’y développe reste le plus souvent proche de l’audit14. Il est permis de s’interroger sur la capacité de la Cour des comptes française à suivre la même voie. Paradoxalement, handicapée par le statut de magistrat de ses membres, elle aura du mal à diversifier ses approches pour évoluer d’une culture du contrôle de régularité vers une culture de l’analyse scientifique et de la compréhension partagée.

Quelles sont les retombées concrètes du développement de l’évaluation ? Quelle est sa contribution à l’efficacité de l’administration et à la rationalité des décisions politiques ? Il n’existe pas de réponse simple à ces questions. Dans tous les pays, le même constat s’impose : les effets de l’évaluation sont complexes, indirects et donc difficiles à objectiver. On peut cependant faire l’hypothèse que l’impact de l’évaluation est lié à la compréhension du rôle qu’elle peut jouer et à son inscription formelle dans le jeu des pouvoirs.

En dépit de la récurrence de discours officiels affichant la volonté de développer l’évaluation, peu de responsables politiques sont vraiment conscients de ses apports potentiels. Si l’on considère l’évaluation comme un simple moyen de produire de l’information sur l’action publique, il faut bien reconnaître qu’elle ne présente qu’une faible utilité additionnelle par rapport à d’autres sources d’informations telles que les données fournies régulièrement par le système statistique, les études et rapports d’inspection produits de manière routinière par les services administratifs, les enquêtes journalistiques et les dossiers élaborés par les partenaires sociaux et les groupes d’intérêt.

Bien plus, toutes ces informations présentent un double avantage par rapport à l’évaluation : elles n’ont pas la prétention de porter des jugements sur le bien-fondé et la réussite des politiques et, surtout, elles n’engagent en rien les décideurs. Pour les praticiens de l’évaluation, il ne fait aucun doute qu’une démarche rigoureuse, systématique et ouverte au débat est de nature à produire une compréhension approfondie et à déboucher sur des jugements plus solidement étayés que ceux fournis par d’autres formes d’expertise ; mais, pour un utilisateur ordinaire de l’information, habitué à se contenter de vues rapides et superficielles, une évaluation n’est qu’une étude parmi d’autres.

L’exemple de la politique de la ville en fournit une bonne illustration : un grand nombre de recherches et d’évaluations de différents types ont été menées dans ce domaine, avec parfois une réelle utilité pour les acteurs locaux. Cela n’a pas permis de mettre fin aux doutes de l’opinion sur le bien-fondé et l’efficacité de cette politique. Le sentiment général, relayé par les médias et la plupart des discours politiques, est que « cette politique n’a jamais été évaluée ». Le fait est que l’évaluation est incapable d’apporter des arguments décisifs et percutants, susceptibles de mettre un terme aux controverses récurrentes sur l’efficacité des politiques urbaines et sociales dans les quartiers en difficulté. Il existe sur ce sujet un débat continu, nourri par différents apports parmi lesquels les évaluations les mieux conçues ne parviennent pas à s’imposer comme des sources d’informations et d’analyses faisant autorité.

En réalité, seule la prise en compte de ses effets processuels permet de rendre justice à la fécondité de l’évaluation. Le fond de l’affaire est que le poids d’une information et sa capacité à modifier les visions des acteurs dépendent de la manière dont elle est produite. À cet égard, l’apport le plus spécifique de l’évaluation est d’instaurer un partage du droit de questionner les référentiels de l’action publique, clef d’une appropriation collective d’un savoir sur celle-ci.

De quoi parle-t-on quand on parle d’évaluation ? La plupart des gens, journalistes et hommes politiques compris, ne voient guère de différence entre un rapport d’évaluation, un rapport d’étude ou un rapport d’inspection. Pourtant, l’enjeu d’une institutionnalisation de l’évaluation est loin d’être négligeable : si l’on veut bénéficier de tous ses apports potentiels à la démocratie et à l’efficacité administrative, il est nécessaire de l’encadrer par un corpus de règles spécifiques et de lui donner une place reconnue dans le fonctionnement des pouvoirs. Il ne s’agit pas seulement d’assurer la légitimité des conclusions des évaluations, mais également d’en maximiser les effets organisationnels.

Reconnaissons-le, la complexité des débats déontologiques et méthodologiques autour de l’évaluation a de quoi dérouter les non-spécialistes. À suivre les définitions officielles, tout paraît simple : « L’évaluation d’une politique publique a pour objet d’apprécier l’efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre » (décret du 18 novembre 1998 créant le Conseil national de l’évaluation). Cette définition triviale de l’évaluation comme mesure de l’efficacité est cependant peu spécifique, voire trompeuse. Elle décrit mal ce que font réellement les évaluateurs et ne permet guère de clarifier les frontières d’une pratique qui côtoie et recouvre parfois d’autres formes d’examen de l’action publique : audit, contrôle de gestion ou de conformité, analyse de gestion, benchmarking (étalonnage comparatif), conseil, expertise, recherche appliquée, etc.

Tracer des frontières nettes est d’autant plus malaisé que l’évaluation est elle-même diverse, tant par ses finalités, ses méthodes et ses modes d’institutionnalisation que par les types d’objets soumis à son examen15. Pour décrire plus précisément, et de manière plus normative, ce qu’est l’évaluation, il convient de mettre en exergue son intégration formalisée dans les systèmes de décision et/ou de management. Pour résumer, l’évaluation d’une action publique – politique, programme, projet, etc. – consiste en son examen rigoureux dans un cadre institutionnel qui confère une légitimité aux jugements portés, dans le but de rendre des comptes, d’améliorer cette action et d’éclairer toute décision la concernant.

Les débats sur l’évaluation sont structurés depuis des décennies par deux axes d’opposition qui se recoupent partiellement. Sur l’axe politique s’opposent, d’une part, une évaluation externe, à visée « récapitulative », vue comme un élargissement des pratiques habituelles de contrôle à des fins de compte rendu et d’aide à la décision et, d’autre part, une évaluation conduite avant tout pour les besoins des acteurs impliqués dans l’action. À l’extrême, l’évaluation peut être utilisée comme un outil de contestation, une forme de prise de parole collective (empowerment evaluation).

Sur l’axe épistémologique, les controverses opposent les tenants d’une évaluation scientifique, fondée sur des méthodes quantitatives importées des sciences « dures » (expérimentation avec groupe de contrôle aléatoire, modélisation…) et ceux qui doutent de l’applicabilité de ces méthodes aux politiques publiques, préférant s’appuyer sur les méthodes qualitatives et la confrontation des points de vue. Pour simplifier, les premiers voient l’évaluation comme une activité de mesure des résultats d’une action tandis que les seconds mettent l’accent sur la compréhension des processus sociaux et l’élaboration de représentations partagées des problèmes.

En pratique, toutefois, les choix méthodologiques procèdent moins d’a priori théoriques que d’adaptations pragmatiques aux demandes politiques, à la nature des questions examinées et aux ressources disponibles. La rigueur scientifique est bien entendu toujours revendiquée, mais il est rarement possible d’appliquer aux phénomènes sociaux complexes les standards de preuve des sciences exactes. Pour mesurer rigoureusement les effets d’une mesure, il faut en effet que ceux-ci soient suffisamment simples et objectivables (par exemple le retour à l’emploi d’un chômeur) et qu’il soit possible de documenter une situation « contrefactuelle16 ». Même dans ce cas, la lourdeur des protocoles de recueil et de traitement des données à mettre en œuvre est souvent un obstacle dirimant.

En tout état de cause, qu’elle soit « récapitulative » ou « formative », l’évaluation cherche à comprendre « comment ça marche » autant qu’à mesurer des effets. Et cette compréhension n’a d’intérêt qu’en tant qu’elle est partageable. Dire qu’une évaluation est partageable ne veut pas dire qu’elle est toujours et entièrement consensuelle. Même s’il fait l’objet d’une discussion pluraliste, le questionnement est orienté par les besoins d’une autorité politique légitime et les réponses apportées doivent être aussi objectives et fiables que possible.

L’évaluation n’est pas une activité purement scientifique, mais ce n’est pas non plus une négociation. C’est une démarche collective et organisée de construction de jugements pratiques portés en vue d’une action ou d’une décision. Or, tout jugement se cristallise dans un langage. Pour contribuer à la formation d’un jugement, les faits bruts doivent être transformés en arguments. L’évaluation revêt de ce fait un caractère rhétorique, au sens d’une pratique réglée de l’argumentation. Il est suggestif, dans cette perspective, de considérer chaque évaluation comme un procès, modèle type d’une discussion soumise à des règles formelles portant sur le statut, les critères de validité et le poids relatif des arguments.

Dans la conception traditionnelle, weberienne, de l’activité scientifique, celle-ci ne doit pas interférer avec le jeu politique : la constitution d’un savoir scientifique sur la réalité sociale et l’action instrumentale au sein des systèmes sociaux relèvent de logiques différentes, sans interaction ni compromis possible17. L’évaluation, au contraire, tente d’articuler ces deux logiques en prenant acte de leur proximité : chercheurs et acteurs ont en commun de devoir en permanence se livrer à des opérations plus ou moins arbitraires de qualification du réel, de jugement, de construction de représentations, de généralisation, etc. L’activité scientifique est toujours orientée par des présupposés et des finalités et toute pratique sociale complexe comporte un élément de théorisation.

L’un des concepts les plus féconds en matière d’évaluation est celui d’ « évaluation guidée par une théorie » (Theory Driven Evaluation), qui considère les programmes et politiques comme des théories sociales qui demandent à être testées dans chacune de leurs présuppositions. Une politique, en effet, peut être vue comme un ensemble d’hypothèses et de raisonnements reliant des valeurs et des fins à des leviers de changement et à leurs effets souhaités. Ses concepteurs se sont fondés sur un ensemble d’idées – souvent imprégnées d’idéologie – portant sur l’identification de problèmes à résoudre et de mécanismes d’action supposés efficaces.

La mise à l’épreuve de ces idées ne se réduit pas à un diagnostic sur la réussite ou l’échec d’une mesure. Elle passe par l’analyse qualitative de ses mécanismes d’action autant que par la mesure de ses résultats. Il ne s’agit pas seulement de dire si l’on a bien fait, mais de comprendre « comment ça marche » en acquérant au passage une meilleure connaissance des conditions de mise en œuvre des interventions publiques et de la réalité concrète des processus de changement social. Ainsi conçue, l’évaluation va bien au-delà d’un simple contrôle exercé par le pouvoir politique sur l’administration et les opérateurs de l’action publique. Il s’agit rien moins que d’introduire un mécanisme d’apprentissage collectif, une école de pragmatisme, au cœur de la fabrique intellectuelle des politiques.

Ce mécanisme vertueux s’observe le plus nettement dans le cas des politiques « partenariales » conduites sous la responsabilité de plusieurs acteurs autonomes (contrats de projet entre l’État et les régions, contrats urbains de cohésion sociale…). L’évaluation fournit en effet à ceux-ci un cadre pour échanger des informations et confronter leurs objectifs respectifs. Ces acteurs ont certes d’autres occasions de se rencontrer pour discuter, échanger et négocier ; mais, pendant la durée de l’évaluation, ils sont unis par un intérêt commun qui est de comprendre comment et pourquoi les interventions publiques atteignent ou non leurs buts.

Les recommandations formulées à l’occasion d’évaluations pluralistes ont plus de chance d’être applicables et acceptées par les acteurs concernés, et donc de déboucher sur une amélioration des politiques évaluées. Mais l’intérêt de ces démarches ne se limite pas à cela. En offrant aux acteurs et décideurs un forum d’échange, l’évaluation développe une compréhension partagée des enjeux de l’action publique. Or, c’est à travers l’évolution des représentations communes (l’idée que l’on se fait des problèmes à résoudre) que des nouvelles politiques émergent et s’imposent à l’esprit des décideurs. Il n’est donc pas exagéré de dire que l’évaluation pluraliste constitue un nouveau mécanisme d’élaboration des politiques publiques.

Ainsi conçue, l’évaluation participe d’un nouveau régime de gouvernance dans lequel la production des normes de l’action publique est partiellement déléguée aux acteurs et parties prenantes. Mais, et ceci constitue une importante limitation, ce nouveau mode d’élaboration des politiques ne peut jouer son rôle lorsque les problèmes à traiter sont trop urgents ou objets de controverses idéologiques trop aiguës. Les politiques qui donnent lieu à des évaluations pluralistes ne sont généralement pas sur la première page de l’agenda politique.

Les questions les plus controversées et/ou conflictuelles, celles qui sont au cœur du débat public, ne sont pratiquement jamais évaluées de cette manière. Ainsi, la politique de réduction du temps de travail (les 35 heures) a fait l’objet d’une multitude de rapports et de travaux de recherche. Techniquement parlant, c’est un bon thème pour une évaluation pluraliste. Si les gouvernements de droite et de gauche qui se sont succédé n’ont jamais voulu lancer une telle évaluation, c’est sans doute parce le risque est trop grand qu’elle aboutisse à un jugement nuancé qui ne satisferait personne. Qui souhaite vraiment que la question du temps de travail devienne un objet de consensus ?

Cette limitation ne sera jamais totalement surmontée, tant il est vrai que les grandes querelles qui divisent un pays ne peuvent se régler que dans les urnes. Mais le champ des actions soumises à une évaluation pluraliste et transparente pourrait être notablement élargi. Il est actuellement d’autant plus restreint que les procédures d’évaluation des politiques sont en général peu instituées, leur légitimité restant conditionnée au bon vouloir du pouvoir politique.

Comme le note le rapport du Sénat, le développement de l’évaluation au sein de l’administration française s’effectue de manière anarchique, selon des modalités qui ne garantissent ni sa qualité, ni sa visibilité :

Les rédacteurs en concluent que l’institutionnalisation reste la clef d’une utilisation plus large des résultats des évaluations. Ils recommandent pour cela d’ouvrir l’évaluation sur le Parlement et la société civile, de telle sorte que « ses “publics” naturels soient totalement impliqués » dans le choix des thèmes et des questions posées18. L’examen rigoureux, pluraliste et transparent des politiques à fort enjeu pour l’opinion publique ne deviendra possible que lorsque l’évaluation sera pleinement reconnue comme un rouage permanent du jeu démocratique.

Concrètement, le rapport propose de créer, d’une part, des commissions d’évaluations pluralistes dans les grands domaines de l’action publique et, d’autre part, une haute autorité de l’évaluation chargée de garantir la qualité méthodologique et la déontologie des évaluations. On ne peut qu’approuver une telle proposition, mais il est peu probable que les forces politiques soient disposées à élargir à ce point la « zone d’autonomie19 » de l’évaluation.