Les revues, l’évaluation et l’espace public intellectuel

« Seul ce qui se mesure peut être amélioré » : une telle « évidence » explique le développement d’une nouvelle conception du pilotage de la recherche publique, pour laquelle la publication d’articles de recherches dans les revues savantes devient un indicateur cardinal. En effet, la part des productions françaises dans les publications internationales les plus reconnues est désormais considérée comme un indice majeur du rayonnement de la recherche française. De ce fait, le statut des articles de recherche est en train de se transformer. Elle ne témoigne plus seulement de l’avancée des recherches ou de la maturité d’une réflexion. Elle relève aussi d’une autre finalité, celle d’alimenter les chiffres permettant d’évaluer la qualité du travail du chercheur, de son laboratoire, de son université, d’où une forme de pression à la publication (publish or perish). Comment en est-on arrivé là ? Comment les publications dans les revues de recherche sont-elles devenues des indicateurs de performance ? En quoi cela change-t-il le statut des publications de recherche ? Et surtout, quelle incidence cela a-t-il sur les revues et, au-delà de celles-ci, sur l’ensemble du débat public ?

Il est difficile pour des chercheurs et des universitaires qui ont franchi toutes les étapes de la méritocratie scolaire, et dont la tâche de sélection et de classement est incessante, de contester l’évaluation dans son principe. Les objectifs poursuivis par l’évaluation sont, le plus souvent, reconnus comme légitimes : une bonne allocation des fonds publics, une reconnaissance du travail à sa juste valeur, la limitation de l’arbitraire hiérarchique… Pourquoi alors suscite-t-elle autant de débats ?

Les universitaires ont le sentiment d’un changement profond lié à la réforme actuelle. De fait, on est passé d’une évaluation professionnelle (d’autant plus acceptée qu’elle est une évaluation par les pairs) à une culture de l’évaluation utilisée comme arme de changement institutionnel et d’aiguillon stratégique. L’enjeu est en effet de tenir son rang dans la production internationale de connaissances mais aussi d’attirer des étudiants étrangers (absurdement découragés de venir faire des études en France par les décisions du gouvernement précédent) et de participer au marché académique mondial (très lucratif pour une petite minorité). Cette évaluation pour la compétition, en plein développement, est donc différente de l’évaluation professionnelle renvoyant aux normes de la discussion académique, par définition soustraite aux contraintes de l’urgence et aux usages finalisés.

Mais surtout, elle ne semble pas rendre possibles les confrontations de points de vue qu’elle promet. Au lieu de favoriser les échanges sur les bonnes pratiques, elle crispe les positions, durcit les échanges, exacerbe les inquiétudes. Témoin de cette difficulté, le thème de l’évaluation est le seul ayant conduit à un constat de division parmi les chercheurs du mouvement « Sauvons la recherche ». Lors des assises de la recherche à Grenoble, en octobre 2004, le groupe de travail sur l’évaluation fut le seul à ne pas faire état de ses travaux, alors que le rapport général du colloque sur les difficultés de la recherche française fut, lui, approuvé à l’unanimité1.

Pourquoi le débat promis n’est-il pas au rendez-vous ? L’usage des chiffres y est certainement pour beaucoup.

Présentés comme de simples outils fournissant des signaux utiles à un échange contradictoire, les chiffres, surtout quand ils établissent un rang de classement, finissent par imposer leur évidence et tenir lieu d’argumentaire et de débat : combien d’universités françaises parmi les cent premières mondiales ? La discussion s’arrête souvent au couperet du classement, qui s’impose comme un argument d’autorité. L’évaluation s’impose donc paradoxalement en désarmant la critique2. Elle est de ce fait à la fois incontestable et redoutée, acceptée, le plus souvent, dans son principe mais régulièrement contestée dans les formes de sa mise en œuvre3.

La controverse est également rendue difficile par l’adaptabilité du discours de l’évaluation : par principe, il n’y a pas de critique qu’un évaluateur ne serait heureux de prendre en compte puisqu’il fait profession d’améliorer sans cesse ses procédures. Toutes les critiques étant bienvenues sur les modalités de l’évaluation, un désamorçage anticipé des désaccords est à l’œuvre. C’est ainsi que l’Agence nationale d’évaluation de l’enseignement supérieur et de la recherche (Aeres) se montre volontiers ouverte à la critique, après une première campagne de cinq ans sur l’ensemble des institutions de recherche et d’enseignement supérieur. Un nouveau cycle va s’ouvrir, forcément assez différent du premier, rendant en partie obsolètes les critiques élaborées sur le premier exercice : des procédures trop lourdes, des évaluations portant sur des échelles trop petites (les équipes de recherche au lieu de la stratégie de l’établissement), un usage plus tourné vers la négociation avec les pouvoirs publics que vers la mobilisation en interne, des procédures d’évaluation valorisant la spécialisation monodisciplinaire alors que les objectifs célèbrent à l’inverse la pluridisciplinarité4… Les évaluateurs ne peuvent être que d’accord avec les critiques : il manque des travaux de recherche sur l’évaluation ! Le travail doit demeurer un processus continu, toujours recommencé, toujours adaptable.

Enfin, l’évaluation ne peut pas être un objet d’analyse dépassionné, puisqu’elle n’est pas sans effet sur l’institution. Elle représente elle-même le lieu d’un rapport de force entre collègues, entre laboratoires, entre institutions, exacerbant des rivalités internes qui, pour être souvent déniées, n’en sont pas moins féroces. En somme, elle condense des enjeux de pouvoirs. L’évaluation s’est imposée parmi les outils de l’action publique, elle appartient au répertoire des nouveaux outils de management public, de pilotage des décisions5. Il faut donc saisir la transformation des modes d’action qui l’accompagne6 : dans le cadre de l’autonomie accordée aux universités, elle est symétrique d’un renforcement de l’exécutif, avec un conseil d’administration resserré autour du président doté de prérogatives supplémentaires. Quels que soient les projets de rééquilibrage des pouvoirs du président qui seront discutés durant l’automne, il faut remarquer que l’évaluation, associée avec une réforme de la gouvernance des universités, a été ressentie comme un mode de contrôle plus que de valorisation des initiatives. S’il existe en effet une lecture démocratique et décentralisatrice de l’évaluation (elle aide à rendre des comptes au citoyen, tout en permettant aux agents de s’impliquer dans leur travail grâce à des outils et des chiffres opposables aux injonctions hiérarchiques), ce n’est pas celle qui, aux yeux de la communauté universitaire, a prévalu dans les années récentes.

Le débat de principe sur l’évaluation risque, au final, de manquer l’essentiel du sujet. Car l’évaluation ne s’appréhende vraiment qu’à travers ses chantiers. Or, pour en critiquer la mise en œuvre, encore faut-il comprendre comment les outils d’évaluation ont été construits et pouvoir dire comment élaborer d’autres outils pour suivre les bonnes finalités. C’est évident dans le cas du « classement de Shangai » qui n’est vraiment significatif que par la réception démesurée dont il a fait l’objet. Malgré tous ses défauts, maintes fois identifiés et progressivement corrigés, il a révélé un besoin de comparabilité internationale des institutions. C’est cette demande qu’il faut prendre en compte et expliquer, sans quoi la critique des insuffisances du classement reste triviale7. Les effets pervers du classement, et de ses usages, sont bien identifiés :

Dans le cas des revues, la construction des chiffres qui font aujourd’hui référence est issue d’une sédimentation de choix sans lien initial direct avec l’évaluation de la qualité de la recherche. Les chiffres qui sont considérés aujourd’hui comme utiles pour refléter la qualité de la recherche se sont imposés par défaut parce qu’il n’y avait pas de données alternatives disponibles et que les chiffres à disposition étaient faciles d’emploi. En effet, une base bibliométrique généraliste et internationale, Science Citation Index (qui, au fil des années, après un rachat par Thomson Reuters, a donné l’actuel Web of Science), existe depuis les années 1960.

Elle a été développée par un entrepreneur, Eugene Garfield, avec l’Institute for Scientific Information, tout d’abord dans les domaines des sciences de la vie et de la chimie pour lesquels il existait un marché de l’information rapide. Dans ces disciplines, les périodiques sont au cœur de la recherche. La contrainte de l’entreprise, à un âge où les moyens informatiques n’étaient pas encore aussi puissants qu’aujourd’hui, était de maîtriser une information pléthorique, dans des coûts raisonnables. Cela l’a conduit à étudier, en s’appuyant sur des résultats des sciences de la communication et d’information, un phénomène de concentration de l’information utile dans un nombre réduit de revues et à considérer que, dans chaque discipline, il existe un cœur de revues, représentant 10 % des revues recensables qui, si elles sont convenablement sélectionnées, regroupent 90 % de l’information pertinente. À partir de ce noyau, on est sûr de couvrir tout le champ disciplinaire, à condition de compléter l’information par un système de renvois (par les citations) qui permet de vérifier que les revues significatives du champ – celles qui sont les plus citées – sont bien prises en compte. C’est ainsi que l’indice de citation est devenu un critère central de la position des revues dans leur champ disciplinaire et, au-delà, via la capacité des chercheurs à se faire accepter dans ces revues, de la pertinence des travaux menés par les chercheurs9.

Du côté de l’évaluateur français, la délimitation actuelle du nombre de revues prises en référence, même si elle est plus large que la couverture de Web of Science, répond à une préoccupation pratique : dans l’évaluation des unités de recherche, il est nécessaire de fournir un critère de chercheur « publiant » ou « produisant » ; il s’agit d’une indication non qualitative, mais simplement quantitative, de la production d’une équipe, dans son périmètre d’activité de recherche. Pour faciliter le travail des évaluateurs (qui, pour éviter les conflits d’intérêt et les connivences disciplinaires, viennent d’autres sphères de savoir et sont donc amenés à évaluer des domaines dont ils ne sont pas spécialistes) et garantir une homogénéité des évaluations, il a donc fallu établir un périmètre de ce qui peut être considéré comme une revue de recherche. Cela fournit en outre l’avantage de répondre à un critère de transparence en affichant le corpus de revues retenu comme pertinent10. Cela produit bien sûr une réduction du nombre de revues de référence, avec en outre un fort effet d’autorenforcement des revues les mieux placées, puisque ce type de hiérarchie est très stable.

On voit bien l’aspect historique de l’affaire : le classement n’est pas strictement issu de critères scientifiques ni, à l’inverse, de la confiscation du référencement par quelques écoles de pensée, elle est une construction répondant d’abord à un objectif de couverture rationnelle et logique du savoir, lors de la constitution de la base de données, puis d’instrumentalisations diverses par des acteurs poursuivant leurs propres finalités. Mais elle a été construite au départ pour des disciplines – sciences de la matière et de la vie – dont les contraintes propres se transposent mal aux autres, notamment les sciences humaines, où les livres – jusqu’à récemment – comptaient plus que les articles, où l’obsolescence des informations est moindre et où les acquis de la discipline ne se constituent pas partout de la même façon11.

Mais si les citations de référence se sont imposées, c’est aussi qu’elles ont l’avantage de construire une métrique, c’est-à-dire d’« objectiver » des positions grâce à des chiffres. La quasi-exclusivité accordée à un petit nombre de revues, essentiellement anglo-saxonnes dans certaines disciplines, est ainsi un fait de construction involontaire mais un effet de retour irrésistible des contraintes informatiques et de la sécheresse des chiffres : le nombre de revues significatives risque de se figer car le mécanisme d’évaluation conforte les positions acquises. L’arrivée d’une autre base, Scopus (mise en œuvre par Elsevier), auprès de laquelle les Européens plaident pour que d’autres langues que l’anglais soient prises en compte (notamment le français et l’espagnol) laisse espérer que le jeu ne se ferme pas, ce qui serait préjudiciable finalement à la recherche elle-même.

L’évaluation ne pose donc pas seulement des problèmes de politiques publiques mais aussi de rapports entre les institutions publiques et de grands groupes internationaux de l’édition, qui se sont constitué des rentes de situation dans le secteur des revues académiques. Les multinationales présentes sur ce marché discret mais lucratif, Elsevier, Springer et Wiley, ont augmenté depuis plusieurs années le prix des abonnements universitaires, atteignant des sommes considérables :

Le prix exorbitant des abonnements se justifie d’autant moins que les institutions universitaires, qui financent le travail des chercheurs, doivent payer une seconde fois, en rachetant, sous la forme d’abonnements aux bibliothèques, la présentation des travaux de leurs propres chercheurs. L’absurdité de cette situation, qui permet aux éditeurs de se rémunérer sur l’argent de la recherche et des bibliothèques, pousse plusieurs grandes universités américaines à imaginer une contre-offensive. Pourquoi ne pas supprimer cette rente en publiant le résultat des chercheurs sur des archives ouvertes en ligne ? Cela ne reviendrait-il pas à renoncer à l’étape, décisive pour la parution en revue, de l’évaluation (la norme est l’évaluation en « double aveugle », c’est-à-dire par deux rapporteurs sur un texte anonymé), encourageant chacun à déposer ses recherches sur un site, sans passer par la confrontation avec ses collègues ? On voit que l’objection à cette procédure ne repose finalement que sur le point de l’évaluation entre pairs. Quels services les revues savantes rendent-elles aujourd’hui qu’une institution universitaire seule ou un site de prépublication ne peut pas fournir ? On retrouve ici l’évaluation, dans la forme académique acceptée entre pairs, décidément constitutive de la vie savante. Mais la position économique des revues de recherche n’est-elle pas fragile si leur justification ne repose plus que sur la validation entre pairs, qui pourrait passer par d’autres supports ?

On voit finalement à quel point l’évaluation par les publications est centrale dans les évolutions en cours de l’institution universitaire. Elle l’est cependant en partie pour des raisons fortuites : c’est la rencontre d’une histoire industrielle (la constitution des premières bases de données internationales dans les années 1950), de dispositifs techniques (qui se sont développés avec l’internet et les possibilités démultipliées de recherches en ligne et de numérisation des revues), de stratégies commerciales privées (notamment de trois grands groupes éditoriaux mondiaux) et de stratégies publiques à l’âge de l’internationalisation de la compétition universitaire. C’est dire que la place des revues se trouve au croisement de mutations fort complexes, derrière l’utilisation qui semble évidente d’outils simples et objectifs comme des classements de revues ou des facteurs d’impact.

Quelle sera la place de la recherche française dans cet univers en transformation complète ? Confronté aux effets de l’internet (notamment sur la pédagogie et le mode de travail des jeunes étudiants), au renforcement de la compétition académique mondiale accentuée par la montée en puissance de l’Inde et de la Chine dans la recherche mondiale, à l’échec de l’agenda européen de Lisbonne qui voulait faire basculer le continent dans l’« économie de la connaissance », comment le monde universitaire français réagira-t-il ? Il a montré sa réactivité aux réformes dans la période récente, en partie par la contestation, en partie par l’adaptation.

Finalement, la technicité de ces questions d’évaluation de la recherche invite aussi, si l’on s’écarte des enjeux propres au monde académique, à s’interroger sur la diffusion des savoirs dans la vie publique à travers des lieux de médiation comme les revues généralistes dont fait partie Esprit. Quelle contribution les revues peuvent-elles apporter à une discussion publique éclairée ? Il apparaît évident que l’évaluation pousse à la spécialisation, puisqu’il faut publier dans les revues repérées comme le centre de la discipline, alors même que la « culture générale » est en crise13 et que le débat public a besoin de médiateurs capables de lier les sujets entre eux.

L’esprit inaugural de l’université était précisément de réunir l’ensemble des disciplines en son sein, et cette ambition reste contemporaine même si la dynamique de la connaissance pousse à la parcellisation des domaines d’études. C’est pourquoi l’université doit s’inquiéter de rendre possibles et utiles des usages non savants de la connaissance. Ce qui suppose que l’universitaire accepte de s’émanciper des normes d’évaluation propres à la recherche, qui sont délimitées par la vérification entre pairs14.

Cela ne veut pas dire, comme on le résume trop souvent, consentir à faire de la « vulgarisation » car celle-ci, même à travers un effort de présentation, reste du domaine du savoir spécialisé. C’est, en un sens, le contraire qu’il convient de réaliser : changer de registre de discours, reconstruire les enjeux à partir des questions du présent (plutôt qu’en partant des logiques disciplinaires ou des sédimentations de discours), se confronter aux exigences de la discussion publique, laquelle possède ses propres contraintes, même si à l’heure de l’interactivité de l’internet elle s’apparente trop souvent à une rhapsodie d’impulsions spontanées et incohérentes. L’espace intellectuel de revues généralistes non savantes garde donc, plus que jamais, son sens pour aider à animer ce débat informé et constructif sur le plan politique que nous appelons de nos vœux (et que nous tentons d’illustrer).