Aller à…

Indiscipline !

Savoirs, nature, cultures et alternatives sociales

Indiscipline ! sur LinkedInFlux RSS

Les évaluateurs de l’AERES sont-ils des « pairs » ?


Share
Print Friendly, PDF & Email

Réflexions sur le débat à l’EHESS sur le thème « L’AERES et après ? »

Par Michel Barthélémy, Sociologue, Cnrs

Le premier des « Grands Débats de l’EHESS » à s’inscrire dans le prolongement de l’opération « Changeons le programme » s’est tenu le 25 mars 2009. Il a présenté un ensemble de témoignages, de réflexions et d’analyses présentés quasiment à chaud sur la dernière vague en voie d’achèvement de l’évaluation des équipes de recherche par les comités de visite de l’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur) (1). Ces interventions étaient le fait d’universitaires dont l’unité avait été l’objet de l’une de ces visites.

Le présent texte ne prétend pas restituer en détail les différents points du débat (2). Il est plus limitativement consacré à discuter l’affirmation courante, et du reste réitérée par le représentant de l’AERES qui participait au débat, qui tient que l’évaluation à laquelle concourent ces comités est le fait de « pairs ». En ajoutant que le choix offert était entre cette configuration là ou bien le recours à un cabinet de consultants externes ou encore à des administratifs – « comme en Allemagne », a-t-il précisé.

D’un point de vue formel, il est indéniable que les participants à ces comités de visite sont composés de membres de la communauté universitaire. Un certain nombre d’entre eux sont des universitaires étrangers. A ce titre, ils peuvent se réclamer légitimement de ce statut de « pairs » vis-à-vis des membres des unités de recherche qu’ils viennent évaluer (3). Toutefois, une bonne partie du débat a avancé des arguments rendant cette identité pour le moins problématique. Le point faisant problème était précisément la signification qu’il convient d’accorder au terme évaluation en comparant les anciennes aux nouvelles pratiques qui se mettent en place.

Si l’on reprend l’affirmation du représentant de l’AERES, et qu’on la compare à l’intervention de N. Dodier, on s’aperçoit que les deux formes d’évaluation qui se font face sont très différentes l’une de l’autre dans leur esprit comme dans leur procédure. L’évaluation en vigueur jusque là, dans les commissions des organismes de recherche, notamment, est le fait de petits groupes de chercheurs et d’enseignants-chercheurs, dont une partie sont élus par leurs pairs, pour une durée de quelques années et qui mettent en place des règles d’évaluation ad hoc. Ils le font en fonction de critères qu’ils dégagent de l’intérieur même de leur comité et pour les fins pratiques de la tâche qui leur est assignée, soit l’évaluation d’équipes, projets de colloque ou d’édition, chercheurs, etc. La mise en place des critères jugés pertinents donc objectifs, c’est à dire acceptables par les participants comme fondement adéquat de leur travail d’évaluation, et reconnaissable sous ce jour par les instances supérieures de même que, potentiellement, par l’ensemble des membres de la communauté scientifique à laquelle ils appartiennent, suppose de faire activement partie de ces commissions et de prendre part à leur définition collective. En ce sens, la commission est à une double place d’observateur et de juge de la vie de la communauté dont elle est appelée à se prononcer sur les réalisations les plus récentes de ses membres ainsi que sur les activités projetées. Elle évalue leur intérêt et portée scientifique, sur la base de critères localement établis, internes à la profession, à son état et ses pratiques disciplinaires du moment, à la nature et à la teneur des dossiers à traiter ici-et-maintenant, en mobilisant la compétence et l’expertise variées de ses membres qui sont appelés à parvenir à une position commune sur les principes leur permettant de traiter les dossiers soumis à l’appréciation de la commission. C’est une version éprouvée de la parité et de la collégialité. Perfectible, certes, mais effective.

Qu’en est-il maintenant de la démarche de l’AERES ? Les propos du représentant de l’AERES, cités plus haut, apportent un éclairage précieux sur ce point. La notion de « pairs » est présentée comme une protection, ou du moins comme une situation préférable à celle d’une évaluation réalisée par des « non-pairs ». Cependant, l’idée même que cette option pourrait être le cas, affaiblit gravement la pertinence de la défense que représenterait le fait qu’elle soit réalisée par des collègues, à partir du moment où il est explicitement admis que des membres de catégories étrangères au domaine d’activités examiné et à ses spécificités, pourraient tout aussi bien faire le (même) travail. Ceci conduit à penser que l’esprit et la procédure de l’évaluation dans ce nouveau système ont d’ores et déjà rompu avec la pratique collégiale qui existait jusque là. Ceci au sens où cette dernière exigeait que les évaluateurs soient des membres compétents du milieu sur lequel portait leur activité d’évaluation. Dans cette approche il n’était pas concevable de faire appel à des praticiens non informés des aspects distinctifs qui constituent le socle des activités des membres de la communauté universitaire. Ce n’est désormais plus le cas. On pourrait avancer que les « collègues » sont ici instrumentalisés et transformés en Cheval de Troie d’un ensemble de procédures initialement conçues pour le secteur privé, issues de la démarche qualité, et que les « pairs » évaluateurs ont pour mission première d’acclimater en douceur au monde de la recherche et de l’enseignement supérieur, sans en avoir discuté auparavant avec les principaux intéressés. Or, pour que les procédures employées puissent être mises en œuvre par des familiers du milieu, des « insiders », comme par des étrangers à celui-ci, cela implique que l’essentiel de la procédure suivie puisse faire l’économie d’une adéquation au milieu local visé par ses outils et son entreprise d’évaluation, sans nuire à son efficacité. Ce qui se paye par une externalité du dispositif et de ses catégories aux milieux et pratiques habituelles et effectives de la communauté visée, laquelle se trouve fortement invitée à y souscrire, souvent contre son gré, si l’on en juge par les nombreuses réserves que suscitent les méthodes de la nouvelle agence au sein de la communauté scientifique (4). En bref, les universitaires évaluateurs mettent déjà en œuvre un cadre d’évaluation des activités scientifiques qui ne doit pas grand-chose à ce que réclamerait une connaissance interne du milieu examiné. Ils font ainsi le travail de consultants externes, comme ont pu le constater les membres des unités visitées, à la pauvreté des sujets de questionnement des évaluateurs portant plutôt sur des points de gestion ou des aspects périphériques par rapport à ce qui fait la particularité et la réalité du travail scientifique. Ces thèmes ne sont pas pour autant anodins. En effet, une manière de parvenir à imposer cette démarche en surmontant au passage le manque d’envie de la part des évalués de coopérer avec les évaluateurs et leurs manières de voir et de faire, est précisément de prendre parmi les critères d’évaluation, p.e., l’usage que les évalués font, dans leur travail, d’autres instances tout aussi récentes et mal considérées que peut l’être l’AERES. Il en va ainsi de l’ANR (Agence Nationale de la Recherche) dont les dotations augmentent en même temps que les crédits de base des laboratoires en provenance des organismes de recherche, le Cnrs en premier lieu, diminuent. Si un indicateur du critère de qualité et d’attractivité d’une équipe de recherche est lié au nombre de contrats obtenus en particulier auprès de l’ANR, alors il va de soi que la recherche de tels crédits pour des travaux à trois voire quatre ans maximum, deviendra une nécessité. Ce qui conduira à faire entrer progressivement dans le paysage de la recherche cette instance controversée du fait de la captation des crédits de recherche qu’elle induit et de la politique de pilotage de la recherche orientée vers des thèmes finalisés qu’elle réalise (5). Un résultat qui se fait au détriment de la recherche fondamentale, laquelle obéit à une temporalité plus longue, sans pouvoir toujours arguer de résultats clairement anticipables longtemps à l’avance (6). Il a du reste été rappelé la proposition faite par les Etats Généraux de la Recherche de 2004 en matière de structure d’évaluation. Ceux-ci prônaient la création d’un Haut Conseil de la Science, responsable des opérations d’évaluation des laboratoires et des personnes. Une instance collégiale composée pour partie d’élus et pour partie de membres nommés et faisant le tampon entre le monde de la recherche et le pouvoir.

Pour conclure ces quelques remarques, je sortirai du cadre strict du débat pour proposer une réponse à la question initiale, celle de savoir si les évaluateurs sont des pairs de ceux qu’ils évaluent. Pour cela, il semble tout d’abord nécessaire de distinguer entre, d’une part, le statut professionnel des personnes impliquées, effectivement similaire, ainsi que nous l’avons dit, et, de l’autre, l’activité d’évaluation conduite sous les auspices d’un modèle déployant des méthodes et procédures non spécifiques au milieu étudié. Par son extériorité même, ce dispositif d’évaluation investit le monde vécu de l’activité scientifique et modifie l’appréhension des pratiques de recherche et des modalités de son jugement. Il greffe sur des aspects effectifs de cette pratique des indicateurs arbitraires. En effet, il isole en les décontextualisant des éléments effectifs de la pratique du reste de celle-ci en leur faisant jouer le rôle de traits pertinents, non pas directement de l’activité de recherche concrète, mais en qualité d’éléments judicieusement choisis pour la constitution de son modèle. Ceci est réalisé en vue d’objectiver une production de recherche exprimée de manière quantitative et appuyée sur des outils quasi-automatisés à force connotation normative, permettant de décerner bons et mauvais points. Le tout sert à mesurer les « qualités » respectives des établissements, des équipes, et des personnes concourant à cette activité, ainsi qu’à faire des comparaisons entre pays (7). Au final, ce dispositif livre une image de la recherche sous les traits d’une activité banalisée qui soit compatible avec une description managériale et comptable de ses « outputs ». Elle peut être intégralement réduite à l’emploi d’un certain nombre de critères, d’indicateurs et d’une batterie de chiffres. Cette méthode a le défaut de sa qualité : sa (trop grande) universalité d’emploi. En d’autres termes, sa transversalité implique de pouvoir la référer à un niveau supérieur de synthèse, qui est, a minima, celui de l’Etat gestionnaire et de ses différents moyens et secteurs d’action.

En effet, les mêmes « réformes » se retrouvent à l’œuvre dans d’autres organismes de recherche que le Cnrs (l’Inserm, par exemple) et dans d’autres secteurs de la fonction publique (outre l’éducation, la santé, notamment), et avec les mêmes objectifs : donner aux instances dirigeantes les moyens de contrôler et piloter l’activité de leurs établissements à l’aide notamment d’un système d’information alimentant des tableaux de bord. Par conséquent, leur extrême simplicité peut être vue, par leurs concepteurs et promoteurs, comme une force en leur donnant des outils pour mener une politique volontaire, réactive et, comme on le dit maintenant, « proactive ». Dans chacun de ces cas la collégialité, telle qu’elle se matérialise dans l’existence d’instances de concertation, fait les frais de la « réforme » (8).

A cet égard, et dans le cadre précis de leur activité d’évaluation effectuée selon des normes empruntées à la démarche qualité issue du secteur privé, et gardant de celui-ci son orientation essentiellement budgétaire et quantitative des activités humaines appréhendées sous l’angle de la rentabilité et de la performance, les évaluateurs universitaires n’agissent pas en qualité de « pairs ». Il en est ainsi si l’on considère que leur mode d’action, leur processus de décision ne sont pas ceux traditionnellement en vigueur dans le milieu qui est le leur et où, comme indiqué précédemment, ils pourraient très bien être remplacés dans cette tâche par des évaluateurs professionnels étrangers au milieu en question. Il y a là la source d’une ambigüité qui appelle un dépassement, d’une manière ou d’une autre. En particulier, si dans le cadre strict de ces pratiques ces collègues ne sont pas des pairs – les membres de l’AERES ne sont pas élus, mais nommés ou cooptés, ils disposent d’un pouvoir unilatéral sur ceux qu’ils évaluent, leurs référents diffèrent profondément dans leur contenu et leur mode d’application de ceux des commissions fondées sur la collégialité, un principe central du mode de fonctionnement de cette communauté –, il se peut qu’ils représentent l’avant-garde en quelque sorte du visage futur de la communauté de l’enseignement supérieur et de la recherche que la mise en place de ces nouveaux dispositifs contribuera à façonner. Ce peut être le cas si l’adhésion à cette nouvelle approche se diffuse sans entrave. Qu’est-ce que la recherche et la société ont à gagner à une telle concentration des pouvoirs dans les mains d’une poignée d’individus ? Mystère.

Notes

(1) Cette agence possède un site particulièrement bien fourni en informations sur sa composition et ses missions. Cf. http://www.aeres-evaluation.fr/

(2) D’autant moins que Clémence Holleville du journal en ligne Médiapart en a présenté une synthèse. Cf. http://www.sauvonsluniversite.com/spip.php?article2265, cependant que l’intervention de Nicolas Dodier, sur laquelle je m’appuie plus particulièrement, est consultable (fichier audio) ici : http://www.slru.ehess.org/index.php?post/2009/03/28/un-nouveau-regime-d-objectivite

(3) Eux-mêmes sont membres d’unités de recherche qui sont ou seront évaluées par d’autres selon les mêmes principes et méthodes.

(4) On pourra se reporter notamment au texte de Sylvain Piron sur la différence entre évaluation gestionnaire et scientifique : http://evaluation.hypotheses.org/374

(5) La part des programmes blancs étant jugée insuffisante.

(6) Un autre problème, grave pour l’avenir de la recherche et de l’enseignement supérieur, est l’emploi des jeunes chercheurs, condamnés par la réduction des postes statutaires à travailler sur des contrats précaires de faible durée tels que ceux que propose l’ANR.

(7) Sur ce dernier point, les outils statistiques utilisés inconsidérément réservent de mauvaises surprises en rendant équivalent ce qui ne l’est pas. Cf. à cet égard le texte de Jean François Méla [http://jfmela.free.fr/jfmblog/?p=125#more-125] sur les comparaisons entre les systèmes de recherche britanniques et français, où les données chiffrées négligent le fait que ce qu’elles mesurent n’est pas homogène, les différences structurelles et de pratiques d’un pays à l’autre n’étant pas prises en compte.

(8) A ma connaissance, par exemple, la batterie d’indicateurs retenus pour évaluer la « bonne gouvernance » des équipes de recherche, notamment, ne comporte pas d’éléments permettant d’appréhender si les règles de fonctionnement des unités sont bien respectées (existence d’un règlement intérieur, de structures de concertation internes : conseil de laboratoire, assemblées générales, etc.) si la répartition des dotations budgétaires sont décidées collégialement ou pas, si les directeurs-trices sont imposé(e)s de l’extérieur ou sont issu(e)s des rangs des membres de l’équipe, si les directions n’excèdent pas le nombre limite de mandats autorisés pour permettre un renouvellement des personnes et des idées, etc.




  • Mots clés : , ,

    Une réponse “Les évaluateurs de l’AERES sont-ils des « pairs » ?”

    1. Catherine Mazodier
      15 avril 2009 à 17 h 24 min

      Sur la page de Donald Gillies, professeur de philosophie des sciences à UC London:
      http://www.ucl.ac.uk/sts/gillies/index.htm
      des liens vers son livre critiquant les diverses méthodes d’évaluation en vigueur au Royaume Uni, et une savoureuse interview.

    Laisser un commentaire