Aller à…

Indiscipline !

Savoirs, nature, cultures et alternatives sociales

Indiscipline ! sur LinkedInFlux RSS

Les évaluateurs de l’AERES sont-ils des « pairs » ?


Share
Print Friendly, PDF & Email

Réflexions sur le débat à l’EHESS sur le thème « L’AERES et après ? »

Par Michel Bar­thé­lé­my, Socio­logue, Cnrs

Le pre­mier des « Grands Débats de l’EHESS » à s’inscrire dans le pro­lon­ge­ment de l’opération « Chan­geons le pro­gramme » s’est tenu le 25 mars 2009. Il a pré­sen­té un ensemble de témoi­gnages, de réflexions et d’analyses pré­sen­tés qua­si­ment à chaud sur la der­nière vague en voie d’achèvement de l’évaluation des équipes de recherche par les comi­tés de visite de l’AERES (Agence d’Evaluation de la Recherche et de l’Enseignement Supé­rieur) (1). Ces inter­ven­tions étaient le fait d’universitaires dont l’unité avait été l’objet de l’une de ces visites.

Le pré­sent texte ne pré­tend pas res­ti­tuer en détail les dif­fé­rents points du débat (2). Il est plus limi­ta­ti­ve­ment consa­cré à dis­cu­ter l’affirmation cou­rante, et du reste réité­rée par le repré­sen­tant de l’AERES qui par­ti­ci­pait au débat, qui tient que l’évaluation à laquelle concourent ces comi­tés est le fait de « pairs ». En ajou­tant que le choix offert était entre cette confi­gu­ra­tion là ou bien le recours à un cabi­net de consul­tants externes ou encore à des admi­nis­tra­tifs – « comme en Alle­magne », a-t-il pré­ci­sé.

D’un point de vue for­mel, il est indé­niable que les par­ti­ci­pants à ces comi­tés de visite sont com­po­sés de membres de la com­mu­nau­té uni­ver­si­taire. Un cer­tain nombre d’entre eux sont des uni­ver­si­taires étran­gers. A ce titre, ils peuvent se récla­mer légi­ti­me­ment de ce sta­tut de « pairs » vis-à-vis des membres des uni­tés de recherche qu’ils viennent éva­luer (3). Tou­te­fois, une bonne par­tie du débat a avan­cé des argu­ments ren­dant cette iden­ti­té pour le moins pro­blé­ma­tique. Le point fai­sant pro­blème était pré­ci­sé­ment la signi­fi­ca­tion qu’il convient d’accorder au terme éva­lua­tion en com­pa­rant les anciennes aux nou­velles pra­tiques qui se mettent en place.

Si l’on reprend l’affirmation du repré­sen­tant de l’AERES, et qu’on la com­pare à l’intervention de N. Dodier, on s’aperçoit que les deux formes d’évaluation qui se font face sont très dif­fé­rentes l’une de l’autre dans leur esprit comme dans leur pro­cé­dure. L’évaluation en vigueur jusque là, dans les com­mis­sions des orga­nismes de recherche, notam­ment, est le fait de petits groupes de cher­cheurs et d’enseignants-chercheurs, dont une par­tie sont élus par leurs pairs, pour une durée de quelques années et qui mettent en place des règles d’évaluation ad hoc. Ils le font en fonc­tion de cri­tères qu’ils dégagent de l’intérieur même de leur comi­té et pour les fins pra­tiques de la tâche qui leur est assi­gnée, soit l’évaluation d’équipes, pro­jets de col­loque ou d’édition, cher­cheurs, etc. La mise en place des cri­tères jugés per­ti­nents donc objec­tifs, c’est à dire accep­tables par les par­ti­ci­pants comme fon­de­ment adé­quat de leur tra­vail d’évaluation, et recon­nais­sable sous ce jour par les ins­tances supé­rieures de même que, poten­tiel­le­ment, par l’ensemble des membres de la com­mu­nau­té scien­ti­fique à laquelle ils appar­tiennent, sup­pose de faire acti­ve­ment par­tie de ces com­mis­sions et de prendre part à leur défi­ni­tion col­lec­tive. En ce sens, la com­mis­sion est à une double place d’observateur et de juge de la vie de la com­mu­nau­té dont elle est appe­lée à se pro­non­cer sur les réa­li­sa­tions les plus récentes de ses membres ain­si que sur les acti­vi­tés pro­je­tées. Elle éva­lue leur inté­rêt et por­tée scien­ti­fique, sur la base de cri­tères loca­le­ment éta­blis, internes à la pro­fes­sion, à son état et ses pra­tiques dis­ci­pli­naires du moment, à la nature et à la teneur des dos­siers à trai­ter ici-et-main­te­nant, en mobi­li­sant la com­pé­tence et l’expertise variées de ses membres qui sont appe­lés à par­ve­nir à une posi­tion com­mune sur les prin­cipes leur per­met­tant de trai­ter les dos­siers sou­mis à l’appréciation de la com­mis­sion. C’est une ver­sion éprou­vée de la pari­té et de la col­lé­gia­li­té. Per­fec­tible, certes, mais effec­tive.

Qu’en est-il main­te­nant de la démarche de l’AERES ? Les pro­pos du repré­sen­tant de l’AERES, cités plus haut, apportent un éclai­rage pré­cieux sur ce point. La notion de « pairs » est pré­sen­tée comme une pro­tec­tion, ou du moins comme une situa­tion pré­fé­rable à celle d’une éva­lua­tion réa­li­sée par des « non-pairs ». Cepen­dant, l’idée même que cette option pour­rait être le cas, affai­blit gra­ve­ment la per­ti­nence de la défense que repré­sen­te­rait le fait qu’elle soit réa­li­sée par des col­lègues, à par­tir du moment où il est expli­ci­te­ment admis que des membres de caté­go­ries étran­gères au domaine d’activités exa­mi­né et à ses spé­ci­fi­ci­tés, pour­raient tout aus­si bien faire le (même) tra­vail. Ceci conduit à pen­ser que l’esprit et la pro­cé­dure de l’évaluation dans ce nou­veau sys­tème ont d’ores et déjà rom­pu avec la pra­tique col­lé­giale qui exis­tait jusque là. Ceci au sens où cette der­nière exi­geait que les éva­lua­teurs soient des membres com­pé­tents du milieu sur lequel por­tait leur acti­vi­té d’évaluation. Dans cette approche il n’était pas conce­vable de faire appel à des pra­ti­ciens non infor­més des aspects dis­tinc­tifs qui consti­tuent le socle des acti­vi­tés des membres de la com­mu­nau­té uni­ver­si­taire. Ce n’est désor­mais plus le cas. On pour­rait avan­cer que les « col­lègues » sont ici ins­tru­men­ta­li­sés et trans­for­més en Che­val de Troie d’un ensemble de pro­cé­dures ini­tia­le­ment conçues pour le sec­teur pri­vé, issues de la démarche qua­li­té, et que les « pairs » éva­lua­teurs ont pour mis­sion pre­mière d’acclimater en dou­ceur au monde de la recherche et de l’enseignement supé­rieur, sans en avoir dis­cu­té aupa­ra­vant avec les prin­ci­paux inté­res­sés. Or, pour que les pro­cé­dures employées puissent être mises en œuvre par des fami­liers du milieu, des « insi­ders », comme par des étran­gers à celui-ci, cela implique que l’essentiel de la pro­cé­dure sui­vie puisse faire l’économie d’une adé­qua­tion au milieu local visé par ses outils et son entre­prise d’évaluation, sans nuire à son effi­ca­ci­té. Ce qui se paye par une exter­na­li­té du dis­po­si­tif et de ses caté­go­ries aux milieux et pra­tiques habi­tuelles et effec­tives de la com­mu­nau­té visée, laquelle se trouve for­te­ment invi­tée à y sous­crire, sou­vent contre son gré, si l’on en juge par les nom­breuses réserves que sus­citent les méthodes de la nou­velle agence au sein de la com­mu­nau­té scien­ti­fique (4). En bref, les uni­ver­si­taires éva­lua­teurs mettent déjà en œuvre un cadre d’évaluation des acti­vi­tés scien­ti­fiques qui ne doit pas grand-chose à ce que récla­me­rait une connais­sance interne du milieu exa­mi­né. Ils font ain­si le tra­vail de consul­tants externes, comme ont pu le consta­ter les membres des uni­tés visi­tées, à la pau­vre­té des sujets de ques­tion­ne­ment des éva­lua­teurs por­tant plu­tôt sur des points de ges­tion ou des aspects péri­phé­riques par rap­port à ce qui fait la par­ti­cu­la­ri­té et la réa­li­té du tra­vail scien­ti­fique. Ces thèmes ne sont pas pour autant ano­dins. En effet, une manière de par­ve­nir à impo­ser cette démarche en sur­mon­tant au pas­sage le manque d’envie de la part des éva­lués de coopé­rer avec les éva­lua­teurs et leurs manières de voir et de faire, est pré­ci­sé­ment de prendre par­mi les cri­tères d’évaluation, p.e., l’usage que les éva­lués font, dans leur tra­vail, d’autres ins­tances tout aus­si récentes et mal consi­dé­rées que peut l’être l’AERES. Il en va ain­si de l’ANR (Agence Natio­nale de la Recherche) dont les dota­tions aug­mentent en même temps que les cré­dits de base des labo­ra­toires en pro­ve­nance des orga­nismes de recherche, le Cnrs en pre­mier lieu, dimi­nuent. Si un indi­ca­teur du cri­tère de qua­li­té et d’attractivité d’une équipe de recherche est lié au nombre de contrats obte­nus en par­ti­cu­lier auprès de l’ANR, alors il va de soi que la recherche de tels cré­dits pour des tra­vaux à trois voire quatre ans maxi­mum, devien­dra une néces­si­té. Ce qui condui­ra à faire entrer pro­gres­si­ve­ment dans le pay­sage de la recherche cette ins­tance contro­ver­sée du fait de la cap­ta­tion des cré­dits de recherche qu’elle induit et de la poli­tique de pilo­tage de la recherche orien­tée vers des thèmes fina­li­sés qu’elle réa­lise (5). Un résul­tat qui se fait au détri­ment de la recherche fon­da­men­tale, laquelle obéit à une tem­po­ra­li­té plus longue, sans pou­voir tou­jours arguer de résul­tats clai­re­ment anti­ci­pables long­temps à l’avance (6). Il a du reste été rap­pe­lé la pro­po­si­tion faite par les Etats Géné­raux de la Recherche de 2004 en matière de struc­ture d’évaluation. Ceux-ci prô­naient la créa­tion d’un Haut Conseil de la Science, res­pon­sable des opé­ra­tions d’évaluation des labo­ra­toires et des per­sonnes. Une ins­tance col­lé­giale com­po­sée pour par­tie d’élus et pour par­tie de membres nom­més et fai­sant le tam­pon entre le monde de la recherche et le pou­voir.

Pour conclure ces quelques remarques, je sor­ti­rai du cadre strict du débat pour pro­po­ser une réponse à la ques­tion ini­tiale, celle de savoir si les éva­lua­teurs sont des pairs de ceux qu’ils éva­luent. Pour cela, il semble tout d’abord néces­saire de dis­tin­guer entre, d’une part, le sta­tut pro­fes­sion­nel des per­sonnes impli­quées, effec­ti­ve­ment simi­laire, ain­si que nous l’avons dit, et, de l’autre, l’activité d’évaluation conduite sous les aus­pices d’un modèle déployant des méthodes et pro­cé­dures non spé­ci­fiques au milieu étu­dié. Par son exté­rio­ri­té même, ce dis­po­si­tif d’évaluation inves­tit le monde vécu de l’activité scien­ti­fique et modi­fie l’appréhension des pra­tiques de recherche et des moda­li­tés de son juge­ment. Il greffe sur des aspects effec­tifs de cette pra­tique des indi­ca­teurs arbi­traires. En effet, il isole en les décon­tex­tua­li­sant des élé­ments effec­tifs de la pra­tique du reste de celle-ci en leur fai­sant jouer le rôle de traits per­ti­nents, non pas direc­te­ment de l’activité de recherche concrète, mais en qua­li­té d’éléments judi­cieu­se­ment choi­sis pour la consti­tu­tion de son modèle. Ceci est réa­li­sé en vue d’objectiver une pro­duc­tion de recherche expri­mée de manière quan­ti­ta­tive et appuyée sur des outils qua­si-auto­ma­ti­sés à force conno­ta­tion nor­ma­tive, per­met­tant de décer­ner bons et mau­vais points. Le tout sert à mesu­rer les « qua­li­tés » res­pec­tives des éta­blis­se­ments, des équipes, et des per­sonnes concou­rant à cette acti­vi­té, ain­si qu’à faire des com­pa­rai­sons entre pays (7). Au final, ce dis­po­si­tif livre une image de la recherche sous les traits d’une acti­vi­té bana­li­sée qui soit com­pa­tible avec une des­crip­tion mana­gé­riale et comp­table de ses « out­puts ». Elle peut être inté­gra­le­ment réduite à l’emploi d’un cer­tain nombre de cri­tères, d’indicateurs et d’une bat­te­rie de chiffres. Cette méthode a le défaut de sa qua­li­té : sa (trop grande) uni­ver­sa­li­té d’emploi. En d’autres termes, sa trans­ver­sa­li­té implique de pou­voir la réfé­rer à un niveau supé­rieur de syn­thèse, qui est, a mini­ma, celui de l’Etat ges­tion­naire et de ses dif­fé­rents moyens et sec­teurs d’action.

En effet, les mêmes « réformes » se retrouvent à l’œuvre dans d’autres orga­nismes de recherche que le Cnrs (l’Inserm, par exemple) et dans d’autres sec­teurs de la fonc­tion publique (outre l’éducation, la san­té, notam­ment), et avec les mêmes objec­tifs : don­ner aux ins­tances diri­geantes les moyens de contrô­ler et pilo­ter l’activité de leurs éta­blis­se­ments à l’aide notam­ment d’un sys­tème d’information ali­men­tant des tableaux de bord. Par consé­quent, leur extrême sim­pli­ci­té peut être vue, par leurs concep­teurs et pro­mo­teurs, comme une force en leur don­nant des outils pour mener une poli­tique volon­taire, réac­tive et, comme on le dit main­te­nant, « proac­tive ». Dans cha­cun de ces cas la col­lé­gia­li­té, telle qu’elle se maté­ria­lise dans l’existence d’instances de concer­ta­tion, fait les frais de la « réforme » (8).

A cet égard, et dans le cadre pré­cis de leur acti­vi­té d’évaluation effec­tuée selon des normes emprun­tées à la démarche qua­li­té issue du sec­teur pri­vé, et gar­dant de celui-ci son orien­ta­tion essen­tiel­le­ment bud­gé­taire et quan­ti­ta­tive des acti­vi­tés humaines appré­hen­dées sous l’angle de la ren­ta­bi­li­té et de la per­for­mance, les éva­lua­teurs uni­ver­si­taires n’agissent pas en qua­li­té de « pairs ». Il en est ain­si si l’on consi­dère que leur mode d’action, leur pro­ces­sus de déci­sion ne sont pas ceux tra­di­tion­nel­le­ment en vigueur dans le milieu qui est le leur et où, comme indi­qué pré­cé­dem­ment, ils pour­raient très bien être rem­pla­cés dans cette tâche par des éva­lua­teurs pro­fes­sion­nels étran­gers au milieu en ques­tion. Il y a là la source d’une ambigüi­té qui appelle un dépas­se­ment, d’une manière ou d’une autre. En par­ti­cu­lier, si dans le cadre strict de ces pra­tiques ces col­lègues ne sont pas des pairs – les membres de l’AERES ne sont pas élus, mais nom­més ou coop­tés, ils dis­posent d’un pou­voir uni­la­té­ral sur ceux qu’ils éva­luent, leurs réfé­rents dif­fèrent pro­fon­dé­ment dans leur conte­nu et leur mode d’application de ceux des com­mis­sions fon­dées sur la col­lé­gia­li­té, un prin­cipe cen­tral du mode de fonc­tion­ne­ment de cette com­mu­nau­té –, il se peut qu’ils repré­sentent l’avant-garde en quelque sorte du visage futur de la com­mu­nau­té de l’enseignement supé­rieur et de la recherche que la mise en place de ces nou­veaux dis­po­si­tifs contri­bue­ra à façon­ner. Ce peut être le cas si l’adhésion à cette nou­velle approche se dif­fuse sans entrave. Qu’est-ce que la recherche et la socié­té ont à gagner à une telle concen­tra­tion des pou­voirs dans les mains d’une poi­gnée d’individus ? Mys­tère.

Notes

(1) Cette agence pos­sède un site par­ti­cu­liè­re­ment bien four­ni en infor­ma­tions sur sa com­po­si­tion et ses mis­sions. Cf. http://www.aeres-evaluation.fr/

(2) D’autant moins que Clé­mence Hol­le­ville du jour­nal en ligne Média­part en a pré­sen­té une syn­thèse. Cf. http://www.sauvonsluniversite.com/spip.php?article2265, cepen­dant que l’intervention de Nico­las Dodier, sur laquelle je m’appuie plus par­ti­cu­liè­re­ment, est consul­table (fichier audio) ici : http://www.slru.ehess.org/index.php?post/2009/03/28/un-nouveau-regime-d-objectivite

(3) Eux-mêmes sont membres d’unités de recherche qui sont ou seront éva­luées par d’autres selon les mêmes prin­cipes et méthodes.

(4) On pour­ra se repor­ter notam­ment au texte de Syl­vain Piron sur la dif­fé­rence entre éva­lua­tion ges­tion­naire et scien­ti­fique : http://evaluation.hypotheses.org/374

(5) La part des pro­grammes blancs étant jugée insuf­fi­sante.

(6) Un autre pro­blème, grave pour l’avenir de la recherche et de l’enseignement supé­rieur, est l’emploi des jeunes cher­cheurs, condam­nés par la réduc­tion des postes sta­tu­taires à tra­vailler sur des contrats pré­caires de faible durée tels que ceux que pro­pose l’ANR.

(7) Sur ce der­nier point, les outils sta­tis­tiques uti­li­sés incon­si­dé­ré­ment réservent de mau­vaises sur­prises en ren­dant équi­valent ce qui ne l’est pas. Cf. à cet égard le texte de Jean Fran­çois Méla [http://jfmela.free.fr/jfmblog/?p=125#more-125] sur les com­pa­rai­sons entre les sys­tèmes de recherche bri­tan­niques et fran­çais, où les don­nées chif­frées négligent le fait que ce qu’elles mesurent n’est pas homo­gène, les dif­fé­rences struc­tu­relles et de pra­tiques d’un pays à l’autre n’étant pas prises en compte.

(8) A ma connais­sance, par exemple, la bat­te­rie d’indicateurs rete­nus pour éva­luer la « bonne gou­ver­nance » des équipes de recherche, notam­ment, ne com­porte pas d’éléments per­met­tant d’appréhender si les règles de fonc­tion­ne­ment des uni­tés sont bien res­pec­tées (exis­tence d’un règle­ment inté­rieur, de struc­tures de concer­ta­tion internes : conseil de labo­ra­toire, assem­blées géné­rales, etc.) si la répar­ti­tion des dota­tions bud­gé­taires sont déci­dées col­lé­gia­le­ment ou pas, si les direc­teurs-trices sont imposé(e)s de l’extérieur ou sont issu(e)s des rangs des membres de l’équipe, si les direc­tions n’excèdent pas le nombre limite de man­dats auto­ri­sés pour per­mettre un renou­vel­le­ment des per­sonnes et des idées, etc.




  • Mots clés : , ,

    Une réponse “Les évaluateurs de l’AERES sont-ils des « pairs » ?”

    1. Catherine Mazodier
      15 avril 2009 à 17 h 24 min

      Sur la page de Donald Gil­lies, pro­fes­seur de phi­lo­so­phie des sciences à UC Lon­don:
      http://www.ucl.ac.uk/sts/gillies/index.htm
      des liens vers son livre cri­ti­quant les diverses méthodes d’évaluation en vigueur au Royaume Uni, et une savou­reuse inter­view.

    Laisser un commentaire