Comment juger objectivement un article scientifique ?  L’objectivité du jugement par les pairs est-elle davantage garantie par l’anonymat des auteurs et/ou des reviewers ? Quels sont les effets induits par l’ouverture du processus d’évaluation par les pairs sur l’objectivité du jugement ? Telles sont quelques-unes des questions qui seront abordées lors de la première partie du colloque “Open Access et évaluation de la Recherche : vers un nouvel écosystème ?“,  les 13 et 14 octobre 2016 à Toulouse, sur le campus de l’Université Toulouse III – Paul Sabatier (inscriptions prochainement ici).

Didier Torny (Institut des Sciences Humaines et Sociales – CNRS) et David Pontille (CSI i3 – Centre de Sociologie de l’Innovation- Mines ParisTech) ont rédigé deux articles importants (ici et là) sur ces questions, et nous nous proposons de reprendre dans ce qui suit certains des points saillants de leur travail, tout en nous autorisant par moments la liberté de nous en écarter. La quatrième partie, quant à elle, consacrée à l’évaluation ouverte par les pairs s’appuie en grande partie sur le travail éclairant de défrichage réalisé par Julien Bordier, (CLEO, Centre pour l’édition électronique ouverte)

I) Anonymiser les auteurs ?

La question de l’anonymat des auteurs est devenue centrale à partir des années 1950. Les chercheurs en sociologie se sont interrogés les premiers sur les implications de l’anonymat des auteurs. En juin 1955, la revue The American Sociological Review a informé ses reviewers qu’elle expérimentait un nouveau mode d’évaluation reposant sur l’anonymat des auteurs. En 1967, l’American Sociological Association (ASA) décidait d’étendre cette procédure d’évaluation à toutes ses publications, au motif que l’évaluation devait se fonder seulement et uniquement sur le contenu, et non sur le prestige éventuel des auteurs ou de leur établissement de rattachement.

A partir du milieu des années 1970, le principe de l’anonymisation des auteurs s’est étendu à d’autres disciplines en lien avec les sciences humaines et sociales. Cela correspondait aussi à une forte demande de chercheuses qui pointaient à juste titre le faible taux d’acceptation des articles soumis par des femmes.

La question de l’anonymat des auteurs a été discutée à partir de la fin des années 60 au sein des sciences dites “dures”, mais c’est la solution opposée qui a été retenue majoritairement, notamment parce que la pratique de l’auto-citation complique en pratique l’anonymisation du manuscrit.

II) Rendre publique l’identité des reviewers  ?

A partir des années 1970, les sciences expérimentales ont mis en doute le bien-fondé de l’anonymat des reviewers. Dans un article paru dans le New Scientist en 1974, le chercheur en biochimie Robert Jones pointait le fait que l’anonymat permet à certains reviewers de recourir en toute impunité à des comportements causant du tort à ceux des auteurs pressentis comme leurs rivaux. Cela peut aller de la simple moquerie, à l’attitude délibérément dilatoire du reviewer qui souhaite publier ses travaux en premier, ou bien encore au rejet pur et simple de l’article par l’évaluateur, afin d’en plagier le contenu partiellement ou totalement.

D’autres critiques se sont fait jour pour relever le peu de soins apporté par certains reviewers à leur évaluation. Un tel comportement est de nature à nuire à la confiance portée dans le processus d’évaluation dans son ensemble.

La même année, la revue Nature a répondu à l’article de Jones en défendant le principe de l’anonymat des reviewers, invoquant notamment le fait que révéler l’identité des reviewers fait courir le risque de disputes ouvertes avec les auteurs et d’un rabaissement des jugements d’évaluation au statut de simples opinions personnelles.

D’autres arguments se sont ajoutés au fil de la controverse. Ainsi, les chercheurs en début de carrière jouant le rôle de reviewers, pourraient craindre, dans le cas où leur identité en tant que reviewers serait rendue publique, que toute évaluation négative du travail de leurs pairs mette en péril leur propre carrière; ils pourraient se borner, de ce fait, à produire des rapports insipides ou trop consensuels.

III) Aporie…

La majorité des sciences sociales ont opté pour le double blind  (les reviewers sont anonymisés, de même que les auteurs au moment de l’évaluation). Tandis que les sciences biomédicales ont majoritairement maintenu le système du single blind (l’identité de l’auteur est connue au moment de l’évaluation tandis que l’évaluateur reste anonyme).

Mais comme l’anonymisation des auteurs suscite le débat, il n’est pas rare de voir un comité de rédaction hésiter entre les deux modes d’évaluation.  Celui de l’American Economic Review n’a cessé de faire fluctuer sa politique d’évaluation, optant pour le single blind puis pour le double blind avant de retourner au single blind, etc. Si finalement, depuis 2011, c’est le processus du single blind qui a été retenu par le comité de rédaction de la revue AER, c’est notamment pour la raison que les moteurs de recherche, tel Google, permettent aux reviewers d’identifier rapidement et facilement les auteurs d’un article. Dans ce contexte, l’anonymisation des auteurs est inopérante et son concept relèverait désormais purement et simplement du mythe incantatoire.

En pratique, en dépit d’un cadre de politique éditoriale clairement établi, les comités de rédaction  laissent parfois aux auteurs ou aux reviewers la possibilité de faire le choix de révéler ou non leur identité. C’est ce que Didier Torny et David Pontille proposent d’appeler les “Do it Yourself Objectivities“, ce qu’on pourrait traduire par “aménagements subjectifs d’arrangements objectifs”. Les cartes sont alors définitivement brouillées…

Nous nous demandions en introduction si l’anonymisation des auteurs et des reviewers garantissait une plus grande objectivité du jugement, ou si l’ouverture partielle ou totale du processus d’évaluation est de nature à garantir plus fortement l’impartialité.

Or il est difficile de répondre à l’une ou l’autre question : les processus d’anonymisation et d’ouverture sont particulièrement ambivalents. Pour certains, on l’a vu,  l’anonymisation des auteurs est une condition sine qua non de l’objectivité de l’évaluation, pour d’autres il faut rendre publique l’identité des reviewers. Mais dans le même temps, des opinions  symétriquement opposées coexistent.

Si les solutions évoquées plus haut ne semblent pas mettre fin de façon certaine à la subjectivité de l’évaluation, c’est sans doute qu’elles n’abordent pas de front la question de la subjectivité en surplomb du rédacteur en chef, lequel dispose bien souvent d’un pouvoir décisionnel supérieur à ceux des referees pour accepter ou rejeter un manuscrit. La validation par le rédacteur en chef constitue en ce cas un point de passage obligatoire.

Par ailleurs, les faiblesses du processus classique de peer review en single bind ou double bind, sont régulièrement pointées du doigt à l’occasion de nombreuses affaires qui émaillent le monde de la recherche et qui entament la confiance mise dans le processus de validation.

Bref, la mise en oeuvre de modes de validation alternatifs des publications scientifiques ne s’explique pas uniquement par la mise en cause du rôle discrétionnaire du rédacteur en chef, mais par une perte de confiance dans les processus classiques d’évaluation.

IV) L’évaluation ouverte

Sous la dénomination d’ “évaluation ouverte”, nous  regroupons aussi bien l’open peer review, ou évaluation ouverte par les pairs, que l’ouverture à commentaires, qu’ils soient le fait de lecteurs scientifiques ou non-scientifiques.  L’évaluation ouverte minimise le pouvoir décisionnel du rédacteur en chef et privilégie l’évaluation par les lecteurs scientifiques ou non-scientifiques. Par surcroît, la publicité des débats présente,  selon ses promoteurs, le gage d’un contrôle de qualité, en ce qu’elle permet de limiter le risque de l’arbitraire quand les rejets d’articles sont non ou insuffisamment motivés.

L’évaluation ouverte se décline sous le signe de la transparence, en deux sens au moins : non seulement les auteurs et reviewers et/ou simples commentateurs sont identifiés, mais leurs commentaires respectifs sont également en accès ouvert. Comme l’écrit Julien Bordier :

“Ce qui caractérise donc l’évaluation ouverte par les pairs, ce sont avant tout la possibilité pour l’auteur qui soumet une publication d’identifier les discutants/évaluateurs de son projet de publication d’une part, et d’avoir accès aux rapports critiques (discussion/évaluation) d’autre part.”

A) L’open peer review

Dans le cas de l’open peer review, auteurs et reviewers sont clairement et ouvertement identifiés et leurs échanges sont publics. Les tenants de l’open peer review insistent non seulement sur la responsabilité endossée par les reviewers qui doivent assumer pleinement leur critique, quand bien même elle serait seulement négative, mais aussi sur les vertus du dialogue qu’implique l’ouverture du processus d’évaluation. Dans la revue F1000Research (créée en 2012), les rapports et les noms des experts sont publiés à côté de l’article, ainsi que les réponses des auteurs.

Les derniers développements techniques de la plate-forme Episciences permettront d’ouvrir le peer review à l’open peer review : l’éditeur pourra choisir de rendre visible chaque critère de la grille de relecture et “décider ou non de publier le résultat des évaluations des articles sur leur page publique ; les rapports de relecture sont pérennisés dans un fichier au format TEI, ce qui offre la possibilité de les publier”.

Une solution plus radicale encore consiste à faire table rase des fonctions de rédacteur en chef et de comité de rédaction voire de la notion même de revue en tant que point de passage obligé pour la validation des publications. Le Self Journal of Science (SJS), en dépit de son titre, ne se présente pas comme une revue mais comme une “plate-forme de dépôt multidisciplinaire” (multidisciplinary repository) destiné à mettre les chercheurs en position de diffuser et commenter directement leurs travaux sans le filtre préalable ou subséquent de la validation. Il n’y a donc pas d’autorité structurale du reviewer. Les commentaires et évaluations des chercheurs-relecteurs sont publiés en toute transparence. Un dialogue entre auteurs et reviewers permet de faire émerger peu à peu un consensus.

B) Open Commentary

On entend par open commentary les discussions avant ou après la publication d’un article, sans que ces échanges entrent directement en ligne de compte dans la validation de l’article.

L’ouverture à commentaires a pour vertu d’inscrire les articles scientifiques dans un cadre foncièrement dialogique. Les commentaires peuvent être faits avant ou après publication.

1. Open commentary pré-publication

Deux revues ont fait de l’ouverture à commentaires lors de la phase de pré-publication, la clef de voûte de leur système d’élaboration et de co-construction de la connaissance : Current Anthropology, fondée en 1960, et Behavioral and Brain Sciences, créée en 1978.   L’Open commentary ou commentaire ouvert pourrait se résumer ainsi : une fois accepté, le manuscrit est soumis à une discussion publique et un dialogue s’engage entre les commentateurs et le ou les auteurs.

Le processus d’évaluation qui préside à la publication des épi-revues repose sur un mécanisme relativement proche. Les articles sont d’abord déposés par leurs auteurs sur une archive ouverte et sont immédiatement accessibles. Les lecteurs ont donc la possibilité de disséminer immédiatement les contenus, s’ils estiment que le contenu présente une certaine valeur scientifique. Les auteurs peuvent contacter dans le même temps le comité de rédaction d’une l’épi-revue hébergée par l’archive ouverte. Commence alors le processus de peer-reviewing classique. Si l’article est accepté, il recevra alors un label de qualité. Dans cette configuration, les reviewers gardent un rôle important dans la détermination de la valeur de la publication, mais il n’en reste pas moins que les lecteurs ont accès ab initio à la version 1 du manuscrit, sans barrière préalable, si ce n’est éventuellement, le filtre des modérateurs de l’archive ouverte.

2. Open commentary post-publication

Les commentaires peuvent également paraître après la publication. F1000Research constitue un cas emblématique de cette seconde forme d’Open commentary.

En ouvrant également la possibilité de commentaires post-publication, la revue PLOS One (2006) a dans le même temps redéfini le périmètre de l’évaluation par les pairs. Se voulant plus “rigoureux”, le peer review est davantage cantonné à un contrôle qualité sur les aspects purement techniques, le jugement sur l’importance à accorder aux manuscrits étant délégué a posteriori au lectorat :

Rigorous Peer Review. Often a journal’s decision not to publish a paper reflects an editor’s opinion about what is likely to have substantial impact in a given field. These subjective judgments can delay the publication of work that later proves to be of major significance. PLOS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound. Judgments about the importance of any particular paper are then made after publication by the readership, who are the most qualified to determine what is of interest to them.

Il est à noter que les commentaires peuvent être faits aussi bien par des lecteurs scientifiques que non-scientifiques. Plos One mise également grandement sur la dissémination et le partage via les réseaux sociaux.

C) Hybridations

Des modèles d’hybridation des processus d’évaluation sont possibles. La revue en sciences de l’environnement VertigO a récemment expérimenté dans le cadre du projet européen OpenAire2020, l’évaluation ouverte par les pairs (Open peer review) assortie de l’ouverture à commentaires durant la phase de pré-publication. L’expérience s’est déroulée sur un temps court sur un corpus de cinq textes soumis à évaluation ouverte et cinq textes ouverts à commentaires.

Ce processus éditorial hybride est mis en oeuvre depuis plusieurs années par la revue Climate of the Past (2005), diffusée par l’European Geosciences Union, et, comme on l’a vu, par la revue F1000Research (2012).

Conclusion

S’il est vrai que l’anonymisation des auteurs ou la publicité de l’identité des reviewers visent à réduire certains biais maintes fois dénoncés, inhérents à l’évaluation par les pairs, et de nature à fausser l’objectivité du jugement, il n’en reste pas moins que le bien-fondé et la portée réelle de ces dispositifs continuent à susciter le débat.

D’autres solutions correctives sont possibles. L’open review, dont le maître-mot est la transparence, vise à rétablir la confiance dans les processus d’évaluation par d’autres moyens : en rendant publique l’opinion des lecteurs, scientifiques ou non-scientifiques, il les consacre comme nouvelle instance d’évaluation, voire comme instance ultime.

Cependant, on se gardera bien de tenir un discours irénique sur l’open review. Car après tout, la publicité de l’identité des auteurs ne peut-elle être considérée comme une régression du point de vue de certains chercheurs, notamment en sciences sociales, qui se sont battus dès les années 1950, pour que l’évaluation soit faite en double aveugle ? A moins que, à l’heure de Google, l’anonymat des auteurs soit à ranger définitivement au rayon des concepts obsolètes ?

C’est dire que le débat est loin d’être clos. Le colloque qui se tiendra prochainement à Toulouse sera l’occasion d’en approfondir les enjeux !

 

---

---