Archives de catégorie : Colloque Open-Eval Toulouse 2016

Tous les billets liés au colloque « Open Access et évaluation de la recherche : vers un nouvel écosystème ? », (vidéos des interventions, bibliographie Zotero partagée, réactions, posters des archives ouvertes toulousaines, …)

Lectures autour du colloque – Partie 1 : Évaluation ouverte avant et après publication

Bibliographie
Partie 1 :  Evaluation ouverte avant et après publication

AMSEN, Eva, 2014. What is open peer review? In: Discussions – F1000 Research [enligne]. 21 mai 2014. [Consultéle9mars2016]. Disponible à l’adresse: http://blog.f1000research.com/2014/05/21/what-is-open-peer-review/.

ANON., 2014. What’s wrong with peer review ? A roundup. In: The Winnower : Open Scholarly Publishing [enligne]. 6 mai 2014. [Consultéle15mars2016]. Disponible à l’adresse: https://thewinnower.com/posts/what-s-wrong-with-peer-review-a-roundup.

BAILEY JR, Charles W., 2014. Transforming Peer Review Bibliography. In: Digital Scholarship [enligne]. 13 janvier 2014. [Consultéle29août2016]. Disponible à l’adresse: http://digital-scholarship.org/tpr/tpr.htm.

BJÖRK, Bo-Christer et HEDLUND, Turid, 2015. Emerging new methods of peer review in scholarly journals. In: Learned Publishing [enligne]. 1 avril 2015. Vol.28, n°2, p.85‑91. [Consultéle7avril2016]. DOI10.1087/20150202. Disponible à l’adresse: http://doi.wiley.com/10.1087/20150202.

BOLDT, Axel, 2010. Extending ArXiv.org to Achieve Open Peer Review and Publishing. In: Journal of Scholarly Publishing [enligne]. 10 décembre 2010. Vol.42, n°2, p.238‑242. [Consultéle29août2016]. DOI10.3138/jsp.42.2.238. Disponible à l’adresse: http://arxiv.org/abs/1011.6590.

BON, Michaël, 2015. Principles of the Self-Journal of Science: bringing ethics and freedom to scientific publishing – Version 1. In: SJS – The Self Journal of Science [enligne]. 24 janvier 2015. [Consultéle23mars2016]. Disponible à l’adresse: http://www.sjscience.org/article?id=46.

BORDIER, Julien, 2015. Évaluation ouverte par les pairs : polysémie et problématiques. 1/2. In: OpenEdition Lab [enligne]. 20 novembre 2015. [Consultéle9mars2016]. Disponible à l’adresse: http://lab.hypotheses.org/1453.

BORDIER, Julien, 2016a. Évaluation ouverte par les pairs : de l’expérimentation à la modélisation : Récit d’une expérience d’évaluation ouverte par les pairs [enligne]. 26 février 2016. S.l.: s.n. Disponible à l’adresse: https://hal.archives-ouvertes.fr/hal-01283582.
BORDIER, Julien, 2016b. Évaluation ouverte par les pairs : polysémie et problématiques. 2/2. In: OpenEdition Lab [enligne]. 9 mars 2016. [Consultéle9mars2016]. Disponible à l’adresse: https://lab.hypotheses.org/1517.
BORDIER, Julien, 2016c. Open peer review : from an experiment to a model : A narrative of an open peer review experimentation [enligne]. Disponible à l’adresse: https://hal.archives-ouvertes.fr/hal-01302597.
DECOURSEY, Thomas, 2006. The pros and cons of open peer review. In: Nature [enligne]. 2006. DOI10.1038/nature04991. Disponible à l’adresse: http://www.nature.com/nature/peerreview/debate/nature04991.html.
EISEN, Michael et VOSSHALL, Leslie B., 2016. Coupling Pre-Prints and Post-Publication Peer Review for Fast, Cheap, Fair, and Effective Science Publishing. In: it is NOT junk : a blog about genomes, DNA, evolution, open science, baseball and other important things [enligne]. 21 janvier 2016. [Consultéle23mars2016]. Disponible à l’adresse: http://www.michaeleisen.org/blog/?p=1820.
FORD, Emily, 2013. Defining and Characterizing Open Peer Review: A Review of the Literature. In: Library Faculty Publications and Presentations [enligne]. 1 juillet 2013. DOI10.3138/jsp.44-4-001. Disponible à l’adresse: http://pdxscholar.library.pdx.edu/ulib_fac/1.

GROSSMANN, Alexander, 2014. ScienceOpen: the next wave of Open Access? In: EuroScientist journal [enligne]. 24 novembre 2014. [Consultéle16mars2016]. Disponible à l’adresse: http://www.euroscientist.com/scienceopen-next-wave-open-access/.

HARNAD, Stevan, 2000. The invisible hand of peer review. In: Exploit Interactive [enligne]. 2000. Vol.5. Disponible à l’adresse: http://cogprints.org/1646.
HEIMBURGER, Franziska, 2013. Open Access – quelques ressources pour entrer dans le débat. In: La boîte à outils des historiens [enligne]. 21 mai 2013. [Consultéle18mars2016]. Disponible à l’adresse: http://www.boiteaoutils.info/2013/05/open-access-quelques-ressources-pour/.
LEFEBVRE, Muriel, 2009. « Atmospheric Chemistry and Physics » : une revue scientifique idéale ? Etude d’une revue électronique du web 2.0. In: Les cahiers du numérique [enligne]. 30 juin 2009. Vol.5, n°2, p.33‑52. DOI10.3166/lcn.5.2.33-52. Disponible à l’adresse: http://lcn.revuesonline.com/article.jsp?articleId=13425.
MAGALHAES, João Pedro de, 2016. Open Peer Review: Why Peer Review Should Not Be Anonymous. In: Joao Pedro de Magalhaes: Science, Thoughts, and Dreams of the Future [enligne]. 1 septembre 2016. [Consultéle1septembre2016]. Disponible à l’adresse: http://jp.senescence.info/thoughts/open_peer_review.html.
NAEGELEN, Pierre, 2016. Evaluation par les pairs : entre pratiques, expérimentations et controverses. In: Archives ouvertes Réseau Toulouse [enligne]. 9 mai 2016. [Consultéle10mai2016]. Disponible à l’adresse: http://openarchiv.hypotheses.org/3528.
PONTILLE, David et TORNY, Didier, 2014. The Blind shall See! The Question of Anonymity in Journal Peer Review. In: Ada: A Journal of Gender, New Media, and Technology [enligne]. 2014. Vol.4. [Consultéle7avril2016]. DOI10.7264/N3542KVW. Disponible à l’adresse: https://doi.org/10.7264/N3542KVW.
PONTILLE, David et TORNY, Didier, 2015. From Manuscript Evaluation to Article Valuation: The Changing Technologies of Journal Peer Review. In: Human Studies [enligne]. mars 2015. Vol.38, n°1, p.57‑79. [Consultéle17avril2015]. DOI10.1007/s10746-014-9335-z. Disponible à l’adresse: http://link.springer.com/10.1007/s10746-014-9335-z.
SHEMA, Hadas, 2014. Introduction to open peer review. In: Scientific American Blog Network [enligne]. 28 juin 2014. Disponible à l’adresse: http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/.
SOERGEL, David, SAUNDERS, Adam et MCCALLUM, Andrew, 2013. openreview.net. In: openreview.net : Open Reviewing Network [enligne]. 2013. Disponible à l’adresse: http://openreview.net/.
TENNANT, Jon, 2016a. Pre- or post-publication peer review. In: ScienceOpen Blog [enligne]. 5 février 2016. [Consultéle9mars2016]. Disponible à l’adresse: http://blog.scienceopen.com/2016/02/pre-or-post-publication-peer-review/.
TENNANT, Jon, 2016b. Should peer review reports be published. In: ScienceOpen Blog [enligne]. 4 février 2016. [Consultéle9mars2016]. Disponible à l’adresse: http://blog.scienceopen.com/2016/02/should-peer-review-reports-be-published/.
VAN ROOYEN, S., GODLEE, F., EVANS, S., BLACK, N. et SMITH, R., 1999. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial. In: BMJ [enligne]. 2 janvier 1999. Vol.318, n°7175, p.23‑27. [Consultéle10mars2016]. DOI10.1136/bmj.318.7175.23. Disponible à l’adresse: http://www.bmj.com/cgi/doi/10.1136/bmj.318.7175.23.
VELTEROP, Johannes, 2015. Peer review – issues, limitations, and future development. In: ScienceOpen Research [enligne]. 29 septembre 2015. [Consultéle9mars2016]. DOI10.14293/S2199-1006.1.SOR-EDU.AYXIPS.v1. Disponible à l’adresse: https://www.scienceopen.com/document?id=ed465907-0406-4006-baa0-58840e5c5b07.
WALSH, Elizabeth, ROONEY, Maeve, APPLEBY, Louis et WILKINSON, Greg, 2000. Open peer review: a randomised controlled trial. In: The British Journal of Psychiatry [enligne]. 1 janvier 2000. Vol.176, n°1, p.47‑51. [Consultéle22avril2016]. DOI10.1192/bjp.176.1.47. Disponible à l’adresse: http://bjp.rcpsych.org/content/176/1/47.
WASSEF, Aalam, 2010. Peer Evaluation : Home page. In: Peer Evaluation : empowering scholars [enligne]. 2010. Disponible à l’adresse: www.peerevaluation.org.

 

Télécharger la version au format PDF

Version du 19/09/2016

Lectures autour du colloque- Partie 2 : L’évaluation institutionnelle et Open Access

Bibliographie
Partie 2 : L’évaluation institutionnelle et Open Access

ANON., 2016. OA et évaluation. In : Open Access Montpellier [en ligne]. 15 mars 2016. [Consulté le 15 mars 2016]. Disponible à l’adresse : http://oam.biu-montpellier.fr/?page_id=41.
AR(ABES)QUES, 2015. Dossier : Déverrouiller la recherche – L’open access : évolution et enjeux. In : Ar(abes)ques [en ligne]. juillet 2015. n° 79. [Consulté le 17 juin 2016]. Disponible à l’adresse : http://www.abes.fr/Arabesques/Arabesques-n-79.
CONTAT, Odile et GREMILLET, Anne-Solweig, 2015. Publier : à quel prix ? Étude sur la structuration des coûts de publication pour les revues françaises en SHS. In : Revue française des sciences de l’information et de la communication [en ligne]. 1 juillet 2015. n° 7. [Consulté le 30 juin 2016]. DOI 10.4000/rfsic.1716. Disponible à l’adresse : http://rfsic.revues.org/1716.
CONTAT, Odile et TORNY, Didier, 2015. Les revues en sciences humaines et sociales à l’heure des communs. In : Revue d’histoire moderne et comporaine [en ligne]. 2015. n° 62‑4 bis, p. 62‑70. [Consulté le 15 mars 2016]. Disponible à l’adresse : https://halshs.archives-ouvertes.fr/halshs-01278853/document.
DIRECTION DE L’INFORMATION SCIENTIFIQUE ET TECHNIQUE – CNRS, 2016. Livre blanc — Une Science ouverte dans une République numérique [en ligne]. Marseille : OpenEdition Press. [Consulté le 10 mai 2016]. Laboratoire d’idées. ISBN 978-2-8218-6869-4. Disponible à l’adresse : http://books.openedition.org/oep/1548.
DUCHEMIN, Eric, 2010. L’accès libre de la science : entretien avec Jean-Claude Guédon. In : Sciences de l’environnement : vous dites ! [en ligne]. 9 août 2010. [Consulté le 18 mars 2016]. Disponible à l’adresse : http://vertigo.hypotheses.org/882.
EISEN, Michael, 2015. The Mission Bay Manifesto on Science Publishing. In : it is NOT junk : a blog about genomes, DNA, evolution, open science, baseball and other important things [en ligne]. 1 octobre 2015. [Consulté le 24 mars 2016]. Disponible à l’adresse : http://www.michaeleisen.org/blog/?p=1760.
EUROPEAN UNIVERSITY ASSOCIATION (EUA), 2016. EUA road map on Open Access to research publications [en ligne]. Bruxelles : EUA. [Consulté le 17 mars 2016]. Disponible à l’adresse : http://www.eua.be/Libraries/publications-homepage-list/eua-roadmap-on-open-access-to-research-publications.pdf.
FRANÇOIS, Paul, 2016. 2016: vers l’open access et au delà. In : Un petit monde [en ligne]. 11 janvier 2016. [Consulté le 23 mars 2016]. Disponible à l’adresse : http://blog.educpros.fr/guillaume-miquelard-et-paul-francois/2016/01/11/2016-vers-lopen-access-et-au-dela/.
GUÉDON, Jean-Claude, 2014. Le Libre Accès et la « Grande Conversation » scientifique. In : Pratiques de l’édition numérique [en ligne]. Montréal : Les Presses de l’Université de Montréal. p. 111‑126. [Consulté le 22 mars 2016]. ISBN 978-2-7606-3202-8. Disponible à l’adresse : http://parcoursnumeriques-pum.ca/le-libre-acces-et-la-grande-conversation-scientifique.
HAMMERSLEY, John, 2014. Collaborative open science speeds up research evaluation. In : EuroScientist journal [en ligne]. 29 janvier 2014. [Consulté le 16 mars 2016]. Disponible à l’adresse : http://www.euroscientist.com/collaborative-open-science-speeds-up-research-evaluation/.
HAMMOU, Karim, 2010. Les sciences sociales ont-elles encore besoin de livres ? In : Les aspects concrets de la thèse [en ligne]. 5 octobre 2010. [Consulté le 15 mars 2016]. Disponible à l’adresse : http://act.hypotheses.org/1310.
HUET, Sylvestre, 2013. Open access: du rêve au cauchemar? L’avis de J-C Guédon. In : {Sciences2} [en ligne]. 4 octobre 2013. [Consulté le 22 mars 2016]. Disponible à l’adresse : http://sciences.blogs.liberation.fr/home/2013/10/open-access-du-r%C3%AAve-au-cauchemar-bis.html.
JOHNSON, Ben, 2014. How do we achieve open access ? In : HEFCE blog [en ligne]. 20 octobre 2014. [Consulté le 24 mars 2016]. Disponible à l’adresse : http://blog.hefce.ac.uk/2014/10/20/how-do-we-achieve-open-access/.
LEBERT, Marie, 2016. Un guide de l’Open Access à destination du grand public. In : ActuaLitté – Les univers du livre [en ligne]. 19 janvier 2016. [Consulté le 22 mars 2016]. Disponible à l’adresse : https://www.actualitte.com/article/lecture-numerique/un-guide-de-l-open-access-a-destination-du-grand-public/63062.
LEFEBVRE, Muriel, 2006. Vers une remise en question des modalités traditionnelles d’évaluation des savoirs scientifiques ? In : Communication scientifique et valorisation de la recherche à l’heure d’Internet [en ligne]. Toulouse : Urfist Toulouse – SCD Toulouse 1. 13 avril 2006. [Consulté le 25 mars 2016]. Disponible à l’adresse : http://archivesic.ccsd.cnrs.fr/sic_00112197/document.
LEFEBVRE, Muriel, 2010. Rendre public le processus d’évaluation de la recherche. L’émergence de nouvelles pratiques d’écriture et de lecture de la science : l’exemple d’une revue scientifique du web 2.0. In : Réseaux [en ligne]. 3 décembre 2010. Vol. 2010/6, n° 164, p. 71‑96. [Consulté le 25 mars 2016]. DOI 10.3917/res.164.0071. Disponible à l’adresse :
www.cairn.info/revue-reseaux-2010-6-page-71.htm
.
LEGENDRE, Olivier, 2014. L’open access nuit-il à la qualité scientifique ? In : L’Alambic numérique [en ligne]. 24 mars 2014. [Consulté le 24 mars 2016]. Disponible à l’adresse : http://alambic.hypotheses.org/5187.
LEGENDRE, Olivier, 2016. La nasse dorée de l’open access – (Gaol Road to Open Access). In : L’Alambic numérique [en ligne]. 4 janvier 2016. [Consulté le 25 février 2016]. Disponible à l’adresse : https://alambic.hypotheses.org/5845.
MEADOWS, Michael, DIETZ, Ton et VANDERMOTTEN, Christian, 2016. A perspective on problems and prospects for academic publishing in Geography. In : Geo: Geography and Environment [en ligne]. 1 janvier 2016. Vol. 3, n° 1, p. n/a-n/a. [Consulté le 8 mars 2016]. DOI 10.1002/geo2.16. Disponible à l’adresse : http://onlinelibrary.wiley.com/doi/10.1002/geo2.16/abstract.
NIEL, Gilles, 2014. Un jeune chercheur s’exprime sur l’Open Access. In : Open Access Montpellier [en ligne]. 3 septembre 2014. [Consulté le 15 mars 2016]. Disponible à l’adresse : http://oam.biu-montpellier.fr/?p=359.
NIELSEN, Michael, 2012. How you can help the Federal Research Public Access Act (FRPAA) become law. In : Michael Nielsen [en ligne]. 14 février 2012. [Consulté le 9 mars 2016]. Disponible à l’adresse : http://michaelnielsen.org/blog/how-you-can-help-the-federal-research-public-access-act-frpaa-become-law/.
RENTIER, Bernard, 2013. Comment prendre le grand virage de l’accès libre et gratuit ? In : Bernard Rentier, Recteur : Pour une université ouverte et interactive [en ligne]. 31 mars 2013. [Consulté le 22 mars 2016]. Disponible à l’adresse : http://recteur.blogs.ulg.ac.be/?p=880.
SÉGALAT, Laurent, 2009. La science à bout de souffle ? Paris : Seuil. ISBN 978-2-02-100268-3.
WALTMAN, Ludo, 2015. A review of the literature on citation impact indicators. In : arXiv:1507.02099 [cs] [en ligne]. 8 juillet 2015. p. 71. [Consulté le 23 mars 2016]. Disponible à l’adresse : http://arxiv.org/abs/1507.02099.

 

Télécharger la version au format PDF.

Version du 19/09/2016

Amsterdam Call for Action : focus sur une rénovation des systèmes d’évaluation

logo openscienceCe  plan d’action d’Amsterdam sur l’innovation en matière de science ouverte aussi appelé Amsterdam Call for Action on Open Science, est le résultat d’une conférence qui a eu lieu à Amsterdam ‘Open Science
– From Vision to Action’ organisée par la présidence néerlandaise européenne, les  4 et 5 avril 2016. Deux objectifs importants au niveau européen ont été formulés pour 2020 : Continuer la lecture de Amsterdam Call for Action : focus sur une rénovation des systèmes d’évaluation

Evaluation par les pairs : entre pratiques, expérimentations et controverses

Comment juger objectivement un article scientifique ?  L’objectivité du jugement par les pairs est-elle davantage garantie par l’anonymat des auteurs et/ou des reviewers ? Quels sont les effets induits par l’ouverture du processus d’évaluation par les pairs sur l’objectivité du jugement ? Telles sont quelques-unes des questions qui seront abordées lors de la première partie du colloque « Open Access et évaluation de la Recherche : vers un nouvel écosystème ?« ,  les 13 et 14 octobre 2016 à Toulouse, sur le campus de l’Université Toulouse III – Paul Sabatier (inscriptions prochainement ici).

Army Photography Contest - 2007 - FMWRC - Arts and Crafts - Eye of the Holder
A l’heure de Google, l’anonymat des auteurs a-t-il encore un sens ?  Eye of the Holder. Par SGT Pablo Piedra. CC-BY 2.0. Source : Flickr.

Didier Torny (Institut des Sciences Humaines et Sociales – CNRS) et David Pontille (CSI i3 – Centre de Sociologie de l’Innovation- Mines ParisTech) ont rédigé deux articles importants (ici et ) sur ces questions, et nous nous proposons de reprendre dans ce qui suit certains des points saillants de leur travail, tout en nous autorisant par moments la liberté de nous en écarter. La quatrième partie, quant à elle, consacrée à l’évaluation ouverte par les pairs s’appuie en grande partie sur le travail éclairant de défrichage réalisé par Julien Bordier, (CLEO, Centre pour l’édition électronique ouverte)

I) Anonymiser les auteurs ?

La question de l’anonymat des auteurs est devenue centrale à partir des années 1950. Les chercheurs en sociologie se sont interrogés les premiers sur les implications de l’anonymat des auteurs. En juin 1955, la revue The American Sociological Review a informé ses reviewers qu’elle expérimentait un nouveau mode d’évaluation reposant sur l’anonymat des auteurs. En 1967, l’American Sociological Association (ASA) décidait d’étendre cette procédure d’évaluation à toutes ses publications, au motif que l’évaluation devait se fonder seulement et uniquement sur le contenu, et non sur le prestige éventuel des auteurs ou de leur établissement de rattachement.

A partir du milieu des années 1970, le principe de l’anonymisation des auteurs s’est étendu à d’autres disciplines en lien avec les sciences humaines et sociales. Cela correspondait aussi à une forte demande de chercheuses qui pointaient à juste titre le faible taux d’acceptation des articles soumis par des femmes.

La question de l’anonymat des auteurs a été discutée à partir de la fin des années 60 au sein des sciences dites « dures », mais c’est la solution opposée qui a été retenue majoritairement, notamment parce que la pratique de l’auto-citation complique en pratique l’anonymisation du manuscrit.

II) Rendre publique l’identité des reviewers  ?

A partir des années 1970, les sciences expérimentales ont mis en doute le bien-fondé de l’anonymat des reviewers. Dans un article paru dans le New Scientist en 1974, le chercheur en biochimie Robert Jones pointait le fait que l’anonymat permet à certains reviewers de recourir en toute impunité à des comportements causant du tort à ceux des auteurs pressentis comme leurs rivaux. Cela peut aller de la simple moquerie, à l’attitude délibérément dilatoire du reviewer qui souhaite publier ses travaux en premier, ou bien encore au rejet pur et simple de l’article par l’évaluateur, afin d’en plagier le contenu partiellement ou totalement.

D’autres critiques se sont fait jour pour relever le peu de soins apporté par certains reviewers à leur évaluation. Un tel comportement est de nature à nuire à la confiance portée dans le processus d’évaluation dans son ensemble.

La même année, la revue Nature a répondu à l’article de Jones en défendant le principe de l’anonymat des reviewers, invoquant notamment le fait que révéler l’identité des reviewers fait courir le risque de disputes ouvertes avec les auteurs et d’un rabaissement des jugements d’évaluation au statut de simples opinions personnelles.

D’autres arguments se sont ajoutés au fil de la controverse. Ainsi, les chercheurs en début de carrière jouant le rôle de reviewers, pourraient craindre, dans le cas où leur identité en tant que reviewers serait rendue publique, que toute évaluation négative du travail de leurs pairs mette en péril leur propre carrière; ils pourraient se borner, de ce fait, à produire des rapports insipides ou trop consensuels.

III) Aporie…

La majorité des sciences sociales ont opté pour le double blind  (les reviewers sont anonymisés, de même que les auteurs au moment de l’évaluation). Tandis que les sciences biomédicales ont majoritairement maintenu le système du single blind (l’identité de l’auteur est connue au moment de l’évaluation tandis que l’évaluateur reste anonyme).

Mais comme l’anonymisation des auteurs suscite le débat, il n’est pas rare de voir un comité de rédaction hésiter entre les deux modes d’évaluation.  Celui de l’American Economic Review n’a cessé de faire fluctuer sa politique d’évaluation, optant pour le single blind puis pour le double blind avant de retourner au single blind, etc. Si finalement, depuis 2011, c’est le processus du single blind qui a été retenu par le comité de rédaction de la revue AER, c’est notamment pour la raison que les moteurs de recherche, tel Google, permettent aux reviewers d’identifier rapidement et facilement les auteurs d’un article. Dans ce contexte, l’anonymisation des auteurs est inopérante et son concept relèverait désormais purement et simplement du mythe incantatoire.

En pratique, en dépit d’un cadre de politique éditoriale clairement établi, les comités de rédaction  laissent parfois aux auteurs ou aux reviewers la possibilité de faire le choix de révéler ou non leur identité. C’est ce que Didier Torny et David Pontille proposent d’appeler les « Do it Yourself Objectivities« , ce qu’on pourrait traduire par « aménagements subjectifs d’arrangements objectifs ». Les cartes sont alors définitivement brouillées…

Nous nous demandions en introduction si l’anonymisation des auteurs et des reviewers garantissait une plus grande objectivité du jugement, ou si l’ouverture partielle ou totale du processus d’évaluation est de nature à garantir plus fortement l’impartialité.

Or il est difficile de répondre à l’une ou l’autre question : les processus d’anonymisation et d’ouverture sont particulièrement ambivalents. Pour certains, on l’a vu,  l’anonymisation des auteurs est une condition sine qua non de l’objectivité de l’évaluation, pour d’autres il faut rendre publique l’identité des reviewers. Mais dans le même temps, des opinions  symétriquement opposées coexistent.

Si les solutions évoquées plus haut ne semblent pas mettre fin de façon certaine à la subjectivité de l’évaluation, c’est sans doute qu’elles n’abordent pas de front la question de la subjectivité en surplomb du rédacteur en chef, lequel dispose bien souvent d’un pouvoir décisionnel supérieur à ceux des referees pour accepter ou rejeter un manuscrit. La validation par le rédacteur en chef constitue en ce cas un point de passage obligatoire.

Par ailleurs, les faiblesses du processus classique de peer review en single bind ou double bind, sont régulièrement pointées du doigt à l’occasion de nombreuses affaires qui émaillent le monde de la recherche et qui entament la confiance mise dans le processus de validation.

Bref, la mise en oeuvre de modes de validation alternatifs des publications scientifiques ne s’explique pas uniquement par la mise en cause du rôle discrétionnaire du rédacteur en chef, mais par une perte de confiance dans les processus classiques d’évaluation.

IV) L’évaluation ouverte

Sous la dénomination d’ « évaluation ouverte », nous  regroupons aussi bien l’open peer review, ou évaluation ouverte par les pairs, que l’ouverture à commentaires, qu’ils soient le fait de lecteurs scientifiques ou non-scientifiques.  L’évaluation ouverte minimise le pouvoir décisionnel du rédacteur en chef et privilégie l’évaluation par les lecteurs scientifiques ou non-scientifiques. Par surcroît, la publicité des débats présente,  selon ses promoteurs, le gage d’un contrôle de qualité, en ce qu’elle permet de limiter le risque de l’arbitraire quand les rejets d’articles sont non ou insuffisamment motivés.

L’évaluation ouverte se décline sous le signe de la transparence, en deux sens au moins : non seulement les auteurs et reviewers et/ou simples commentateurs sont identifiés, mais leurs commentaires respectifs sont également en accès ouvert. Comme l’écrit Julien Bordier :

« Ce qui caractérise donc l’évaluation ouverte par les pairs, ce sont avant tout la possibilité pour l’auteur qui soumet une publication d’identifier les discutants/évaluateurs de son projet de publication d’une part, et d’avoir accès aux rapports critiques (discussion/évaluation) d’autre part. »

A) L’open peer review

Dans le cas de l’open peer review, auteurs et reviewers sont clairement et ouvertement identifiés et leurs échanges sont publics. Les tenants de l’open peer review insistent non seulement sur la responsabilité endossée par les reviewers qui doivent assumer pleinement leur critique, quand bien même elle serait seulement négative, mais aussi sur les vertus du dialogue qu’implique l’ouverture du processus d’évaluation. Dans la revue F1000Research (créée en 2012), les rapports et les noms des experts sont publiés à côté de l’article, ainsi que les réponses des auteurs.

Les derniers développements techniques de la plate-forme Episciences permettront d’ouvrir le peer review à l’open peer review : l’éditeur pourra choisir de rendre visible chaque critère de la grille de relecture et « décider ou non de publier le résultat des évaluations des articles sur leur page publique ; les rapports de relecture sont pérennisés dans un fichier au format TEI, ce qui offre la possibilité de les publier ».

Une solution plus radicale encore consiste à faire table rase des fonctions de rédacteur en chef et de comité de rédaction voire de la notion même de revue en tant que point de passage obligé pour la validation des publications. Le Self Journal of Science (SJS), en dépit de son titre, ne se présente pas comme une revue mais comme une « plate-forme de dépôt multidisciplinaire » (multidisciplinary repository) destiné à mettre les chercheurs en position de diffuser et commenter directement leurs travaux sans le filtre préalable ou subséquent de la validation. Il n’y a donc pas d’autorité structurale du reviewer. Les commentaires et évaluations des chercheurs-relecteurs sont publiés en toute transparence. Un dialogue entre auteurs et reviewers permet de faire émerger peu à peu un consensus.

B) Open Commentary

On entend par open commentary les discussions avant ou après la publication d’un article, sans que ces échanges entrent directement en ligne de compte dans la validation de l’article.

L’ouverture à commentaires a pour vertu d’inscrire les articles scientifiques dans un cadre foncièrement dialogique. Les commentaires peuvent être faits avant ou après publication.

1. Open commentary pré-publication

Deux revues ont fait de l’ouverture à commentaires lors de la phase de pré-publication, la clef de voûte de leur système d’élaboration et de co-construction de la connaissance : Current Anthropology, fondée en 1960, et Behavioral and Brain Sciences, créée en 1978.   L’Open commentary ou commentaire ouvert pourrait se résumer ainsi : une fois accepté, le manuscrit est soumis à une discussion publique et un dialogue s’engage entre les commentateurs et le ou les auteurs.

Le processus d’évaluation qui préside à la publication des épi-revues repose sur un mécanisme relativement proche. Les articles sont d’abord déposés par leurs auteurs sur une archive ouverte et sont immédiatement accessibles. Les lecteurs ont donc la possibilité de disséminer immédiatement les contenus, s’ils estiment que le contenu présente une certaine valeur scientifique. Les auteurs peuvent contacter dans le même temps le comité de rédaction d’une l’épi-revue hébergée par l’archive ouverte. Commence alors le processus de peer-reviewing classique. Si l’article est accepté, il recevra alors un label de qualité. Dans cette configuration, les reviewers gardent un rôle important dans la détermination de la valeur de la publication, mais il n’en reste pas moins que les lecteurs ont accès ab initio à la version 1 du manuscrit, sans barrière préalable, si ce n’est éventuellement, le filtre des modérateurs de l’archive ouverte.

2. Open commentary post-publication

Les commentaires peuvent également paraître après la publication. F1000Research constitue un cas emblématique de cette seconde forme d’Open commentary.

En ouvrant également la possibilité de commentaires post-publication, la revue PLOS One (2006) a dans le même temps redéfini le périmètre de l’évaluation par les pairs. Se voulant plus « rigoureux », le peer review est davantage cantonné à un contrôle qualité sur les aspects purement techniques, le jugement sur l’importance à accorder aux manuscrits étant délégué a posteriori au lectorat :

Rigorous Peer Review. Often a journal’s decision not to publish a paper reflects an editor’s opinion about what is likely to have substantial impact in a given field. These subjective judgments can delay the publication of work that later proves to be of major significance. PLOS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound. Judgments about the importance of any particular paper are then made after publication by the readership, who are the most qualified to determine what is of interest to them.

Il est à noter que les commentaires peuvent être faits aussi bien par des lecteurs scientifiques que non-scientifiques. Plos One mise également grandement sur la dissémination et le partage via les réseaux sociaux.

C) Hybridations

Des modèles d’hybridation des processus d’évaluation sont possibles. La revue en sciences de l’environnement VertigO a récemment expérimenté dans le cadre du projet européen OpenAire2020, l’évaluation ouverte par les pairs (Open peer review) assortie de l’ouverture à commentaires durant la phase de pré-publication. L’expérience s’est déroulée sur un temps court sur un corpus de cinq textes soumis à évaluation ouverte et cinq textes ouverts à commentaires.

Ce processus éditorial hybride est mis en oeuvre depuis plusieurs années par la revue Climate of the Past (2005), diffusée par l’European Geosciences Union, et, comme on l’a vu, par la revue F1000Research (2012).

Conclusion

S’il est vrai que l’anonymisation des auteurs ou la publicité de l’identité des reviewers visent à réduire certains biais maintes fois dénoncés, inhérents à l’évaluation par les pairs, et de nature à fausser l’objectivité du jugement, il n’en reste pas moins que le bien-fondé et la portée réelle de ces dispositifs continuent à susciter le débat.

D’autres solutions correctives sont possibles. L’open review, dont le maître-mot est la transparence, vise à rétablir la confiance dans les processus d’évaluation par d’autres moyens : en rendant publique l’opinion des lecteurs, scientifiques ou non-scientifiques, il les consacre comme nouvelle instance d’évaluation, voire comme instance ultime.

Cependant, on se gardera bien de tenir un discours irénique sur l’open review. Car après tout, la publicité de l’identité des auteurs ne peut-elle être considérée comme une régression du point de vue de certains chercheurs, notamment en sciences sociales, qui se sont battus dès les années 1950, pour que l’évaluation soit faite en double aveugle ? A moins que, à l’heure de Google, l’anonymat des auteurs soit à ranger définitivement au rayon des concepts obsolètes ?

C’est dire que le débat est loin d’être clos. Le colloque qui se tiendra prochainement à Toulouse sera l’occasion d’en approfondir les enjeux !

 

Colloque « open access – évaluation de la recherche » : ouvrons le débat !

Le colloque « Open Access et évaluation de la Recherche : vers un nouvel écosystème ? «  organisé par le Réseau Archives ouvertes Toulouse se déroulera à Toulouse, les 13 et 14 octobre 2016 à la Maison de la Recherche et de la Valorisation, sur le campus de l’Université Toulouse III – Paul Sabatier.

Consulter le programme en ligne : https://openeval2016.sciencesconf.org/ Continuer la lecture de Colloque « open access – évaluation de la recherche » : ouvrons le débat !