Archives de catégorie : évaluation

Plan national pour la science ouverte : beaucoup d’avancées et trois questions

[Version légèrement remaniée d’un billet paru initialement sur le blog Numeribib]

Mercredi 4 juillet, à l’occasion du congrès annuel de la Ligue des Bibliothèques Européennes de Recherche, Frédérique Vidal, Ministre de l’Enseignement Supérieur, de la Recherche et de l’Innovation, a présenté un Plan national pour la science ouverte.
Le plan comporte différentes mesures qui se déclinent en 3 axes :

  • Premier axe : généraliser l’accès ouvert aux publications
  • Deuxième axe : structurer et ouvrir les données de la recherche
  • Troisième axe : s’inscrire dans une dynamique durable, européenne et internationale

Ce plan ambitieux est une excellente nouvelle pour le rayonnement international de la production scientifique française. Il s’accompagne de différentes actions complémentaires. La liste est longue et elles mériteraient d’être toutes citées. Voici certaines des plus marquantes :

– « Reconnaître la science ouverte dans les évaluations des chercheurs et des établissements« . Il s’agit non seulement de ne plus établir une hiérarchie des valeurs entre les publications sous pay wall et les publications en accès libre (comme le faisait jusqu’il y a peu la section 60 du CNU « Mécanique, génie mécanique, génie civil »), mais de valoriser les publications en accès libre. Comme le précise Frédérique Vidal dans son discours inaugural : « Pour relever les défis de la science ouverte, nous devons réformer en profondeur tout notre système pour que l’ouverture des publications et des données soit enfin reconnue comme une bonne pratique. »

–  « Réduire l’emprise de l’évaluation quantitative au profit de l’évaluation qualitative. » L’objectif fait ici écho aux nombreuses critiques adressées à l’encontre des mesures bibliométriques traditionnelles, telles que le facteur d’impact d’une revue ou le h-index conçu pour évaluer la carrière d’un chercheur. En 2013, la Déclaration de San Francisco sur l’évaluation de la Recherche en appelait déjà à une réforme des méthodes d’évaluation des revues, de façon à mettre un terme à l’erreur consistant à établir une corrélation entre le facteur d’impact d’une revue et la qualité des articles qui y sont publiés. Plus près de nous, le Manifeste de Leiden en 2015 et le colloque « Open Eval » en 2016 faisaient état de la  perte de confiance dans les processus classiques d’évaluation et de la nécessité de leur substituer une « évaluation ouverte ».

– « Encourager l’adoption des citations ouvertes (Initiative for Open Citations – I4OC) à la place de citations dans des environnements propriétaires. » Encore peu connue en France, l’I4OC promeut le développement des citations structurées et ouvertes, c’est-à-dire librement accessibles et réutilisables.

– « Explorer les nouveaux modèles économiques pour les revues comme pour les livres en accès ouvert. » Il s’agit de préserver un objectif de « bibliodiversité« , tel que défini dans l’Appel de Jussieu, qui plaide pour le « développement de modèles innovants de publication scientifique ».

– « Construire autour de l’administrateur des données un réseau de correspondants dans les établissements, pour répondre aux questions que se posent les chercheurs sur les données de la recherche. » La gestion des données de la recherche ne sera pas simplement pilotée de façon centralisée par administrateur général des données (Chief Data Officer) mais se déploiera de façon réticulaire par une série de relais au sein de chacun des établissements de l’enseignement supérieur.

– « Créer un label « science ouverte » pour les écoles doctorales » et « Développer les compétences sur les données de la recherche, notamment à travers des offres de formation en ligne à destination de la communauté scientifique. » Le plan pour la science ouverte intègre donc clairement un volet dédié à la formation, qu’il s’agisse de celle des doctorants ou de celle des enseignants-chercheurs.

– « Adhérer au niveau national à ORCID, système d’identification unique des chercheurs qui permet de connaitre plus simplement et sûrement les contributions scientifiques d’un chercheur. » Le système ORCID (Open Researcher and Contributor ID) est en effet le meilleur moyen d’identifier précisément les auteurs et de réduire les risques d’homonymie. Si ORCID est un jour largement adopté à un niveau international, on ne verra plus, comme en 2011, 3926 articles publiés sous le nom d’un seul auteur.

– « Ouvrir les données du financement de la recherche en constituant des jeux de données publiques concernant :

  • les dépenses relatives aux acquisitions électroniques dans les bibliothèques universitaires et par les organismes de recherche,
  • les dépenses relatives aux frais de publications d’articles et de livres
  • les financements de recherche sur appel à projets et leurs bénéficiaires. »

La formulation du premier point laisse une question pendante. Quel est le degré de précision des informations ? S’agit-il simplement pour les bibliothèques universitaires et les organismes de recherche de rendre public le montant global des sommes dépensées en matière de  documentation électronique ? Ou bien s’agit-il de détailler, éditeur par éditeur, le montant des sommes qui sont facturées ?
Si l’on suppose que c’est la seconde interprétation qui est la bonne, force serait de constater que le fait d’enjoindre les présidents ou les directeurs des établissements de l’enseignement supérieur et de la recherche à communiquer le montant des dépenses d’acquisition en matière de documentation électronique est assez nouveau et mérite d’être souligné. Cela va à rebours des recommandations du consortium Couperin qui a toujours invité les négociateurs et les établissements à ne pas communiquer publiquement le montant des acquisitions, en application de « la réglementation française en vigueur au titre de l’atteinte aux intérêts financiers du titulaire et du secret des affaires« . C’est ainsi que les Enquêtes annuelles sur les Ressources Électroniques » (ERE), remplies ressource par ressource par chaque établissement membre du consortium Couperin, ne sont pour l’instant pas en accès libre.

Cette culture du secret ne date pas d’hier. Déjà, en 2008, l’une des premières préconisations du rapport Salençon était de « rendre publiques les conditions de vente une fois les marchés publics conclus. » En 2011, l’Inspecteur Général des Bibliothèques Pierre Carbone constatait que « les clauses de confidentialité ont surtout pour effet de fragmenter les institutions d’enseignement supérieur et de recherche et de leur empêcher d’avoir une vision d’ensemble ».
Mais cet état de fait va changer très vite. Car dès le 3 avril, donc avant même la diffusion du plan pour la science ouverte, le Ministère de l’Enseignement Supérieur, de la Recherche et de l’Innovation a pris l’engagement de diffuser ces données de manière transparente sur le site https://data.enseignementsup-recherche.gouv.fr/. Cette initiative correspond à l’une des actions de l’engagement 18 du programme français « Pour une action publique transparente et collaborative : Plan d’action national pour la France 2018-2020 » :

Mettre en place un dispositif de monitoring transparent (public) des dépenses relatives aux acquisitions électroniques dans les bibliothèques universitaires. Diffusion des dépenses en open data sur le portail open data du MESRI (enquête ERE sur les ressources électroniques des bibliothèques et des établissements d’enseignement supérieur).

Un questionnaire officiel adressé le 27 juin par Couperin à tous les présidents et directeurs des établissements de l’enseignement supérieur et de la recherche leur demande d’exprimer leur accord ou leur désaccord à la diffusion publique des données recueillies lors de l’enquête annuelle ERE. Sans réponse d’ici le 23 juillet, le MESRI considèrera par défaut les réponses comme affirmatives.
En dernier ressort, c’est le MESRI qui décidera du degré de précision des jeux de données : ce point n’est donc pas totalement tranché. Il se pourrait que les conditions de sa compatibilité avec certaines dispositions de la Loi pour une République numérique nécessitent d’être précisées, comme on le verra plus bas.

***

On notera au passage que la CURIF (Coordination des universités de recherche intensive françaises), avait fait le 3 juillet, soit la veille de la publication du plan, 4 propositions pour la science ouverte, lesquelles s’inscrivent parfaitement dans les grandes lignes du plan :

1. S’investir pleinement dans la création d’un fonds pour le développement de la Science Ouverte
2. Changer nos pratiques internes d’évaluation des structures, des personnels et des appels à projets pour s’inscrire dans une démarche de Science Ouverte
3. Pérenniser et ouvrir l’accès aux données issues de la recherche
4. Assurer des formations sur la Science Ouverte à tous les niveaux

Ces propositions ont été rendues publiques avec l’accord et le soutien de Frédérique Vidal. Il semblerait donc que la CURIF soit la « tête de pont » de la mise en œuvre du plan national.

***

Au travers de cette présentation succincte du plan pour la science ouverte, quelques interrogations se font jour. Elles portent sur l’articulation de certaines mesures avec les dispositions de la Loi pour une République Numérique.

1 – Obligation de publier en accès ouvert les articles et livres issus de recherches financées par appel d’offres sur fonds publics :

Alors que l’article 30 de la Loi pour une République Numérique énonce que la mise « à disposition gratuitement dans un format ouvert, par voie numérique » d’un écrit scientifique dépend du libre choix de son auteur et de ses coauteurs éventuels, le plan pour la science ouverte rend la mise à disposition obligatoire.

Cependant, le champ d’application des deux dispositifs semble sensiblement différent. L’article 30 de la LRN concerne « un écrit scientifique issu d’une activité de recherche financée au moins pour moitié par des dotations de l’Etat, des collectivités territoriales ou des établissements publics, par des subventions d’agences de financement nationales ou par des fonds de l’Union européenne ». Tandis que la formulation moins précise de la mesure 1 du plan national ne permet pas de savoir si elle s’applique seulement aux écrits scientifiques financés à 100 % sur fonds publics, ou si le seuil des 50% est suffisant. Si c’est la première branche de l’alternative qui est la bonne, l’obligation de dépôt s’appliquerait donc potentiellement à un nombre plus restreint d’écrits scientifiques.

2 – La question des licences ouvertes :

Les rédacteurs du plan indiquent que « la France recommandera l’adoption de licences ouvertes pour les publications et les données, à la fois compatibles avec la loi française et avec les pratiques scientifiques internationales. »

Concernant, les données de la recherche, on note ici une zone de conflit potentiel avec les dispositions de la LRN. L’article 30 énonce que les données de la recherche sont librement réutilisables :

Dès lors que les données issues d’une activité de recherche financée au moins pour moitié par des dotations de l’Etat, des collectivités territoriales, des établissements publics, des subventions d’agences de financement nationales ou par des fonds de l’Union européenne ne sont pas protégées par un droit spécifique ou une réglementation particulière et qu’elles ont été rendues publiques par le chercheur, l’établissement ou l’organisme de recherche, leur réutilisation est libre.

Par conséquent, l’apposition d’une licence, aussi ouverte soit-elle (CC0 par exemple), aux données de la recherche serait non seulement inutile, mais contraire à la lettre de la loi.

3 – La publication des dépenses relatives aux acquisitions électroniques dans les bibliothèques universitaires et par les organismes de recherche

Le gouvernement semble déterminé à publier de manière transparente sur le site https://data.enseignementsup-recherche.gouv.fr/, les dépenses des établissements de l’ESR, ressources par ressources (ce qui est de notre point de vue une excellente décision). Il n’en reste pas moins que les conditions de compatibilité de cette action vis-à-vis du texte de la Loi pour une République Numérique mériteraient d’être clarifiées. L’article 6 de la LRN prévoit des exceptions au principe général d’open data, listées aux articles 311-5 et 311-6 du code des relations entre le public et l’administration. Ce second article pointe notamment le cas de l’atteinte au secret commercial :

Ne sont communicables qu’à l’intéressé les documents administratifs :

1° Dont la communication porterait atteinte à la protection de la vie privée, au secret médical et au secret en matière commerciale et industrielle, lequel comprend le secret des procédés, des informations économiques et financières et des stratégies commerciales ou industrielles et est apprécié en tenant compte, le cas échéant, du fait que la mission de service public de l’administration mentionnée au premier alinéa de l’article L. 300-2 est soumise à la concurrence ;

***

Bien que des questionnements sur la portée exacte du Plan national pour la science ouverte et sur sa compatibilité avec les textes  en vigueur émergent ici ou là, il n’en reste pas moins que le Plan marque une étape importante dans la diffusion et le partage de la science à un niveau national et international.
Il faudra cependant rester vigilant notamment vis-à-vis de la négociation nationale qui se profile autour de RELX-Elsevier. Il ne faudrait pas que, sous couvert de promotion de la science ouverte, le gouvernement finisse par reconduire à l’identique un accord de licence nationale, dont les conditions de négociation s’étaient avérées assez désastreuses par le passé.

L’activité des reviewers (Publons) : témoignages de chercheurs

Dans le cadre de la journée d’étude du 27 mars 2018 « Le peer review à l’ère de l’open science : enjeux et évolutions » (consulter les supports ; consulter les tweets) organisée par l’Unité régionale de formation à l’information scientifique et technique de Bordeaux, une table-ronde a été dédiée à la question de la reconnaissance et de la valorisation de l’activité des reviewers et notamment via l’utilisation de Publons. Continuer la lecture de L’activité des reviewers (Publons) : témoignages de chercheurs

Peer Community in

Le  “Peer Community in” (PCI) est une organisation scientifique à but non-lucratif ayant pour but de créer des communautés spécifiques de chercheurs capables d’évaluer gratuitement dans leur champ disciplinaire des documents « preprints » (c-a-d, articles non publiés et déposés en libre accès sur des plateformes d’archives ouvertes comme arXiv.org ou bioRxiv.org.

Continuer la lecture de Peer Community in

AllEnvi et AvieSan soutiennent les preprints

Les alliances AllEnvi (Alliance nationale de recherche pour l’environnement) et AvieSan (Alliance pour les sciences de la vie et de la santé) et l’ensemble de leurs membres déclarent reconnaître le preprint comme une forme recevable de communication scientifique. Elles invitent les instances d’évaluation et de financement de la recherche à adopter une politique similaire et à reconnaître les preprints comme des contributions au progrès scientifique. Continuer la lecture de AllEnvi et AvieSan soutiennent les preprints

Publier et évaluer autrement

Thierry ehrmann, « Ecrire, voilà l’acte terroriste absolu… », licence CC-BY 2.0, https://flic.kr/p/5Giy3K

Une évaluation fondée sur les principes de la science

Dans son dernier article « Novel processes and metrics for a scientific evaluation rooted in the principles of science » ,  Michaël Bon (fondateur du système SJS, The Self-Journals of Science) propose une évaluation basée sur une nouvelle métrique possédant les attributs suivants :

– être ouverte,
– être non-propriétaire,
– être incomparablement plus solide scientifiquement que le facteur d’impact ou le nombre de téléchargements,
– récompenser intrinsèquement l’ouverture et la collaboration,
– promouvoir la qualité et non l’impact,
– rendre caduque l’appropriation de la science par des tiers.

Source : M. Bon, 17/02/2017, liste accesouvert et « Novel processes and metrics for a scientific evaluation rooted in the principles of science » Continuer la lecture de Publier et évaluer autrement

Science ouverte : éthique, transparence et reproductibilité

Bain de colza
Ridha Dhib, « Bain de colza, licence CC BY-SA 2.0 https://flic.kr/p/oZ3Yey

Un manifeste pour la science reproductible

Cinq mesures sont proposées pour améliorer la fiabilité et l’efficacité de la science en vue d’augmenter la crédibilité des publications scientifiques et permettre de nouvelles découvertes.

  1. amélioration des méthodes scientifiques,
  2. amélioration de la diffusion,
  3. promouvoir la transparence et la science ouverte (reproductibilité de la science),
  4. diversification du peer-reviewing,
  5. récompense des pratiques ouvertes et reproductibles.

Source : Nature Human Behaviour, 10/01/2017, http://www.nature.com/articles/s41562-016-0021

Continuer la lecture de Science ouverte : éthique, transparence et reproductibilité

« Open access et évaluation de la recherche » (Toulouse) : synthèse et perspectives

Problématique du colloque

Comités de lecture ou d’évaluation, classements nationaux et internationaux, outils bibliométriques, réseaux sociaux académiques, « e-réputation » : sous de multiples formes, des plus institutionnalisées aux moins formalisées, l’évaluation est plus que jamais un élément central de régulation du champ de la recherche.

L’irruption et le développement de l’open access ont constitué – et constituent toujours -, à cet égard, des défis et des enjeux de taille, en déstabilisant quelque peu les circuits traditionnels de diffusion, de validation et de reconnaissance, et donc de légitimation, de l’activité scientifique. Des interrogations portent régulièrement, en particulier, sur les possibles inflexions des critères d’évaluation des chercheurs que pourraient entraîner ces transformations à travers une prise en considération accrue des travaux déposés en accès ouvert. Continuer la lecture de « Open access et évaluation de la recherche » (Toulouse) : synthèse et perspectives

Brevet d’Elsevier ou comment détruire le peer-reviewing scientifique américain libre

Le 30 août 2016, l’office américain des brevets (USPTO)  a délivré le brevet US n ° 9 430 468, intitulé « Online peer review and method ». Le propriétaire de ce brevet n’est autre que Elsevier, l’éditeur académique géant.

peer_review_patent_elsevier

Fig. 5 : Modèle du peer review extrait du brevet US n° 943 468 : http://www.freepatentsonline.com/9430468.pdf

Pourquoi un brevet ? Elsevier voudrait qu’un monopole des méthodes d’examen par les pairs soit accordé par le gouvernement américain. Elsevier possède plus de 2000 revues académiques. Les universités, les bibliothèques et les chercheurs s’interrogent de plus en plus sur la pertinence de ce modèle. Après tout, les universités paient habituellement les salaires des chercheurs qui rédigent des articles et des reviewers qui effectuent une évaluation par les pairs.

Continuer la lecture de Brevet d’Elsevier ou comment détruire le peer-reviewing scientifique américain libre

Lectures autour du colloque – Partie 4 : L’évaluation institutionnelle en question

Bibliographie
4 : L’évaluation institutionnelle en question

ACHARD, Anne Laure et REGOLINI, Amanda, 2012. Which alternative tools for bibliometrics in an research institute? In: CEMAGREF [enligne]. 2012. [Consultéle6septembre2016]. Disponible à l’adresse: https://hal.archives-ouvertes.fr/sic_00668741/document.
ANON., 2008. La fièvre de l’évaluation. In: Revue d’histoire moderne et contemporaine [enligne]. 2008. n°55‑4bis, p.5‑6. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.cairn.info/resume.php?ID_ARTICLE=RHMC_555_0005.
BART, Daniel, 2008. Modes of valorization in educational research and professional development ot teachers-researchers of this academic field [enligne]. Theses. S.l.: Université Toulouse le Mirail – Toulouse II. [Consultéle6septembre2016]. Disponible à l’adresse: https://tel.archives-ouvertes.fr/tel-00349776.
BEDIN, Véronique (éd.), 2009. L’évaluation à l’université. Évaluer ou conseiller? [enligne]. S.l.: Presses Universitaires de Rennes. [Consultéle6septembre2016]. Des sociétés. ISBN978-2-7535-0861-3. Disponible à l’adresse: http://www.pur-editions.fr/detail.php?idOuv=2123.
BOUCHARD, Julie, 2012. La fabrique d’un classement médiatique de l’enseignement supérieur et de la recherche. In: Quaderni. Communication, technologies, pouvoir [enligne]. 5 janvier 2012. n°77, p.25‑40. [Consultéle7septembre2016]. DOI10.4000/quaderni.545. Disponible à l’adresse: http://quaderni.revues.org/545.
BOURE, Robert, 2015a. Les modes d’évaluation de l’enseignement et de la recherche. Épisode 1. In: Mondes Sociaux [enligne]. 2015. [Consultéle6septembre2016]. Disponible à l’adresse: http://sms.hypotheses.org/4202.
BOURE, Robert, 2015b. Les usines à gaz de l’évaluation. Épisode 2. In: Mondes Sociaux [enligne]. 2015. [Consultéle6septembre2016]. Disponible à l’adresse: https://sms.hypotheses.org/4410.
BURLAUD, Alain, 2008. Réflexions d’un contrôleur de gestion sur l’évaluation de la recherche universitaire. In: 3ème conférence internationale «Accounting and management information systems» Academiei de Studii Economice [enligne]. Bucarest, Romania: s.n. juin 2008. [Consultéle6septembre2016]. Disponible à l’adresse: https://halshs.archives-ouvertes.fr/halshs-00368264.
CASSIN, Barbara, 2014. Plaidoyer contre l’évaluation permanente. In: CNRS Le journal [enligne]. 2014. [Consultéle6septembre2016]. Disponible à l’adresse: https://lejournal.cnrs.fr/billets/plaidoyer-contre-levaluation-permanente.
CGT-INRA, 2013. Main basse sur la science publique : Le «coût de génie» de l’édition scientifique privée. In: Déontologie de la recherche [enligne]. 2013. [Consultéle7septembre2016]. Disponible à l’adresse: http://sciencescitoyennes.org/main-basse-sur-la-science-publique-le-cout-de-genie-de-ledition-scientifique-privee.
CHAMAYOU, Grégoire, 2009. Petits conseils aux enseignants-chercheurs qui voudront réussir leur évaluation. In: Contretemps – revue de critique communiste [enligne]. 2009. [Consultéle6septembre2016]. Disponible à l’adresse: http://www.contretemps.eu/petits-conseils-enseignants-chercheurs-qui-voudront-reussir-leur-evaluation/.

CHARLE, Christophe, 2009. L’évaluation des enseignants-chercheurs. In: Vingtième Siècle. Revue d’histoire [enligne]. 6 avril 2009. n°102, p.159‑170. [Consultéle6septembre2016]. Disponible à l’adresse: http://www.cairn.info/resume.php?ID_ARTICLE=VING_102_0159.

CHEKKAR, Rahma et GRILLET, Carole, 2006. L’utilisation de la bibliométrie dans l’évaluation de la recherche en Comptabilité – Contrôle – Audit A la recherche d’indicateurs quantitatifs … In: COMPTABILITE, CONTROLE, AUDIT ET INSTITUTION(S) [enligne]. S.l.: s.n. 2006. p.CD-Rom. [Consultéle6septembre2016]. Disponible à l’adresse: https://halshs.archives-ouvertes.fr/halshs-00548099/document.

COLLECTIF, 2011. Paul Servais (dir.), L’évaluation de la recherche en sciences humaines et sociales. Regards de chercheurs [enligne]. S.l.: Academia. [Consultéle7septembre2016]. Intellection. Disponible à l’adresse: https://lectures.revues.org/8160.
COLLECTIF, 2013. L’AECSP, l’AFS et l’ASES signent la déclaration de San Francisco contre les (…) – Sauvons l’Université ! In: Sauvons l’Université ! [enligne]. 2013. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.sauvonsluniversite.com/spip.php?article6354.
COLLECTIF, 2014. Charte de la désexcellence. In: L’Atelier des Chercheurs – Pour une désexcellence des universités [enligne]. 2014. [Consultéle6septembre2016]. Disponible à l’adresse: http://lac.ulb.ac.be/LAC/charte.html.
COLLECTIF, 2016. Amsterdam Call for Action on Open Science [enligne]. Rapport de la CE. S.l. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.eu2016.nl/documenten/rapporten/2016/04/04/amsterdam-call-for-action-on-open-science.
COUSIN, Bruno et LAMONT, Michèle, 2009. Les conditions de l’évaluation universitaire. In: Mouvements des idées et des luttes [enligne]. 2009. [Consultéle7septembre2016]. Disponible à l’adresse: http://mouvements.info/les-conditions-de-levaluation-universitaire/.
COUTROT, Laurence, 2008. Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique. In: Bulletin de méthodologie sociologique. Bulletin of sociological methodology [enligne]. 1 octobre 2008. n°100, p.45‑50. [Consultéle7septembre2016]. Disponible à l’adresse: http://bms.revues.org/3353.
DASSA, Michèle et SIDÉRA, Isabelle, 2008. Caractérisation et quantification de l’activité Individuelle des chercheurs shs du cnrs. Préparation a l’évaluation. [enligne]. report. S.l. Conseil scientifique de département SHS du CNRS et le Département SHS du CNRS. [Consultéle7septembre2016]. Disponible à l’adresse: http://archivesic.ccsd.cnrs.fr/sic_00344102/document.
DESPLAIN, Aurélia, 2015. Slow science et désexcellence. Résister aux dérives néolibérales de la recherche. In: Les aspects concrets de la thèse [enligne]. 2015. [Consultéle7septembre2016]. Disponible à l’adresse: http://act.hypotheses.org/4667.
DESRICHARD, Yves, 2009. L’idéologie de l’évaluation : la grande imposture. In: BBF [enligne]. 2009. p.90‑90. [Consultéle6septembre2016]. Disponible à l’adresse: http://bbf.enssib.fr/consulter/bbf-2009-05-0090-006.
EDWIN ZACCAI, TIMMERMANS, Benoît, HUDON, Marek, CLERBAUX, Barbara, LECLERCQ, Bruno et BERSINI, Hugues, 2016. L’évaluation de la recherche en question(s) [enligne]. S.l.: Académie royale de Belgique. [Consultéle6septembre2016]. Mémoires. ISBN978-2-8031-0562-5. Disponible à l’adresse: http://academie-editions.be/accueil/258-levaluation-de-la-recherche-en-questions.html.
EUROSCIENTIST, 2015. Forget citations for unbiased research evaluation. In: EuroScientist journal [enligne]. 2015. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.euroscientist.com/forget-citations-for-unbiased-research-evaluation/.
FRIDENSON, Patrick, 2009. La multiplication des classements de revues de sciences sociales. In: Le Mouvement Social [enligne]. 10 février 2009. n°226, p.5‑14. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.cairn.info/resume.php?ID_ARTICLE=LMS_226_0005.
GALVEZ-BEHAR, Gabriel, 2011. Faut-il classer les revues en sciences humaines et sociales? Dix années de controverses françaises (1999-2009). In: SERVAIS, Pierre (éd.), L’évaluation de la recherche en sciences humaines et sociales. Regards de chercheurs [enligne]. Louvain-la-Neuve, Belgium: Academia-Bruylant. 2011. p.243‑365. [Consultéle7septembre2016]. Disponible à l’adresse: https://halshs.archives-ouvertes.fr/halshs-00548183.
GASTALDI, Lise et LANCIANO-MORANDAT, Caroline, 2012. Les dispositifs d’évaluation de l’enseignement supérieur et de la recherche : quel devenir pour des établissements singuliers ? In: Quaderni. Communication, technologies, pouvoir [enligne]. 5 janvier 2012. n°77, p.55‑70. [Consultéle7septembre2016]. DOI10.4000/quaderni.551. Disponible à l’adresse: http://quaderni.revues.org/551.
GINGRAS, Yves, 2014. Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie [enligne]. Raisons d’agir. S.l.: s.n. [Consultéle7septembre2016]. Disponible à l’adresse: http://cse.ehess.fr/index.php?2026.
GÜLKER, Silke, SIMON, Dagmar et TORKA, Marc, 2012. Evaluation of science as consultancy? In: Quaderni. Communication, technologies, pouvoir [enligne]. 5 janvier 2012. n°77, p.41‑54. [Consultéle7septembre2016]. DOI10.4000/quaderni.547. Disponible à l’adresse: http://quaderni.revues.org/547.
HALFFMAN, Willem et RADDER, Hans, 2015. The Academic Manifesto: From an Occupied to a Public University. In: Minerva [enligne]. 3 avril 2015. Vol.53, n°2, p.165‑187. [Consultéle7septembre2016]. DOI10.1007/s11024-015-9270-9. Disponible à l’adresse: http://link.springer.com/article/10.1007/s11024-015-9270-9.
HEILBRON, Johan, 2002. La bibliométrie, genèse et usages. In: Actes de la recherche en sciences sociales [enligne]. 2002. n°141‑142, p.78‑79. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.cairn.info/resume.php?ID_ARTICLE=ARSS_141_0078.
HÉLEIN, F., 2016. La ruée vers l’or des publications ou comment passer des revues avec abonnements aux articles en accès libre. In: la Gazette des Mathématiciens [enligne]. 2016. n°147, p.6. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.smf.emath.fr/files/147-bd.pdf#page=8.
HICKS, Diana, WOUTERS, Paul, WALTMAN, Ludo, DE RIJCKE, Sarah et RAFOLS, Ismael, 2015. Bibliometrics: The Leiden Manifesto for research metrics. In: Nature [enligne]. 2015. Vol.520, n°7548. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351.
HOJAT, Mohammadreza, GONNELLA, Joseph S. et CAELLEIGH, Addeane S., 2003. Impartial Judgment by the «Gatekeepers» of Science: Fallibility and Accountability in the Peer Review Process. In: Advances in Health Sciences Education [enligne]. 2003. Vol.8, n°1, p.75‑96. [Consultéle6septembre2016]. DOI10.1023/A:1022670432373. Disponible à l’adresse: http://link.springer.com/article/10.1023/A:1022670432373.
HOLZSCHUCH, Nicolas, 2010. Ce qu’il y a de bien (ou de mal) dans l’évaluation bibliométrique telle que pratiquée par l’AERES. In: Bulletin des bibliothèques de France (BBF) [enligne]. 1 janvier 2010. n°4. [Consultéle7septembre2016]. Disponible à l’adresse: http://bbf.enssib.fr/consulter/bbf-2010-04-0052-015.
HUBERT, Matthieu, CHATEAURAYNAUD, Francis et FOURNIAU, Jean-Michel, 2012. Les chercheurs et la programmation de la recherche : du discours stratégique à la construction de sens. In: Quaderni. Communication, technologies, pouvoir [enligne]. 5 janvier 2012. n°77, p.85‑96. [Consultéle7septembre2016]. DOI10.4000/quaderni.556. Disponible à l’adresse: http://quaderni.revues.org/556.
LAMONT, Michèle et MALLARD, Grégoire, [sans date]. Peer Evaluation in the Social Sciences and Humanities Compared: The United States, the United Kingdom, and France [enligne]. Rapport réalisé pour le Social Sciences and Humanities Research Council of Canada, Ottawa. S.l. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.academia.edu/2372100/Peer_Evaluation_in_the_Social_Sciences_and_Humanities_Compared_The_United_States_the_United_Kingdom_and_France.
LE LAY, Stéphane, 2013. La «production scientifique» au prisme du travail des secrétaires de rédaction des revues académiques [enligne]. S.l. [Consultéle7septembre2016]. Disponible à l’adresse: https://hal.archives-ouvertes.fr/hal-00954457.
LE MAZIER, Julie, 2012. A bas l’excellence ! In: Vacarme [enligne]. 2012. n°61. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.vacarme.org/article2194.html.
LEFEBVRE, Muriel, 2008. L’évaluation des savoirs scientifiques : modalités et enjeux. In: La publication scientifique : analyses et perspectives [enligne]. S.l.: Hermès. p.299‑316. [Consultéle7septembre2016]. Disponible à l’adresse: http://archivesic.ccsd.cnrs.fr/sic_00429967/document.
LEGENDRE, Olivier, 2013. Les fauteurs d’impact. In: L’Alambic numérique [enligne]. 2013. [Consultéle7septembre2016]. Disponible à l’adresse: https://alambic.hypotheses.org/4975.
LOUËT, Sabine, 2014. The academic evaluation conundrum. In: EuroScientist journal [enligne]. 2014. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.euroscientist.com/the-academic-evaluation-conundrum/.
LOUVEL, Séverine, 2012. Avant-propos : réinterroger l’évaluation comme technologie de « pilotage à distance » du secteur public. L’exemple de la recherche. In: Quaderni. Communication, technologies, pouvoir [enligne]. 5 janvier 2012. n°77, p.5‑10. [Consultéle7septembre2016]. Disponible à l’adresse: http://quaderni.revues.org/540.
LUSSIER, Sacha, 2014. Academics put to the test of new institutional injunctions : A study between France and Quebec [enligne]. Theses. S.l.: Université Paris Dauphine – Paris IX. [Consultéle7septembre2016]. Disponible à l’adresse: https://tel.archives-ouvertes.fr/tel-01023648.
MITCHELL, Alex J., 2008. Peer Review in Science : What is it, does it work, how should it evolve ? In: [enligne]. S.l. 2008. [Consultéle7septembre2016]. Disponible à l’adresse: http://fr.slideshare.net/ajmitchell/online-exposing-scientific-peer-review-v3-presentation.
NELSON, Leif D., SIMMONS, Joseph P. et SIMONSOHN, Uri, 2012. Let’s Publish Fewer Papers. In: Psychological Inquiry [enligne]. 2012. Vol.23, n°3, p.291‑293. [Consultéle7septembre2016]. DOI10.1080/1047840X.2012.705245. Disponible à l’adresse: http://dx.doi.org/10.1080/1047840X.2012.705245.
NIELSEN, Michael, 2009. Three myths about scientific peer review. In: Michael Nielsen [enligne]. 2009. [Consultéle7septembre2016]. Disponible à l’adresse: http://michaelnielsen.org/blog/three-myths-about-scientific-peer-review/.
PHILIPPE BUTTGEN et CASSIN, Barbara, 2010. L’excellence, ce faux ami de la science – Libération. In: Journal Libération [enligne]. 2010. [Consultéle6septembre2016]. Disponible à l’adresse: http://www.liberation.fr/france/2010/12/02/l-excellence-ce-faux-ami-de-la-science_697720.
PIRON, Sylvain, 2008a. L’évaluation automatisée en sciences humaines. In: Évaluation de la recherche en SHS [enligne]. 2008. [Consultéle7septembre2016]. Disponible à l’adresse: http://evaluation.hypotheses.org/102.
PIRON, Sylvain, 2008b. Lisons Peter Lawrence, ou les implications morales de l’évaluation bibliométrique. In: Évaluation de la recherche en SHS [enligne]. 2008. [Consultéle7septembre2016]. Disponible à l’adresse: http://evaluation.hypotheses.org/229.
PIRON, Sylvain, 2009. Nicolas Dodier, Penser un régime d’évaluation de la recherche scientifique. In: Évaluation de la recherche en SHS [enligne]. 2009. [Consultéle7septembre2016]. Disponible à l’adresse: http://evaluation.hypotheses.org/452.
PONTILLE, David et TORNY, Didier, 2012. Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES. In: Quaderni. Communication, technologies, pouvoir [enligne]. 5 janvier 2012. n°77, p.11‑24. [Consultéle7septembre2016]. DOI10.4000/quaderni.542. Disponible à l’adresse: http://quaderni.revues.org/542.
PONTILLE, David et TORNY, Didier, 2013. La manufacture de l’évaluation scientifique. In: Réseaux [enligne]. 2013. n°177, p.23‑61. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.cairn.info/resume.php?ID_ARTICLE=RES_177_0023.
POYNDER, Richard, GOWERS, K. B. et OTHERS, 2016. The Open Access interviews : Sir Timothy Gowers, mathematician. In: Richard Poynder, independent journalist [enligne]. 2016. [Consultéle7septembre2016]. Disponible à l’adresse: http://digitalcommons.unl.edu/scholcom/18/.
ROSE, Benoît, 2014. L’évaluation des universités, une «farce»? In: Le Devoir – Libre de penser [enligne]. 2014. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.ledevoir.com/societe/education/398455/l-evaluation-des-universites-une-farce.
SCHIPANI, Vanessa, 2015. The day when science is truly open. In: EuroScientist journal [enligne]. 22 juin 2015. [Consultéle6septembre2016]. Disponible à l’adresse: http://www.euroscientist.com/the-day-when-science-is-truly-open/.
SEGLEN, P. O., 1997. Why the impact factor of journals should not be used for evaluating research. In: BMJ : British Medical Journal [enligne]. 1997. Vol.314, n°7079, p.498‑502. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2126010/.
SMITH, Richard, 2015. A better way to publish science. In: BMJ Blogs [enligne]. 2015. [Consultéle7septembre2016]. Disponible à l’adresse: http://blogs.bmj.com/bmj/2015/10/22/richard-smith-a-better-way-to-publish-science/.
STENGERS, Isabelle, 2013. Une autre science est possible ! Manifeste pour un ralentissement des sciences [enligne]. S.l.: Les Empêcheurs de penser en rond. [Consultéle7septembre2016]. ISBN978-2-35925-066-4. Disponible à l’adresse: https://lectures.revues.org/10354.
THOMANN, Bernard, 2009. L’évaluation de la recherche en question. In: La Vie des idées [enligne]. 2009. [Consultéle7septembre2016]. Disponible à l’adresse: http://www.laviedesidees.fr/L-evaluation-de-la-recherche-en,732.html.
VANHOLSBEECK, Marc, 2012. Entre qualité prescrite et qualité souhaitable. In: Quaderni. Communication, technologies, pouvoir [enligne]. 5 janvier 2012. n°77, p.71‑84. [Consultéle7septembre2016]. DOI10.4000/quaderni.554. Disponible à l’adresse: http://quaderni.revues.org/554.
WALERY, Serge, 2011. Productivité académique contre contribution scientifique : le cas de l’économie. In: L’Economie Politique [enligne]. 2011. Vol.2011/3, n°51, p.70‑96. [Consultéle7septembre2016]. DOI10.3917/leco.051.0070. Disponible à l’adresse: https://hal.archives-ouvertes.fr/hal-01224429.
YOUNES, Nathalie, 2009. Multi-dimensionnalité de l’évaluation de l’enseignement universitaire dans la littérature anglophone. In: L’évaluation à l’université. Évaluer ou conseiller? [enligne]. S.l.: Presses Universitaires de Rennes. [Consultéle7septembre2016]. Disponible à l’adresse: https://hal.archives-ouvertes.fr/hal-01121475/.

 

Télécharger la version au format PDF

Version du 19/09/2016

Lectures autour du colloque – Partie 1 : Évaluation ouverte avant et après publication

Bibliographie
Partie 1 :  Evaluation ouverte avant et après publication

AMSEN, Eva, 2014. What is open peer review? In: Discussions – F1000 Research [enligne]. 21 mai 2014. [Consultéle9mars2016]. Disponible à l’adresse: http://blog.f1000research.com/2014/05/21/what-is-open-peer-review/.

ANON., 2014. What’s wrong with peer review ? A roundup. In: The Winnower : Open Scholarly Publishing [enligne]. 6 mai 2014. [Consultéle15mars2016]. Disponible à l’adresse: https://thewinnower.com/posts/what-s-wrong-with-peer-review-a-roundup.

BAILEY JR, Charles W., 2014. Transforming Peer Review Bibliography. In: Digital Scholarship [enligne]. 13 janvier 2014. [Consultéle29août2016]. Disponible à l’adresse: http://digital-scholarship.org/tpr/tpr.htm.

BJÖRK, Bo-Christer et HEDLUND, Turid, 2015. Emerging new methods of peer review in scholarly journals. In: Learned Publishing [enligne]. 1 avril 2015. Vol.28, n°2, p.85‑91. [Consultéle7avril2016]. DOI10.1087/20150202. Disponible à l’adresse: http://doi.wiley.com/10.1087/20150202.

BOLDT, Axel, 2010. Extending ArXiv.org to Achieve Open Peer Review and Publishing. In: Journal of Scholarly Publishing [enligne]. 10 décembre 2010. Vol.42, n°2, p.238‑242. [Consultéle29août2016]. DOI10.3138/jsp.42.2.238. Disponible à l’adresse: http://arxiv.org/abs/1011.6590.

BON, Michaël, 2015. Principles of the Self-Journal of Science: bringing ethics and freedom to scientific publishing – Version 1. In: SJS – The Self Journal of Science [enligne]. 24 janvier 2015. [Consultéle23mars2016]. Disponible à l’adresse: http://www.sjscience.org/article?id=46.

BORDIER, Julien, 2015. Évaluation ouverte par les pairs : polysémie et problématiques. 1/2. In: OpenEdition Lab [enligne]. 20 novembre 2015. [Consultéle9mars2016]. Disponible à l’adresse: http://lab.hypotheses.org/1453.

BORDIER, Julien, 2016a. Évaluation ouverte par les pairs : de l’expérimentation à la modélisation : Récit d’une expérience d’évaluation ouverte par les pairs [enligne]. 26 février 2016. S.l.: s.n. Disponible à l’adresse: https://hal.archives-ouvertes.fr/hal-01283582.
BORDIER, Julien, 2016b. Évaluation ouverte par les pairs : polysémie et problématiques. 2/2. In: OpenEdition Lab [enligne]. 9 mars 2016. [Consultéle9mars2016]. Disponible à l’adresse: https://lab.hypotheses.org/1517.
BORDIER, Julien, 2016c. Open peer review : from an experiment to a model : A narrative of an open peer review experimentation [enligne]. Disponible à l’adresse: https://hal.archives-ouvertes.fr/hal-01302597.
DECOURSEY, Thomas, 2006. The pros and cons of open peer review. In: Nature [enligne]. 2006. DOI10.1038/nature04991. Disponible à l’adresse: http://www.nature.com/nature/peerreview/debate/nature04991.html.
EISEN, Michael et VOSSHALL, Leslie B., 2016. Coupling Pre-Prints and Post-Publication Peer Review for Fast, Cheap, Fair, and Effective Science Publishing. In: it is NOT junk : a blog about genomes, DNA, evolution, open science, baseball and other important things [enligne]. 21 janvier 2016. [Consultéle23mars2016]. Disponible à l’adresse: http://www.michaeleisen.org/blog/?p=1820.
FORD, Emily, 2013. Defining and Characterizing Open Peer Review: A Review of the Literature. In: Library Faculty Publications and Presentations [enligne]. 1 juillet 2013. DOI10.3138/jsp.44-4-001. Disponible à l’adresse: http://pdxscholar.library.pdx.edu/ulib_fac/1.

GROSSMANN, Alexander, 2014. ScienceOpen: the next wave of Open Access? In: EuroScientist journal [enligne]. 24 novembre 2014. [Consultéle16mars2016]. Disponible à l’adresse: http://www.euroscientist.com/scienceopen-next-wave-open-access/.

HARNAD, Stevan, 2000. The invisible hand of peer review. In: Exploit Interactive [enligne]. 2000. Vol.5. Disponible à l’adresse: http://cogprints.org/1646.
HEIMBURGER, Franziska, 2013. Open Access – quelques ressources pour entrer dans le débat. In: La boîte à outils des historiens [enligne]. 21 mai 2013. [Consultéle18mars2016]. Disponible à l’adresse: http://www.boiteaoutils.info/2013/05/open-access-quelques-ressources-pour/.
LEFEBVRE, Muriel, 2009. « Atmospheric Chemistry and Physics » : une revue scientifique idéale ? Etude d’une revue électronique du web 2.0. In: Les cahiers du numérique [enligne]. 30 juin 2009. Vol.5, n°2, p.33‑52. DOI10.3166/lcn.5.2.33-52. Disponible à l’adresse: http://lcn.revuesonline.com/article.jsp?articleId=13425.
MAGALHAES, João Pedro de, 2016. Open Peer Review: Why Peer Review Should Not Be Anonymous. In: Joao Pedro de Magalhaes: Science, Thoughts, and Dreams of the Future [enligne]. 1 septembre 2016. [Consultéle1septembre2016]. Disponible à l’adresse: http://jp.senescence.info/thoughts/open_peer_review.html.
NAEGELEN, Pierre, 2016. Evaluation par les pairs : entre pratiques, expérimentations et controverses. In: Archives ouvertes Réseau Toulouse [enligne]. 9 mai 2016. [Consultéle10mai2016]. Disponible à l’adresse: http://openarchiv.hypotheses.org/3528.
PONTILLE, David et TORNY, Didier, 2014. The Blind shall See! The Question of Anonymity in Journal Peer Review. In: Ada: A Journal of Gender, New Media, and Technology [enligne]. 2014. Vol.4. [Consultéle7avril2016]. DOI10.7264/N3542KVW. Disponible à l’adresse: https://doi.org/10.7264/N3542KVW.
PONTILLE, David et TORNY, Didier, 2015. From Manuscript Evaluation to Article Valuation: The Changing Technologies of Journal Peer Review. In: Human Studies [enligne]. mars 2015. Vol.38, n°1, p.57‑79. [Consultéle17avril2015]. DOI10.1007/s10746-014-9335-z. Disponible à l’adresse: http://link.springer.com/10.1007/s10746-014-9335-z.
SHEMA, Hadas, 2014. Introduction to open peer review. In: Scientific American Blog Network [enligne]. 28 juin 2014. Disponible à l’adresse: http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/.
SOERGEL, David, SAUNDERS, Adam et MCCALLUM, Andrew, 2013. openreview.net. In: openreview.net : Open Reviewing Network [enligne]. 2013. Disponible à l’adresse: http://openreview.net/.
TENNANT, Jon, 2016a. Pre- or post-publication peer review. In: ScienceOpen Blog [enligne]. 5 février 2016. [Consultéle9mars2016]. Disponible à l’adresse: http://blog.scienceopen.com/2016/02/pre-or-post-publication-peer-review/.
TENNANT, Jon, 2016b. Should peer review reports be published. In: ScienceOpen Blog [enligne]. 4 février 2016. [Consultéle9mars2016]. Disponible à l’adresse: http://blog.scienceopen.com/2016/02/should-peer-review-reports-be-published/.
VAN ROOYEN, S., GODLEE, F., EVANS, S., BLACK, N. et SMITH, R., 1999. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial. In: BMJ [enligne]. 2 janvier 1999. Vol.318, n°7175, p.23‑27. [Consultéle10mars2016]. DOI10.1136/bmj.318.7175.23. Disponible à l’adresse: http://www.bmj.com/cgi/doi/10.1136/bmj.318.7175.23.
VELTEROP, Johannes, 2015. Peer review – issues, limitations, and future development. In: ScienceOpen Research [enligne]. 29 septembre 2015. [Consultéle9mars2016]. DOI10.14293/S2199-1006.1.SOR-EDU.AYXIPS.v1. Disponible à l’adresse: https://www.scienceopen.com/document?id=ed465907-0406-4006-baa0-58840e5c5b07.
WALSH, Elizabeth, ROONEY, Maeve, APPLEBY, Louis et WILKINSON, Greg, 2000. Open peer review: a randomised controlled trial. In: The British Journal of Psychiatry [enligne]. 1 janvier 2000. Vol.176, n°1, p.47‑51. [Consultéle22avril2016]. DOI10.1192/bjp.176.1.47. Disponible à l’adresse: http://bjp.rcpsych.org/content/176/1/47.
WASSEF, Aalam, 2010. Peer Evaluation : Home page. In: Peer Evaluation : empowering scholars [enligne]. 2010. Disponible à l’adresse: www.peerevaluation.org.

 

Télécharger la version au format PDF

Version du 19/09/2016

Lectures autour du colloque- Partie 2 : L’évaluation institutionnelle et Open Access

Bibliographie
Partie 2 : L’évaluation institutionnelle et Open Access

ANON., 2016. OA et évaluation. In : Open Access Montpellier [en ligne]. 15 mars 2016. [Consulté le 15 mars 2016]. Disponible à l’adresse : http://oam.biu-montpellier.fr/?page_id=41.
AR(ABES)QUES, 2015. Dossier : Déverrouiller la recherche – L’open access : évolution et enjeux. In : Ar(abes)ques [en ligne]. juillet 2015. n° 79. [Consulté le 17 juin 2016]. Disponible à l’adresse : http://www.abes.fr/Arabesques/Arabesques-n-79.
CONTAT, Odile et GREMILLET, Anne-Solweig, 2015. Publier : à quel prix ? Étude sur la structuration des coûts de publication pour les revues françaises en SHS. In : Revue française des sciences de l’information et de la communication [en ligne]. 1 juillet 2015. n° 7. [Consulté le 30 juin 2016]. DOI 10.4000/rfsic.1716. Disponible à l’adresse : http://rfsic.revues.org/1716.
CONTAT, Odile et TORNY, Didier, 2015. Les revues en sciences humaines et sociales à l’heure des communs. In : Revue d’histoire moderne et comporaine [en ligne]. 2015. n° 62‑4 bis, p. 62‑70. [Consulté le 15 mars 2016]. Disponible à l’adresse : https://halshs.archives-ouvertes.fr/halshs-01278853/document.
DIRECTION DE L’INFORMATION SCIENTIFIQUE ET TECHNIQUE – CNRS, 2016. Livre blanc — Une Science ouverte dans une République numérique [en ligne]. Marseille : OpenEdition Press. [Consulté le 10 mai 2016]. Laboratoire d’idées. ISBN 978-2-8218-6869-4. Disponible à l’adresse : http://books.openedition.org/oep/1548.
DUCHEMIN, Eric, 2010. L’accès libre de la science : entretien avec Jean-Claude Guédon. In : Sciences de l’environnement : vous dites ! [en ligne]. 9 août 2010. [Consulté le 18 mars 2016]. Disponible à l’adresse : http://vertigo.hypotheses.org/882.
EISEN, Michael, 2015. The Mission Bay Manifesto on Science Publishing. In : it is NOT junk : a blog about genomes, DNA, evolution, open science, baseball and other important things [en ligne]. 1 octobre 2015. [Consulté le 24 mars 2016]. Disponible à l’adresse : http://www.michaeleisen.org/blog/?p=1760.
EUROPEAN UNIVERSITY ASSOCIATION (EUA), 2016. EUA road map on Open Access to research publications [en ligne]. Bruxelles : EUA. [Consulté le 17 mars 2016]. Disponible à l’adresse : http://www.eua.be/Libraries/publications-homepage-list/eua-roadmap-on-open-access-to-research-publications.pdf.
FRANÇOIS, Paul, 2016. 2016: vers l’open access et au delà. In : Un petit monde [en ligne]. 11 janvier 2016. [Consulté le 23 mars 2016]. Disponible à l’adresse : http://blog.educpros.fr/guillaume-miquelard-et-paul-francois/2016/01/11/2016-vers-lopen-access-et-au-dela/.
GUÉDON, Jean-Claude, 2014. Le Libre Accès et la « Grande Conversation » scientifique. In : Pratiques de l’édition numérique [en ligne]. Montréal : Les Presses de l’Université de Montréal. p. 111‑126. [Consulté le 22 mars 2016]. ISBN 978-2-7606-3202-8. Disponible à l’adresse : http://parcoursnumeriques-pum.ca/le-libre-acces-et-la-grande-conversation-scientifique.
HAMMERSLEY, John, 2014. Collaborative open science speeds up research evaluation. In : EuroScientist journal [en ligne]. 29 janvier 2014. [Consulté le 16 mars 2016]. Disponible à l’adresse : http://www.euroscientist.com/collaborative-open-science-speeds-up-research-evaluation/.
HAMMOU, Karim, 2010. Les sciences sociales ont-elles encore besoin de livres ? In : Les aspects concrets de la thèse [en ligne]. 5 octobre 2010. [Consulté le 15 mars 2016]. Disponible à l’adresse : http://act.hypotheses.org/1310.
HUET, Sylvestre, 2013. Open access: du rêve au cauchemar? L’avis de J-C Guédon. In : {Sciences2} [en ligne]. 4 octobre 2013. [Consulté le 22 mars 2016]. Disponible à l’adresse : http://sciences.blogs.liberation.fr/home/2013/10/open-access-du-r%C3%AAve-au-cauchemar-bis.html.
JOHNSON, Ben, 2014. How do we achieve open access ? In : HEFCE blog [en ligne]. 20 octobre 2014. [Consulté le 24 mars 2016]. Disponible à l’adresse : http://blog.hefce.ac.uk/2014/10/20/how-do-we-achieve-open-access/.
LEBERT, Marie, 2016. Un guide de l’Open Access à destination du grand public. In : ActuaLitté – Les univers du livre [en ligne]. 19 janvier 2016. [Consulté le 22 mars 2016]. Disponible à l’adresse : https://www.actualitte.com/article/lecture-numerique/un-guide-de-l-open-access-a-destination-du-grand-public/63062.
LEFEBVRE, Muriel, 2006. Vers une remise en question des modalités traditionnelles d’évaluation des savoirs scientifiques ? In : Communication scientifique et valorisation de la recherche à l’heure d’Internet [en ligne]. Toulouse : Urfist Toulouse – SCD Toulouse 1. 13 avril 2006. [Consulté le 25 mars 2016]. Disponible à l’adresse : http://archivesic.ccsd.cnrs.fr/sic_00112197/document.
LEFEBVRE, Muriel, 2010. Rendre public le processus d’évaluation de la recherche. L’émergence de nouvelles pratiques d’écriture et de lecture de la science : l’exemple d’une revue scientifique du web 2.0. In : Réseaux [en ligne]. 3 décembre 2010. Vol. 2010/6, n° 164, p. 71‑96. [Consulté le 25 mars 2016]. DOI 10.3917/res.164.0071. Disponible à l’adresse :
www.cairn.info/revue-reseaux-2010-6-page-71.htm
.
LEGENDRE, Olivier, 2014. L’open access nuit-il à la qualité scientifique ? In : L’Alambic numérique [en ligne]. 24 mars 2014. [Consulté le 24 mars 2016]. Disponible à l’adresse : http://alambic.hypotheses.org/5187.
LEGENDRE, Olivier, 2016. La nasse dorée de l’open access – (Gaol Road to Open Access). In : L’Alambic numérique [en ligne]. 4 janvier 2016. [Consulté le 25 février 2016]. Disponible à l’adresse : https://alambic.hypotheses.org/5845.
MEADOWS, Michael, DIETZ, Ton et VANDERMOTTEN, Christian, 2016. A perspective on problems and prospects for academic publishing in Geography. In : Geo: Geography and Environment [en ligne]. 1 janvier 2016. Vol. 3, n° 1, p. n/a-n/a. [Consulté le 8 mars 2016]. DOI 10.1002/geo2.16. Disponible à l’adresse : http://onlinelibrary.wiley.com/doi/10.1002/geo2.16/abstract.
NIEL, Gilles, 2014. Un jeune chercheur s’exprime sur l’Open Access. In : Open Access Montpellier [en ligne]. 3 septembre 2014. [Consulté le 15 mars 2016]. Disponible à l’adresse : http://oam.biu-montpellier.fr/?p=359.
NIELSEN, Michael, 2012. How you can help the Federal Research Public Access Act (FRPAA) become law. In : Michael Nielsen [en ligne]. 14 février 2012. [Consulté le 9 mars 2016]. Disponible à l’adresse : http://michaelnielsen.org/blog/how-you-can-help-the-federal-research-public-access-act-frpaa-become-law/.
RENTIER, Bernard, 2013. Comment prendre le grand virage de l’accès libre et gratuit ? In : Bernard Rentier, Recteur : Pour une université ouverte et interactive [en ligne]. 31 mars 2013. [Consulté le 22 mars 2016]. Disponible à l’adresse : http://recteur.blogs.ulg.ac.be/?p=880.
SÉGALAT, Laurent, 2009. La science à bout de souffle ? Paris : Seuil. ISBN 978-2-02-100268-3.
WALTMAN, Ludo, 2015. A review of the literature on citation impact indicators. In : arXiv:1507.02099 [cs] [en ligne]. 8 juillet 2015. p. 71. [Consulté le 23 mars 2016]. Disponible à l’adresse : http://arxiv.org/abs/1507.02099.

 

Télécharger la version au format PDF.

Version du 19/09/2016

Amsterdam Call for Action : focus sur une rénovation des systèmes d’évaluation

logo openscienceCe  plan d’action d’Amsterdam sur l’innovation en matière de science ouverte aussi appelé Amsterdam Call for Action on Open Science, est le résultat d’une conférence qui a eu lieu à Amsterdam ‘Open Science
– From Vision to Action’ organisée par la présidence néerlandaise européenne, les  4 et 5 avril 2016. Deux objectifs importants au niveau européen ont été formulés pour 2020 : Continuer la lecture de Amsterdam Call for Action : focus sur une rénovation des systèmes d’évaluation

Evaluation par les pairs : entre pratiques, expérimentations et controverses

Comment juger objectivement un article scientifique ?  L’objectivité du jugement par les pairs est-elle davantage garantie par l’anonymat des auteurs et/ou des reviewers ? Quels sont les effets induits par l’ouverture du processus d’évaluation par les pairs sur l’objectivité du jugement ? Telles sont quelques-unes des questions qui seront abordées lors de la première partie du colloque « Open Access et évaluation de la Recherche : vers un nouvel écosystème ?« ,  les 13 et 14 octobre 2016 à Toulouse, sur le campus de l’Université Toulouse III – Paul Sabatier (inscriptions prochainement ici).

Army Photography Contest - 2007 - FMWRC - Arts and Crafts - Eye of the Holder
A l’heure de Google, l’anonymat des auteurs a-t-il encore un sens ?  Eye of the Holder. Par SGT Pablo Piedra. CC-BY 2.0. Source : Flickr.

Didier Torny (Institut des Sciences Humaines et Sociales – CNRS) et David Pontille (CSI i3 – Centre de Sociologie de l’Innovation- Mines ParisTech) ont rédigé deux articles importants (ici et ) sur ces questions, et nous nous proposons de reprendre dans ce qui suit certains des points saillants de leur travail, tout en nous autorisant par moments la liberté de nous en écarter. La quatrième partie, quant à elle, consacrée à l’évaluation ouverte par les pairs s’appuie en grande partie sur le travail éclairant de défrichage réalisé par Julien Bordier, (CLEO, Centre pour l’édition électronique ouverte)

I) Anonymiser les auteurs ?

La question de l’anonymat des auteurs est devenue centrale à partir des années 1950. Les chercheurs en sociologie se sont interrogés les premiers sur les implications de l’anonymat des auteurs. En juin 1955, la revue The American Sociological Review a informé ses reviewers qu’elle expérimentait un nouveau mode d’évaluation reposant sur l’anonymat des auteurs. En 1967, l’American Sociological Association (ASA) décidait d’étendre cette procédure d’évaluation à toutes ses publications, au motif que l’évaluation devait se fonder seulement et uniquement sur le contenu, et non sur le prestige éventuel des auteurs ou de leur établissement de rattachement.

A partir du milieu des années 1970, le principe de l’anonymisation des auteurs s’est étendu à d’autres disciplines en lien avec les sciences humaines et sociales. Cela correspondait aussi à une forte demande de chercheuses qui pointaient à juste titre le faible taux d’acceptation des articles soumis par des femmes.

La question de l’anonymat des auteurs a été discutée à partir de la fin des années 60 au sein des sciences dites « dures », mais c’est la solution opposée qui a été retenue majoritairement, notamment parce que la pratique de l’auto-citation complique en pratique l’anonymisation du manuscrit.

II) Rendre publique l’identité des reviewers  ?

A partir des années 1970, les sciences expérimentales ont mis en doute le bien-fondé de l’anonymat des reviewers. Dans un article paru dans le New Scientist en 1974, le chercheur en biochimie Robert Jones pointait le fait que l’anonymat permet à certains reviewers de recourir en toute impunité à des comportements causant du tort à ceux des auteurs pressentis comme leurs rivaux. Cela peut aller de la simple moquerie, à l’attitude délibérément dilatoire du reviewer qui souhaite publier ses travaux en premier, ou bien encore au rejet pur et simple de l’article par l’évaluateur, afin d’en plagier le contenu partiellement ou totalement.

D’autres critiques se sont fait jour pour relever le peu de soins apporté par certains reviewers à leur évaluation. Un tel comportement est de nature à nuire à la confiance portée dans le processus d’évaluation dans son ensemble.

La même année, la revue Nature a répondu à l’article de Jones en défendant le principe de l’anonymat des reviewers, invoquant notamment le fait que révéler l’identité des reviewers fait courir le risque de disputes ouvertes avec les auteurs et d’un rabaissement des jugements d’évaluation au statut de simples opinions personnelles.

D’autres arguments se sont ajoutés au fil de la controverse. Ainsi, les chercheurs en début de carrière jouant le rôle de reviewers, pourraient craindre, dans le cas où leur identité en tant que reviewers serait rendue publique, que toute évaluation négative du travail de leurs pairs mette en péril leur propre carrière; ils pourraient se borner, de ce fait, à produire des rapports insipides ou trop consensuels.

III) Aporie…

La majorité des sciences sociales ont opté pour le double blind  (les reviewers sont anonymisés, de même que les auteurs au moment de l’évaluation). Tandis que les sciences biomédicales ont majoritairement maintenu le système du single blind (l’identité de l’auteur est connue au moment de l’évaluation tandis que l’évaluateur reste anonyme).

Mais comme l’anonymisation des auteurs suscite le débat, il n’est pas rare de voir un comité de rédaction hésiter entre les deux modes d’évaluation.  Celui de l’American Economic Review n’a cessé de faire fluctuer sa politique d’évaluation, optant pour le single blind puis pour le double blind avant de retourner au single blind, etc. Si finalement, depuis 2011, c’est le processus du single blind qui a été retenu par le comité de rédaction de la revue AER, c’est notamment pour la raison que les moteurs de recherche, tel Google, permettent aux reviewers d’identifier rapidement et facilement les auteurs d’un article. Dans ce contexte, l’anonymisation des auteurs est inopérante et son concept relèverait désormais purement et simplement du mythe incantatoire.

En pratique, en dépit d’un cadre de politique éditoriale clairement établi, les comités de rédaction  laissent parfois aux auteurs ou aux reviewers la possibilité de faire le choix de révéler ou non leur identité. C’est ce que Didier Torny et David Pontille proposent d’appeler les « Do it Yourself Objectivities« , ce qu’on pourrait traduire par « aménagements subjectifs d’arrangements objectifs ». Les cartes sont alors définitivement brouillées…

Nous nous demandions en introduction si l’anonymisation des auteurs et des reviewers garantissait une plus grande objectivité du jugement, ou si l’ouverture partielle ou totale du processus d’évaluation est de nature à garantir plus fortement l’impartialité.

Or il est difficile de répondre à l’une ou l’autre question : les processus d’anonymisation et d’ouverture sont particulièrement ambivalents. Pour certains, on l’a vu,  l’anonymisation des auteurs est une condition sine qua non de l’objectivité de l’évaluation, pour d’autres il faut rendre publique l’identité des reviewers. Mais dans le même temps, des opinions  symétriquement opposées coexistent.

Si les solutions évoquées plus haut ne semblent pas mettre fin de façon certaine à la subjectivité de l’évaluation, c’est sans doute qu’elles n’abordent pas de front la question de la subjectivité en surplomb du rédacteur en chef, lequel dispose bien souvent d’un pouvoir décisionnel supérieur à ceux des referees pour accepter ou rejeter un manuscrit. La validation par le rédacteur en chef constitue en ce cas un point de passage obligatoire.

Par ailleurs, les faiblesses du processus classique de peer review en single bind ou double bind, sont régulièrement pointées du doigt à l’occasion de nombreuses affaires qui émaillent le monde de la recherche et qui entament la confiance mise dans le processus de validation.

Bref, la mise en oeuvre de modes de validation alternatifs des publications scientifiques ne s’explique pas uniquement par la mise en cause du rôle discrétionnaire du rédacteur en chef, mais par une perte de confiance dans les processus classiques d’évaluation.

IV) L’évaluation ouverte

Sous la dénomination d’ « évaluation ouverte », nous  regroupons aussi bien l’open peer review, ou évaluation ouverte par les pairs, que l’ouverture à commentaires, qu’ils soient le fait de lecteurs scientifiques ou non-scientifiques.  L’évaluation ouverte minimise le pouvoir décisionnel du rédacteur en chef et privilégie l’évaluation par les lecteurs scientifiques ou non-scientifiques. Par surcroît, la publicité des débats présente,  selon ses promoteurs, le gage d’un contrôle de qualité, en ce qu’elle permet de limiter le risque de l’arbitraire quand les rejets d’articles sont non ou insuffisamment motivés.

L’évaluation ouverte se décline sous le signe de la transparence, en deux sens au moins : non seulement les auteurs et reviewers et/ou simples commentateurs sont identifiés, mais leurs commentaires respectifs sont également en accès ouvert. Comme l’écrit Julien Bordier :

« Ce qui caractérise donc l’évaluation ouverte par les pairs, ce sont avant tout la possibilité pour l’auteur qui soumet une publication d’identifier les discutants/évaluateurs de son projet de publication d’une part, et d’avoir accès aux rapports critiques (discussion/évaluation) d’autre part. »

A) L’open peer review

Dans le cas de l’open peer review, auteurs et reviewers sont clairement et ouvertement identifiés et leurs échanges sont publics. Les tenants de l’open peer review insistent non seulement sur la responsabilité endossée par les reviewers qui doivent assumer pleinement leur critique, quand bien même elle serait seulement négative, mais aussi sur les vertus du dialogue qu’implique l’ouverture du processus d’évaluation. Dans la revue F1000Research (créée en 2012), les rapports et les noms des experts sont publiés à côté de l’article, ainsi que les réponses des auteurs.

Les derniers développements techniques de la plate-forme Episciences permettront d’ouvrir le peer review à l’open peer review : l’éditeur pourra choisir de rendre visible chaque critère de la grille de relecture et « décider ou non de publier le résultat des évaluations des articles sur leur page publique ; les rapports de relecture sont pérennisés dans un fichier au format TEI, ce qui offre la possibilité de les publier ».

Une solution plus radicale encore consiste à faire table rase des fonctions de rédacteur en chef et de comité de rédaction voire de la notion même de revue en tant que point de passage obligé pour la validation des publications. Le Self Journal of Science (SJS), en dépit de son titre, ne se présente pas comme une revue mais comme une « plate-forme de dépôt multidisciplinaire » (multidisciplinary repository) destiné à mettre les chercheurs en position de diffuser et commenter directement leurs travaux sans le filtre préalable ou subséquent de la validation. Il n’y a donc pas d’autorité structurale du reviewer. Les commentaires et évaluations des chercheurs-relecteurs sont publiés en toute transparence. Un dialogue entre auteurs et reviewers permet de faire émerger peu à peu un consensus.

B) Open Commentary

On entend par open commentary les discussions avant ou après la publication d’un article, sans que ces échanges entrent directement en ligne de compte dans la validation de l’article.

L’ouverture à commentaires a pour vertu d’inscrire les articles scientifiques dans un cadre foncièrement dialogique. Les commentaires peuvent être faits avant ou après publication.

1. Open commentary pré-publication

Deux revues ont fait de l’ouverture à commentaires lors de la phase de pré-publication, la clef de voûte de leur système d’élaboration et de co-construction de la connaissance : Current Anthropology, fondée en 1960, et Behavioral and Brain Sciences, créée en 1978.   L’Open commentary ou commentaire ouvert pourrait se résumer ainsi : une fois accepté, le manuscrit est soumis à une discussion publique et un dialogue s’engage entre les commentateurs et le ou les auteurs.

Le processus d’évaluation qui préside à la publication des épi-revues repose sur un mécanisme relativement proche. Les articles sont d’abord déposés par leurs auteurs sur une archive ouverte et sont immédiatement accessibles. Les lecteurs ont donc la possibilité de disséminer immédiatement les contenus, s’ils estiment que le contenu présente une certaine valeur scientifique. Les auteurs peuvent contacter dans le même temps le comité de rédaction d’une l’épi-revue hébergée par l’archive ouverte. Commence alors le processus de peer-reviewing classique. Si l’article est accepté, il recevra alors un label de qualité. Dans cette configuration, les reviewers gardent un rôle important dans la détermination de la valeur de la publication, mais il n’en reste pas moins que les lecteurs ont accès ab initio à la version 1 du manuscrit, sans barrière préalable, si ce n’est éventuellement, le filtre des modérateurs de l’archive ouverte.

2. Open commentary post-publication

Les commentaires peuvent également paraître après la publication. F1000Research constitue un cas emblématique de cette seconde forme d’Open commentary.

En ouvrant également la possibilité de commentaires post-publication, la revue PLOS One (2006) a dans le même temps redéfini le périmètre de l’évaluation par les pairs. Se voulant plus « rigoureux », le peer review est davantage cantonné à un contrôle qualité sur les aspects purement techniques, le jugement sur l’importance à accorder aux manuscrits étant délégué a posteriori au lectorat :

Rigorous Peer Review. Often a journal’s decision not to publish a paper reflects an editor’s opinion about what is likely to have substantial impact in a given field. These subjective judgments can delay the publication of work that later proves to be of major significance. PLOS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound. Judgments about the importance of any particular paper are then made after publication by the readership, who are the most qualified to determine what is of interest to them.

Il est à noter que les commentaires peuvent être faits aussi bien par des lecteurs scientifiques que non-scientifiques. Plos One mise également grandement sur la dissémination et le partage via les réseaux sociaux.

C) Hybridations

Des modèles d’hybridation des processus d’évaluation sont possibles. La revue en sciences de l’environnement VertigO a récemment expérimenté dans le cadre du projet européen OpenAire2020, l’évaluation ouverte par les pairs (Open peer review) assortie de l’ouverture à commentaires durant la phase de pré-publication. L’expérience s’est déroulée sur un temps court sur un corpus de cinq textes soumis à évaluation ouverte et cinq textes ouverts à commentaires.

Ce processus éditorial hybride est mis en oeuvre depuis plusieurs années par la revue Climate of the Past (2005), diffusée par l’European Geosciences Union, et, comme on l’a vu, par la revue F1000Research (2012).

Conclusion

S’il est vrai que l’anonymisation des auteurs ou la publicité de l’identité des reviewers visent à réduire certains biais maintes fois dénoncés, inhérents à l’évaluation par les pairs, et de nature à fausser l’objectivité du jugement, il n’en reste pas moins que le bien-fondé et la portée réelle de ces dispositifs continuent à susciter le débat.

D’autres solutions correctives sont possibles. L’open review, dont le maître-mot est la transparence, vise à rétablir la confiance dans les processus d’évaluation par d’autres moyens : en rendant publique l’opinion des lecteurs, scientifiques ou non-scientifiques, il les consacre comme nouvelle instance d’évaluation, voire comme instance ultime.

Cependant, on se gardera bien de tenir un discours irénique sur l’open review. Car après tout, la publicité de l’identité des auteurs ne peut-elle être considérée comme une régression du point de vue de certains chercheurs, notamment en sciences sociales, qui se sont battus dès les années 1950, pour que l’évaluation soit faite en double aveugle ? A moins que, à l’heure de Google, l’anonymat des auteurs soit à ranger définitivement au rayon des concepts obsolètes ?

C’est dire que le débat est loin d’être clos. Le colloque qui se tiendra prochainement à Toulouse sera l’occasion d’en approfondir les enjeux !

 

Evaluation ouverte par les pairs : l’exemple de Vertigo

VertigoLa revue électronique en sciences de l’environnement VertigO et le consortium Couperin expérimentent un dispositif d’évaluation ouverte par les pairs dans le cadre du projet européen OpenAIRE dans lequel les évaluateurs ne sont pas anonymes et pour lequel les rapports d’évaluations sont rendus publics. Plus de détails sur : http://vertigo.hypotheses.org/evaluations-et-commentaires-ouverts

Petits conseils aux enseignants-chercheurs qui voudront réussir leur évaluation

Beaucoup d’entre vous connaissent ce petit texte humoristique de Grégoire Chamayou, sur le trop fameux Indice h et son compère Impact Factor. En ces temps de grisaille, sourions un peu…

 

« Nietzsche l’avait prédit : nous sommes entrés dans l’ère des marchands. Leur culture a triomphé. C’est essentiellement une culture de l’évaluation. Le triomphe d’un nouveau regard évaluateur, et avec lui d’une nouvelle question directrice, la « question des questions », posée plus haut que toutes les autres : « quels gens et combien de gens consomment cela ? ». » La suite sur le site Contretemps : http://www.contretemps.eu/interventions/petits-conseils-enseignants-chercheurs-qui-voudront-reussir-leur-evaluation

Bonne lecture