Magnifying-glass3

Colloque « open access – évaluation de la recherche » : ouvrons le débat !

Le colloque « Open Access et évaluation de la Recherche : vers un nouvel écosystème ? «  organisé par le Réseau Archives ouvertes Toulouse se déroulera à Toulouse, les 13 et 14 octobre 2016 à la Maison de la Recherche et de la Valorisation, sur le campus de l’Université Toulouse III – Paul Sabatier.

Consulter le programme en ligne : https://openeval2016.sciencesconf.org/

En voici l’argumentaire :

Comités de lecture ou d’évaluation, classements nationaux et internationaux, outils bibliométriques, réseaux sociaux académiques, « e-réputation »… : sous de multiples formes, des plus institutionnalisées aux moins formalisées, l’évaluation est plus que jamais un élément central de régulation du champ de la recherche.

L’irruption et le développement de l’Open Access ont constitué – et constituent toujours – à cet égard des défis et des enjeux de taille, en déstabilisant quelques peu les circuits traditionnels de diffusion, de validation et de reconnaissance, et donc de légitimation de l’activité scientifique. Des interrogations portent régulièrement sur les possibles inflexions des critères d’évaluation des chercheurs que pourraient entraîner ces transformations, à travers une prise en considération accrue des travaux déposés en accès ouvert.

L’objet de ce colloque est de proposer un aperçu des pratiques en la matière. Il s’agit d’examiner dans quelle mesure les évolutions observables ( au sein de certaines disciplines, de groupes de pairs ou de la part de certains chercheurs), les évolutions législatives ou encore la production de recommandations ayant pour objet l’Open Access sont susceptibles de reconfigurer de manière significative les modalités d’évaluation des travaux de recherche et de leurs auteurs.

bandeausciencesconf
Ouverture des débats

Le comité de pilotage du colloque souhaite lancer la discussion en amont de la manifestation afin d’en rendre les échanges les plus productifs et structurants possibles. A travers le présent espace, nous invitons les divers intervenants ou toute personne intéressée par la problématique à contribuer et à enrichir la discussion.  Pour toute publication de billet, merci de vous adresser à Françoise Gouzi ou Céline Smith.

Le programme est encore en cours d’élaboration mais sera mis en ligne dès sa finalisation.

Axes de réflexions

Quatre axes de réflexions structureront les deux journées (axes 1 et 2 le 13 octobre et axes 3 et 4 le 14 octobre) :

1 – L’évaluation ouverte avant et après publication.

La question est de savoir quels sont les effets induits par l’ouverture du processus d’évaluation par les pairs sur l’objectivité du jugement, la qualité de la recherche et le partage des connaissances.

Si on laissse de côté le cas du « double blind » (auteurs et reviewers anonymisés), on distingue trois modalités d’évaluation avant publication qui correspondent à des degrés d’ouverture divers:
blind review ou évaluation à l’aveugle : les reviewers sont identifiés, mais les auteurs sont anonymisés au moment de l’évaluation ;
single blind ou simple aveugle : les auteurs sont identifiés au moment de l’évaluation, mais les reviewers restent anonymes ;
open review ou évaluation ouverte : les reviewers et les auteurs sont identifiés et leurs commentaires respectifs sont également en accès ouvert.

 Est-ce que l’ouverture partielle ou totale du processus d’évaluation est de nature à garantir l’impartialité ? Il est particulièrement difficile de répondre à cette question : les processus d’ouverture et d’anonymisation ne sont pas univoques. Pour certains, l’anonymisation des auteurs est une condition sine qua non de l’objectivité de l’évaluation, pour d’autres il faut rendre publique l’identité des reviewers. Mais dans le même temps, des opinions  symétriquement opposées coexistent.
Dans le cas de l’open peer review, auteurs et reviewers sont clairement et ouvertement identifiés et leurs échanges sont publics. Les tenants de l’open peer review insistent non seulement sur la responsabilité endossée par les reviewers qui doivent assumer pleinement leur critique, quand bien même elle serait seulement négative, mais aussi sur les vertus du dialogue qu’implique l’ouverture du processus d’évaluation. Dans la revue F1000Research (créée en 2012), les rapports et les noms des experts sont publiés à côté de l’article, ainsi que les réponses des auteurs.

Il existe une autre voie d’évitement de certains des écueils présentés par le système classique d’évaluation par les pairs : l’ouverture aux commentaires a pour vertu d’inscrire les articles scientifiques dans un cadre foncièrement dialogique. Deux revues ont fait de l’ouverture à commentaires lors de la phase de pré-publication, la clef de voûte de leur système d’élaboration et de co-construction de la connaissance : Current Anthropology, fondée en 1960, et Behavioral and Brain Sciences, créée en 1978.    Les commentaires peuvent également paraître après la publication. En ouvrant la possibilité de commentaires post-publication, la revue PLOS One (2006) a dans le même temps redéfini le périmètre de l’évaluation par les pairs. Se voulant plus « rigoureux », le peer review est davantage cantonné à un contrôle qualité sur les aspects purement techniques, le jugement sur l’importance à accorder aux manuscrits étant délégué a posteriori au lectorat.

Des modèles d’hybridation des processus d’évaluation sont possibles : la revue VertigO a récemment expérimenté l’évaluation ouverte par les pairs (Open peer review) assortie de l’ouverture à commentaires durant la phase de pré-publication.

Pour aller plus loin…

2 – L’évaluation institutionnelle et l’Open Access.

Comment l’Open Access peut-il infléchir les outils  et les critères  d’évaluation actuels de la production scientifique ? Quelles sont les pratiques et outils d’évaluation en vigueur, utilisés par le HCERES et  les différentes  sections disciplinaires ?
Quelles connaissances, les instances d’évaluation, ont-elles des outils et plateformes de production/publication en libre accès (revues, archives ouvertes, carnets, etc…..) ? Comment est évaluée la production scientifique des unités ? Quels différents critères de qualité : construction, évolution et transparence de ces critères ? Quelle place est faite à la production scientifique en libre accès :  revues produites par l’unité de recherche et publications ? Quelle prise en compte, par les instances d’évaluation, des pratiques existantes de publication selon les disciplines ?

 

3 – E-réputation et Open-Access.

Enjeux de la visibilité des chercheurs sur les réseaux sociaux académiques ? Quel rôle pour le lecteur-relecteur ? Comment les chercheurs s’emparent-ils des outils de l’ « e-réputation » (Altmetrics)  en tant qu’alternative à la bibliométrie traditionnelle ?  Comment prendre en compte l’impact d’une production scientifique sur les réseaux académiques, sociaux et professionnels dans l’évaluation des chercheurs ?  L’ « e-réputation » est-elle véritablement révélatrice de la qualité des travaux ?

4 –Table ronde sous forme de courts retours d’expériences : analyse des pratiques d’évaluation (chercheurs, articles, revues)

Cette dernière partie sera organisée sous forme de table ronde avec différents interlocuteurs étant confronté à des processus d’évaluation (de revues ou de publications)  ou chercheurs membres de sections disciplinaires (exemple : section 60 « Mécanique, génie mécanique, génie civil », CNU-Conseil National des Universités, section 32  « Mondes anciens et médiévaux », CoNRS-Comité national de la recherche scientifique ou encore, section 6  « Sciences de l’information : fondements de l’informatique, calculs, algorithmes, représentations, exploitations », CoNRS).

L’idée étant que chacun puisse faire part des pratiques observées ou en vigueur, en termes de publication et d’évaluation des publications : – publication dans des revues modèle « auteur-payeur » ; – publication dans revues en libre accès (et gratuites) ; – publication dans des revues classées ou pas (classement AERES) ; – prise en compte de l’impact factor de la revue ou pas ; – type de publications  prises en compte par la section et selon quels critères ?

Quelle alternatives de publications (revues en libre accès, archives ouvertes, plateformes d’auto-publication, épi-journaux, carnets de recherche, etc…) ? Quels intérêts et quels enjeux et quelles pratiques de la part des chercheurs?

Quelles perceptions les chercheurs ont-ils de l’évaluation ? Sont-ils enclins à contester ce processus ou le valident-ils ? Quelle possibilité y-a-t-il de « produire moins » afin de favoriser la qualité des travaux

Nous essaierons  d’analyser ces pratiques et tenterons de déterminer les possibilités de les faire évoluer .

Crédits image : Magnifying Glass. Par Dean Shareski. Mise à disposition selon les termes de la licence CC-BY-NC 2.0. Source : Flickr.

5 réflexions sur “ Colloque « open access – évaluation de la recherche » : ouvrons le débat ! ”

  1. On ferait bien d’informer la communaute scientifique sur le nombre considerable de journaux et de publieurs douteux (et je ne compte pas les conferences), qui nous valent une avalanche de spams (l’OA, ca rapporte gros !).
    Les deux listes suivantes ne sont pas parfaites, mais montrent l’ampleur du phenomene :
    http://scholarlyoa.com/publishers/
    http://scholarlyoa.com/individual-journals/
    Ceci est fortement prejudiciable a la reputation des journaux serieux en OA (il en reste).
    Pourtant, il est facile de s’informer sur le web, mais tout le monde ne le fait pas…

  2. L’évaluation est effectivement devenue la question centrale de l’Université. La façon dont sont évalués les travaux et les chercheurs, dans un environnement où il n’y aura jamais assez d’argent pour tout faire, détermine presque entièrement la manière dont la science va se construire. Evaluer la science par le facteur d’impact s’accompagne par exemple d’une cascade d’effets pervers désormais bien connus.

    Lors de mon exposé, je tâcherai d’aborder toutes les questions de fond se rapportant à l’évaluation, la première d’entre elles étant « qu’est-ce que la valeur scientifique? ». Cette question a rarement été clairement posée, ni sa réponse clairement donnée. Le système d’évaluation qui s’est imposé à ce jour y est parvenu non pour son éventuel bien-fondé scientifique (qui est désormais battu en brèche) mais simplement car il a été possible techniquement. Je plaiderai pour que l’Université se sépare de la notion d’impact, d’autant plus que celle-ci menace actuellement de prendre une dimension encore plus dramatique avec l’introduction de nouveaux critères, tels le nombre de téléchargements ou la couverture par les réseaux sociaux, qui sont de nature à accentuer la dérive scientifique.

    Je proposerai comme alternative la notion de qualité, que je définirai. Je tâcherai d’en distinguer les aspects objectifs et subjectifs. Celle-ci s’appuie sur le jugement des membres de la communauté scientifique, et je proposerai très concrètement une manière de la capturer et de la quantifier, qui est déjà opérationnelle sur la plate-forme http://www.sjscience.org

    Quelques liens où j’ai déjà pu exposer ma réflexion:
    * https://groupes.renater.fr/sympa/arc/accesouvert/2016-04/msg00041.html
    * http://www.sjscience.org/article?id=46
    * http://poynder.blogspot.fr/2016/05/the-oa-interviews-michael-bon-founder.html

    Michaël Bon
    http://www.sjscience.org
    @social_sjs

    1. Merci beaucoup pour ces premières réactions ! Votre réflexion sur « qu’est-ce que la valeur scientifique ? » fait écho, me semble-t-il, à ce que Stéphane Vautier (enseignant-chercheur en psychologie à Toulouse), expose dans son billet intitulé « Qu’est-ce qu’une contribution scientifique en psychologie ? » https://epistemo.hypotheses.org/1520 .
      En espérant que cela donne lieu à des débats féconds.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *