Colloque “open access – évaluation de la recherche” : ouvrons le débat !
Le colloque “Open Access et évaluation de la Recherche : vers un nouvel écosystème ? “ organisé par le Réseau Archives ouvertes Toulouse se déroulera à Toulouse, les 13 et 14 octobre 2016 à la Maison de la Recherche et de la Valorisation, sur le campus de l’Université Toulouse III – Paul Sabatier.
Consulter le programme en ligne : https://openeval2016.sciencesconf.org/
En voici l’argumentaire :
Comités de lecture ou d’évaluation, classements nationaux et internationaux, outils bibliométriques, réseaux sociaux académiques, “e-réputation”… : sous de multiples formes, des plus institutionnalisées aux moins formalisées, l’évaluation est plus que jamais un élément central de régulation du champ de la recherche.
L’irruption et le développement de l’Open Access ont constitué – et constituent toujours – à cet égard des défis et des enjeux de taille, en déstabilisant quelques peu les circuits traditionnels de diffusion, de validation et de reconnaissance, et donc de légitimation de l’activité scientifique. Des interrogations portent régulièrement sur les possibles inflexions des critères d’évaluation des chercheurs que pourraient entraîner ces transformations, à travers une prise en considération accrue des travaux déposés en accès ouvert.
L’objet de ce colloque est de proposer un aperçu des pratiques en la matière. Il s’agit d’examiner dans quelle mesure les évolutions observables ( au sein de certaines disciplines, de groupes de pairs ou de la part de certains chercheurs), les évolutions législatives ou encore la production de recommandations ayant pour objet l’Open Access sont susceptibles de reconfigurer de manière significative les modalités d’évaluation des travaux de recherche et de leurs auteurs.
Ouverture des débats
Le comité de pilotage du colloque souhaite lancer la discussion en amont de la manifestation afin d’en rendre les échanges les plus productifs et structurants possibles. A travers le présent espace, nous invitons les divers intervenants ou toute personne intéressée par la problématique à contribuer et à enrichir la discussion. Pour toute publication de billet, merci de vous adresser à Françoise Gouzi ou Céline Smith.
Le programme est encore en cours d’élaboration mais sera mis en ligne dès sa finalisation.
Axes de réflexions
Quatre axes de réflexions structureront les deux journées (axes 1 et 2 le 13 octobre et axes 3 et 4 le 14 octobre) :
1 – L’évaluation ouverte avant et après publication.
Si on laissse de côté le cas du “double blind” (auteurs et reviewers anonymisés), on distingue trois modalités d’évaluation avant publication qui correspondent à des degrés d’ouverture divers:
– blind review ou évaluation à l’aveugle : les reviewers sont identifiés, mais les auteurs sont anonymisés au moment de l’évaluation ;
– single blind ou simple aveugle : les auteurs sont identifiés au moment de l’évaluation, mais les reviewers restent anonymes ;
– open review ou évaluation ouverte : les reviewers et les auteurs sont identifiés et leurs commentaires respectifs sont également en accès ouvert.
Il existe une autre voie d’évitement de certains des écueils présentés par le système classique d’évaluation par les pairs : l’ouverture aux commentaires a pour vertu d’inscrire les articles scientifiques dans un cadre foncièrement dialogique. Deux revues ont fait de l’ouverture à commentaires lors de la phase de pré-publication, la clef de voûte de leur système d’élaboration et de co-construction de la connaissance : Current Anthropology, fondée en 1960, et Behavioral and Brain Sciences, créée en 1978. Les commentaires peuvent également paraître après la publication. En ouvrant la possibilité de commentaires post-publication, la revue PLOS One (2006) a dans le même temps redéfini le périmètre de l’évaluation par les pairs. Se voulant plus « rigoureux », le peer review est davantage cantonné à un contrôle qualité sur les aspects purement techniques, le jugement sur l’importance à accorder aux manuscrits étant délégué a posteriori au lectorat.
Des modèles d’hybridation des processus d’évaluation sont possibles : la revue VertigO a récemment expérimenté l’évaluation ouverte par les pairs (Open peer review) assortie de l’ouverture à commentaires durant la phase de pré-publication.
2 – L’évaluation institutionnelle et l’Open Access.
3 – E-réputation et Open-Access.
Enjeux de la visibilité des chercheurs sur les réseaux sociaux académiques ? Quel rôle pour le lecteur-relecteur ? Comment les chercheurs s’emparent-ils des outils de l’ “e-réputation” (Altmetrics) en tant qu’alternative à la bibliométrie traditionnelle ? Comment prendre en compte l’impact d’une production scientifique sur les réseaux académiques, sociaux et professionnels dans l’évaluation des chercheurs ? L’ “e-réputation” est-elle véritablement révélatrice de la qualité des travaux ?
4 –Table ronde sous forme de courts retours d’expériences : analyse des pratiques d’évaluation (chercheurs, articles, revues)
Cette dernière partie sera organisée sous forme de table ronde avec différents interlocuteurs étant confronté à des processus d’évaluation (de revues ou de publications) ou chercheurs membres de sections disciplinaires (exemple : section 60 « Mécanique, génie mécanique, génie civil », CNU-Conseil National des Universités, section 32 « Mondes anciens et médiévaux », CoNRS-Comité national de la recherche scientifique ou encore, section 6 « Sciences de l’information : fondements de l’informatique, calculs, algorithmes, représentations, exploitations », CoNRS).
L’idée étant que chacun puisse faire part des pratiques observées ou en vigueur, en termes de publication et d’évaluation des publications : – publication dans des revues modèle “auteur-payeur” ; – publication dans revues en libre accès (et gratuites) ; – publication dans des revues classées ou pas (classement AERES) ; – prise en compte de l’impact factor de la revue ou pas ; – type de publications prises en compte par la section et selon quels critères ?
Quelle alternatives de publications (revues en libre accès, archives ouvertes, plateformes d’auto-publication, épi-journaux, carnets de recherche, etc…) ? Quels intérêts et quels enjeux et quelles pratiques de la part des chercheurs?
Nous essaierons d’analyser ces pratiques et tenterons de déterminer les possibilités de les faire évoluer .
| Crédits image : Magnifying Glass. Par Dean Shareski. Mise à disposition selon les termes de la licence CC-BY-NC 2.0. Source : Flickr. |
OpenEdition vous propose de citer ce billet de la manière suivante :
simoneharmsen (25 février 2016). Colloque “open access – évaluation de la recherche” : ouvrons le débat ! Toul'AO. Consulté le 25 janvier 2025 à l’adresse https://doi.org/10.58079/sj6y
Personnellement, je suis très content que cette problématique ( peer review et plus particulièrement l’open peer review ) sorte de la sphère anglophone t qu’il y ait un groupe francophone qui s’y attèle. J’ai soutenu ma thèse sur le sujet (https://tel.archives-ouvertes.fr/tel-00922600 ) et je pense que des expériences telles que VertigO sont à encourager.Je citerai l’exemple de RIO ( Research Ideas and Outcomes – http://riojournal.com/ ) ou alors ACP ( Atmospherics Chemistry and Physics-http://www.atmospheric-chemistry-and-physics.net/) qui poussent l’ouverture dans des proportions qui laissent dubitatif. Si ce colloque est cyclique , je serais heureux d’en être informé.
La question de l’évaluation dans l’édition scientifique est un point de départ intéressant pour engager un débat plus vaste sur l’évaluation académique en général.
Mon intervention cherchera à relater les deux dimensions de l’expérience d’évaluation et de commentaire ouverts montée par OpenEdition avec la revue en accès ouvert [VertigO] (vertigo.reuves.org): http://vertigo.hypotheses.org/evaluations-et-commentaires-ouverts
Si le modèle n’est pas innovant à la manière de SJS, il permet tout de même de questionner les potentialités et la mise en place de tels dispositifs dans un espace éditorial déjà établi. Cherchant à disséminer les résultats de cette expérience, et à orienter des rédactions qui envisageraient d’ouvrir leur processus d’évaluation, j’espère que mon exposé permettra d’alimenter le débat, d’explorer des possibles, mais aussi de démystifier un rapport traditionnel à l’évaluation dans l’édition scientifique.
Un rapport relatant cette expérience est disponible sur HAL: https://hal.archives-ouvertes.fr/hal-01302597
Julien Bordier
julien.bordier@openedition.org
Docteur en sociologie
Centre pour l’édition électronique ouverte
On ferait bien d’informer la communaute scientifique sur le nombre considerable de journaux et de publieurs douteux (et je ne compte pas les conferences), qui nous valent une avalanche de spams (l’OA, ca rapporte gros !).
Les deux listes suivantes ne sont pas parfaites, mais montrent l’ampleur du phenomene :
http://scholarlyoa.com/publishers/
http://scholarlyoa.com/individual-journals/
Ceci est fortement prejudiciable a la reputation des journaux serieux en OA (il en reste).
Pourtant, il est facile de s’informer sur le web, mais tout le monde ne le fait pas…
L’évaluation est effectivement devenue la question centrale de l’Université. La façon dont sont évalués les travaux et les chercheurs, dans un environnement où il n’y aura jamais assez d’argent pour tout faire, détermine presque entièrement la manière dont la science va se construire. Evaluer la science par le facteur d’impact s’accompagne par exemple d’une cascade d’effets pervers désormais bien connus.
Lors de mon exposé, je tâcherai d’aborder toutes les questions de fond se rapportant à l’évaluation, la première d’entre elles étant “qu’est-ce que la valeur scientifique?”. Cette question a rarement été clairement posée, ni sa réponse clairement donnée. Le système d’évaluation qui s’est imposé à ce jour y est parvenu non pour son éventuel bien-fondé scientifique (qui est désormais battu en brèche) mais simplement car il a été possible techniquement. Je plaiderai pour que l’Université se sépare de la notion d’impact, d’autant plus que celle-ci menace actuellement de prendre une dimension encore plus dramatique avec l’introduction de nouveaux critères, tels le nombre de téléchargements ou la couverture par les réseaux sociaux, qui sont de nature à accentuer la dérive scientifique.
Je proposerai comme alternative la notion de qualité, que je définirai. Je tâcherai d’en distinguer les aspects objectifs et subjectifs. Celle-ci s’appuie sur le jugement des membres de la communauté scientifique, et je proposerai très concrètement une manière de la capturer et de la quantifier, qui est déjà opérationnelle sur la plate-forme http://www.sjscience.org
Quelques liens où j’ai déjà pu exposer ma réflexion:
* https://groupes.renater.fr/sympa/arc/accesouvert/2016-04/msg00041.html
* http://www.sjscience.org/article?id=46
* http://poynder.blogspot.fr/2016/05/the-oa-interviews-michael-bon-founder.html
Michaël Bon
http://www.sjscience.org
@social_sjs
Merci beaucoup pour ces premières réactions ! Votre réflexion sur “qu’est-ce que la valeur scientifique ?” fait écho, me semble-t-il, à ce que Stéphane Vautier (enseignant-chercheur en psychologie à Toulouse), expose dans son billet intitulé “Qu’est-ce qu’une contribution scientifique en psychologie ?” https://epistemo.hypotheses.org/1520 .
En espérant que cela donne lieu à des débats féconds.