“Open access et évaluation de la recherche” (Toulouse) : synthèse et perspectives

Problématique du colloque

Comités de lecture ou d’évaluation, classements nationaux et internationaux, outils bibliométriques, réseaux sociaux académiques, « e-réputation » : sous de multiples formes, des plus institutionnalisées aux moins formalisées, l’évaluation est plus que jamais un élément central de régulation du champ de la recherche.

L’irruption et le développement de l’open access ont constitué – et constituent toujours -, à cet égard, des défis et des enjeux de taille, en déstabilisant quelque peu les circuits traditionnels de diffusion, de validation et de reconnaissance, et donc de légitimation, de l’activité scientifique. Des interrogations portent régulièrement, en particulier, sur les possibles inflexions des critères d’évaluation des chercheurs que pourraient entraîner ces transformations à travers une prise en considération accrue des travaux déposés en accès ouvert.

L’objet de ce colloque était de proposer un aperçu des pratiques en la matière, en examinant dans quelle mesure les évolutions observables (au sein de certaines disciplines, de groupes de pairs ou de la part de certains chercheurs), des évolutions législatives (loi numérique) ou encore la production de recommandations ayant pour objet l’open access, peuvent être susceptibles de reconfigurer de manière significative les modalités d’évaluation des travaux de recherche et de leurs auteurs.

Bilan du colloque

1-Contexte

Le  réseau Archives Ouvertes Toulouse Midi Pyrénées qui regroupe 14 établissements de Midi Pyrénées, a organisé un colloque portant sur l’open access et l’évaluation de la Recherche.

Établissements et structures de recherche membres du réseau Archives ouvertes Toulouse Midi Pyrénées : Université Toulouse 1 Capitole, Université Toulouse – Jean Jaurès (UT2J), Université Toulouse III – Paul Sabatier (UPS), Institut National Polytechnique de Toulouse (INPT), SICD et URFIST (Université Fédérale Toulouse Midi-Pyrénées), Observatoire Midi-Pyrénées (OMP), Laboratoire LAAS-CNRS (Laboratoire d’analyse et d’architecture des systèmes), Ecole Nationale de l’Aviation Civile (ENAC Toulouse), INSA Toulouse, INP-ENSEEIHT, ISAE-SUPAERO, Mines  Albi-Carmaux, Institut de Mathématiques de Toulouse (IMT).

La production scientifique toulousaine (et région) en libre accès :

• Six établissements ou structures de recherche utilisent la plateforme d’archive ouverte nationale HAL (portail ou collection HAL) : UT3, UT2J, ENAC, INSA (projet en cours), Mines Albi, LAAS-CNRS. NB : Les dépôts en archives ouvertes de l’IMT et l’OMP sont comptabilisés dans le portail HAL UT3.
• Trois établissements développent une archive ouverte institutionnelle (en utilisant le logiciel EPrints) : Toulouse 1 Capitole publications (UT1), l’archive ouverte OATAO (ISAE, INPT).

Sur l’ensemble du site toulousain, on compte au total, 80.000 documents en libre accès dont près de 35.000 en texte intégral, soit presque la moitié.

Ce colloque a été soutenu par l’ensemble des établissements et structures de recherche de Midi Pyrénées : UFTMiP, CNRS, UT1, UT2, UT3, INP, ENAC, INSA, ISAE, Mines Albi, LAAS CNRS, TBS. La Maison des Sciences de l’Homme et de la Société – Toulouse et l’association Couperin ont également versé des subventions.

Il s’agissait de s’inscrire dans le cadre de l’open access week qui a lieu chaque année en octobre, dans le monde entier. Après avoir réuni des données sur les archives ouvertes dans les différents établissements pendant une année, le réseau Archives Ouvertes Toulouse a voulu proposer une action permettant à la fois de mettre en valeur l’activité autour des archives ouvertes sur le site toulousain (voir les posters des établissements) et de questionner les pratiques d’évaluation de la recherche.

Il est important de noter que ce colloque était une des premières manifestations autour de l’open access abordant, de façon centrale, la problématique de l’évaluation de la recherche

Le colloque s’inscrivait également dans le cadre de la loi numérique, adopté définitivement le 28 septembre 2016.

2-Organisation

Si l’ensemble des membres du réseau Archives ouvertes a contribué à l’organisation, un groupe plus restreint a particulièrement travaillé sur ce projet : 

Nom / Prénom	Établissement	Service
Gouzi Françoise	UT2J	DAR
Lefebvre Muriel	UFTMiP	URFIST
Mabic Chrystèle	UT1	SCD
Malotaux Sandrine	INPT	SCD
Marchand Emilie	CNRS	LAAS
Mochel Gaylord	UFTMiP	URFIST
Naegelen Pierre	UPS	SCD
Roussy Catherine	UFTMiP	SICD
Sauer-Avargues Aude	UFTMiP	SICD
Smith Céline	CNRS	LAAS
Tchepelev, Gaelle	INPT	SCD

Simone Harmsen, stagiaire en Licence Pro Info-Doc (IUT A – Ponsan, Université Toulouse III – Paul Sabatier a travaillé de février à mai 2016 sur l’organisation de ce colloque, en février-mars à la bibliothèque du LAAS, encadrée par Emilie Marchand et Céline Smith et en avril à mai au SICD, encadrée par Catherine Roussy.

La diffusion et gestion des inscriptions s’est faite via le site Sciencesconf : https://openeval2016.sciencesconf.org/

L’ensemble des sites de Midi Pyrénées, au-delà même du réseau Archives ouvertes a participé à la mise en œuvre à ce colloque soit financièrement soit en contribuant « en nature ». Des subventions ont également été obtenues via la MSHS-T, la délégation CNRS Midi-Pyrénées et l’association Couperin.

Le colloque a été suivi d’une ½ journée à Albi “les échos de l’Open Access Week à Mines Albi”, organisée à l’École des Mines d’Albi le 20 octobre 2016, afin de rendre compte des débats du colloque.

3-Le public du colloque

En bref, voici quelques données chiffrés sur la participation au colloque et le public attendu : 22 intervenants  (au plan national et international), 180 inscrits dont 70 enseignants-chercheurs et doctorants, 96 professionnels de l’IST et 14 personnes sur des postes de direction ou pilotage de la recherche.

4-Promotion du colloque et actions de discussions, diffusion

Dans le cadre du colloque, nous avons mis en ligne sur le carnet Hypotheses du réseau Archives ouvertes Toulouse, une bibliographie thématique réalisée sous Zotero et partageable sous Zotero groups. Elle ne prétend pas à l’exhaustivité mais nous espérons qu’elle permettra de pousser la réflexion et d’alimenter le débat qui avait été ouvert en amont du colloque concernant chaque axe thématique abordé pendant ce colloque :

1 – Évaluation ouverte avant et après publication
2 – Évaluation institutionnelle et open access
3- E -réputation et open access
4  – L’évaluation institutionnelle en question

L’ exposition de posters sur les archives ouvertes dans les différents établissements toulousains (exposée durant le colloque) est le résultat d’un travail mené, entre 2015 et 2016, par les professionnels de l’IST en charge des archives ouvertes et membres du réseau, pour en dresser un état des lieux dans leur établissement ou structure de recherche respectif.

Ces posters ont été réalisés par les professionnels de l’IST du réseau, à partir d’une série d’infographies dynamiques réalisées avec le logiciel Infogr.am par établissement ou structure de recherche. Ils sont disponibles en ligne sur le carnet du réseau et sur le site web du colloque (au format PDF).

Les supports des intervenants sont en ligne sur le site web du colloque sur scienceconf et les vidéos ont été intégralement mises en ligne sur la collection Canal U de l’Université Fédérale Toulouse Midi Pyrénées.

L’ensemble des réactions et échanges Twitter durant les deux jours du colloque a été réuni sur Storify.

Vous pouvez également lire le billet de Marin Dacos “Accès ouvert et évaluation de la recherche” (18/10/2016), publié à chaud après le colloque, sur son blog Blogo-numericus.

5-Les points saillants et perspectives

Voici les grandes questions qui ont été posées par les “grands témoins” du colloque (Jean-Claude Guédon et Marin Dacos) :

1. Comment peut-on réinventer l’écosystème dans lequel fonctionne la recherche scientifique ?
2. Comment promouvoir la bibliodiversité y compris dans le domaine de l’évaluation ?
3. Comment récompenser les bonnes pratiques, c’est-à-dire comment peut-on encourager l’ouverture vs la fermeture ? Les technologies narcissiques seront-elles les alliées de l’ouverture⁴ ?

***

1-Le croisement entre les notions d’open access et d’évaluation de la recherche est un phénomène récent. C’est une problématique qui est restée un temps à la marge et constitue aujourd’hui “l’angle mort du libre accès” (intervention de Jean-Claude Guédon). On peut souligner l’importance de la fonction ou de l’objet revue. En effet, il est primordial pour la communauté scientifique de rendre public les résultats de la recherche via la publication mais également par l’intermédiaire d’autres formes de médiation. La question de la forme de la revue correspond, par ailleurs, à l’idée de publier ou d’être associé à une revue “bien classée” pour espérer une “bonne” évaluation pour sa carrière.

2-En écho à l’intervention de Chérifa Boukacem-Zeghmouri sur l’e-réputation et les réseaux sociaux, on retient que le chercheur se trouve dans un environnement extrêmement concurrentiel et est soumis à des injonctions contradictoires (faire une recherche de qualité qui nécessite du temps et des moyens VS publication “en masse” pour pouvoir être évalué individuellement – l’impact factor demeure comme le principal critère de l’évaluation de la revue). Dans l’écosystème qui se recompose face à ces tensions, il y a des zones d’incertitudes pour les chercheurs qui sont investies par différents acteurs du système : éditeurs commerciaux et réseaux sociaux académiques. Le chercheur doit alors occuper tous les espaces pour s’assurer d’être bien visible et   évalué. Il y a cependant encore de nombreuses inconnues quant à l’avenir des réseaux et l’évolution des critères d’évaluation.

3-Les interventions relatives aux instances d’évaluation ont permis de dégager des positions et des tendances à venir au niveau national et international . Pierre Glaudes (représentant l’HCERES) souligne que tenter de sortir de l’évaluation volumétrique devient un enjeu institutionnel fort (passer de la lecture de rapports d’activités de 800 pages à 50 pages !). Il faudrait pouvoir ne retenir que les 20% du “meilleur” des productions des chercheurs. L’autre point important est la transparence des rapports d’évaluation qui pourraient être disponibles via HAL. Les données concernant la production pourraient également être saisies en flux continu sur une plateforme nationale et aspirées depuis HAL ou autres bases d’articles locales.

Le HEFCE (Higher Education Funding Council of England), organisme gouvernemental chargé du financement d’une part importante de la recherche au sein des universités anglaises, a pris la décision de faire de l’open access l’un des critères importants des campagnes d’évaluation à venir. Cette politique, publiée en 2014 et revue en novembre 2016, doit être mise en oeuvre en 2021, date à laquelle seules les publications déposées dans une archive ouverte institutionnelle ou thématique seront retenues pour procéder à l’évaluation des unités de recherche concernées. Cette politique a été largement annoncée, afin de permettre aux institutions de l’anticiper et de s’organiser en conséquence. Pour l’heure, seuls les articles et conférences sont concernés, le HEFCE est encore en phase de réflexion et consultation concernant l’éventuel élargissement de cette politique aux ouvrages.

La Belgique affiche une tout autre position, celle du “no metric now” avec notamment l’exemple de l’Université de Liège (intervention de Bernard Rentier). 90% de taux de dépôt obtenu sous la contrainte pour un succès aujourd’hui unanimement reconnu ! Bernard Rentier insiste sur la nécessite qu’il y aurait à croiser plusieurs critères d’évaluation, à les examiner et à les faire évoluer. Enfin, comme pour la position française, il prône également la transparence vis-à-vis des “évalués”.

4-Mais alors quelles pistes pour une autre évaluation ? Il semble maintenant indispensable de tenter de repenser, imaginer des espaces de dialogue scientifique et co-construire des contenus scientifiques. Il conviendrait tout d’abord de revenir aux principes fondamentaux de la contribution scientifique. Par ailleurs, des expérimentations autour du système d’open peer review commencent à émerger (Vertigo, SJS) avec le principe de commentaires des articles, ouverts aux pairs et à la communauté plus large. Les carnets Hypotheses ou blogs scientifiques proposent pour leur part, une vulgarisation de qualité et une ouverture au grand public (Magazine Mondes Sociaux, CriminoCorpus). Enfin, le modèle de l’épi-revue représente aussi une alternative au modèle éditorial classique, avec un dépôt initial du prep-print en archives ouvertes puis une évaluation par les pairs.

L’idée de reprendre le contrôle sur “nos revues” et ne pas les confier à des éditeurs privés commence à toucher un certain nombre de revues (cas de la revue Lingua dont le comité éditorial a démissionné d’Elsevier pour être hébergée auprès d’un éditeur open access).

En conclusion, les débats conduisent à l’importance de replacer le chercheur au cœur de l’activité scientifique, reprendre la main sur les revues, et renouer avec la biblio-diversité dans l’écosystème de la recherche. Et enfin, il faut continuer d’éduquer, communiquer sur l’évolution des méthodes d’évaluation et sur les nouveaux modes de publications.

 

---

---