« Notre système d’évaluation tue la diversité de la recherche »


Personnalité scientifique engagée pour l’Open Access, recteur honoraire de l’ULiège, Bernard Rentier était l’invité de Cité à l’occasion de son événement de rentrée.

Au cours de son intervention, l’auteur de « Science ouverte, le défi de la transparence » a d’abord précisé sa position : « Aujourd’hui, je prône l’Open Scholarly Communication plutôt que l’Open Access, car ce concept a été dévoyé par les gros éditeurs. Ce qui doit être ouvert, c’est la communication, du côté de l’émetteur comme du récepteur : gratuit pour publier, gratuit pour lire. »

Qui paie, alors ? « Organisons-nous avec les fonds publics », propose Bernard Rentier. « Aujourd’hui, la recherche est déjà financée par les fonds publics. Les chercheurs ont la main sur le processus de A à Y. La dernière étape, celle de la publication, on la confie aux éditeurs. À nous de nous approprier cette dernière étape pour aller de A à Z ! » 

La science ouverte, une véritable galaxie

Bernard Rentier l’a rappelé, l’expression « science ouverte » couvre une réalité bien plus large que l’accès ouvert. « L’Open Citation, par exemple, est un autre combat important. Les citations dont vous avez besoin, en tant que chercheurs, ne peuvent pas être enfermées dans des articles auxquels l’accès est restreint. » De même, l’Open Research Data consiste à rendre accessible les données de recherche en même temps que l’article basé sur celles-ci.

Citons également l’Open Software (les programmes informatiques doivent être ouverts pour qu’on puisse comprendre comment ils traitent les données), l’Open Citizen Science (la prise en compte des apports citoyens à la recherche) et l’Open Education (la mise à disposition gratuite des supports de cours).

« Grâce aux progrès de l’informatique, nous assistons à une véritable révolution », constate Bernard Rentier. « Mais elle ne peut fonctionner que s’il y a une véritable adhésion du monde scientifique. »

Le facteur d’impact, menace pour la diversité

Cette adhésion passe notamment, pour Bernard Rentier, par la révision du modèle d’évaluation des chercheurs : « Nous sommes dans un système où les chercheurs sont évalués sur base de critères quantitatifs, comme le fameux facteur d’impact, qui sont totalement biaisés. Ce système favorise la compétitivité plutôt que la coopération. Il favorise aussi la surpublication puisque plus on publie, a fortiori dans des revues ayant un facteur d’impact élevé, plus obtient un score important. » 

Bernard Rentier va encore plus loin dans sa critique : « Ce système tue la diversité des chercheurs et de la recherche en coulant tout le monde dans le même moule. »

D’où l’urgence d’inventer un nouveau système d’évaluation, qui tiendrait compte de la science ouverte.

De la nécessité d’un nouveau système d’évaluation

Malgré tout, se débarrasser du facteur d’impact n’est pas si simple que cela. « Les pièges viennent de l’extérieur mais aussi de l’intérieur des universités », constate Bernard Rentier.

Ainsi, de nombreuses institutions ont signé la Declaration of Research Assessment (DORA) qui exclut le facteur d’impact pour l’évaluation d’un chercheur ou de sa recherche. « Malgré tout, il arrive encore aujourd’hui que des institutions renommées indiquent noir sur blanc dans une offre d’emploi qu’un certain nombre de publications dans des revues ayant un facteur d’impact supérieur à ‘x’ est nécessaire pour qu’une candidature soit considérée. » 

D’autre part, une enquête publiée il y a quelques semaines par l’EUA (European University Association) montre que le facteur d’impact est encore utilisé par 75% des institutions européennes.

OS-CAM, une matrice d’évaluation pour remplacer la facteur d’impact

Pour dépasser le facteur d’impact, c’est tout le système d’évaluation qu’il faut repenser. Une tâche compliquée car l’évaluation des chercheurs se déroule dans des contextes variés : « On n’évalue pas de la même manière un chercheur, une équipe ou un projet de recherche », explique Bernard Rentier. Les enjeux également sont différents : obtenir un poste, un financement, un avancement…

Il y a un peu plus de deux ans, Bernard Rentier co-présidait un groupe de travail mis en place par la Commission européenne. L’un des objectifs poursuivis était de proposer une évaluation de la recherche qui tienne compte des principes de l’Open Science. « Nous avons mis en place une matrice, baptisée OS-CAM (Open Science Career Assessment Matrix). C’est une évaluation multi-critères où l’on invite les personnes à évaluer sur base d’appréciations et non de chiffres. Un système de pondération permet d’adapter l’évaluation aux différents profils de chercheurs reconnus par l’Europe. »

Petit à petit, OS-CAM fait son chemin. Bernard Rentier, de son côté, continue à l’affiner. « Il me semble par exemple qu’on ne peut pas appliquer les mêmes critères à des chercheurs issus de disciplines différentes. Je propose donc d’ajouter cette dimension à la matrice. »

OS-CAM parviendra-t-elle à reléguer le facteur d’impact aux oubliettes ? C’est possible. En tout cas, une chose est sûre pour Bernard Rentier : « L’Open Science ne peut pas fonctionner tant que tout le monde n’utilisera pas un système d’évaluation qui tienne compte de ses principes. Réduire un chercheur à un chiffre est une hérésie. »

Pour aller plus loin

Partagez cette news