L’évolution et la diversité de l’évaluation par les pairs – Blog des méthodes
Message fourni par Lydia Morley
Aujourd’hui, l’évaluation par les pairs constitue un fondement de l’édition universitaire. Il sert de système de freins et contrepoids pour garantir que les chercheurs présentent des travaux de haute qualité, nouveaux et pertinents à la communauté universitaire dans son ensemble. Lorsque notre travail est accepté pour publication, il est littéralement jugé par un jury composé de nos pairs. Et comme un véritable jury, le processus d’évaluation se veut également aussi objectif que possible : les évaluateurs sont censés évaluer uniquement l’impact et la qualité du travail, et non l’auteur. Bien entendu, l’évaluation par les pairs telle que nous la connaissons aujourd’hui n’a pas toujours été un élément essentiel de l’édition universitaire. À mesure que la société, la technologie et les activités universitaires évoluaient et se diversifiaient, les stratégies, les protocoles et les meilleures pratiques acceptées en matière de communication en matière de recherche ont également évolué.
Avant le milieu des années 20ème siècle, les revues employaient souvent des comités de publication internes pour déterminer la qualité et la pertinence des articles de recherche soumis pour publication. Ces comités contactaient parfois des membres ou des collègues de la société pour obtenir de l’aide sur des articles qui ne relevaient pas de leur domaine d’expertise, permettant ainsi à leurs pairs d’agir en tant que réviseurs confidentiels, mais ces petits comités étaient les décideurs ultimes. À mesure que le nombre de domaines de recherche et de chercheurs augmentait, les petits comités de publication devenaient de moins en moins en mesure de donner leur avis en tant qu’experts sur chaque article soumis à leur revue. Ainsi, les revues ont commencé à recruter des universitaires de la communauté au sens large pour arbitrer les publications. La décentralisation du processus décisionnel et l’externalisation vers la communauté scientifique au sens large ont constitué une étape majeure dans la démocratisation de la publication universitaire. Vers ces 20 derniersème Au siècle dernier, les mouvements visant à garantir davantage l’impartialité et l’objectivité du processus d’évaluation ont vu le développement d’une diversité de protocoles formels d’évaluation par les pairs. Ces processus existent selon un gradient d’anonymat, allant du complètement ouvert au double anonyme.
Les processus de révision ouverts révèlent l’identité de l’auteur et des évaluateurs, tandis que les systèmes mono-anonymes révèlent l’identité de l’auteur, mais les évaluateurs restent anonymes. Les systèmes doublement anonymes gardent les deux parties anonymes l’une de l’autre tout au long du processus de publication.
Afin de garantir des évaluations équitables et impartiales, les processus anonymes simples et doubles imposent l’anonymat. Les systèmes mono-anonymes permettent aux évaluateurs de donner des commentaires honnêtes et réalistes aux auteurs sans crainte de représailles. Dans le même temps, les évaluateurs ne devraient pas être incités à juger plus facilement ou plus sévèrement les publications de leurs amis ou ennemis, et ils ne devraient pas non plus être influencés par le statut érudit des auteurs qui les soumettent. En d’autres termes, le travail d’un professeur renommé devrait bénéficier des mêmes chances et du même examen que celui d’un chercheur postdoctoral. Ainsi, les systèmes doublement anonymes visent à garantir l’équité, la justice et l’honnêteté des deux côtés. Alors que la méthode simple-anonyme semble être la stratégie la plus couramment utilisée par les revues, les processus de révision double-anonyme sont de plus en plus utilisés.
Lorsqu’ils soumettent des articles à une revue doublement anonyme, les auteurs doivent veiller à omettre toute information permettant d’identifier personnellement leur article. Cela signifie que les pages de titre, les lettres à l’éditeur et les réponses des réviseurs doivent être soumises séparément. Pour garantir que rien ne passe entre les mailles du filet, les soumissions passent souvent par un éditeur intermédiaire avant d’atteindre les évaluateurs. Si l’éditeur chargé du traitement trouve des informations personnelles susceptibles de compromettre l’anonymat de l’auteur, la soumission est alors renvoyée à l’auteur pour révision. Même si cela peut prendre du temps, cela garantit l’uniformité entre les soumissions de revues et renforce l’engagement des revues envers un processus d’évaluation impartial pour chaque soumission.
Dans certains cas, comme dans le MEE, les auteurs sont contraints de rester anonymes tandis que les évaluateurs sont autorisés à révéler leur identité s’ils le souhaitent. Dans un effort pour accroître la transparence sur l’historique des publications et le processus de publication, MEE met également en œuvre un système de révision transparent, dans lequel les lecteurs peuvent accéder à l’intégralité de l’historique de la correspondance pour un article, y compris tous les commentaires des évaluateurs et les réponses des auteurs. Dans ce référentiel, les évaluateurs sont à nouveau autorisés à rester anonymes. Cela permet de garantir la responsabilité des deux côtés : les auteurs et les réviseurs sont incités à se comporter de manière équitable et diligente tout au long du processus d’édition et de révision. Il permet également aux jeunes chercheurs de glaner des informations sur le processus de publication, contribuant ainsi à l’objectif d’une science ouverte et accessible.
À mesure que l’édition universitaire a évolué, le processus d’évaluation par les pairs a également évolué. Les systèmes formels d’évaluation par les pairs, qui n’ont même pas 100 ans, sont variés et relativement peu réglementés. Les processus d’évaluation par les pairs doublement anonymes et transparents constituent une tentative progressive visant à permettre la publication d’une plus grande diversité de chercheurs, à assurer la responsabilité et la transparence tout au long du processus scientifique et à protéger chacun contre d’éventuelles représailles. À mesure que les données sur le contenu des articles, le lectorat et les caractéristiques démographiques des auteurs s’accumulent, nous devrions tenter de comprendre comment les différents processus d’évaluation par les pairs affectent ces statistiques et ajuster nos normes d’évaluation pour tendre vers plus d’équité, de responsabilité et de transparence dans la publication scientifique.