Améliorer les normes de reporting pour les études de simulation – Blog des méthodes

Message fourni par Coralie Williams

Vous êtes-vous déjà demandé si votre étude de simulation pouvait être reproduite ? La crise de réplication est un sujet brûlant dans la recherche empirique depuis des années, mais ce n’est que récemment que nous avons commencé à en discuter dans la recherche sur les méthodes statistiques (Boulesteix et al., 2020 ; Luijken et al., 2024). La recherche méthodologique s’appuie souvent sur des simulations – des expériences informatiques qui évaluent l’efficacité des méthodes statistiques dans des conditions prédéfinies. Les simulations sont un outil précieux d’évaluation et de comparaison, mais comme toute expérience scientifique, elles sont confrontées à des problèmes de reproductibilité.

Ces défis pourraient être dus à deux problèmes clés : (1) des rapports sélectifs contenant uniquement des résultats positifs et (2) des rapports médiocres qui omettent des détails importants sur la conception, l’exécution et les résultats de l’étude. Lorsque ces détails manquent, il peut être difficile de comprendre les limites ou les biais potentiels des méthodes évaluées.

Lorsque j’ai commencé mon doctorat, j’ai trouvé plusieurs ressources utiles sur la façon de concevoir des études de simulation (Burton et al., 2006 ; Lotterhos et al., 2022 ; Morris et al., 2019), mais j’ai été surpris qu’il n’y ait pas de lignes directrices claires pour rapport. Cela m’a amené à réfléchir à la manière idéale de rendre compte des études de simulation pour améliorer leur reproductibilité.

Pratiques actuelles en écologie et évolution

Un récent article didactique de Morris et al. (2019) ont fourni les étapes et décisions clés pour planifier et mener une étude de simulation. En nous appuyant sur leurs travaux, nous proposons dans notre article 11 éléments de reporting clés, couvrant les trois étapes d’une étude de simulation : planification, codage et analyse. Ces éléments de reporting visent à améliorer la transparence et à garantir que tous les aspects essentiels d’une étude sont clairement communiqués.

Pour mettre en évidence nos propositions d’articles de reporting avec les pratiques actuelles, mes co-auteurs et moi avons décidé de réaliser une enquête sur les études récentes de simulation en écologie et évolution. Nous étions particulièrement intéressés de voir quels composants des études de simulation étaient rapportés, si les détails de mise en œuvre et le code étaient partagés, et dans quelle mesure les méthodes et les résultats des études étaient décrits.

Nous avons examiné 100 études de simulation publiées sur l’écologie et l’évolution et avons trouvé des possibilités d’amélioration. Nous avons constaté un manque de partage de codes et des rapports limités sur l’incertitude de Monte Carlo, une mesure essentielle de la variabilité des résultats de simulation. Nos résultats concordent avec des enquêtes similaires en médecine (Morris et al., 2019) et en psychologie (Siepe et al., 2023), ce qui suggère que le besoin de meilleures pratiques de reporting s’étend à divers domaines de recherche méthodologique.

Vers une ligne directrice en matière de reporting et un effort communautaire

Les études de simulation constituent une partie importante de la recherche statistique et figurent fréquemment dans les articles méthodologiques de nombreuses disciplines, notamment l’écologie et l’évolution. Cependant, comme pour toute recherche, nous devons nous demander si nous ne nous engageons pas, sans le savoir, dans des pratiques douteuses lorsque nous menons et rapportons ces études.

Pour résoudre le problème des mauvais rapports, nous proposons de transformer les idées de notre article en un ensemble de lignes directrices. Ces lignes directrices aideraient les chercheurs à rendre compte de leurs études de simulation de manière plus transparente. Pour nous assurer qu’ils répondent aux besoins de la communauté de l’écologie et de l’évolution, nous sollicitons votre contribution. Nous lancerons une enquête pour recueillir des commentaires et parvenir à un consensus. Si vous souhaitez faire partie de ce processus, n’hésitez pas à nous contacter !

Bien entendu, l’amélioration de la transparence des rapports n’est qu’un début. Même avec un reporting parfait, une étude de simulation peut toujours être mal conçue et ne pas atteindre l’objectif visé. Toutefois, un reporting transparent constitue un tremplin et une première étape importante. Il ouvre le dialogue, permet un examen et des évaluations par les pairs et conduit finalement à des études de simulation de meilleure qualité. Nous sommes ravis de voir des travaux futurs dans cette direction pour améliorer la recherche sur la simulation au-delà des rapports transparents.

Impliquez-vous

Si vous souhaitez contribuer ou partager vos réflexions, veuillez contacter coralie.williams@unsw.edu.au.

©Alberto Ghizzi Panizza

Lire l’article complet ici.

Publié édité par Lydia Morley