Organisation du Hackathon BES Data and Code – Méthodes Blog

Article fourni par Natalie Cooper, rédactrice en chef de MEE

Dans mon dernier article de blog J’ai écrit de manière générale sur pourquoi et comment organiser un hackathon. Pour rendre ces instructions un peu plus claires, je donne ci-dessous un exemple du hackathon de données et de code BES que nous avons organisé du 29 au 30 septembre 2025. Notez que techniquement, il s’agissait en réalité d’un datathon plutôt que d’un hackathon !

Nous avons suivi le plan présenté dans mon article précédent.

1. Rassemblez votre équipe organisationnelle principale

Tout comme Nick Fury, j’ai d’abord réuni une équipe d’élite composée d’employés du BES et de passionnés de méta-recherche qui sont des AE au MEE (OK, le dernier morceau ressemble moins aux Avengers). Parce que nous savions déjà que nous souhaitions que ce soit un événement hybride, nous avons demandé à deux membres de l’équipe de prendre en charge les participants en ligne.

2. Décidez de vos buts/buts

Le BES publie sept revues : Solutions et preuves écologiques (ESE), écologie fonctionnelle, Journal of Animal Ecology, Journal of Applied Ecology, Journal of Ecology, Méthodes en écologie et évolution (MEE)et Les gens et la nature (PAN). L’archivage des données est obligatoire, sauf circonstances exceptionnelles, dans les sept revues depuis janvier 2014, et l’archivage des codes est requis pour les articles présentant des simulations, de nouvelles applications et des analyses non standard depuis 2017 (2015 pour MEE). Nous (I/MEE/BES) voulions savoir dans quelle mesure ces politiques de partage de données/codes étaient efficaces dans les revues BES.

De plus, nous souhaitions impliquer autant de personnes intéressées que possible, car l’inclusivité est la clé de nos valeurs. Nous voulions également collecter autant de données que possible. La nature de ces objectifs signifiait que notre hackathon serait de grande envergure (plus de 140 personnes y ont participé au total !), hybride et avec des niveaux de compétences variés (y compris des étudiants de premier cycle, des professeurs et des professionnels du logiciel).

Notre objectif final était de soumettre un article au MEE sur les résultats.

3. Créer un ou plusieurs protocoles/documents d’orientation

C’était très complexe pour ce projet car nous prévoyions de collecter beaucoup de données.

Nous avons créé un certain nombre de documents comme suit.

• Un document d’orientation avec un protocole complet. Cela faisait 15 pages ! Il comprenait des informations sur nos objectifs et sur le fonctionnement de la collecte de données. Il comprenait ensuite chaque question ainsi que les options disponibles. Nous avons également inclus des exemples pour les questions plus subjectives. Par exemple, nous avons demandé aux gens d’évaluer la qualité du README de 1 à 10, puis nous avons fourni un exemple de ce qui devrait être inclus dans un bon README.
• Un formulaire Google pour la saisie des données. Ceci a été conçu avec soin afin que la plupart des questions comportent des menus déroulants ou à choix multiples afin de réduire les erreurs de saisie des données.
• Un formulaire Google pour les détails du participant, par exemple son nom, son affiliation et son adresse e-mail. Celui-ci était distinct du formulaire principal car il séparait les e-mails de l’ensemble de données principal pour la conformité au RGPD. Demander ici les e-mails, adresses et affiliations des participants a permis de gagner du temps lors de la préparation de la publication. Nous avons rappelé aux gens de fournir des e-mails qui seront encore valables plus d’un an, car parfois la publication est un processus lent et lorsque les gens quittent les institutions, ils perdent souvent leur adresse e-mail.
• Une liste de tous les articles publiés dans les revues BES entre 2017 et 2024, à l’exclusion des revues, etc. dont nous souhaitions collecter des données. Ces articles ont été randomisés afin de recevoir ensuite un numéro d’article unique afin de pouvoir être indexés.
• Enfin, nous avons créé un site Discord avec des canaux et des instructions appropriés, etc. afin que les gens sachent où publier des commentaires et des questions, et où ils peuvent discuter du projet plus largement. C’était essentiel pour garantir l’engagement des participants en ligne.

A noter qu’il était bien utile d’avoir tout en ligne pour pouvoir être mis à jour au besoin les jours du hackathon, plutôt que de devoir constamment envoyer de nouveaux documents !

4. Examiner et tester le(s) protocole(s)/document(s) d’orientation

C’est là que nous apporterions des améliorations pour la prochaine fois !

Tous les organisateurs ont vérifié plusieurs fois tous les aspects de la documentation. Cela incluait des experts en métarecherche et des personnes qui n’avaient jamais collecté ce type de données auparavant. Ensuite, mon groupe de laboratoire (un mélange d’assistants de recherche, d’étudiants à la maîtrise et au doctorat) l’a également testé à deux reprises. Tout a parfaitement fonctionné !

Nous avons tout envoyé deux semaines avant le hackathon et quelques participants ont envoyé des commentaires, mais pas beaucoup. Notre plan était de faire des vérifications finales sur le protocole et d’ajouter toutes les options manquantes aux questions à choix multiples pendant les 2 premières heures du hackathon, puis de commencer la collecte de données vers midi… cela ne s’est pas entièrement déroulé comme prévu comme je le décrirai plus tard !

À l’avenir, je veillerais à ce que les participants lisent le protocole à l’avance et envoient toute question ou modification au moins une semaine avant le hackathon afin qu’ils puissent être intégrés.

5. Planifier les aspects pratiques de l’événement

Nous avons prévu le premier jour au siège de BES à Londres. Nous avons eu environ 40 participants. Nous avons payé les déjeuners, les thés et les cafés. Le deuxième jour s’est déroulé au NHM de Londres. ~ 60 participants. Nous avons payé pour le thé et le café (j’ai acheté des biscuits pour réduire les coûts, y compris des alternatives « gratuites »), mais les gens ont dû trouver leur propre déjeuner car nous n’avions plus de budget.

Les participants en ligne ont été pris en charge par Graziella et Bethany sur Discord. Ils ont organisé des pauses café et déjeuner sur Discord pour que les gens puissent interagir. Les participants en ligne travaillaient quand ils le souhaitaient en fonction d’autres engagements et fuseaux horaires.

La communication de toutes les modifications apportées au protocole, etc. a été effectuée via Discord afin que les participants en ligne et en personne aient les mêmes informations.

6. Attirer/inviter des participants, partager des informations avec eux

Nous avons fait de la publicité via les réseaux sociaux, la liste de diffusion BES, la liste de diffusion SORTEE et diverses listes de diffusion BES SIG. Nous avons reçu une excellente réponse à ce sujet !

7. Organisez le hackathon

C’était, je pense qu’il est juste de le dire, au départ un chaos (semi)organisé ! Le plan était de faire une revue du protocole entre 10h et 12h puis de collecter les données à partir de 12h. J’avais nommé un autre organisateur responsable des participants en personne, et nous avions deux organisateurs en ligne dédiés, et mon rôle était d’ajouter des options et des clarifications si nécessaire au protocole et aux formulaires pendant ces deux heures.

Cependant, deux choses se sont produites !

Tout d’abord, au siège de BES, le WiFi est tombé en panne dès que nous avons tous commencé à essayer d’accéder au protocole, à Discord, etc. Nous pensons que nous avons probablement surchargé le système ! Les participants en personne n’ont pu accéder à aucun des documents. Cela a ensuite nécessité une certaine résolution de problèmes et une réflexion rapide (merci encore à Harriet et Amelia pour avoir aidé à résoudre ce problème !). Nous l’avons réparé en une heure environ, mais en attendant…

Les participants ont eu BEAUCOUP de modifications, de questions, de préoccupations, de suggestions de questions supplémentaires, de confusions, etc. Nous ne nous attendions pas à un tel volume car nous estimions que nous avions fait du bon travail en rendant le protocole aussi clair que possible.

Par conséquent, au moment où j’ai eu à nouveau accès au Discord et aux documents, c’était le chaos absolu ! Merci à Bethany Allen et Graziella Iossa qui ont maintenu les choses en ligne pendant que nous étions tous au secret !

Dans le temps qui me restait avant midi, j’ai rapidement corrigé ce que je pouvais dans le protocole. Certains problèmes étaient faciles à résoudre et reposaient sur des malentendus. Certains problèmes étaient complexes et ne pouvaient donc pas être résolus dans le temps imparti – en fait, certains n’auraient pu être résolus que si j’avais eu une journée entière pour réécrire les sections. J’ai donc réparé ce que je pouvais et laissé le reste.

Le hackathon qui a suivi s’est très bien déroulé ! Les gens ont posé des questions sur Discord et se sont entraidés. Il y a eu un excellent engagement dans la salle et en ligne. Ce fut une expérience vraiment amusante et positive ! 🙂

8. Mettre à jour les participants et évaluer

Au cours des dernières heures du hackathon en personne, Pen-Yuan Hsing et Laura Graham (AE au MEE) ont réalisé des visualisations préliminaires des données jusqu’à présent et les ont partagées sur Discord. Cela a donné à chacun un retour immédiat sur nos objectifs, par exemple sur le nombre d’articles sur lesquels nous avions collecté des données et quelles étaient les tendances émergentes.

Une fois l’événement terminé, nous avons fourni davantage de commentaires via Discord et par courrier électronique et avons continué à informer les gens des prochaines étapes pour terminer la collecte de données, nettoyer l’ensemble de données et rédiger le document.

Les premiers résultats ont été envoyés à tous fin novembre pour commentaires, et le projet a été partagé mi-février. Le manuscrit a été soumis en mars. Notez qu’avec autant de coauteurs (138), nous avons dû regrouper tout le monde dans un consortium. Mais nous avons pu ajouter explicitement tous les auteurs à la prépublication sur EcoArXiv.

9. Enfin… atteignez vos objectifs !

Avons-nous atteint nos objectifs ? Oui je pense que oui !

Nous avons eu de nombreux participants très engagés, en ligne et en personne, et de nombreux commentaires positifs (et constructifs). Les participants ont estimé avoir appris à partager leurs données et leur code plus efficacement.

Plus concrètement, nous avons collecté des données sur 1 861 articles (~ 20 % des articles publiés dans notre fenêtre temporelle), et nous avons soumis un article au MEE avec 138 auteurs (il s’agissait de la plupart des participants, mais pas de tous, certains ont dû se retirer pour diverses raisons) !

Que ferions-nous différemment la prochaine fois ?

Ayez un plan pour qu’il n’y ait pas d’Internet ! Cependant, vous pouvez passer trop de temps à planifier toutes les éventualités. Je pense que dans cette situation, nous avons fait de notre mieux, et je ne pense pas que la planification aurait réellement fait une grande différence.

Les principaux problèmes que nous avons rencontrés étaient liés au grand nombre de participants. Le volume considérable de commentaires et de questions sur Discord était vraiment difficile à gérer, mais en même temps, c’était formidable de voir autant d’engagement du monde entier : les participants étaient basés sur six continents et 27 pays ! Certainement mon projet le plus international et de loin !

Nous avons appris que les gens interprètent les choses de manières très différentes. Ce problème est difficile à résoudre et est bien entendu exacerbé par le grand nombre de participants. À l’avenir, nous veillerions à ce que tous les participants vérifient le protocole quelques semaines avant l’événement et fournissent des commentaires une semaine avant l’événement afin que les mises à jour puissent être effectuées à l’avance. Je m’attends à ce qu’il y ait encore des choses qui prêtent à confusion, mais il y en aura peut-être moins à corriger.

Plus spécifiquement en lien avec ce projet et notre collecte de données, nous avons réalisé que les cases « écrire » pour les réponses aux questions sont les pires ! Il est très facile de faire des erreurs. Une personne a écrit son propre nom de six manières différentes… Cela rendait le nettoyage des données difficile et fastidieux. À l’avenir, je consacrerais plus de temps au nettoyage des données. Je réfléchirais également plus attentivement à la manière de diviser et de déléguer les tâches après le hackathon. Une grande partie du travail m’incombait car il était difficile de répartir les tâches.

Enfin, pour calculer formellement des éléments tels que les scores de cohérence entre les participants, nous aurions dû demander à chaque participant de collecter des données sur plusieurs des mêmes articles, au lieu du seul article que nous avons demandé à tout le monde de consulter.

Les hackathons, c’est génial !

En conclusion, les hackathons sont géniaux et nous nous sommes bien amusés avec celui-ci. Merci beaucoup à tous les organisateurs et participants ! Peut-être pourriez-vous bientôt organiser ou assister à un hackathon ?!

Attendez, quels ont été les résultats du hackathon ?

Il faudra attendre le journal ! Mais si vous ne pouvez pas attendre, la prépublication est disponible ici : https://ecoevorxiv.org/repository/view/12039/