Un système aérien sans pilotage open source, autonome et abordable pour la surveillance vidéo comportementale animale – Blog de méthodes

Post fourni par Jenna Kline, doctorant, département d’informatique et d’ingénierie, l’Ohio State University, Columbus, OH, USA

L’histoire du projet Wildwing a commencé en 2022 lorsque je me suis inscrit à l’introduction expérientielle à Imageomics cours. Pour la composante de travail sur le terrain du cours, j’ai voyagé au Centre de recherche MPALA à Laikipia, Kenya. Mes conseillers de projet de cours, le Dr Tanya Berger-Wolf et le Dr Dan Rubenstein, étaient intéressés à explorer comment les drones pouvaient collecter des ensembles de données vidéo à grande échelle pour former des modèles d’apprentissage automatique pour la reconnaissance automatique des comportements. Cette approche pourrait aider à atténuer les travaux fastidieux et longs nécessaires pour recueillir des observations de comportement à grains fins sur le terrain. Grâce à mes recherches avec mon co-conseiller, le Dr Chris Stewart, j’ai eu une expérience antérieure sur des drones volants pour collecter des observations écologiques, j’ai donc mené les missions de drones au Kenya.

Notre équipe de projet a été chargée de collecter des images vidéo de drones de girafes, de zèbres des plaines et du zèbre de Grevy en voie de disparition pour étudier leur comportement. Nous avons constaté que les drones nous permettaient de collecter des séquences vidéo beaucoup plus claires des animaux que les caméras portables, comme le montre la figure 1. Je pouvais manœuvrer facilement les drones aux obstructions et suivre les animaux alors qu’ils se déplaçaient dans le paysage. À la fin des trois semaines, j’avais volé plus de 50 missions, collectant des vidéos étendues tout en affinant ma technique de collecte de données de comportement à l’aide de drones et minimisant les troubles des animaux.

Après son retour du Kenya, Maksim Kholiavchenko et moi avons travaillé avec notre équipe pour annoter les vidéos de drones avec des étiquettes de comportement. Cet effort a produit la reconnaissance du comportement animal kenyan (Tombe) Ensemble de données (Kholiavchenko et al., 2023). Le refonte des vidéos pour annoter les comportements des animaux m’a fait réaliser que mes décisions en tant que pilote sur le terrain n’étaient pas toujours idéales pour une analyse en aval. Je n’avais pas pleinement considéré comment la collecte de données aurait un impact sur la capacité des modèles de vision par ordinateur à extraire des données comportementales utilisables. Seuls les deux tiers des vidéos que j’ai collectées étaient adaptés à la déduction du comportement – trop de pixels, d’occlusions, d’étalon de la vue, etc.

Pourrait-il y avoir une meilleure façon de collecter des données de comportement vidéo à l’aide de drones?

Je savais à partir d’études précédentes utilisant des drones pour l’agriculture numérique que les missions de navigation autonomes ont tendance à produire des ensembles de données plus fiables, cohérents et réplicables, qui sont idéaux pour l’analyse de la vision par ordinateur en aval (Boubin et al., 2019). Les drones que j’ai utilisés au Kenya étaient équipés d’une fonction de suivi automatique – permettant au drone de suivre automatiquement les personnes ou les véhicules (mais pas les zèbres, malheureusement). Si j’ai redéfini «l’objet d’intérêt» comme groupe d’animaux, je pourrais utiliser cette approche de suivi par détection pour suivre automatiquement les troupeaux de manière plus cohérente. J’ai conçu et testé cette approche en simulation, en utilisant les vidéos KABR et les journaux de vol pour tester si mon algorithme pouvait suivre les troupeaux (Kline et al., 2023), qui ont produit des résultats encore meilleurs une fois que j’ai ajouté des paramètres pour garder le drone dans l’altitude et la distance idéales pour inférer des comportements (Kline et al., 2024).

Une fois que j’étais confiant dans les performances de la navigation dans la simulation, l’étape suivante a été de la tester dans la vraie vie. J’ai passé mon été à construire et à tester l’infrastructure logicielle pour suivre les troupeaux avec mon perroquet anafi drone de manière autonome. J’ai effectué les premiers tests sur moi-même avec l’aide de mes amis, en courant dans un parc à proximité pour voir à quel point le drone suivait mes mouvements. Pour la prochaine phase des tests, j’ai déployé le système Wildwing à Les sauvagesun centre de conservation de 10 000 acres dans l’Ohio. En plus des experts en protection de l’animal, j’ai utilisé Wildwing pour collecter de manière autonome les données de comportement vidéo des girafes, des zèbres de Grevy et du cheval de Przewalski. Le pourcentage de cadres utilisables, c’est-à-dire les trames utilisables pour les études de comportement, a approché à 100%, démontrant l’efficacité de la conception de missions de drones autonomes adaptées à l’analyse en aval.

J’ai conçu Wildwing pour être modulaire afin que d’autres utilisateurs puissent facilement créer leurs propres modèles de navigation et utiliser différents modèles de vision par ordinateur mieux adaptés à leurs recherches. Je suis très heureux de voir comment cet outil peut être appliqué aux projets de recherche des autres à l’avenir.

Si vous souhaitez utiliser Wildwing, consultez le code et la documentation ici! Et allez voir notre papieraussi!

Références:

Boubin, J., Chumley, J., Stewart, C., et Khanal, S. Défis de calcul autonome dans l’agriculture de précision entièrement autonome. En 2019 IEEE International Conference on Autonomic Computing (ICAC), page 11-17, juin 2019. 10.1109 / icac.2019.00012

KHOLIAVCHENKO, M., KLINE, J., Ramirez, M., Stevens, S., Sheets, A., Babu, R., Banerji, N., Campolongo, E., Thompson, M., Van Tiel, N., Miliko, J., Bessa, E., Duporge, I., Berger-Wolf, T., Rubenstein,, D., et Stewart, C. (2024). Kabr: ensemble de données in situ pour la reconnaissance du comportement animal kenyan à partir de vidéos de drones. Dans les actes de la conférence d’hiver IEEE / CVF sur les applications de la vision par ordinateur (pp. 31–40). https://doi.org/10.1109/wacvw60836.2024.00011

Kline, J., Stewart, C., Berger-Wolf, T., Ramirez, M., Stevens, S., Ramesh Babu, R., Banerji, N., Sheets, A., Balasubramaniam, S., Campolongo, E., Thompson, M., Stewart, Cv, Kholiaavchenko, M., Rubenstein, Di, Van Tiel, N., & Miliko,. Un cadre pour l’informatique autonome pour Imageomics in situ. En 2023, la Conférence internationale de l’IEEE sur les systèmes informatiques et auto-organisés autonomes (ACSO). https://doi.org/10.1109/acsos58161.2023.00018

Kline, J., Kholiavchenko, M., Brookes, O., Berger-Wolf, T., Stewart, CV et Stewart, C. (2024). Intégrer les données biologiques dans les systèmes de télédétection autonomes pour Imageomics in situ: une étude de cas pour la détection du comportement animal kenyan avec des véhicules aériens sans pilote (UAV). https://doi.org/10.48550/arxiv.2407.16864