La technique d’imagerie élimine l’effet de l’eau dans les scènes sous-marines

Maintenant, une équipe du MIT et de la Woods Hole Oceanographic Institution (WHOI) a développé un outil d’analyse d’image qui traverse les effets optiques de l’océan et génère des images d’environnements sous-marins qui semblent que l’eau avait été épuisée, révélant les vraies couleurs d’une scène océanique. L’équipe a associé l’outil de correction des couleurs avec un modèle de calcul qui convertit les images d’une scène en un «monde» sous-marin tridimensionnel, qui peut ensuite être exploré pratiquement.

Les chercheurs ont surnommé le nouvel outil « Seasplat », en référence à la fois à son application sous-marine et à une méthode connue sous le nom de Splatting gaussien 3D (3DG), qui prend des images d’une scène et les suit ensemble pour générer une représentation complète et tridimensionnelle qui peut être vue en détail, de toute perspective.

« Avec Seasplat, il peut modéliser explicitement ce que fait l’eau et, par conséquent, il peut à certains égards enlever l’eau et produit de meilleurs modèles 3D d’une scène sous-marine », explique Daniel Yang, étudiant diplômé du MIT.

Les chercheurs ont appliqué le plateau de mer aux images du fond marin pris par des plongeurs et des véhicules sous-marins, à divers endroits, y compris les îles Vierges américaines. La méthode a généré des «mondes» 3D à partir des images qui étaient plus vraies et plus vives et variées en couleur, par rapport aux méthodes précédentes.

L’équipe affirme que Seasplat pourrait aider les biologistes marins à surveiller la santé de certaines communautés océaniques. Par exemple, comme un robot sous-marin explore et prend des photos d’un récif corallien, SeasPlat traiterait simultanément les images et rendrait une représentation 3D de couleur vraie, que les scientifiques pourraient alors « voler », à leur rythme et à leur propre rythme, pour inspecter la scène sous-marine, par exemple pour des signes de blanchiment des coraux.

« Le blanchiment a l’air blanc de près, mais pourrait apparaître bleu et brumeux de loin, et vous ne pourrez peut-être pas le détecter », explique Yogesh Girdhar, scientifique associé chez WHOI. « Le blanchiment des coraux et différentes espèces de corail pourraient être plus faciles à détecter avec l’imagerie de platage de mer, pour obtenir les vraies couleurs dans l’océan. »

Girdhar et Yang présenteront un article détaillant le plateau de mer à la Conférence internationale de l’IEEE sur la robotique et l’automatisation (ICRA). Leur co-auteur de l’étude est John Leonard, professeur de génie mécanique au MIT.

Optique aquatique

Dans l’océan, la couleur et la clarté des objets sont déformées par les effets de la lumière qui se déplace dans l’eau. Ces dernières années, les chercheurs ont développé des outils de correction des couleurs qui visent à reproduire les vraies couleurs dans l’océan. Ces efforts concernaient des outils d’adaptation qui ont été développés à l’origine pour les environnements hors de l’eau, par exemple pour révéler la vraie couleur des fonctionnalités dans des conditions brumeuses. Un travail récent reproduit avec précision les vraies couleurs dans l’océan, avec un algorithme nommé « Sea-Thru », bien que cette méthode nécessite une énorme quantité de puissance de calcul, ce qui fait son utilisation dans la production de modèles de scène 3D difficiles.

En parallèle, d’autres ont fait des avancées dans des éclaboussures gaussiennes 3D, avec des outils qui courent de manière transparente les images d’une scène ensemble, et comblent intelligemment toutes les lacunes pour créer une version 3D entière de la scène. Ces mondes 3D permettent une « nouvelle synthèse de vue », ce qui signifie que quelqu’un peut voir la scène 3D générée, non seulement du point de vue des images originales, mais sous n’importe quel angle et distance.

Mais les 3DG n’ont été appliqués avec succès qu’aux environnements hors de l’eau. Les efforts pour adapter la reconstruction 3D aux images sous-marines ont été entravés, principalement par deux effets sous-marins optiques: rétrodiffusion et atténuation. La rétrodiffusion se produit lorsque la lumière se reflète sur de minuscules particules dans l’océan, créant une brume en forme de voile. L’atténuation est le phénomène par lequel la lumière de certaines longueurs d’onde atténue ou s’estompe avec la distance. Dans l’océan, par exemple, les objets rouges semblent s’estomper plus que les objets bleus lorsqu’ils sont vus de plus loin.

Hors de l’eau, la couleur des objets apparaît plus ou moins la même chose, quel que soit l’angle ou la distance à partir de laquelle ils sont vus. Dans l’eau, cependant, la couleur peut rapidement changer et s’estomper en fonction de son point de vue. Lorsque les méthodes 3DGS tentent de coudre des images sous-marines en un ensemble 3D cohérente, ils sont incapables de résoudre des objets en raison des effets aquatiques de rétrodiffusion et d’atténuation qui déforment la couleur des objets à différents angles.

« Un rêve de vision robotique sous-marine que nous avons est: imaginez si vous pouviez retirer toute l’eau dans l’océan. Que verriez-vous? » Dit Leonard.

Un modèle nage

Dans leur nouveau travail, Yang et ses collègues ont développé un algorithme de correction des couleurs qui explique les effets optiques de la rétrodiffusion et de l’atténuation. L’algorithme détermine le degré auquel chaque pixel d’une image doit avoir été déformé par des effets de rétrodiffusion et d’atténuation, puis enlève essentiellement ces effets aquatiques, et calcule la vraie couleur du pixel.

Yang a ensuite travaillé l’algorithme de correction des couleurs dans un modèle d’échappement gaussien 3D pour créer un plateau de mer, qui peut rapidement analyser les images sous-marines d’une scène et générer une version virtuelle 3D de couleur vraie de la même scène qui peut être explorée en détail sous n’importe quel angle et distance.

L’équipe a appliqué Seasplat sur plusieurs scènes sous-marines, y compris des images prises en mer Rouge, dans les Carribean au large des côtes de Curaçao et de l’océan Pacifique, près du Panama. Ces images, que l’équipe a prises dans un ensemble de données préexistantes, représentent une gamme d’emplacements océaniques et de conditions d’eau. Ils ont également testé Seasplat sur des images prises par un robot sous-marin télécommandé dans les îles Vierges américaines.

D’après les images de chaque scène océanique, SeasPlat a généré un monde 3D de couleur vraie que les chercheurs ont pu explorer pratiquement, par exemple en zoomant et en sortant d’une scène et en visionnant certaines caractéristiques sous différentes perspectives. Même lors de la visualisation sous différents angles et distances, ils ont trouvé des objets dans chaque scène conservaient leur vraie couleur, plutôt que de s’estomper comme ils le feraient s’ils étaient vues à travers l’océan réel.

« Une fois qu’il génère un modèle 3D, un scientifique peut simplement« nager »à travers le modèle comme s’il était de la plongée sous-marine, et regarder les choses en détail, avec une vraie couleur», dit Yang.

Pour l’instant, la méthode nécessite des ressources informatiques élevées sous la forme d’un ordinateur de bureau qui serait trop volumineux pour transporter à bord d’un robot sous-marin. Pourtant, Seasplat pourrait fonctionner pour des opérations attachées, où un véhicule, attaché à un navire, peut explorer et prendre des images qui peuvent être envoyées à l’ordinateur d’un navire.

« Il s’agit de la première approche qui peut très rapidement construire des modèles 3D de haute qualité avec des couleurs précises, sous l’eau, et elle peut les créer et les rendre rapidement », explique Girdhar. « Cela aidera à quantifier la biodiversité et à évaluer la santé des récifs coralliens et d’autres communautés marines. »

Ce travail a été soutenu, en partie, par le Fonds d’investissement dans les sciences de WHOI et par la US National Science Foundation.