HAUTAppariement de primitives et estimation de structure et/ou de mouvement

Les différents points étudiés sur ce thème sont listés ci-dessous sous forme de liens menant aux sections qui les détaillent et les illustrent :

Recalage d'images | Gyroscope visuel | Suivi de plans | Appariement de droites | GRoVE

HAUTRecalage d'images RGB-D pour l'estimation de mouvement 3D de caméra


Revue internationale

Yassine Ahmine, Guillaume Caron, Fatima Chouireb, El Mustapha Mouaddib, Continuous scale-space direct image alignment for visual odometry from RGB-D images, IEEE Robotics and Automation Letters, à paraître en 2021. PDF

HAUTGyroscope visuel dense : estimation d'orientation de caméra

L'estimation du changement d'orientation d'une caméra est réalisable en utilisant les images qu'elle acquière durant le mouvement. Suivant le nombre de degrés de liberté considérés, il s'agit d'un compas visuel (un angle) ou d'un gyroscope (trois angles) :
  • Compas visuel omnidirectionnel : Sachant une image de référence et une image courante, la méthode de corrélation de phase permet de déduire l'angle séparant ces deux images, dans certaines conditions. L'évaluation de cet algorithme a conduit à la création du jeu de données OVMIS décrit et téléchargeable à partir du menu latéral Données.
  • Gyroscope visuel sphérique : La minimisation de l'écart entre deux mélanges de potentiels photométriques, celui de l'image de référence et celui d'une image courante, permet d'obtenir la rotation (trois degrés de liberté) optimale qui sépare les deux images sphériques. L'évaluation de cet algorithme a conduit à la création du jeu de données SVMIS décrit et téléchargeable à partir du menu latéral Données.

Revue internationale

Fabio Morbidi et Guillaume Caron, Phase Correlation for Dense Visual Compass from Omnidirectional Camera-Robot Images, IEEE Robotics and Automation Letters, RA-L, Vol. 2, No. 2, pp. 688-695, Avril 2017. PDF

Conférence internationale

Guillaume Caron et Fabio Morbidi, Spherical Visual Gyroscope for Autonomous Robots using the Mixture of Photometric Potentials, IEEE International Conference on Robotics and Automation, ICRA'18, Brisbane, Australia, May 2018. PDF

Communication internationale

Fabio Morbidi et Guillaume Caron, Phase Correlation for Dense Visual Compass from Omnidirectional Camera-Robot Images, IEEE Int. Conf. on Robotics and Automation, ICRA, Mai 2017, Singapour.

Conférence nationale

Guillaume Caron, Fabio Morbidi, Gyroscope visuel sphérique basé mélange de potentiels photométriques, AFRIF Reconnaissance des Formes, Image, Apprentissage et Perception, RFIAP, Juin 2018, Marne-la-vallée. PDF

HAUTSuivi direct de plans

  • Les approches de suivi de plan dans l'espace d'échelle considèrent une pyramide de plusieurs échelles d'images (généralement 3 à 5) pour un suivi du niveau grossier au niveau le plus fin afin d'augmenter la robustesse aux grands mouvements entre les images. Nous étendons cette idée en ne limitant plus les échelles à quelques niveaux discrets, mais en incluant ce paramètre d'échelle comme un degré supplémentaire de liberté à optimiser simultanément aux paramètres de mouvement. Cette idée clé permet à l'algorithme de type descente de gradient d'adapter automatiquement (augmentation et diminution si nécessaire, au rythme nécessaire) le facteur d'échelle pour un très grand domaine de convergence et une très grande précision à convergence. Les résultats en translation et en mouvement projectif dépassent nettement l'état de l'art des approches basées modèle et sont en concurrence avec les approches basées apprentissage, les dépassant légèrement dans certains cas, tout en ne nécessitant aucun processus d'apprentissage long et fastidieux.

    Revue internationale

    Yassine Ahmine, Guillaume Caron, El Mustapha Mouaddib, Fatima Chouireb, Adaptive Lucas-Kanade tracking, Elsevier Image and Vision Computing, vol. 88, pp. 1 - 8, Août 2019. PDF
  • Suivi de plans sur critère photométrique en stereovision omnidirectionnelle : L'estimation de mouvement d'une caméra ou d'un banc stéréo, embarqué sur un robot mobile, est réalisable en suivant des zones des images correspondant à des plans de l'espace. Travailler avec un ou plusieurs plans contraint l'estimation de mouvement à une homographie. Dans ce travail, une représentation sphérique de l'image omnidirectionnelle est utilisée pour exprimer l'optimisation des paramètres du plan (vecteur normal, distance) et le mouvement du capteur (rotation et translation) en minimisant l'erreur photométrique entre la région plane de référence et son transfert dans d'autres vues ou de nouvelles images.

    Conférence internationale

    Guillaume Caron, Eric Marchand et El Mustapha Mouaddib, Tracking Planes in Omnidirectional Stereovision, IEEE International Conference on Robotics and Automation, ICRA'11, Shangai, China, May 2011. PDF

HAUTAppariement de droites verticales en stéréovision omnidirectionnelle

  • Pour localiser un robot en environnement intérieur, les amers géométriques (points, segments, surfaces, etc) sont bien souvent utilisés pour déterminer la position du robot par rapport à ces amers. Les segments verticaux, tels les angles de murs ou les encadrements de portes, sont des amers intéressants pour la localisation car ils sont fixes. Nous travaillons donc sur ce point en exploitant notre capteur qui mèle la perception omnidirectionnelle et la redondance d'informations.
    Voici les résultats : à gauche, on peut voir une image réelle avec les appariements et à droite une reconstruction de l'environnement à partir d'une image de synthèse.
    Mise en correspondance Reconstruction par triangulation

    Conférence internationale

    Guillaume Caron et El Mustapha Mouaddib, Vertical Line Matching for Omnidirectional Stereovision Images, IEEE International Conference on Robotics and Automation, ICRA'09, Kobe, Japon, Mai 2009

    Conférence nationale

    Guillaume Caron et El Mustapha Mouaddib, Mise en Correspondance de Droites Verticales dans les Images de Stéréovision Omnidirectionnelles, Congrès des jeunes chercheurs en vision par ordinateur, ORASIS'09, Trégastel, France, Juin 2009. PDF



HAUTGRoVE : Guidage de Robot par la Vision Embarquée

Ce projet a débuté avec mon stage de Master Recherche sur l'odométrie visuelle. Son objectif est de réaliser un environnement de visualisation et de commande du déplacement d'un robot mobile se guidant par la vision. L'idée est aussi d'utiliser la trame de ce projet pour proposer des sous-projets pour des stages ou des projets d'études.

  • 2008 : visualisation du déplacement du robot dans un environnement 3D inclu dans une interface affichant ce qui est capté par la caméra ainsi que les points d'intérêts détectés et appariés.
    Stage de DUT Informatique de Quentin Wochol

  • 2007 : élaboration et développement d'une méthode d'odométrie visuelle estimant les déplacements du robot mobile entre images successives de la caméra pointée vers le plafond.
    Mon stage de Master Recherche - rapport