HAUTSuivi basé modèle

Les différents points étudiés sur ce thème sont listés ci-dessous sous forme de liens menant aux sections qui les détaillent et les illustrent :

Estimation directe de pose | Suivi basé modèle 3D | Estimation de pose et étalonnage

HAUTEstimation directe de pose

  • Localisation de robot mobile en environnement urbain :

    Conférence internationale

    N. Crombez, G. Caron et E. Mouaddib, Using dense point clouds as environment model for visual localization of mobile robot, IEEE Int. Conf. on Ubiquitous Robots and Ambiant Intelligence, URAI'15, pp.40-45, Goyang, South Korea, Oct 2015. PDF

  • Colorisation photo-réaliste de nuages de points 3D :
    Voici un premier résultat dans le but de couvrir un édifice patrimonial tel que la cathédrale d'Amiens dans le but d'en coloriser un modèle 3D préliminaire (nuage de point) avec une haute définition. Pour ce faire, des photographies sont recalées sur des nuages de points issus de scanner laser en mettant en place un calcul direct de pose.
    Portail sud recoloré Zoom sur la Vierge dorée

    Revue nationale

    Nathan Crombez, Guillaume Caron et El Mustapha Mouaddib, Colorisation de nuages de points 3D par recalage dense d'images numériques, Traitement du Signal, TS, 31(1-2):81-106, 2014. PDF

    Atelier (workshop) international

    N. Crombez, G. Caron et E. Mouaddib, 3D point cloud model colorization by dense registration of digital images, 3D Virtual Reconstruction and Visualization of Complex Architectures, 3DARCH, ISPRS workshop, Avila, Espagne, Février 2015. PDF

    Conference nationale

    Nathan Crombez, Guillaume Caron et El Mustapha Mouaddib, Colorisation photo-réaliste de nuages de points 3D, Congrès des jeunes chercheurs en vision par ordinateur, ORASIS, Cluny, France, Juin 2013. PDF


  • Estimation de pose basée information mutuelle :
    Ce travail a été réalisé lors de mon postdoc, d'octobre 2010 à août 2011, au sein de l'équipe Lagadic d'INRIA Rennes/IRISA. Il s'est focalisé sur le développement d'une méthode d'estimation de pose basée modèle par optimisation non-linéaire. La pose est optimisée en maximisant l'information mutuelle partagée par une image réelle d'un flux vidéo et l'image de synthèse obtenue par rendu du modèle 3D texturé. Le critère de similarité entre images de l'information mutuelle, présentant une forte robustesse à de nombreuses perturbations visuelles, a été exploité dans la thèse d'Amaury Dame pour l'asservissement visuel, le suivi 2D de plan et a servi à introduire l'estimation de pose basée information mutuelle (suivi 3D).

    Revue internationale

    Guillaume Caron, Amaury Dame, Eric Marchand, Direct model based visual tracking and pose estimation using mutual information, Image and Vision Computing, IMAVIS, 32(1):54-63, 2014. PDF

    Conférence francophone

    Guillaume Caron, Amaury Dame, Eric Marchand, L'information mutuelle pour l'estimation visuelle directe de pose, congrès francophone sur la Reconnaissance de Formes et l'Intelligence Artificielle, RFIA, Lyon, France, janvier 2012. PDF

    Atelier (workshop) international

    Antoine Petit, Guillaume Caron, Hideaki Uchiyama, Eric Marchand, Evaluation of Model based Tracking with TrakMark Dataset, Workshop on Benchmark Test Schemes for AR/MR Geometric Registration and Tracking Method, TrakMark at IEEE Int. Symp. on Mixed and Augmented Reality, ISMAR, Basel, Suisse, octobre 2011. PDF


HAUTSuivi basé modèle 3D en stéréovision omnidirectionnelle

Voici un résultat de calcul de pose utilisant le capteur stéréo omnidirectionnel. L'information exploitée est relativement riche car on utilise un modèle 3D composé de faces, d'arêtes et de sommets pour calculer la pose de la caméra. Ce type de travail avait été réalisé en vision omnidirectionnelle monoculaire par l'équipe Lagadic et nous l'avons étendu à la stéréovision omnidirectionnelle. Voici deux vidéos de résultats, en complexité progressive :
Ces vidéos peuvent aussi être téléchargées : FOO statique, FOO mobile.

Revue internationale

Guillaume Caron, El Mustapha Mouaddib et Eric Marchand, 3D model based tracking for omnidirectional vision: a new spherical approach, Robotics and Autonomous Systems, ROBOT, 60(8):1056-1068, Août 2012. PDF

Conférence internationale

Guillaume Caron, Eric Marchand et El Mustapha Mouaddib, 3D Model Based Pose Estimation For Omnidirectional Stereovision, IEEE/RSJ International Conference on Intelligent RObots and Systems, IROS, pp. 5228-5233, St. Louis, Missouri, USA, Octobre 2009. PDF

Communication nationale

Guillaume Caron, Eric Marchand et El Mustapha Mouaddib, Estimation non-linéaire de pose d’objet 3D par stéréovision , Journées Nationales de la Recherche en Robotique, JNRR, Neuvy-sur-Barangeon, France, Novembre 2009.


HAUTEstimation de pose et étalonnage basés points

  • En novembre 2008, j'ai effectué un séjour dans l'équipe Lagadic de l'IRISA/INRIA à Rennes encadré par Eric Marchand. Lors de ce séjour, j'ai travaillé au calibrage et au calcul de pose avec un capteur omnidirectionnel monoculaire puis avec le capteur de stéréovision omnidirectionnelle. Voici une vidéo pour chaque cas.
    Le calcul de pose monoculaire a été appliqué à la localisation externe 3D d'un robot mobile. Nous utilisons une caméra fisheye et équipons le robot mobile d'une balise à quatre LEDs infrarouges. La pose de la balise, et donc celle du robot, est ensuite calculée à partir de ces points. Voici une vidéo illustrant le dispositif et les résultats de localisation :
    Cette vidéo peut aussi être téléchargée.

  • Dans un second temps, dès 2009, j'ai généralisé le calibrage aux bancs stéréos hybrides avec Damien Eynard, particulièrement sur la combinaison d'une caméra perspective et d'une caméra fisheye, la première modélisée par la projection perspective et la seconde par la projection centrale unifiée de Geyer/Barreto. La méthode permet d'envisager d'étalonner N caméras avec N modèles différents, en estimant simultanément tous les paramètres intrinsèques et extrinsèques. Depuis, nous avons aussi intégré le modèle ad hoc de la caméra paracatadioptrique.

    Conférences internationales

    Guillaume Caron et Damien Eynard, Multiple Camera Types Simultaneous Stereo Calibration, IEEE International Conference on Robotics and Automation, ICRA, pp. 2933-2938, Shangai, Chine, Mai 2011. PDF

    Guillaume Caron, Eric Marchand et El Mustapha Mouaddib, Single Viewpoint Stereoscopic Sensor Calibration, International Symposium on Image/Video Communications over fixed and mobile networks, ISIVC, Rabat, Maroc, Septembre 2010. PDF

    Publication internationale invitée

    Guillaume Caron et Damien Eynard, Hybrid stereoscopic calibration, SPIE newsroom in Electronic Imaging & Signal Processing, June 2011. article | PDF

    Conférence nationale

    Guillaume Caron et Damien Eynard, Etalonnage simultané de systèmes stéréoscopiques hybrides, Congrès des jeunes chercheurs en vision par ordinateur, ORASIS, Praz-sur-Arly, France, Juin 2011. PDF

    Réalisation de logiciel

    HySCaS : Hybrid Stereoscopic Calibration Software

    Ce logiciel est l'implantation de la méthode d'étalonnage stéréoscopique simultané intrinsèque et extrinsèque que j'ai élaborée durant ma thèse. Le logiciel a été développé avec Damien Eynard. Des bancs stéréo à différents modèles de caméra sont étalonnés par ce logiciel multi-plateforme (Linux, Mac, Windows) et développé en C++ avec les librairies Qt, ViSP et OpenCV.
    HySCaS est disponible dans la section Logiciels de ce site.