Tesis sobre el tema "Localisation et cartographie visuelles simultanées"

La thèse s'inscrit dans le domaine de la vision par ordinateur. Il s'agit, dans un environnement intérieur inconnu, partiellement connu ou connu de trouver la position et l'orientation d'une camera mobile en temps réel à partir d'une séquence vidéo prise par cette même camera. Le sujet implique également la reconstruction 3D de l'environnement. Les algorithmes de vision seront implémentés et testés sur des plateformes massivement parallèles. Processing the video sequence of a indoor camera in motion we have to find the position and angle of the camera in real time. We will use a single prime lens camera. It may involve an unknown, partially known or well known environment. A big part of the computation is the 3D reconstruction of the scene. The algorithms used to locate the camera will be implemented and tested on GPU
In this thesis, we explore the problem of modeling an unknown environment using monocular vision for localization applications. We focus in modeling dynamic indoor environments. Many objects in indoor environments are likely to be moved. These movements significantly affect the structure and appearance of the environment and disrupt the existing methods of visual localization. We present in this work a new approach for modeling the environment and its evolution with time. We define explicitly the scene as a static structure and a set of dynamic objects. The object is defined as a rigid entity that a user can take, move and that is visually detectable. First, we show how to automatically discover new objects in a dynamic environment. Existing methods of visual localization simply ignore the inconsistencies due to changes in the scene. We aim to analyze these changes to extract additional information. Without any prior knowledge, an object is a set of points with coherent motion relative to the static structure of the scene. We combine two methods of visual localization to compare various explorations in the same environment taken at different time. The comparison enables to detect objects that have moved between the two shots. For each object, a geometric model and an appearance model are learned. Moreover, we extend the scene model while updating the metrical map and the topological map of the static structure of the environment. Object discovery using motion is based on a new algorithm of multiple structures detection in an image pair. Given a set of correspondences between two views, the method based on RANSAC extracts the different structures corresponding to different model parameterizations seen in the data. The method is applied to homography estimation to detect planar structures and to fundamental matrix estimation to detect structures that have been shifted one from another. Our approach for dynamic scene modeling is applied in a new formulation of place recognition to take into account the presence of dynamic objects in the environment. The model of the place consists in an appearance model of the static structure observed in that place. An object database is learned from previous observations in the environment with the method of object discovery using motion. The place recognition we propose detects the dynamic objects seen in the place and rejects the false detection due to these objects. The different methods described in this dissertation are tested on synthetic and real data. Qualitative and quantitative results are presented throughout the dissertation

La détection de fermeture de boucle est cruciale pour améliorer la robustesse des algorithmes de SLAM. Par exemple, après un long parcours dans des zones inconnues de l'environnement, détecter que le robot est revenu sur une position passée offre la possibilité d'accroître la précision et la cohérence de l'estimation. Reconnaître des lieux déjà cartographiés peut également être pertinent pour apporter une solution au problème de la localisation globale, ou encore pour rétablir une estimation correcte suite à un

La détection de fermeture de boucle est cruciale pour améliorer la robustesse des algorithmes de SLAM. Par exemple, après un long parcours dans des zones inconnues de l’environnement, détecter que le robot est revenu sur une position passée offre la possibilité d’accroître la précision et la cohérence de l’estimation. Reconnaître des lieux déjà cartographiés peut également être pertinent pour apporter une solution au problème de la localisation globale, ou encore pour rétablir une estimation correcte suite à un “enlèvement” (i. E. Lorsque le robot a été déplacé sans être informé du déplacement effectué). Ainsi, résoudre le problème de la détection de fermeture de boucle permet d’améliorer les performances des algorithmes de SLAM, mais cela apporte également des capacités additionnelles aux robots mobiles. Le but des recherches présentées dans ce mémoire de thèse peut être scindé en deux points. Tout d’abord, nous présentons un algorithme de détection de fermeture de boucle basé vision. Notre méthode repose sur du filtrage Bayésien pour le calcul de la probabilité de détection de fermeture de boucle, en encodant les images sous la forme d’ensembles de primitives locales selon le paradigme des sacs de mots visuels. Lorsqu’une hypothèse de fermeture de boucle reçoit une probabilité élevée, un algorithme de géométrie multi-vues est employé pour écarter les “données aberrantes”, en imposant l’existence d’une structure cohérente entre l’image courante et le lieu de fermeture de boucle. La solution proposée est complètement incrémentielle, avec une complexité linéaire en le nombre de lieux visités, ce qui permet de détecter les fermetures de boucles en temps réel. Deuxièmement, pour démontrer l’intérêt de la détection de fermeture de boucle pour la robotique mobile, nous proposons deux applications différentes de notre solution aux contextes métrique et topologique du SLAM. Dans la première application, nous montrons de quelle manière la détection de fermeture de boucle peut être employée pour la reconnaissance de lieux, afin de construire des cartes topologiques cohérentes de l’environnement : lorsqu’une nouvelle image est acquise, la détection de fermeture de boucle permet de déterminer si elle provient d’un nouveau lieu, ou bien si elle appartient à un lieu existant, mettant à jour la carte en conséquence. Dans la seconde application, la détection de fermeture de boucle sert à localiser lacaméra dans un algorithme de SLAM métrique suite à un enlèvement : dès qu’une partie déjà cartographiée de l’environnement est reconnue, l’information fournie par l’algorithme de géométrie multi-vues est utilisée pour calculer une nouvelle position et une nouvelle orientation pour la caméra. Nous démontrons la qualité de nos travaux sur des séquences vidéos acquises dans des environnements d’intérieur, d’extérieur et mixtes (i. E. Intérieur / extérieur), sur la base d’une simple caméra monoculaire déplacée à la main, et en présence d’un aliasing perceptuel important (i. E. Lorsque plusieurs lieux distincts se ressemblent).

Cette thèse aborde le problème de localisation et cartographie simultanée pour un robot mobile. Lorsque le robot Évolue dans un environnement inconnu, il doit construire une carte au fur et mesure qu'il explore le monde, tout en se localisant dans celle-ci. De l'anglais \textit{Simultaneous Localisation And Mapping}, le SLAM est une brique essentielle de l'architecture d'un robot autonome. Plusieurs éléments sont nécessaire ‡ la résolution du SLAM, en particulier la perception de l'environnement permet d'observer les éléments de référence (appelés amers) qui constituent la carte. Ces travaux se focalisent sur l'utilisation de la vision artificielle comme moyen de percevoir l'environnement, ainsi la carte et la position du robot peuvent être estimées dans l'espace 3D complet. Les caméras numériques sont des capteurs bien adaptés aux systèmes embarqués et fournissent une information riche sur l'environnement. Mais une caméra ne permet pas de mesurer la distance aux objets, dont on n'obtient donc que des observations partielles. En particulier, ceci rend difficile l'ajout d'un nouvel amer dans la carte. Une méthode d'initialisation pour des amers de type point est proposée, elle s'appuie sur un mécanisme de génération puis de sélection d'hypothèses. Une architecture SLAM pour un robot terrestre est décrite dans son ensemble, en particulier une caméra panoramique est utilisée et permet de percevoir l'environnement sur 360 degrés. Cette architecture a été implémentée sur un robot de type ATRV. Une carte de points 3D est pertinente pour la localisation d'un robot, mais donne une information limitée sur la structure de l'environnement. Un algorithme permettant d'utiliser des segments de droite est proposé, et testé sur des données réelles

La robotique mobile est un domaine en plein essor. L'un des domaines de recherche consiste à permettre à un robot de cartographier son environnement tout en se localisant dans l'espace. Les techniques couramment employées de SLAM (Simultaneous Localization And Mapping) restent généralement coûteuses en termes de puissance de calcul. La tendance actuelle vers la miniaturisation des systèmes impose de restreindre les ressources embarquées. L'ensemble de ces constatations nous ont guidés vers l'intégration d'algorithmes de SLAM sur des architectures adéquates dédiées pour l'embarqué.Les premiers travaux ont consisté à définir une architecture permettant à un robot mobile de se localiser. Cette architecture doit respecter certaines contraintes, notamment celle du temps réel, des dimensions réduites et de la faible consommation énergétique.L'implantation optimisée d'un algorithme (EKF-SLAM), en utilisant au mieux les spécificités architecturales du système (capacités des processeurs, implantation multi-cœurs, calcul vectoriel ou parallélisation sur architecture hétérogène), a permis de démontrer la possibilité de concevoir des systèmes embarqués pour les applications SLAM dans un contexte d'adéquation algorithme architecture. Une seconde approche a été explorée ayant pour objectif la définition d'un système à base d'une architecture reconfigurable (à base de FPGA) permettant la conception d'une architecture fortement parallèle dédiée au SLAM. L'architecture définie a été évaluée en utilisant une méthodologie HIL (Hardware in the Loop).Les principaux algorithmes de SLAM sont conçus autour de la théorie des probabilités, ils ne garantissent en aucun cas les résultats de localisation. Un algorithme de SLAM basé sur la théorie ensembliste a été défini garantissant l'ensemble des résultats obtenus. Plusieurs améliorations algorithmiques sont ensuite proposées. Une comparaison avec les algorithmes probabilistes a mis en avant la robustesse de l'approche ensembliste.Ces travaux de thèse mettent en avant deux contributions principales. La première consiste à affirmer l'importance d'une conception algorithme-architecture pour résoudre la problématique du SLAM. La seconde est la définition d'une méthode ensembliste permettant de garantir les résultats de localisation et de cartographie.

Les robots et véhicules autonomes représentent le futur des modes de déplacements et de production. Les enjeux de l’avenir reposent sur la robustesse de leurs perceptions et flexibilité face aux environnements changeant et situations inattendues. Les capteurs stéréoscopiques sont des capteurs passifs qui permettent d'obtenir à la fois image et information 3D de la scène à la manière de la vision humaine. Dans ces travaux nous avons développé un système de localisation, par odométrie visuelle permettant de déterminer la position dans l'espace du capteur de façon efficace et performante en tirant partie de la carte de profondeur dense mais également associé à un système de SLAM, rendant la localisation robuste aux perturbations et aux décalages potentiels. Nous avons également développé plusieurs solutions de cartographie et interprétation d’obstacles, à la fois pour le véhicule aérien et terrestre. Ces travaux sont en partie intégrés dans des produits commerciaux
Autonomous vehicles and robots represent the future of transportation and production industries. The challenge ahead will come from the robustness of perception and flexibility from unexpected situations and changing environments. Stereoscopic cameras are passive sensors that provide color images and depth information of the scene by correlating 2 images like the human vision. In this work, we developed a localization system, by visual odometry that can determine efficiently the position in space of the sensor by exploiting the dense depth map. It is also combined with a SLAM system that enables robust localization against disturbances and potentials drifts. Additionally, we developed a few mapping and obstacles detections solutions, both for aerial and terrestrial vehicles. These algorithms are now partly integrated into commercial products

La localisation et cartographie simultanées connue, communément, sous le nom de SLAM (Simultaneous Localization And Mapping) est un processus qui permet à un robot explorant un environnement inconnu de reconstruire une carte de celui-ci tout en se localisant, en même temps, sur cette carte. Dans ce travail de thèse, nous nous intéressons au SLAM par optimisation de graphe. Celui-ci utilise un graphe pour représenter et résoudre le problème de SLAM. Une optimisation de graphe consiste à trouver une configuration de graphe (trajectoire et carte) qui correspond le mieux aux contraintes introduites par les mesures capteurs. L'optimisation de graphe présente une forte complexité algorithmique et requiert des ressources de calcul et de mémoire importantes, particulièrement si l'on veut explorer de larges zones. Cela limite l'utilisation de cette méthode dans des systèmes embarqués temps-réel. Les travaux de cette thèse contribuent à l'atténuation de la complexité de calcul du SLAM par optimisation de graphe. Notre approche s’appuie sur deux axes complémentaires : la représentation mémoire des données et l’implantation sur architectures hétérogènes embarquées. Dans le premier axe, nous proposons une structure de données incrémentale pour représenter puis optimiser efficacement le graphe. Dans le second axe, nous explorons l'utilisation des architectures hétérogènes récentes pour accélérer le SLAM par optimisation de graphe. Nous proposons, donc, un modèle d’implantation adéquat aux applications embarquées en mettant en évidence les avantages et les inconvénients des architectures évaluées, à savoir SoCs basés GPU et FPGA
Simultaneous Localization And Mapping is the process that allows a robot to build a map of an unknown environment while at the same time it determines the robot position on this map.In this work, we are interested in graph-based SLAM method. This method uses a graph to represent and solve the SLAM problem. A graph optimization consists in finding a graph configuration (trajectory and map) that better matches the constraints introduced by the sensors measurements. Graph optimization is characterized by a high computational complexity that requires high computational and memory resources, particularly to explore large areas. This limits the use of graph-based SLAM in real-time embedded systems. This thesis contributes to the reduction of the graph-based computational complexity. Our approach is based on two complementary axes: data representation in memory and implementation on embedded heterogeneous architectures. In the first axis, we propose an incremental data structure to efficiently represent and then optimize the graph. In the second axis, we explore the use of the recent heterogeneous architectures to speed up graph-based SLAM. We propose an efficient implementation model for embedded applications. We highlight the advantages and disadvantages of the evaluated architectures, namely GPU-based and FPGA-based System-On-Chips

La thématique de la navigation autonome constitue l'un des principaux axes de recherche dans le domaine des véhicules intelligents et des robots mobiles. Dans ce contexte, on cherche à doter le robot d'algorithmes et de méthodes lui permettant d'évoluer dans un environnement complexe et dynamique, en toute sécurité et en parfaite autonomie. Dans ce contexte, les algorithmes de localisation et de cartographie occupent une place importante. En effet, sans informations suffisantes sur la position du robot (localisation) et sur la nature de son environnement (cartographie), les autres algorithmes (génération de trajectoire, évitement d'obstacles ...) ne peuvent pas fonctionner correctement. Nous avons centré notre travail de thèse sur une problématique précise : développer un algorithme de SLAM simple, rapide, léger et limitant les erreurs de localisation et de cartographie au maximum sans fermeture de boucle. Au cœur de notre approche, on trouve un algorithme d'IML : Incremental Maximum Likelihood. Ce type d'algorithmes se base sur une estimation itérative de la localisation et de la cartographie. Il est ainsi naturellement divergent. Le choix de l'IML est justifié essentiellement par sa simplicité et sa légèreté. La particularité des travaux réalisés durant cette thèse réside dans les différents outils et algorithmes utilisés afin de limiter la divergence de l'IML au maximum, tout en conservant ses avantages.

La tâche consistant à tirer de l'information des images d'une caméra au cours du temps pour cartographier l'environnement et se localiser à l'intérieur de celui-ci, est appelée Localisation et Cartographie Simultanée ou SLAM.Développée à la fois par les communautés scientifiques de robotique et vision par ordinateur les applications sont multiples. Des robots bénéficient de cette capacité en gagnant en autonomie. Ces dernières années, des résultats impressionnants ont été obtenus pour des applications à des moyens de transport autonomes.Une autre champ d'application est la réalité augmenté. La localisation donnée par le SLAM offre la possibilité d'obtenir un rendu des éléments virtuels en cohérence avec les mouvements de l'utilisateur. Ainsi le cinéma, les jeux vidéos, le tourisme peuvent bénéficier de techniques SLAM. L'assistance aux travailleurs effectuant des tâches de précision ou répétitives compte également parmi les champs d'application du SLAM. Dans le cadre de cette thèse nous nous sommes intéressés au SLAM dans une optique d'applications réalistes de réalité augmentée. Bien que le sujet ait été beaucoup exploré et que d'intéressants résultats aient été obtenus, la tâche n'est toujours pas parfaitement résolue. Le problème du SLAM est un sujet de recherche ouvert, aussi bien sur des aspects spatiaux (dérive, fermeture de boucle) que temporels (temps de traitement). Dans le cadre du SLAM monoculaire nous avons surtout adressé le problème de la dérive. Puis nous nous sommes intéressés au SLAM multi-capteurs, afin d'adresser le problème des mouvements de rotation problématiques dans le cas monoculaire, et celui de la complexité calculatoire
Gathering informations from the images of a camera, over time, in order to map the environment and localize the camera in it, is a task refered to as Simultaneous Localization and Mapping, or SLAM. Developped both by the robotics and computer vision scientific communities, its applications are many. Robots gain autonomy from this ability. Quite recently, impressive results have been obtained in applications to autonomous transportation vehicles. Another field of application is augmented reality. The localization offered by SLAM enables us to display virtual objects in a consistent way a user movements. Thus, cinema, video games, tourisme applications can benefit from SLAM methods. Visual aids to workers performing complex or repetetive tasks is also an interesting application of SLAM methods. During this PhD thesis, we took interest in SLAM with the idea of realistic augmented reality applications in mind. Though the topic has been extensively explored and many impressive results obtained, the task isn't completely solved. The problem is still an open one, regarding spatial facets (drift, loop closure) as well as temporal (processing time). As part of our monocular SLAM explorations, we mainly studied the drift issue. We then explored multisensor SLAM, both as a mean to handle problematical rotational movements for the monocular setup and as mean to reduce the substantial processing times needed to solve the problem

Les systèmes avancés d'aide à la conduite (ADAS) assistent le conducteur, lui offrent du confort et prennent la responsabilité d'accroître la sécurité routière. Ces systèmes complexes font l'objet d'une phase d'essai approfondie qui permet d'optimiser la qualité, la reproductibilité et les coûts. Les systèmes d'aide à la conduite de demain prendront en charge des proportions toujours plus grandes de situations de conduite dans des scénarios de plus en plus complexes et représentent un facteur clé pour la conduite autonome. Les méthodes d'essai actuelles pour les systèmes d'aide à la conduite peuvent être divisées en deux catégories : la simulation et la réalité. Le concept de base de la simulation est de bénéficier de la reproductibilité, de la flexibilité et de la réduction des coûts. Cependant, la simulation ne peut pas encore remplacer complètement les essais en conditions réelles. Les conditions physiques, telles que les conditions météorologiques, le revêtement de la route et d'autres variables, jouent un rôle crucial dans l'évaluation des essais routiers des systèmes d'aide à la conduite et ne peuvent pas être entièrement reproduites dans un environnement virtuel. Ces méthodes d'essai reposent sur des tests de conduite réels sur des sites d'essai spéciaux ainsi que dans un trafic routier réel, ce qui prend beaucoup de temps et est très coûteux. Des méthodes d'essai nouvelles et efficaces sont donc nécessaires pour ouvrir la voie aux futurs systèmes d'assistance à la conduite automobile. Une nouvelle approche, Vehicle in the Loop (VIL), déjà utilisée dans l'industrie aujourd'hui, combine les avantages de la simulation et de la réalité. L'approche retenue dans ce projet est une nouvelle méthode qui vient s'ajouter aux solutions VIL existantes. Tirant parti de la simulation et de la réalité pour tester les ADAS, ce projet présente une nouvelle approche utilisant la réalité augmentée (AR) pour tester ADAS basés sur des caméras, de manière reproductible, rentable et rapide. Une puissance informatique élevée est nécessaire pour des conditions environnementales automobiles complexes, telles que la vitesse élevée du véhicule et le nombre réduit de points d'orientation sur une piste d'essai par rapport aux applications de réalité augmentée à l'intérieur d'un bâtiment. Un modèle tridimensionnel contenant des informations précises sur le site d'essai est généré sur la base de la combinaison de la localisation et de la cartographie visuelles simultanées (vSLAM) et de la segmentation sémantique. L'utilisation d'un processus d'augmentation spécial nous permet d'enrichir la réalité avec des usagers de la route virtuels afin de présenter une preuve de concept pour de futures procédures d'essai
Advanced Driver Assistance Systems (ADAS) support the driver, offer comfort, and take responsibility for increasing road safety. These complex systems endure an extensive testing phase resulting in optimization potential regarding quality, reproducibility, and costs. ADAS of the future will support ever-larger proportions of driving situations in increasingly complex scenarios and represent a key factor for Autonomous Driving (AD). Current testing methods for ADAS can be divided into simulation and reality. The core concept behind the simulation is to benefit from reproducibility, flexibility, and cost reduction. However, simulation cannot yet completely replace real-world tests. Physical conditions, such as weather, road surface, and other variables, play a crucial role in evaluating ADAS road tests and cannot be fully replicated in a virtual environment. These test methods rely on real driving tests on special test sites as well as in real road traffic and are very time-consuming and costly. Therefore, new and efficient test methods are required to pave the way for future ADAS. A new approach Vehicle in the Loop (VIL), which is already being used in the industry today, combines the advantages of simulation and reality. The approach in this project is a new method besides existing VIL solutions. Taking advantage of testing ADAS in simulation and reality, this project presents a new approach to using Augmented Reality (AR) to test camera-based ADAS in a reproducible, cost- and time-efficient way. High computer power is needed for complex automotive environmental conditions, such as high vehicle speed and fewer orientation points on a test track compared to AR applications inside a building. A three-dimensional model with accurate information about the test site is generated based on the combination of visual Simultaneous Localization and Mapping (vSLAM) and Semantic Segmentation. The use of a special augmentation process allows us to enrich reality with virtual road users to present a proof of concept for future test procedures

Le travail présenté dans ce manuscrit se situe dans le domaine de la réalité augmen- tée. Dans le contexte de la réalité augmentée, il est nécessaire de calculer la position relative entre la caméra et la scène en temps réel. Cette thèse présente une méthode complète de calcul de pose reposant sur l'utilisation de structures planes présentes dans les environnements urbains intérieurs et extérieurs. Le suivi de pose est effectué à l'aide d'une caméra bas coût et d'un capteur inertiel. Notre approche consiste à tirer parti des plans pour faciliter le calcul de la pose. Les homographies obtenues par un algorithme de suivi dans l'image de régions planes, présenté dans cette thèse, servent de mesures à notre méthode de localisation et car- tographie simultanées. Cette méthode de SLAM permet d'assurer un suivi de la pose robuste tout en permettant une reconstruction de la scène 3D et fonctionnant sur le long terme en propageant les incertitudes des mesures. Des travaux sur la sélection des régions à suivre et sur l'initialisation des paramètres des plans, correspondant à ces régions, sont également présentés. Des expériences en simulation et sur des séquences d'images réelles montrent la validité de notre approche.

Le travail présenté dans ce manuscrit se situe dans le domaine de la réalité augmentée. Dans le contexte de la réalité augmentée, il est nécessaire de calculer la position relative entre la caméra et la scène en temps réel. Cette thèse présente une méthode complète de calcul de pose reposant sur l'utilisation de structures planes présentes dans les environnements urbains intérieurs et extérieurs. Le suivi de pose est effectué à l'aide d'une caméra bas coût et d'un capteur inertiel. Notre approche consiste à tirer parti des plans pour faciliter le calcul de la pose. Les homographies obtenues par un algorithme de suivi dans l'image de régions planes, présenté dans cette thèse, servent de mesures à notre méthode de localisation et cartographie simultanées. Cette méthode de SLAM permet d'assurer un suivi de la pose robuste tout en permettant une reconstruction de la scène 3D et fonctionnant sur le long terme en propageant les incertitudes des mesures. Des travaux sur la sélection des régions à suivre et sur l'initialisation des paramètres des plans, correspondant à ces régions, sont également présentés. Des expériences en simulation et sur des séquences d'images réelles montrent la validité de notre approche
Our work deals with computer vision. The problem of augmented reality implies a real time estimation of the relive position between camera and scene. This thesis presents a complete method of pose tracking that works with planar structures which are abundant in indoor and outdoor urban environments. The pose tracking is done using a low cost camera and an inertial sensor. Our approach is to use the planes to make the pose estimation easier. Homographies computed by an image tracking algorithm presented in this document are used as measurements for our Simultaneous Localization And Mapping method. This SLAM method permits a long term and robust pose tracking by propagating the measurements uncertainties. Works about selection of regions to track and their corresponding plane parameters initialization are also described in this thesis. Numerical and image based experiments shows the validity of our approach

Cette thèse étudie le problème de la localisation et cartographie simultanées des robots sous-marins, et ses méthodes de résolution utilisant le calcul par intervalles. Le principe du SLAM (Simultaneous Localization And Mapping, ou cartographie et localisation simultanées) est le suivant: un robot sous-marin connait en général sa position initiale (lorsqu'il est à la surface grâce à un GPS), son modèle de déplacement (très approximativement) et possède quelques capteurs l'aidant à estimer sa position (capteur de pression pour mesurer sa profondeur, loch Doppler pour mesurer sa vitesse et sa distance au fond, centrale inertielle pour mesurer son orientation) et voir ce qui l'entoure (sonar). Pourtant, malgré tous ces capteurs, plus il avance, plus ses erreurs d'estimation de position s'accumulent: le robot se perd. En passant et repassant devant plusieurs objets (ou éléments remarquables quelconques de son environnement), il va pouvoir évaluer leur position (plus ou moins précisément) une première fois à partir de la sienne (cartographie grâce à sa localisation), puis recalculer sa trajectoire en les prenant comme repère les fois suivantes quand il est perdu (localisation grâce à sa cartographie). Les mesures de capteurs ou variables utilisées pour décrire les robots étant souvent entachées d'erreurs, elles peuvent être représentées de différentes façons: distributions probabilistes, nuages de points, ensembles continus... En général, les données constructeur des capteurs ou actionneurs du robot nous indiquent des bornes (liées à la précision...). On peut donc représenter ces valeurs sous forme d'intervalles. Les méthodes ensemblistes telles que l'analyse par intervalles permettent d'obtenir des résultats à partir d'équations sur des intervalles. L'avantage de ces méthodes est qu'on est sûr de ne perdre aucune solution (compte tenu des hypothèses faites), contrairement à celles utilisant l'approche probabiliste, où on n'obtient parfois que les solutions les plus probables. Dans cette thèse, l'utilisation du calcul par intervalles dans le cadre du SLAM appliqué aux robots sous-marins et une comparaison entre plusieurs méthodes existantes seront étudiées. De plus, une nouvelle méthode permettant de mieux gérer le problème des données fugaces (données seulement significatives à des instants bien précis et inconnus), rencontré notamment avec des données provenant de sonars, sera proposée. Les applications de ces travaux concernent par exemple le développement de robots sous-marins autonomes (souvent appelés AUVs pour Autonomous Underwater Vehicles ou UUVs pour Unmanned Underwater Vehicles). En effet, contrairement aux robots téléguidés par des humains, ceux-ci doivent eux-mêmes être capables de se repérer dans leur environnement pour effectuer leur travail. Ces robots peuvent avoir des missions variées: relevé de données hydrographiques, localisation d'épaves (bateau, avion...) ou objets dangereux (mines...), surveillance (détection de pollution, vérification de l'état de pipelines...)... Actuellement, ces tâches sont principalement réalisées par des humains, directement avec des plongeurs, ou indirectement avec des sous-marins téléopérés pour les travaux les plus dangereux ou difficiles d'accès.

Le SLAM, " Simultaneous Localisation And Mapping ", représente à l'heure actuelle l'une des principales thématiques investiguées dans le domaine des robots mobiles autonomes. Il permet, à l'aide de capteurs extéroceptifs (laser, caméra, radar, etc.) et proprioceptifs (odomètre, gyromètre, etc.), de trouver l'orientation et la localisation d'un robot dans un environnement extérieur vaste, inconnu ou modifié, avec la possibilité de créer une carte au fur et à mesure des déplacements du véhicule. Les travaux de thèse décrits dans ce manuscrit s'intègrent dans ce courant de recherche. Ils visent à développer un SLAM innovant qui utilise un radar à modulation de fréquence continue " FMCW " comme capteur extéroceptif. Ce capteur est insensible aux conditions climatiques et possède une portée de détection importante. Néanmoins, c'est un capteur tournant qui, dans une utilisation mobile, va fournir des données corrompues par le déplacement du véhicule. Pour mener à bien ces travaux, nous avons proposés différentes contributions : une correction de la distorsion par l'utilisation de capteurs proprioceptifs ; le développement d'une technique de localisation et cartographie simultanées nommée RS-SLAM-FMT qui effectue un scan matching sur les observations et utilise un algorithme estimatif de type EKF-SLAM ; l'utilisation, pour la première fois en SLAM, de la mise en correspondance par Transformée de Fourier-Mellin pour réaliser l'opération de scan matching ; la création d'un outil expérimental pour déterminer la matrice de covariance associée aux observations ; des tests de robustesse de l'algorithme dans des conditions d'utilisation réelles : dans des zones avec un faible nombre de points d'intérêts, sur des parcours effectués à vitesse élevée, dans des environnements péri-urbains avec une forte densité d'objets mobiles ; la réalisation d'une application temps réel pour le test du procédé sur un véhicule d'exploration qui se déplace dans un environnement extérieur vaste.

Les travaux réalisés au cours de cette thèse s'inscrivent dans les problématiques de localisation d'un véhicule par vision. Nous nous plaçons en particulier dans le cas de parcours sur de longues distances, c'est à dire plusieurs kilomètres. Les méthodes actuelles de localisation et cartographie simultanées souffrent de problèmes de dérives qui les rendent difficilement exploitables après plusieurs centaines de mètres. Nous proposons dans ce mémoire de pallier ces limites en exploitant une connaissance à priori sur la géométrie de l'environnement parcouru.Cette information est extraite d'un Système d'Information Géographique. En particulier, les travaux réalisés se basent sur les modèles 3D des bâtiments des villes et sur une carte de la route.Dans la première partie de ce mémoire, nous proposons une approche permettant de corriger hors ligne une reconstruction SLAM en exploitant la connaissance d'un modèle 3D simple de l'environnement. Cette correction s'applique en deux étapes. En premier lieu, un recalage non-rigide entre le nuage de points reconstruit et le modèle 3D est effectué de sorte à retrouver la cohérence globale de la reconstruction. Dans le but de raffiner le nuage de points obtenu, un ajustement de faisceaux contraint par le SIG est alors effectué sur l'ensemble de la reconstruction.La particularité de cet ajustement de faisceaux est qu'il prend implicitement en compte les contraintes géométriques apportées par le modèle 3D. La reconstruction ainsi corrigée est alors utilisée en tant que base de données pour la relocalisation en ligne d'une caméra mobile. La précision de relocalisation obtenue est en particulier suffisante pour les applications de réalité augmentée.Dans la deuxième partie de ce mémoire, nous détaillons une solution permettant de corriger en ligne la reconstruction SLAM. Pour cela, les contraintes géométriques apportées par le SIG sont exploitées au fur et à mesure de la trajectoire du véhicule. Nous montrons tout d'abord que la connaissance de la position relative de la caméra par rapport à la route permet de corriger de façon robuste la dérive de facteur d'échelle. De plus, lorsque les contraintes géométriques sont suffisantes, la reconstruction SLAM réalisée jusqu'à l'instant courant est recalée sur le SIG.Cela permet de corriger ponctuellement la dérive observée sur la position courante de la caméra.Le processus complet permet dès lors de localiser le véhicule avec une précision semblable à celle d'un système GPS sur des trajectoires de plusieurs kilomètres.Les deux méthodes proposées ont été testées à la fois sur des séquences de synthèse et réelles. Des résultats qualitatifs et quantitatifs sont présentés tout au long de ce mémoire.

Dans cette thèse, nous nous intéressons à l'estimation de paramètres dans les chaînes de Markov cachées dans un cadre paramétrique et dans un cadre non paramétrique. Dans le cas paramétrique, nous imposons des contraintes sur le calcul de l'estimateur proposé : un premier volet de cette thèse est l'estimation en ligne d'un paramètre au sens du maximum de vraisemblance. Le fait d'estimer en ligne signifie que les estimations doivent être produites sans mémoriser les observations. Nous proposons une nouvelle méthode d'estimation en ligne pour les chaînes de Markov cachées basée sur l'algorithme Expectation Maximization appelée Block Online Expectation Maximization (BOEM). Cet algorithme est défini pour des chaînes de Markov cachées à espace d'état et espace d'observations généraux. La consistance de l'algorithme ainsi que des vitesses de convergence en probabilité ont été prouvées. Dans le cas d'espaces d'états généraux, l'implémentation numérique de l'algorithme BOEM requiert d'introduire des méthodes de Monte Carlo séquentielles - aussi appelées méthodes particulaires - pour approcher des espérances conditionnelles sous des lois de lissage qui ne peuvent être calculées explicitement. Nous avons donc proposé une approximation Monte Carlo de l'algorithme BOEM appelée Monte Carlo BOEM. Parmi les hypothèses nécessaires à la convergence de l'algorithme Monte Carlo BOEM, un contrôle de la norme Lp de l'erreur d'approximation Monte Carlo explicite en fonction du nombre d'observations T et du nombre de particules N est nécessaire. Par conséquent, une seconde partie de cette thèse a été consacrée à l'obtention de tels contrôles pour plusieurs méthodes de Monte Carlo séquentielles : l'algorithme Forward Filtering Backward Smoothing et l'algorithme Forward Filtering Backward Simulation. Ensuite, nous considérons des applications de l'algorithme Monte Carlo BOEM à des problèmes de cartographie et de localisation simultanées. Ces problèmes se posent lorsqu'un mobile se déplace dans un environnement inconnu. Il s'agit alors de localiser le mobile tout en construisant une carte de son environnement. Enfin, la dernière partie de cette thèse est relative à l'estimation non paramétrique dans les chaînes de Markov cachées. Le problème considéré a été très peu étudié et nous avons donc choisi de l'aborder dans un cadre précis. Nous supposons que la chaîne (Xk) est une marche aléatoire sur un sous-espace compact de Rm dont la loi des incréments est connue à un facteur d'échelle a près. Nous supposons également que, pour tout k, Yk est une observation dans un bruit additif gaussien de f(Xk), où f est une fonction à valeurs dans Rl que nous cherchons à estimer. Le premier résultat que nous avons établi est l'identifiabilité du modèle statistique considéré. Nous avons également proposé une estimation de la fonction f et du paramètre a à partir de la log-vraisemblance par paires des observations. Nous avons prouvé la convergence en probabilité de ces estimateurs lorsque le nombre d'observations utilisées tend vers l'infini.

Dans cette thèse, nous nous intéressons à l'estimation de paramètres dans les chaînes de Markov cachées. Nous considérons tout d'abord le problème de l'estimation en ligne (sans sauvegarde des observations) au sens du maximum de vraisemblance. Nous proposons une nouvelle méthode basée sur l'algorithme Expectation Maximization appelée Block Online Expectation Maximization (BOEM). Cet algorithme est défini pour des chaînes de Markov cachées à espace d'état et espace d'observations généraux. Dans le cas d'espaces d'états généraux, l'algorithme BOEM requiert l'introduction de méthodes de Monte Carlo séquentielles pour approcher des espérances sous des lois de lissage. La convergence de l'algorithme nécessite alors un contrôle de la norme Lp de l'erreur d'approximation Monte Carlo explicite en le nombre d'observations et de particules. Une seconde partie de cette thèse se consacre à l'obtention de tels contrôles pour plusieurs méthodes de Monte Carlo séquentielles. Nous étudions enfin des applications de l'algorithme BOEM à des problèmes de cartographie et de localisation simultanées. La dernière partie de cette thèse est relative à l'estimation non paramétrique dans les chaînes de Markov cachées. Le problème considéré est abordé dans un cadre précis. Nous supposons que (Xk) est une marche aléatoire dont la loi des incréments est connue à un facteur d'échelle a près. Nous supposons que, pour tout k, Yk est une observation de f(Xk) dans un bruit additif gaussien, où f est une fonction que nous cherchons à estimer. Nous établissons l'identifiabilité du modèle statistique et nous proposons une estimation de f et de a à partir de la vraisemblance par paires des observations
This document is dedicated to inference problems in hidden Markov models. The first part is devoted to an online maximum likelihood estimation procedure which does not store the observations. We propose a new Expectation Maximization based method called the Block Online Expectation Maximization (BOEM) algorithm. This algorithm solves the online estimation problem for general hidden Markov models. In complex situations, it requires the introduction of Sequential Monte Carlo methods to approximate several expectations under the fixed interval smoothing distributions. The convergence of the algorithm is shown under the assumption that the Lp mean error due to the Monte Carlo approximation can be controlled explicitly in the number of observations and in the number of particles. Therefore, a second part of the document establishes such controls for several Sequential Monte Carlo algorithms. This BOEM algorithm is then used to solve the simultaneous localization and mapping problem in different frameworks. Finally, the last part of this thesis is dedicated to nonparametric estimation in hidden Markov models. It is assumed that the Markov chain (Xk) is a random walk lying in a compact set with increment distribution known up to a scaling factor a. At each time step k, Yk is a noisy observations of f(Xk) where f is an unknown function. We establish the identifiability of the statistical model and we propose estimators of f and a based on the pairwise likelihood of the observations

Les travaux présentés ici concernent le domaine de la localisation de véhicule par vision artificielle. Dans ce contexte, la trajectoire d'une caméra et la structure3D de la scène filmée sont estimées par une méthode d'odométrie visuelle monoculaire basée sur l'ajustement de faisceaux local. Les contributions de cette thèse sont plusieurs améliorations de cette méthode. L'incertitude associée à la position estimée n'est pas fournie par la méthode d'ajustement de faisceaux local. C'est pourtant une information indispensable pour pouvoir utiliser cette position, notamment dans un système de fusion multi-sensoriel. Une étude de la propagation d'incertitude pour cette méthode d'odométrie visuelle a donc été effectuée pour obtenir un calcul d'incertitude temps réel et représentant l'erreur de manière absolue (dans le repère du début de la trajectoire). Sur de longues séquences (plusieurs kilomètres), les méthodes monoculaires de localisation sont connues pour présenter des dérives importantes dues principalement à la dérive du facteur d'échelle (non observable). Pour réduire cette dérive et améliorer la qualité de la position fournie, deux méthodes de fusion ont été développées. Ces deux améliorations permettent de rendre cette méthode monoculaire exploitable dans le cadre automobile sur de grandes distances tout en conservant les critères de temps réel nécessaire dans ce type d'application. De plus, notre approche montre l'intérêt de disposer des incertitudes et ainsi de tirer parti de l'information fournie par d'autres capteurs.

Pour être autonome, un robot mobile doit être capable de décrire l'environnement dans lequel il évolue. Pour ce faire, le robot doit pouvoir se localiser et construire une carte de l'environnement si celle-ci n'existe pas. Grâce à ces informations, il pourra par exemple éviter les obstacles et donc naviguer en toute sécurité. Cette capacité correspond à une étape obligatoire sur la route de son autonomie totale. Le sujet traité dans ce manuscrit répond à cette problématique. Il concerne la localisation d'un véhicule et la cartographie d'un environnement en simultané, SLAM pour simultaneous localization and mapping. Après un etat de l'art des approches proposées durant la dernière décennie, deux points importants ont été constatés lors de l'emploi d'un filtre EKF-SLAM : les estimations obtenues avec ce filtre ne sont pas consistantes et cette approche, telle qu'elle a été introduite, ne répond pas aux critères d'observabilité d'un système. Pour chacun de ces problèmes, une solution est proposée et critiquée à l'aide de résultats de simulation et d'expérimentation

Pour être autonome, un robot mobile doit être capable de décrire l'environnement dans lequel il évolue. Pour ce faire, le robot doit pouvoir se localiser et construire une carte de l'environnement si celle-ci n'existe pas. Grâce à ces informations, il pourra par exemple éviter les obstacles et donc naviguer en toute sécurité. Cette capacité correspond à une étape obligatoire sur la route de son autonomie totale. Le sujet traité dans ce manuscrit répond à cette problématique. Il concerne la localisation d'un véhicule et la cartographie d'un environnement en simultané, SLAM pour simultaneous localization and mapping. Après un etat de l'art des approches proposées durant la dernière décennie, deux points importants ont été constatés lors de l'emploi d'un filtre EKF-SLAM : les estimations obtenues avec ce filtre ne sont pas consistantes et cette approche, telle qu'elle a été introduite, ne répond pas aux critères d'observabilité d'un système. Pour chacun de ces problèmes, une solution est proposée et critiquée à l'aide de résultats de simulation et d'expérimentation

Dans le cadre de la robotique mobile extérieure, les notions de perception et de localisation sont essentielles au fonctionnement autonome d'un véhicule. Les objectifs de ce travail de thèse sont multiples et mènent vers un but de localisation et de cartographie simultanée d'un environnement extérieur dynamique avec détection et suivi d'objet mobiles (SLAMMOT) à l'aide d'un unique capteur extéroceptif tournant de type radar dans des conditions de circulation dites "réalistes", c'est-à-dire à haute vitesse soit environ 30 km/h. Il est à noter qu'à de telles vitesses, les données acquises par un capteur tournant son corrompues par le déplacement propre du véhicule. Cette distorsion, habituellement considérée comme une perturbation, est analysée ici comme une source d'information. Cette étude vise également à évaluer les potentialités d'un capteur radar de type FMCW (onde continue modulée en fréquence) pour le fonctionnement d'un véhicule robotique autonome. Nous avons ainsi proposé différentes contributions : - une correction de la distorsion à la volée par capteurs proprioceptifs qui a conduit à une application de localisation et de cartographie simultanées (SLAM), - une méthode d'évaluation de résultats de SLAM basées segment, - une considération de la distorsion des données dans un but proprioceptif menant à une application SLAM, - un principe d'odométrie fondée sur les données Doppler propres au capteur radar, - une méthode de détection et de pistage d'objets mobiles : DATMO avec un unique radar.

Pour se localiser en ville, la majorité des solutions commercialisées se base sur les systèmes GPS. Même si ces systèmes offrent une précision suffisante hors agglomération, celle-ci se dégradent considérablement en villes à cause des phénomènes connus sous le nom du canyon urbain (i.e. réflexion du signal GPS sur les façades des bâtiments). Pour pallier ce problème, les solutions basées sur un SLAM visuel (Simultaneous Localization And Mapping) semblent une alternative prometteuse. En plus de l'estimation des six degrés de liberté de la caméra mobile, il fournit une carte 3D de la scène observée. Toutefois, la localisation assurée par le SLAM visuel n'est pas géo-référencée et présente souvent des dérives (e.g. mauvaise estimation du facteur d'échelle, accumulation des erreurs). Pour faire face à ces limitations et afin de proposer une solution facile à déployer, nous avons étudié la possibilité d'intégrer au SLAM des informations supplémentaires qui pourraient contraindre l'ensemble de la reconstruction fournie. Ces dernières doivent alors être peu couteuses et disponibles en milieux urbains denses et péri-urbains. C'est pour cette raison que nous avons choisi d'exploiter les contraintes fournies par un GPS standard et celles apportées par des modèles issus des Systèmes d'Information Géographique, plus précisément : des modèles 3D des bâtiments et des modèles d'élévation de terrain. La principale contribution de ces travaux réside en l'intégration de ces contraintes au sein de l'ajustement de faisceaux (i.e. processus d'optimisation du SLAM). Ceci n'est pas trivial étant donné que combiner des contraintes agissant sur la trajectoire de la caméra et la reconstruction 3D peut entrainer des problèmes de convergences, en particulier lorsque les informations exploitées ont des incertitudes variées, voire même des données biaisées ou aberrantes (e.g. Pour les mesures du GPS). Différentes solutions Larnaout et al. (2012, 2013a,b,c) permettant de combiner plusieurs de ces contraintes simultanément tout en limitant les problèmes de convergence ont été développées. Les solutions proposées ont été validées sur des séquences de synthèse et d'autres réelles de plusieurs kilomètres enregistrées dans des conditions de circulation normale. Les résultats obtenus montrent que la précision atteinte au niveau de l'estimation des six degrés de liberté de la caméra permet d'assurer des nouvelles applications d'aide à la navigation par le biais de la Réalité Augmentée. En plus de leur précision, nos approches ont l'avantage d'être rapides, peu couteuses et faciles à déployer (ne nécessitant pas un matériel sophistiqué).

Le principal inconvénient de l'utilisation de représentations basées sur la grille pour SLAM et pour la localisation globale est la complexité de calcul exponentielle requise en termes de taille de grille (de la carte et des cartes de pose). La taille de grille requise pour modéliser l'environnement entourant un robot ou un véhicule peut être de l'ordre de milliers de millions de cellules. Par exemple, un espace 2D de forme carrée de taille 100 m × 100 m, avec une taille de cellule de 10 cm est modélisé avec une grille de 1 million de cellules. Si nous incluons une hauteur de 2 m pour représenter la troisième dimension, 20 millions de cellules sont nécessaires. Par conséquent, les approches SLAM classiques basées sur une grille et de localisation globale nécessitent une unité de calcul parallèle afin de répondre à la latence imposée par les normes de sécurité. Un tel calcul est généralement effectué sur des postes de travail intégrant des unités de traitement graphique (GPU) et / ou des processeurs haut de gamme. Cependant, les véhicules autonomes ne peuvent pas gérer de telles plateformes pour des raisons de coût et de problèmes de certification. De plus, ces plates-formes nécessitent une consommation d'énergie élevée qui ne peut pas correspondre à la source d'énergie limitée disponible dans certains robots. Les plates-formes matérielles intégrées sont couramment utilisées comme solution alternative dans les applications automobiles. Ces plateformes répondent aux contraintes de faible coût, de faible puissance et de petit espace. De plus, certains d'entre eux sont certifiés automobiles1, suivant la norme ISO26262. Cependant, la plupart d'entre eux ne sont pas équipés d'une unité à virgule flottante, ce qui limite les performances de calcul.L'équipe du projet sigma-fusion du laboratoire LIALP du CEA-Leti a développé une méthode de perception basée sur des nombres entiers adaptée aux appareils embarqués. Cette méthode permet de construire une grille d'occupation via la fusion bayésienne en utilisant uniquement l'arithmétique entière, d'où son "embarquabilité" sur des plateformes informatiques embarquées, sans unité à virgule flottante. Ceci constitue la contribution majeure de la thèse de doctorat de Tiana Rakotovao [Rakotovao Andriamahefa 2017].L'objectif de la présente thèse est d'étendre le cadre de perception des nombres entiers au SLAM et aux problèmes de localisation globale, offrant ainsi des solutions «embarquables» sur les systèmes embarqués
The main drawback of using grid-based representations for SLAM and for global localization is the required exponential computational complexity in terms of the grid size (of the map and the pose maps). The required grid size for modeling the environment surrounding a robot or of a vehicle can be in the order of thousands of millions of cells. For instance, a 2D square-shape space of size 100m × 100m, with a cell size of 10cm is modelled with a grid of 1 million cells. If we include a 2m of height to represent the third dimension, 20 millions of cells are required. Consequently, classical grid-based SLAM and global localization approaches require a parallel computing unit in order to meet the latency imposed by safety standards. Such a computation is usually done over workstations embedding Graphical Processing Units (GPUs) and/or a high-end CPUs. However, autonomous vehicles cannot handle such platforms for cost reason, and certification issues. Also, these platforms require a high power consumption that cannot fit within the limited source of energy available in some robots. Embedded hardware platforms are com- monly used as an alternative solution in automotive applications. These platforms meet the low-cost, low-power and small-space constraints. Moreover, some of them are automotive certified1, following the ISO26262 standard. However, most of them are not equipped with a floating-point unit, which limits the computational performance.The sigma-fusion project team in the LIALP laboratory at CEA-Leti has developed an integer-based perception method suitable for embedded devices. This method builds an occupancy grid via Bayesian fusion using integer arithmetic only, thus its "embeddability" on embedded computing platforms, without floating-point unit. This constitutes the major contribution of the PhD thesis of Tiana Rakotovao [Rakotovao Andriamahefa 2017].The objective of the present PhD thesis is to extend the integer perception framework to SLAM and global localization problems, thus offering solutions “em- beddable” on embedded systems

La localisation et la cartographie simultanées (SLAM) consiste à construire une carte 3D tout en situant le ou les capteurs (ayant servi au SLAM) dans cette carte. Ces dernières années, le travail s'est focalisé sur des systèmes utilisant une seule caméra mobile comme moyen de perception (monoculaire-SLAM). Ce choix a été motivé par le fait qu'il est aujourd'hui possible de trouver des caméras commerciales peu coûteuses, plus petites et plus légères que les autres capteurs utilisés auparavant. De plus ces caméras fournissent des informations environnementales visuelles qui peuvent être exploitées pour créer des cartes 3D complexes tandis que les poses des caméras peuvent être estimées simultanément. Malheureusement, les systèmes monoculaires SLAM sont basés sur des techniques d'optimisation qui limitent les performances des applications embarquées en temps réel. Pour résoudre ce problème, nous proposons dans ce travail une nouvelle formulation SLAM monoculaire basée sur l'hypothèse qu'il est possible d'atteindre une haute efficacité pour les applications embarquées, en augmentant la densité de la carte des nuages de points (et donc la densité de la carte 3D et le positionnement et la cartographie globale) et en reformulant le processus de suivi des caractéristiques/rappariement des fonctionnalités pour obtenir de hautes performances pour les architectures matérielles embarquées, comme le FPGA ou CUDA. Afin d'augmenter la densité de la carte des nuages de points, nous proposons de nouveaux algorithmes pour le suivi et la mise en correspondance de primitives ainsi que des algorithmes de calcul profondeur à partir du mouvement pouvant se ramener à une extension d'un problème de mise en correspondance stéréo. Ensuite, deux architectures matérielles différentes (basées respectivement sur FPGA et CUDA) entièrement compatibles avec les contraintes embarquées temps réel sont proposées. Les résultats expérimentaux montrent qu'il est possible d'obtenir des estimations précises de la pose de la caméra. Par rapport aux systèmes monoculaires de l'état de l'art, nous occupons la 5ème place dans la suite de benchmarks KITTI, avec un score supérieur à celui de l'année dernière (nous sommes l'algorithme le plus rapide du benchmark) et une densité du nuage de points dix fois plus élevée que les approches précédentes
Simultaneous Localization and Mapping (SLAM) is the problem of constructing a 3D map while simultaneously keeping track of an agent location within the map. In recent years, work has focused on systems that use a single moving camera as the only sensing mechanism (monocular-SLAM). This choice was motivated because nowadays, it is possible to find inexpensive commercial cameras, smaller and lighter than other sensors previously used and, they provide visual environmental information that can be exploited to create complex 3D maps while camera poses can be simultaneously estimated. Unfortunately, previous monocular-SLAM systems are based on optimization techniques that limits the performance for real-time embedded applications. To solve this problem, in this work, we propose a new monocular SLAM formulation based on the hypothesis that it is possible to reach high efficiency for embedded applications, increasing the density of the point cloud map (and therefore, the 3D map density and the overall positioning and mapping) by reformulating the feature-tracking/feature-matching process to achieve high performance for embedded hardware architectures, such as FPGA or CUDA. In order to increase the point cloud map density, we propose new feature-tracking/feature-matching and depth-from-motion algorithms that consists of extensions of the stereo matching problem. Then, two different hardware architectures (based on FPGA and CUDA, respectively) fully compliant for real-time embedded applications are presented. Experimental results show that it is possible to obtain accurate camera pose estimations. Compared to previous monocular systems, we are ranked as the 5th place in the KITTI benchmark suite, with a higher processing speed (we are the fastest algorithm in the benchmark) and more than x10 the density of the point cloud from previous approaches

Pour assurer la navigation autonome d’un robot mobile, les traitements effectués pour sa localisation doivent être faits en ligne et doivent garantir une précision suffisante pour permettre au robot d’effectuer des tâches de haut niveau pour la navigation et l’évitement d’obstacles. Les auteurs de travaux basés sur le SLAM visuel (Simultaneous Localization And Mapping) tentent depuis quelques années de garantir le meilleur compromis rapidité/précision. La majorité des solutions SLAM visuel existantes sont basées sur une représentation éparse de l’environnement. En suivant des primitives visuelles sur plusieurs images, il est possible d’estimer la position 3D de ces primitives ainsi que les poses de la caméra. La communauté du SLAM visuel a concentré ses efforts sur l’augmentation du nombre de primitives visuelles suivies et sur l’ajustement de la carte 3D, afin d’améliorer l’estimation de la trajectoire de la caméra et les positions 3D des primitives. Cependant, la localisation par SLAM visuel présente souvent des dérives dues au cumul d’erreurs, et dans le cas du SLAM visuel monoculaire, la position de la caméra n’est connue qu’à un facteur d’échelle près. Ce dernier peut être fixé initialement mais dérive au cours du temps. Pour faire face à ces limitations, nous avons centré nos travaux de thèse sur la problématique suivante : intégrer des informations supplémentaires dans un algorithme de SLAM visuel monoculaire afin de mieux contraindre la trajectoire de la caméra et la reconstruction 3D. Ces contraintes ne doivent pas détériorer les performances calculatoires de l’algorithme initial et leur absence ne doit pas mettre l’algorithme en échec. C’est pour cela que nous avons choisi d’intégrer l’information de profondeur fournie par un capteur 3D (e.g. Microsoft Kinect) et des informations géométriques sur la structure de la scène. La première contribution de cette thèse est de modifier l’algorithme SLAM visuel monoculaire proposé par Mouragnon et al. (2006b) pour prendre en compte la mesure de profondeur fournie par un capteur 3D, en proposant particulièrement un ajustement de faisceaux qui combine, d’une manière simple, des informations visuelles et des informations de profondeur. La deuxième contribution est de proposer une nouvelle fonction de coût du même ajustement de faisceaux qui intègre, en plus des contraintes sur les profondeurs des points, des contraintes géométriques d’appartenance aux plans de la scène. Les solutions proposées ont été validées sur des séquences de synthèse et sur des séquences réelles, représentant des environnements variés. Ces solutions ont été comparées aux récentes méthodes de l’état de l’art. Les résultats obtenus montrent que les différentes contraintes développées permettent d’améliorer significativement la précision de la localisation du SLAM. De plus les solutions proposées sont faciles à déployer et peu couteuses en temps de calcul
To guarantee autonomous and safely navigation for a mobile robot, the processing achieved for its localization must be fast and accurate enough to enable the robot to perform high-level tasks for navigation and obstacle avoidance. The authors of Simultaneous Localization And Mapping (SLAM) based works, are trying since year, to ensure the speed/accuracy trade-off. Most existing works in the field of monocular (SLAM) has largely centered around sparse feature-based representations of the environment. By tracking salient image points across many frames of video, both the positions of the features and the motion of the camera can be inferred live. Within the visual SLAM community, there has been a focus on both increasing the number of features that can be tracked across an image and efficiently managing and adjusting this map of features in order to improve camera trajectory and feature location accuracy. However, visual SLAM suffers from some limitations. Indeed, with a single camera and without any assumptions or prior knowledge about the camera environment, rotation can be retrieved, but the translation is up to scale. Furthermore, visual monocular SLAM is an incremental process prone to small drifts in both pose measurement and scale, which when integrated over time, become increasingly significant over large distances. To cope with these limitations, we have centered our work around the following issues : integrate additional information into an existing monocular visual SLAM system, in order to constrain the camera localization and the mapping points. Provided that the high speed of the initial SLAM process is kept and the lack of these added constraints should not give rise to the failure of the process. For these last reasons, we have chosen to integrate the depth information provided by a 3D sensor (e.g. Microsoft Kinect) and geometric information about scene structure. The primary contribution of this work consists of modifying the SLAM algorithm proposed by Mouragnon et al. (2006b) to take into account the depth measurement provided by a 3D sensor. This consists of several rather straightforward changes, but also on a way to combine the depth and visual data in the bundle adjustment process. The second contribution is to propose a solution that uses, in addition to the depth and visual data, the constraints lying on points belonging to the plans of the scene. The proposed solutions have been validated on a synthetic sequences as well as on a real sequences, which depict various environments. These solutions have been compared to the state of art methods. The performances obtained with the previous solutions demonstrate that the additional constraints developed, improves significantly the accuracy and the robustness of the SLAM localization. Furthermore, these solutions are easy to roll out and not much time consuming

Un besoin applicatif existe en terme de localisation 3D d’objets par vision. Cette technologie devient en effet de plus en plus populaire dans le milieu industriel où elle peut être utile lors de contrôle qualité, de robotisation de tâches ou encore d’aide à la maintenance par Réalité Augmentée. Néanmoins, le déploiement de telles applications est actuellement limité en raison de la difficulté à allier qualité de localisation, facilité de mise en oeuvre et généricité de la solution. En effet, la majorité des solutions implique : soit des étapes de mise en oeuvre complexes comme avec l’installation de capteurs de mouvement ou une préparation supervisée du modèle CAO; soit un manque de précision de la localisation dans le cadre de certaines applications nécessitant de prendre en compte des mouvements de fortes amplitudes de la caméra (provoquant du flou de bouger et des tremblements dans le flux vidéo) ainsi que des occultations partielles ou totales de l’objet ; soit enfin une restriction sur la nature de l’objet, celui-ci devant être texturé, de petite taille ou encore polyédrique pour avoir une bonne localisation. La plupart des solutions de localisation existantes correspondent à des approches de suivi basé modèle. Cette méthode consiste à estimer la pose relative entre la caméra et l’objet d’intérêt par mises en correspondance de primitives 3D extraites du modèle avec des primitives 2D extraites d’images d’un flux vidéo. Pour autant, cette approche atteint ses limites lorsque l’objet est difficilement observable dans l’image.Afin d’améliorer la localisation lorsque l’application concerne un objet fixe, de récentes solutions se sont appuyées en complément des primitives du modèle, sur des primitives de l’environnement reconstruites au cours du processus de localisation. Ces approches combinent algorithmes de SLAM (Simultaneous Localization And Mapping) et de suivi d’objet basé contours en utilisant les informations du modèle comme contrainte dans le processus d’optimisation du SLAM. Pour cela, un terme d’erreur est ajouté à la fonction de coût classique.Celui-ci mesure l’erreur de re-projection entre des primitives 3D issues des arêtes franches du modèle et les points de contour 2D dans l’image qui leur sont associés. L’ajout de cette contrainte permet d’exprimer la localisation du SLAM dans le repère de l’objet d’intérêt tout en réduisant sa dérive. Les solutions de SLAM contraint au modèle n’exploitant cependant que les contours francs du modèle, ne sont pas génériques et ne permettent de localiser que des objets polyédriques. De plus, l’ajout de cette contrainte entraîne une forte augmentation de la consommation mémoire, les images de contours nécessaires à l’étape de mise en correspondance devant être conservées.Les travaux présentés dans ce mémoire de thèse visent à fournir une solution répondant simultanément à l’ensemble des besoins concernant la facilité de déploiement, la qualité de localisation et la généricité sur la nature des objets suivis. Aussi, notre solution basée sur un algorithme de SLAM visuel contraint basé images clés, se restreint-elle au seul usage d’une caméra couleur, les caméras RGBD impliquant généralement une limite sur le volume, la nature réflective ou absorbante de l’objet, et sur la luminosité de son environnement. Cette étude est en outre restreinte à la seule exploitation de modèles 3D géométrique non texturés, les textures pouvant difficilement être considérées comme stables dans le temps (usure, taches...) et pouvant varier pour un même objet manufacturé. De plus, les modèles à base de nuages de descripteurs locaux ou les modèles surfaciques texturés sont actuellement des données peu disponibles dans l’industrie. Enfin, nous faisons le choix d’estimer la pose de la caméra de manière géométrique et non par apprentissage. Le suivi d’objets à l’aide d’apprentissage automatique est en effet encore difficilement exploitable en milieu industriel. (...)
In the industry domain, applications such as quality control, automation of complex tasks or maintenance support with Augmented Reality (AR) could greatly benefit from visual tracking of 3D objects. However, this technology is under-exploited due to the difficulty of providing deployment easiness, localization quality and genericity simultaneously. Most existing solutions indeed involve a complex or an expensive deployment of motion capture sensors, or require human supervision to simplify the 3D model. And finally, most tracking solutions are restricted to textured or polyhedral objects to achieved an accurate camera pose estimation.Tracking any object is a challenging task due to the large variety of object forms and appearances. Industrial objects may indeed have sharp edges, or occluding contours that correspond to non-static and view-point dependent edges. They may also be textured or textureless. Moreover, some applications require to take large amplitude motions as well as object occlusions into account, tasks that are not always dealt with common model-based tracking methods. These approaches indeed exploit 3D features extracted from a model, that are matched with 2D features in the image of a video-stream. However the accuracy and robustness of the camera localization depend on the visibility of the object as well as on the motion of the camera. To better constrain the localization when the object is static, recent solutions rely on environment features that are reconstructed online, in addition to the model ones. These approaches combine SLAM (Simultaneous Localization And Mapping) and model-based tracking solutions by using constraints from the 3D model of the object of interest. Constraining SLAM algorithms with a 3D model results in a drift free localization. However, such approaches are not generic since they are only adapted for textured or polyhedral objects. Furthermore, using the 3D model to constrain the optimization process may generate high memory consumption,and limit the optimization to a temporal window of few cameras. In this thesis, we propose a solution that fulfills the requirements concerning deployment easiness, localization quality and genericity. This solution, based on a visual key-frame-based constrained SLAM, only exploits an RGB camera and a geometric CAD model of the static object of interest. An RGB camera is indeed preferred over an RGBD sensor, since the latter imposes limits on the volume, the reflectiveness or the absorptiveness of the object, and the lighting conditions. A geometric CAD model is also preferred over a textured model since textures may hardly be considered as stable in time (deterioration, marks,...) and may vary for one manufactured object. Furthermore, textured CAD models are currently not widely spread. Contrarily to previous methods, the presented approach deals with polyhedral and curved objects by extracting dynamically 3D contour points from a model rendered on GPU. This extraction is integrated as a structure constraint into the constrained bundle adjustment of a SLAM algorithm. Moreover we propose different formalisms of this constraint to reduce the memory consumption of the optimization process. These formalisms correspond to hybrid structure/trajectory constraints, that uses output camera poses of a model-based tracker. These formalisms take into account the structure information given by the 3D model while relying on the formalism of trajectory constraints. The proposed solution is real-time, accurate and robust to occlusion or sudden motion. It has been evaluated on synthetic and real sequences of different kind of objects. The results show that the accuracy achieved on the camera trajectory is sufficient to ensure a solution perfectly adapted for high-quality Augmented Reality experiences for the industry

La navigation autonome est un axe de recherche principal dans le domaine de la robotique mobile. Dans ce contexte, le robot doit disposer des algorithmes qui lui permettent d’évoluer de manière autonome dans des environnements complexes et inconnus. Les algorithmes de SLAM permettent à un robot de cartographier son environnement tout en se localisant dans l’espace. Les algorithmes SLAM sont de plus en plus performants, mais aucune implémentation matérielle ou architecturale complète n’a eu. Une telle implantation d’architecture doit prendre en considération la consommation d’énergie, l’embarquabilité et la puissance de calcul. Ce travail scientifique vise à évaluer des systèmes embarqués impliquant de la localisation ou reconstruction de scène. La méthodologie adoptera une approche A3 (Adéquation Algorithme Architecture) pour améliorer l’efficacité de l’implantation des algorithmes plus particulièrement pour des systèmes à fortes contraintes. Le système SLAM embarqué doit disposer d’une architecture électronique et logicielle permettant d’assurer la production d’information pertinentes à partir de données capteurs, tout en assurant la localisation de l’embarquant dans son environnement. L’objectif est donc de définir, pour un algorithme choisi, un modèle d’architecture répondant aux contraintes de l’embarqué. Les premiers travaux de cette thèse ont consisté à explorer les différentes approches algorithmiques permettant la résolution du problème de SLAM. Une étude plus approfondie de ces algorithmes est réalisée. Ceci nous a permet d’évaluer quatre algorithmes de différente nature : FastSLAM2.0, ORB SLAM, RatSLAM et le SLAM linéaire. Ces algorithmes ont été ensuite évalués sur plusieurs architectures pour l’embarqué afin d’étudier leur portabilité sur des systèmes de faible consommation énergétique et de ressources limitées. La comparaison prend en compte les temps d’exécutions et la consistance des résultats. Après avoir analysé profondément les évaluations temporelles de chaque algorithme, le FastSLAM2.0 est finalement choisi, pour un compromis temps d’exécution-consistance de résultat de localisation, comme candidat pour une étude plus approfondie sur une architecture hétérogène embarquée. La second partie de cette thèse est consacré à l’étude d’un système embarqué implémentant le FastSLAM2.0 monoculaire dédié aux environnements larges. Une réécriture algorithmique du FastSLAM2.0 a été nécessaire afin de l’adapter au mieux aux contraintes imposées par les environnements de grande échelle. Dans une démarche A3, le FastSLAM2.0 a été implanté sur une architecture hétérogène CPU-GPU. Grâce à un partitionnement efficace, un facteur d’accélération global de l’ordre de 22 a été obtenu sur une architecture récente dédiée pour l’embarqué. La nature du traitement de l’algorithme FastSLAM2.0 pouvait bénéficier d’une architecture fortement parallèle. Une deuxième instance matérielle basée sur une architecture programmable FPGA est proposée. L’implantation a été réalisée en utilisant des outils de synthèse de haut-niveau afin de réduire le temps de développement. Une comparaison des résultats d’implantation sur cette architecture matérielle par rapport à des architectures à base de GPU a été réalisée. Les gains obtenus sont conséquent, même par rapport aux GPU haut-de-gamme avec un grand nombre de cœurs. Le système résultant peut cartographier des environnements larges tout en garantissant le compromis entre la consistance des résultats de localisation et le temps réel. L’utilisation de plusieurs calculateurs implique d’utiliser des moyens d’échanges de données entre ces derniers. Cela passe par des couplages forts. Ces travaux de thèse ont permis de mettre en avant l’intérêt des architectures hétérogènes parallèles pour le portage des algorithmes SLAM. Les architectures hétérogènes à base de FPGA peuvent particulièrement devenir des candidats potentiels pour porter des algorithmes complexes traitant des données massives
Autonomous navigation is a main axis of research in the field of mobile robotics. In this context, the robot must have an algorithm that allow the robot to move autonomously in a complex and unfamiliar environments. Mapping in advance by a human operator is a tedious and time consuming task. On the other hand, it is not always reliable, especially when the structure of the environment changes. SLAM algorithms allow a robot to map its environment while localizing it in the space.SLAM algorithms are becoming more efficient, but there is no full hardware or architectural implementation that has taken place . Such implantation of architecture must take into account the energy consumption, the embeddability and computing power. This scientific work aims to evaluate the embedded systems implementing locatization and scene reconstruction (SLAM). The methodology will adopt an approach AAM ( Algorithm Architecture Matching) to improve the efficiency of the implementation of algorithms especially for systems with high constaints. SLAM embedded system must have an electronic and software architecture to ensure the production of relevant data from sensor information, while ensuring the localization of the robot in its environment. Therefore, the objective is to define, for a chosen algorithm, an architecture model that meets the constraints of embedded systems. The first work of this thesis was to explore the different algorithmic approaches for solving the SLAM problem. Further study of these algorithms is performed. This allows us to evaluate four different kinds of algorithms: FastSLAM2.0, ORB SLAM, SLAM RatSLAM and linear. These algorithms were then evaluated on multiple architectures for embedded systems to study their portability on energy low consumption systems and limited resources. The comparison takes into account the time of execution and consistency of results. After having deeply analyzed the temporal evaluations for each algorithm, the FastSLAM2.0 was finally chosen for its compromise performance-consistency of localization result and execution time, as a candidate for further study on an embedded heterogeneous architecture. The second part of this thesis is devoted to the study of an embedded implementing of the monocular FastSLAM2.0 which is dedicated to large scale environments. An algorithmic modification of the FastSLAM2.0 was necessary in order to better adapt it to the constraints imposed by the largescale environments. The resulting system is designed around a parallel multi-core architecture. Using an algorithm architecture matching approach, the FastSLAM2.0 was implemeted on a heterogeneous CPU-GPU architecture. Uisng an effective algorithme partitioning, an overall acceleration factor o about 22 was obtained on a recent dedicated architecture for embedded systems. The nature of the execution of FastSLAM2.0 algorithm could benefit from a highly parallel architecture. A second instance hardware based on programmable FPGA architecture is proposed. The implantation was performed using high-level synthesis tools to reduce development time. A comparison of the results of implementation on the hardware architecture compared to GPU-based architectures was realized. The gains obtained are promising, even compared to a high-end GPU that currently have a large number of cores. The resulting system can map a large environments while maintainingthe balance between the consistency of the localization results and real time performance. Using multiple calculators involves the use of a means of data exchange between them. This requires strong coupling (communication bus and shared memory). This thesis work has put forward the interests of parallel heterogeneous architectures (multicore, GPU) for embedding the SLAM algorithms. The FPGA-based heterogeneous architectures can particularly become potential candidatesto bring complex algorithms dealing with massive data

Ce travail traite la Modélisation 3D d'un environnement intérieur par un robot mobile. La principale contribution concerne la construction d'un modèle géométrique hétérogène combinant des amers plans texturés, des lignes 3D et des points d'intérêt. Pour cela, nous devons fusionner des données géométriques et photométriques. Ainsi, nous avons d'abord amélioré la stéréovision, en proposant une approche de la mise en correspondance stéréoscopique par coupure de graphe. Notre contribution réside dans la construction d'un graphe réduit qui a permis d'accélérer la méthode globale et d'obtenir de meilleurs résultats que les méthodes locales. Aussi, pour percevoir l'environnement, le robot est équipé d'un télémètre laser 3D et d'une caméra. Nous proposons une chaîne algorithmique permettant de construire une carte hétérogène, par l'algorithme de Cartographie et Localisation Simultanées (EKF-SLAM). Le placage de la texture sur les facettes planes a permis de solidifier l'association de données
This thesis examines the problem of 3D Modelling of indoor environment by a mobile robot. Our main contribution consists in constructing a heterogeneous geometrical model containing textured planar landmarks, 3D lines and interest points. For that, we must fuse geometrical and photometrical data. Hence, we began by improving the stereo vision algorithm, and proposed a new approach of stereo matching by graph cuts. The most significant contribution is the construction of a reduced graph that allows to accelerate the global method and to provide better results than the local methods. Also, to perceive the environment, the robot is equipped by a 3D laser scanner and by a camera. We proposed an algorithmic chain allowing to incrementally constructing a heterogeneous map, using the algorithm of Simultaneous Localization and Mapping based (EKF-SLAM). Mapping the texture on the planar landmarks makes more robust the phase of data association

Les travaux réalisés au cours de cette thèse s'inscrivent dans la problématique de localisation en temps réel d'une caméra par vision monoculaire. Dans la littérature, il existe différentes méthodes qui peuvent être classées en trois catégories. La première catégorie de méthodes considère une caméra évoluant dans un environnement complètement inconnu (SLAM). Cette méthode réalise une reconstruction enligne de primitives observées dans des images d'une séquence vidéo et utilise cette reconstruction pour localiser la caméra. Les deux autres permettent une localisation par rapport à un objet 3D de la scène en s'appuyant sur la connaissance, a priori, d'un modèle de cet objet (suivi basé modèle). L'une utilise uniquement l'information du modèle 3D de l'objet pour localiser la caméra, l'autre peut être considérée comme l'intermédiaire entre le SLAM et le suivi basé modèle. Cette dernière méthode consiste à localiser une caméra par rapport à un objet en utilisant, d'une part, le modèle de ce dernier et d'autre part, une reconstruction en ligne des primitives de l'objet d'intérêt. Cette reconstruction peut être assimilée à une mise à jour du modèle initial (suivi basé modèle avec mise à jour). Chacune de ces méthodes possède des avantages et des inconvénients. Dans le cadre de ces travaux de thèse, nous proposons une solution unifiant l'ensemble de ces méthodes de localisation dans un unique cadre désigné sous le terme de SLAM contraint. Cette solution, qui unifie ces différentes méthodes, permet de tirer profit de leurs avantages tout en limitant leurs inconvénients respectifs. En particulier, nous considérons que la caméra évolue dans un environnement partiellement connu, c'est-à-dire pour lequel un modèle (géométrique ou photométrique) 3D d'un objet statique de la scène est disponible. L'objectif est alors d'estimer de manière précise la pose de la caméra par rapport à cet objet 3D. L'information absolue issue du modèle 3D de l'objet d'intérêt est utilisée pour améliorer la localisation de type SLAM en incluant cette information additionnelle directement dans le processus d'ajustement de faisceaux. Afin de pouvoir gérer un large panel d'objets 3D et de scènes, plusieurs types de contraintes sont proposées dans ce mémoire. Ces différentes contraintes sont regroupées en deux approches. La première permet d'unifier les méthodes SLAM et de suivi basé modèle, en contraignant le déplacement de la caméra via la projection de primitives existantes extraites du modèle 3D dans les images. La seconde unifie les méthodes SLAM et de suivi basé modèle avec mise à jour en contraignant les primitives reconstruites par le SLAM à appartenir à la surface du modèle (unification SLAM et mise à jour du modèle). Les avantages de ces différents ajustements de faisceaux contraints, en terme de précision, de stabilité de recalage et de robustesse aux occultations, sont démontrés sur un grand nombre de données de synthèse et de données réelles. Des applications temps réel de réalité augmentée sont également présentées sur différents types d'objets 3D. Ces travaux ont fait l'objet de 4 publications internationales, de 2 publications nationales et d'un dépôt de brevet.

La réalité augmentée en vision désigne les systèmes rendant possibles l'incrustation d'objets virtuels dans une séquence d'images en temps réel. Les applications de cette technologie sont multiples et touchent de plus en plus de domaines, mais la diffusion massive des téléphones mobiles équipés d'une caméra ont permis le déploiement de premiers services grand public exploitant la réalité augmentée. Le contexte de cette thèse concerne l'utilisation de cette technique sur plateforme mobile pour assister un usager à décorer un environnement d'intérieur, notamment en rajoutant des meubles virtuels dans les images. La réalité augmentée suppose la localisation de la caméra ainsi qu'une reconstruction partielle de la scène observée afin de pouvoir disposer le meuble de manière physiquement cohérente avec l'environnement : nos contributions portent d'une part sur l'odométrie optique pour une caméra à obturateur déroulant, et d'autre part sur des méthodes simples de reconstruction 3D adaptées à des environnements intérieurs
Augmented reality in computer vision means the systems allowing inlay/incrustation of virtual objects inside a sequence of images in real time. Applications of this technology are multiple and affect more and more field, but the massive spread of mobile phone equipped with camera allowed the deployment of first public services exploiting Augmented Reality. The context of this thesis frames the use of these systems on mobile phone for the fitting of virtual furniture in an indoor environment. Augmented reality involves the location of the camera as well as a partial reconstruction of the observed scene in order to be able to arrange the piece of furniture in a manner that is physically consistent with the environment : our contributions concern first visual odometry for a rolling shutter camera, then simple methods for the 3D reconstruction of indoor environments

Estimer le mouvement d'un robot mobile tout en construisant une représentation de son environnement est un problème essentiel pour le développement des robots autonomes : il est connu sous l'acronyme de SLAM (Simultaneous Localization and Mapping). Nous nous intéressons dans cette thèse au SLAM visuel avec caméra omnidirectionnelle. L'environnement est représenté par des amers ponctuels dont la profondeur n'est pas mesurée directement. Nous nous sommes d'abord intéressés aux méthodes de résolution du SLAM. Deux approches ont retenu notre attention de part leur consistance : le SAM (Smoothing and Mapping : une méthode de lissage probabiliste prenant en compte toute la trajectoire) et l'analyse par intervalles. Une étude en simulation a été menée et conclut que la méthode d'analyse par intervalles est inadaptée au SLAM visuel en raison de la faible redondance d'informations. Le SAM a ensuite été validé sur des données réelles, dans les cas de deux trajectoires planes et d'une à 6 degrés de liberté. Un problème du SLAM est sa complexité calculatoire quadratique avec le nombre d'amers. Il est souvent résolu en segmentant l'environnement en cartes locales. Nous avons repris ce concept en l'améliorant sur deux points. Premièrement, chaque nouvelle carte intègre les informations de la précédente de façon consistante. Ensuite, le critère déterminant quand changer de carte impose désormais que chaque carte locale soit fortement corrélée, ce qui permet de limiter l'augmentation des incertitudes. Nous avons finalement utilisé cet aspect pour appliquer des algorithmes déterministes pour augmenter la représentation ponctuelle par des plans texturés et une visualisation pertinente de l'espace libre.