Auswahl der wissenschaftlichen Literatur zum Thema „Localisation et cartographie visuelles simultanées“

L’IstiABot est un robot mobile terrestre réalisé dans un but conjoint de pédagogie et de recherche. Il vise à être modulaire, simple à modifier et utilisable autant par des étudiants de première année du cycle préparatoire que par des étudiants en dernière année du cycle ingénieur et des chercheurs. Pour pouvoir satisfaire ces objectifs, le robot repose sur l’utilisation d’un bus CAN (Controller Area Network). Cet article présente le robot ainsi que les raisons qui ont mené à sa fabrication. Il détaille aussi deux applications de la plate-forme dans un cadre pédagogique (développement d’une carte électronique et mise au point d’un contrôleur PID - Proportionnel, Intégral, Dérivé - pour une régulation de vitesse) et une application dans le cadre de recherches (expérimentation de cartographie et localisation simultanées). Finalement, sont aussi présentés deux autres robots conçus sur la même base que l’IstiABot. Le robot IstiABot étant pensé avec une philosophie libre, tous les codes sources, modèles 3D, schémas des cartes… sont disponibles en accès libre.

La thèse s'inscrit dans le domaine de la vision par ordinateur. Il s'agit, dans un environnement intérieur inconnu, partiellement connu ou connu de trouver la position et l'orientation d'une camera mobile en temps réel à partir d'une séquence vidéo prise par cette même camera. Le sujet implique également la reconstruction 3D de l'environnement. Les algorithmes de vision seront implémentés et testés sur des plateformes massivement parallèles. Processing the video sequence of a indoor camera in motion we have to find the position and angle of the camera in real time. We will use a single prime lens camera. It may involve an unknown, partially known or well known environment. A big part of the computation is the 3D reconstruction of the scene. The algorithms used to locate the camera will be implemented and tested on GPU
In this thesis, we explore the problem of modeling an unknown environment using monocular vision for localization applications. We focus in modeling dynamic indoor environments. Many objects in indoor environments are likely to be moved. These movements significantly affect the structure and appearance of the environment and disrupt the existing methods of visual localization. We present in this work a new approach for modeling the environment and its evolution with time. We define explicitly the scene as a static structure and a set of dynamic objects. The object is defined as a rigid entity that a user can take, move and that is visually detectable. First, we show how to automatically discover new objects in a dynamic environment. Existing methods of visual localization simply ignore the inconsistencies due to changes in the scene. We aim to analyze these changes to extract additional information. Without any prior knowledge, an object is a set of points with coherent motion relative to the static structure of the scene. We combine two methods of visual localization to compare various explorations in the same environment taken at different time. The comparison enables to detect objects that have moved between the two shots. For each object, a geometric model and an appearance model are learned. Moreover, we extend the scene model while updating the metrical map and the topological map of the static structure of the environment. Object discovery using motion is based on a new algorithm of multiple structures detection in an image pair. Given a set of correspondences between two views, the method based on RANSAC extracts the different structures corresponding to different model parameterizations seen in the data. The method is applied to homography estimation to detect planar structures and to fundamental matrix estimation to detect structures that have been shifted one from another. Our approach for dynamic scene modeling is applied in a new formulation of place recognition to take into account the presence of dynamic objects in the environment. The model of the place consists in an appearance model of the static structure observed in that place. An object database is learned from previous observations in the environment with the method of object discovery using motion. The place recognition we propose detects the dynamic objects seen in the place and rejects the false detection due to these objects. The different methods described in this dissertation are tested on synthetic and real data. Qualitative and quantitative results are presented throughout the dissertation

La détection de fermeture de boucle est cruciale pour améliorer la robustesse des algorithmes de SLAM. Par exemple, après un long parcours dans des zones inconnues de l'environnement, détecter que le robot est revenu sur une position passée offre la possibilité d'accroître la précision et la cohérence de l'estimation. Reconnaître des lieux déjà cartographiés peut également être pertinent pour apporter une solution au problème de la localisation globale, ou encore pour rétablir une estimation correcte suite à un

La détection de fermeture de boucle est cruciale pour améliorer la robustesse des algorithmes de SLAM. Par exemple, après un long parcours dans des zones inconnues de l’environnement, détecter que le robot est revenu sur une position passée offre la possibilité d’accroître la précision et la cohérence de l’estimation. Reconnaître des lieux déjà cartographiés peut également être pertinent pour apporter une solution au problème de la localisation globale, ou encore pour rétablir une estimation correcte suite à un “enlèvement” (i. E. Lorsque le robot a été déplacé sans être informé du déplacement effectué). Ainsi, résoudre le problème de la détection de fermeture de boucle permet d’améliorer les performances des algorithmes de SLAM, mais cela apporte également des capacités additionnelles aux robots mobiles. Le but des recherches présentées dans ce mémoire de thèse peut être scindé en deux points. Tout d’abord, nous présentons un algorithme de détection de fermeture de boucle basé vision. Notre méthode repose sur du filtrage Bayésien pour le calcul de la probabilité de détection de fermeture de boucle, en encodant les images sous la forme d’ensembles de primitives locales selon le paradigme des sacs de mots visuels. Lorsqu’une hypothèse de fermeture de boucle reçoit une probabilité élevée, un algorithme de géométrie multi-vues est employé pour écarter les “données aberrantes”, en imposant l’existence d’une structure cohérente entre l’image courante et le lieu de fermeture de boucle. La solution proposée est complètement incrémentielle, avec une complexité linéaire en le nombre de lieux visités, ce qui permet de détecter les fermetures de boucles en temps réel. Deuxièmement, pour démontrer l’intérêt de la détection de fermeture de boucle pour la robotique mobile, nous proposons deux applications différentes de notre solution aux contextes métrique et topologique du SLAM. Dans la première application, nous montrons de quelle manière la détection de fermeture de boucle peut être employée pour la reconnaissance de lieux, afin de construire des cartes topologiques cohérentes de l’environnement : lorsqu’une nouvelle image est acquise, la détection de fermeture de boucle permet de déterminer si elle provient d’un nouveau lieu, ou bien si elle appartient à un lieu existant, mettant à jour la carte en conséquence. Dans la seconde application, la détection de fermeture de boucle sert à localiser lacaméra dans un algorithme de SLAM métrique suite à un enlèvement : dès qu’une partie déjà cartographiée de l’environnement est reconnue, l’information fournie par l’algorithme de géométrie multi-vues est utilisée pour calculer une nouvelle position et une nouvelle orientation pour la caméra. Nous démontrons la qualité de nos travaux sur des séquences vidéos acquises dans des environnements d’intérieur, d’extérieur et mixtes (i. E. Intérieur / extérieur), sur la base d’une simple caméra monoculaire déplacée à la main, et en présence d’un aliasing perceptuel important (i. E. Lorsque plusieurs lieux distincts se ressemblent).

Cette thèse aborde le problème de localisation et cartographie simultanée pour un robot mobile. Lorsque le robot Évolue dans un environnement inconnu, il doit construire une carte au fur et mesure qu'il explore le monde, tout en se localisant dans celle-ci. De l'anglais \textit{Simultaneous Localisation And Mapping}, le SLAM est une brique essentielle de l'architecture d'un robot autonome. Plusieurs éléments sont nécessaire ‡ la résolution du SLAM, en particulier la perception de l'environnement permet d'observer les éléments de référence (appelés amers) qui constituent la carte. Ces travaux se focalisent sur l'utilisation de la vision artificielle comme moyen de percevoir l'environnement, ainsi la carte et la position du robot peuvent être estimées dans l'espace 3D complet. Les caméras numériques sont des capteurs bien adaptés aux systèmes embarqués et fournissent une information riche sur l'environnement. Mais une caméra ne permet pas de mesurer la distance aux objets, dont on n'obtient donc que des observations partielles. En particulier, ceci rend difficile l'ajout d'un nouvel amer dans la carte. Une méthode d'initialisation pour des amers de type point est proposée, elle s'appuie sur un mécanisme de génération puis de sélection d'hypothèses. Une architecture SLAM pour un robot terrestre est décrite dans son ensemble, en particulier une caméra panoramique est utilisée et permet de percevoir l'environnement sur 360 degrés. Cette architecture a été implémentée sur un robot de type ATRV. Une carte de points 3D est pertinente pour la localisation d'un robot, mais donne une information limitée sur la structure de l'environnement. Un algorithme permettant d'utiliser des segments de droite est proposé, et testé sur des données réelles

La robotique mobile est un domaine en plein essor. L'un des domaines de recherche consiste à permettre à un robot de cartographier son environnement tout en se localisant dans l'espace. Les techniques couramment employées de SLAM (Simultaneous Localization And Mapping) restent généralement coûteuses en termes de puissance de calcul. La tendance actuelle vers la miniaturisation des systèmes impose de restreindre les ressources embarquées. L'ensemble de ces constatations nous ont guidés vers l'intégration d'algorithmes de SLAM sur des architectures adéquates dédiées pour l'embarqué.Les premiers travaux ont consisté à définir une architecture permettant à un robot mobile de se localiser. Cette architecture doit respecter certaines contraintes, notamment celle du temps réel, des dimensions réduites et de la faible consommation énergétique.L'implantation optimisée d'un algorithme (EKF-SLAM), en utilisant au mieux les spécificités architecturales du système (capacités des processeurs, implantation multi-cœurs, calcul vectoriel ou parallélisation sur architecture hétérogène), a permis de démontrer la possibilité de concevoir des systèmes embarqués pour les applications SLAM dans un contexte d'adéquation algorithme architecture. Une seconde approche a été explorée ayant pour objectif la définition d'un système à base d'une architecture reconfigurable (à base de FPGA) permettant la conception d'une architecture fortement parallèle dédiée au SLAM. L'architecture définie a été évaluée en utilisant une méthodologie HIL (Hardware in the Loop).Les principaux algorithmes de SLAM sont conçus autour de la théorie des probabilités, ils ne garantissent en aucun cas les résultats de localisation. Un algorithme de SLAM basé sur la théorie ensembliste a été défini garantissant l'ensemble des résultats obtenus. Plusieurs améliorations algorithmiques sont ensuite proposées. Une comparaison avec les algorithmes probabilistes a mis en avant la robustesse de l'approche ensembliste.Ces travaux de thèse mettent en avant deux contributions principales. La première consiste à affirmer l'importance d'une conception algorithme-architecture pour résoudre la problématique du SLAM. La seconde est la définition d'une méthode ensembliste permettant de garantir les résultats de localisation et de cartographie.

Les robots et véhicules autonomes représentent le futur des modes de déplacements et de production. Les enjeux de l’avenir reposent sur la robustesse de leurs perceptions et flexibilité face aux environnements changeant et situations inattendues. Les capteurs stéréoscopiques sont des capteurs passifs qui permettent d'obtenir à la fois image et information 3D de la scène à la manière de la vision humaine. Dans ces travaux nous avons développé un système de localisation, par odométrie visuelle permettant de déterminer la position dans l'espace du capteur de façon efficace et performante en tirant partie de la carte de profondeur dense mais également associé à un système de SLAM, rendant la localisation robuste aux perturbations et aux décalages potentiels. Nous avons également développé plusieurs solutions de cartographie et interprétation d’obstacles, à la fois pour le véhicule aérien et terrestre. Ces travaux sont en partie intégrés dans des produits commerciaux
Autonomous vehicles and robots represent the future of transportation and production industries. The challenge ahead will come from the robustness of perception and flexibility from unexpected situations and changing environments. Stereoscopic cameras are passive sensors that provide color images and depth information of the scene by correlating 2 images like the human vision. In this work, we developed a localization system, by visual odometry that can determine efficiently the position in space of the sensor by exploiting the dense depth map. It is also combined with a SLAM system that enables robust localization against disturbances and potentials drifts. Additionally, we developed a few mapping and obstacles detections solutions, both for aerial and terrestrial vehicles. These algorithms are now partly integrated into commercial products

La localisation et cartographie simultanées connue, communément, sous le nom de SLAM (Simultaneous Localization And Mapping) est un processus qui permet à un robot explorant un environnement inconnu de reconstruire une carte de celui-ci tout en se localisant, en même temps, sur cette carte. Dans ce travail de thèse, nous nous intéressons au SLAM par optimisation de graphe. Celui-ci utilise un graphe pour représenter et résoudre le problème de SLAM. Une optimisation de graphe consiste à trouver une configuration de graphe (trajectoire et carte) qui correspond le mieux aux contraintes introduites par les mesures capteurs. L'optimisation de graphe présente une forte complexité algorithmique et requiert des ressources de calcul et de mémoire importantes, particulièrement si l'on veut explorer de larges zones. Cela limite l'utilisation de cette méthode dans des systèmes embarqués temps-réel. Les travaux de cette thèse contribuent à l'atténuation de la complexité de calcul du SLAM par optimisation de graphe. Notre approche s’appuie sur deux axes complémentaires : la représentation mémoire des données et l’implantation sur architectures hétérogènes embarquées. Dans le premier axe, nous proposons une structure de données incrémentale pour représenter puis optimiser efficacement le graphe. Dans le second axe, nous explorons l'utilisation des architectures hétérogènes récentes pour accélérer le SLAM par optimisation de graphe. Nous proposons, donc, un modèle d’implantation adéquat aux applications embarquées en mettant en évidence les avantages et les inconvénients des architectures évaluées, à savoir SoCs basés GPU et FPGA
Simultaneous Localization And Mapping is the process that allows a robot to build a map of an unknown environment while at the same time it determines the robot position on this map.In this work, we are interested in graph-based SLAM method. This method uses a graph to represent and solve the SLAM problem. A graph optimization consists in finding a graph configuration (trajectory and map) that better matches the constraints introduced by the sensors measurements. Graph optimization is characterized by a high computational complexity that requires high computational and memory resources, particularly to explore large areas. This limits the use of graph-based SLAM in real-time embedded systems. This thesis contributes to the reduction of the graph-based computational complexity. Our approach is based on two complementary axes: data representation in memory and implementation on embedded heterogeneous architectures. In the first axis, we propose an incremental data structure to efficiently represent and then optimize the graph. In the second axis, we explore the use of the recent heterogeneous architectures to speed up graph-based SLAM. We propose an efficient implementation model for embedded applications. We highlight the advantages and disadvantages of the evaluated architectures, namely GPU-based and FPGA-based System-On-Chips

La thématique de la navigation autonome constitue l'un des principaux axes de recherche dans le domaine des véhicules intelligents et des robots mobiles. Dans ce contexte, on cherche à doter le robot d'algorithmes et de méthodes lui permettant d'évoluer dans un environnement complexe et dynamique, en toute sécurité et en parfaite autonomie. Dans ce contexte, les algorithmes de localisation et de cartographie occupent une place importante. En effet, sans informations suffisantes sur la position du robot (localisation) et sur la nature de son environnement (cartographie), les autres algorithmes (génération de trajectoire, évitement d'obstacles ...) ne peuvent pas fonctionner correctement. Nous avons centré notre travail de thèse sur une problématique précise : développer un algorithme de SLAM simple, rapide, léger et limitant les erreurs de localisation et de cartographie au maximum sans fermeture de boucle. Au cœur de notre approche, on trouve un algorithme d'IML : Incremental Maximum Likelihood. Ce type d'algorithmes se base sur une estimation itérative de la localisation et de la cartographie. Il est ainsi naturellement divergent. Le choix de l'IML est justifié essentiellement par sa simplicité et sa légèreté. La particularité des travaux réalisés durant cette thèse réside dans les différents outils et algorithmes utilisés afin de limiter la divergence de l'IML au maximum, tout en conservant ses avantages.

La tâche consistant à tirer de l'information des images d'une caméra au cours du temps pour cartographier l'environnement et se localiser à l'intérieur de celui-ci, est appelée Localisation et Cartographie Simultanée ou SLAM.Développée à la fois par les communautés scientifiques de robotique et vision par ordinateur les applications sont multiples. Des robots bénéficient de cette capacité en gagnant en autonomie. Ces dernières années, des résultats impressionnants ont été obtenus pour des applications à des moyens de transport autonomes.Une autre champ d'application est la réalité augmenté. La localisation donnée par le SLAM offre la possibilité d'obtenir un rendu des éléments virtuels en cohérence avec les mouvements de l'utilisateur. Ainsi le cinéma, les jeux vidéos, le tourisme peuvent bénéficier de techniques SLAM. L'assistance aux travailleurs effectuant des tâches de précision ou répétitives compte également parmi les champs d'application du SLAM. Dans le cadre de cette thèse nous nous sommes intéressés au SLAM dans une optique d'applications réalistes de réalité augmentée. Bien que le sujet ait été beaucoup exploré et que d'intéressants résultats aient été obtenus, la tâche n'est toujours pas parfaitement résolue. Le problème du SLAM est un sujet de recherche ouvert, aussi bien sur des aspects spatiaux (dérive, fermeture de boucle) que temporels (temps de traitement). Dans le cadre du SLAM monoculaire nous avons surtout adressé le problème de la dérive. Puis nous nous sommes intéressés au SLAM multi-capteurs, afin d'adresser le problème des mouvements de rotation problématiques dans le cas monoculaire, et celui de la complexité calculatoire
Gathering informations from the images of a camera, over time, in order to map the environment and localize the camera in it, is a task refered to as Simultaneous Localization and Mapping, or SLAM. Developped both by the robotics and computer vision scientific communities, its applications are many. Robots gain autonomy from this ability. Quite recently, impressive results have been obtained in applications to autonomous transportation vehicles. Another field of application is augmented reality. The localization offered by SLAM enables us to display virtual objects in a consistent way a user movements. Thus, cinema, video games, tourisme applications can benefit from SLAM methods. Visual aids to workers performing complex or repetetive tasks is also an interesting application of SLAM methods. During this PhD thesis, we took interest in SLAM with the idea of realistic augmented reality applications in mind. Though the topic has been extensively explored and many impressive results obtained, the task isn't completely solved. The problem is still an open one, regarding spatial facets (drift, loop closure) as well as temporal (processing time). As part of our monocular SLAM explorations, we mainly studied the drift issue. We then explored multisensor SLAM, both as a mean to handle problematical rotational movements for the monocular setup and as mean to reduce the substantial processing times needed to solve the problem

Les systèmes avancés d'aide à la conduite (ADAS) assistent le conducteur, lui offrent du confort et prennent la responsabilité d'accroître la sécurité routière. Ces systèmes complexes font l'objet d'une phase d'essai approfondie qui permet d'optimiser la qualité, la reproductibilité et les coûts. Les systèmes d'aide à la conduite de demain prendront en charge des proportions toujours plus grandes de situations de conduite dans des scénarios de plus en plus complexes et représentent un facteur clé pour la conduite autonome. Les méthodes d'essai actuelles pour les systèmes d'aide à la conduite peuvent être divisées en deux catégories : la simulation et la réalité. Le concept de base de la simulation est de bénéficier de la reproductibilité, de la flexibilité et de la réduction des coûts. Cependant, la simulation ne peut pas encore remplacer complètement les essais en conditions réelles. Les conditions physiques, telles que les conditions météorologiques, le revêtement de la route et d'autres variables, jouent un rôle crucial dans l'évaluation des essais routiers des systèmes d'aide à la conduite et ne peuvent pas être entièrement reproduites dans un environnement virtuel. Ces méthodes d'essai reposent sur des tests de conduite réels sur des sites d'essai spéciaux ainsi que dans un trafic routier réel, ce qui prend beaucoup de temps et est très coûteux. Des méthodes d'essai nouvelles et efficaces sont donc nécessaires pour ouvrir la voie aux futurs systèmes d'assistance à la conduite automobile. Une nouvelle approche, Vehicle in the Loop (VIL), déjà utilisée dans l'industrie aujourd'hui, combine les avantages de la simulation et de la réalité. L'approche retenue dans ce projet est une nouvelle méthode qui vient s'ajouter aux solutions VIL existantes. Tirant parti de la simulation et de la réalité pour tester les ADAS, ce projet présente une nouvelle approche utilisant la réalité augmentée (AR) pour tester ADAS basés sur des caméras, de manière reproductible, rentable et rapide. Une puissance informatique élevée est nécessaire pour des conditions environnementales automobiles complexes, telles que la vitesse élevée du véhicule et le nombre réduit de points d'orientation sur une piste d'essai par rapport aux applications de réalité augmentée à l'intérieur d'un bâtiment. Un modèle tridimensionnel contenant des informations précises sur le site d'essai est généré sur la base de la combinaison de la localisation et de la cartographie visuelles simultanées (vSLAM) et de la segmentation sémantique. L'utilisation d'un processus d'augmentation spécial nous permet d'enrichir la réalité avec des usagers de la route virtuels afin de présenter une preuve de concept pour de futures procédures d'essai
Advanced Driver Assistance Systems (ADAS) support the driver, offer comfort, and take responsibility for increasing road safety. These complex systems endure an extensive testing phase resulting in optimization potential regarding quality, reproducibility, and costs. ADAS of the future will support ever-larger proportions of driving situations in increasingly complex scenarios and represent a key factor for Autonomous Driving (AD). Current testing methods for ADAS can be divided into simulation and reality. The core concept behind the simulation is to benefit from reproducibility, flexibility, and cost reduction. However, simulation cannot yet completely replace real-world tests. Physical conditions, such as weather, road surface, and other variables, play a crucial role in evaluating ADAS road tests and cannot be fully replicated in a virtual environment. These test methods rely on real driving tests on special test sites as well as in real road traffic and are very time-consuming and costly. Therefore, new and efficient test methods are required to pave the way for future ADAS. A new approach Vehicle in the Loop (VIL), which is already being used in the industry today, combines the advantages of simulation and reality. The approach in this project is a new method besides existing VIL solutions. Taking advantage of testing ADAS in simulation and reality, this project presents a new approach to using Augmented Reality (AR) to test camera-based ADAS in a reproducible, cost- and time-efficient way. High computer power is needed for complex automotive environmental conditions, such as high vehicle speed and fewer orientation points on a test track compared to AR applications inside a building. A three-dimensional model with accurate information about the test site is generated based on the combination of visual Simultaneous Localization and Mapping (vSLAM) and Semantic Segmentation. The use of a special augmentation process allows us to enrich reality with virtual road users to present a proof of concept for future test procedures