Thèses sur le sujet « Intelligent vehicles localization »

Les applications pour véhicules autonomes et les systèmes d’aide avancée à la conduite (Advanced Driving Assistance Systems - ADAS) mettent en oeuvre des processus permettant à des systèmes haut niveau de réaliser une prise de décision. Pour de tels systèmes, la connaissance du positionnement précis (ou localisation) du véhicule dans son environnement est un pré-requis nécessaire. Cette thèse s’intéresse à la détection de la structure de scène, au processus de localisation ainsi qu’à la modélisation d’erreurs. A partir d’un large spectre fonctionnel de systèmes de vision, de l’accessibilité d’un système de cartographie ouvert (Open Geographical Information Systems - GIS) et de la large diffusion des systèmes de positionnement dans les véhicules (Global Positioning System - GPS), cette thèse étudie la performance et la fiabilité d’une méthode de localisation utilisant ces différentes sources. La détection de marquage sur la route réalisée par caméra monoculaire est le point de départ permettant de connaître la structure de la scène. En utilisant, une détection multi-noyau avec pondération hiérarchique, la méthode paramétrique proposée effectue la détection et le suivi des marquages sur la voie du véhicule en temps réel. La confiance en cette source d’information a été quantifiée par un indicateur de vraisemblance. Nous proposons ensuite un système de localisation qui fusionne des informations de positionnement (GPS), la carte (GIS) et les marquages détectés précédemment dans un cadre probabiliste basé sur un filtre particulaire. Pour ce faire, nous proposons d’utiliser les marquages détectés non seulement dans l’étape de mise en correspondance des cartes mais aussi dans la modélisation de la trajectoire attendue du véhicule. La fiabilité du système de localisation, en présence d’erreurs inhabituelles dans les différentes sources d’information, est améliorée par la prise en compte de différents indicateurs de confiance. Ce mécanisme est par la suite utilisé pour identifier les sources d’erreur. Cette thèse se conclut par une validation expérimentale des méthodes proposées dans des situations réelles de conduite. Leurs performances ont été quantifiées en utilisant un véhicule expérimental et des données en libre accès sur internet
Autonomous Vehicles (AV) applications and Advanced Driving Assistance Systems (ADAS) relay in scene understanding processes allowing high level systems to carry out decision marking. For such systems, the localization of a vehicle evolving in a structured dynamic environment constitutes a complex problem of crucial importance. Our research addresses scene structure detection, localization and error modeling. Taking into account the large functional spectrum of vision systems, the accessibility of Open Geographical Information Systems (GIS) and the widely presence of Global Positioning Systems (GPS) onboard vehicles, we study the performance and the reliability of a vehicle localization method combining such information sources. Monocular vision–based lane marking detection provides key information about the scene structure. Using an enhanced multi-kernel framework with hierarchical weights, the proposed parametric method performs, in real time, the detection and tracking of the ego-lane marking. A self-assessment indicator quantifies the confidence of this information source. We conduct our investigations in a localization system which tightly couples GPS, GIS and lane makings in the probabilistic framework of Particle Filter (PF). To this end, it is proposed the use of lane markings not only during the map-matching process but also to model the expected ego-vehicle motion. The reliability of the localization system, in presence of unusual errors from the different information sources, is enhanced by taking into account different confidence indicators. Such a mechanism is later employed to identify error sources. This research concludes with an experimental validation in real driving situations of the proposed methods. They were tested and its performance was quantified using an experimental vehicle and publicly available datasets

La localisation précise constitue une brique essentielle permettant aux véhicules de naviguer de manière autonome sur la route. Cela peut être atteint à travers les capteurs déjà existants, de nouvelles technologies (Iidars, caméras intelligentes) et des cartes haute définition. Dans ce travail, l'intérêt d'enregistrer et réutiliser des informations sauvegardées en mémoire est exploré. Les systèmes de localisation doivent permettre une estimation à haute fréquence, des associations de données, de la calibration et de la détection d'erreurs. Une architecture composée de plusieurs couches de traitement est proposée et étudiée. Une couche principale de filtrage estime la pose tandis que les autres couches abordent les problèmes plus complexes. L'estimation d'état haute fréquence repose sur des mesures proprioceptives. La calibration du système est essentielle afin d'obtenir une pose précise. En gardant les états estimés et les observations en mémoire, les modèles d'observation des capteurs peuvent être calibrés à partir des estimations lissées. Les Iidars et les caméras intelligentes fournissent des mesures qui peuvent être utilisées pour la localisation mais soulèvent des problèmes d'association de données. Dans cette thèse, le problème est abordé à travers une fenêtre spatio-temporelle, amenant une image plus détaillée de l'environnement. Le buffer d'états est ajusté avec les observations et toutes les associations possibles. Bien que l'utilisation d'amers cartographiés permette d'améliorer la localisation, cela n'est possible que si la carte est fiable. Une approche utilisant les résidus lissés a posteriori a été développée pour détecter ces changements de carte
Localization is an essential basic capability for vehicles to be able to navigate autonomously on the road. This can be achieved through already available sensors and new technologies (Iidars, smart cameras). These sensors combined with highly accurate maps result in greater accuracy. In this work, the benefits of storing and reusing information in memory (in data buffers) are explored. Localization systems need to perform a high-frequency estimation, map matching, calibration and error detection. A framework composed of several processing layers is proposed and studied. A main filtering layer estimates the vehicle pose while other layers address the more complex problems. High-frequency state estimation relies on proprioceptive measurements combined with GNSS observations. Calibration is essential to obtain an accurate pose. By keeping state estimates and observations in a buffer, the observation models of these sensors can be calibrated. This is achieved using smoothed estimates in place of a ground truth. Lidars and smart cameras provide measurements that can be used for localization but raise matching issues with map features. In this work, the matching problem is addressed on a spatio-temporal window, resulting in a more detailed pictur of the environment. The state buffer is adjusted using the observations and all possible matches. Although using mapped features for localization enables to reach greater accuracy, this is only true if the map can be trusted. An approach using the post smoothing residuals has been developed to detect changes and either mitigate or reject the affected features

Les systèmes d’aide à la conduite peuvent améliorer la sécurité routière en aidant les utilisateurs via des avertissements de situations dangereuses ou en déclenchant des actions appropriées en cas de collision imminente (airbags, freinage d’urgence, etc). Dans ce cas, la connaissance de la position et de la vitesse des objets mobiles alentours constitue une information clé. C’est pourquoi, dans ce travail, nous nous focalisons sur la détection et le suivi d’objets dans une scène dynamique. En remarquant que les systèmes multi-caméras sont de plus en plus présents dans les véhicules et en sachant que le lidar est performant pour la détection d’obstacles, nous nous intéressons à l’apport de la vision stéréoscopique dans la perception géométrique multimodale de l’environnement. Afin de fusionner les informations géométriques entre le lidar et le système de vision, nous avons développé un procédé de calibrage qui détermine les paramètres extrinsèques et évalue les incertitudes sur ces estimations. Nous proposons ensuite une méthode d’odométrie visuelle temps-réel permettant d’estimer le mouvement propre du véhicule afin de simplifier l’analyse du mouvement des objets dynamiques. Dans un second temps, nous montrons comment l’intégrité de la détection et du suivi des objets par lidar peut être améliorée en utilisant une méthode de confirmation visuelle qui procède par reconstruction dense de l’environnement 3D. Pour finir, le système de perception multimodal a été intégré sur une plateforme automobile, ce qui a permis de tester expérimentalement les différentes approches proposées dans des situations routières en environnement non contrôlé
Advanced Driver Assistance Systems (ADAS) can improve road safety by supporting the driver through warnings in hazardous circumstances or triggering appropriate actions when facing imminent collision situations (e. G. Airbags, emergency brake systems, etc). In this context, the knowledge of the location and the speed of the surrounding mobile objects constitute a key information. Consequently, in this work, we focus on object detection, localization and tracking in dynamic scenes. Noticing the increasing presence of embedded multi-camera systems on vehicles and recognizing the effectiveness of lidar automotive systems to detect obstacles, we investigate stereo vision systems contributions to multi-modal perception of the environment geometry. In order to fuse geometrical information between lidar and vision system, we propose a calibration process which determines the extrinsic parameters between the exteroceptive sensors and quantifies the uncertainties of this estimation. We present a real-time visual odometry method which estimates the vehicle ego-motion and simplifies dynamic object motion analysis. Then, the integrity of the lidar-based object detection and tracking is increased by the means of a visual confirmation method that exploits stereo-vision 3D dense reconstruction in focused areas. Finally, a complete full scale automotive system integrating the considered perception modalities was implemented and tested experimentally in open road situations with an experimental car

In this thesis, we present a probabilistic framework for ego-vehicle localization called Road Layout Estimation framework. The main contribution to the vehicle localization problem is the synergistic exploitation of heterogeneous sensing pipelines, as well as their matching with respect to the OpenStreetMap service. The approach is validated in different ways by exploiting different visual clues. Firstly by using the road graph provided by the OpenStreetMap service, then exploiting high-level features like intersections between roads, buildings façades, and other road features. Regarding the effectiveness of the road-graph exploitation, its is proven by achieving real-time computation with state-of-the-art results on a set of ten not trivial runs from the KITTI dataset, including both urban/residential and highway/road scenarios. Moreover, a probabilistic approach for detecting and classifying urban road intersections from a moving vehicle is presented. The approach is based on images from an on-board stereo rig. It relies on the detection of the road ground plane on one side, and on a pixel-level classification of the observed scene on the other. The two processing pipelines are then integrated and the parameters of the road components, i.e., the intersection geometry, are inferred. As opposed to other state-of-the-art off-line methods, which require processing of the whole video sequence up to when the vehicle is inside the intersection, our approach integrates the image data by means of an on-line procedure. The experiments have been performed on the well-known KITTI datasets as well, allowing the community to perform future comparisons. Besides the pure road interpretation schemes, in this work we also present a technique that takes advantage of detected building façades and OpenStreetMaps building data to improve the localization of an autonomous vehicle driving in an urban scenario. The proposed approach also leverages images from the stereo rig mounted on the vehicle to produce a mathematical representation of the buildings' façades within the field of view. This representation is matched against the outlines of the surrounding buildings as they are available on OpenStreetMaps. All the retrieved features are fed into our probabilistic framework, in order to produce an accurate lane-level localization of the vehicle in urban contexts. Finally, as to achieve a lane-level localization also in highway scenarios, we propose two methods that allow the framework to leverage the lane number and the road width. The proposed approaches have been tested under real traffic conditions, showing satisfactory performances with respect to the map-matching-only settings and compensating the noisy measures of a basic line detector.

L'estimation de la pose (position et l'attitude) en temps réel est une fonction clé pour les véhicules autonomes routiers. Cette thèse vise à étudier des systèmes de localisation pour ces véhicules en utilisant des capteurs automobiles à faible coût. Trois types de capteurs sont considérés : des capteurs à l'estime qui existent déjà dans les automobiles modernes, des récepteurs GNSS mono-fréquence avec antenne patch et une caméra de détection de la voie regardant vers l’avant. Les cartes très précises sont également des composants clés pour la navigation des véhicules autonomes. Dans ce travail, une carte de marquage de voies avec une précision de l’ordre du décimètre est considérée. Le problème de la localisation est étudié dans un repère de travail local Est-Nord-Haut. En effet, les sorties du système de localisation sont utilisées en temps réel comme entrées dans un planificateur de trajectoire et un contrôleur de mouvement pour faire en sorte qu’un véhicule soit capable d'évoluer au volant de façon autonome à faible vitesse avec personne à bord. Ceci permet de développer des applications de voiturier autonome aussi appelées « valet de parking ». L'utilisation d'une caméra de détection de voie rend possible l’exploitation des informations de marquage de voie stockées dans une carte géoréférencée. Un module de détection de marquage détecte la voie hôte du véhicule et fournit la distance latérale entre le marquage de voie détecté et le véhicule. La caméra est également capable d'identifier le type des marquages détectés au sol (par exemple, de type continu ou pointillé). Comme la caméra donne des mesures relatives, une étape importante consiste à relier les mesures à l'état du véhicule. Un modèle d'observation raffiné de la caméra est proposé. Il exprime les mesures métriques de la caméra en fonction du vecteur d'état du véhicule et des paramètres des marquages au sol détectés. Cependant, l'utilisation seule d'une caméra a des limites. Par exemple, les marquages des voies peuvent être absents dans certaines parties de la zone de navigation et la caméra ne parvient pas toujours à détecter les marquages au sol, en particulier, dans les zones d’intersection. Un récepteur GNSS, qui est obligatoire pour le démarrage à froid, peut également être utilisé en continu dans le système de localisation multi-capteur du fait qu’il permet de compenser la dérive de l’estime. Les erreurs de positionnement GNSS ne peuvent pas être modélisées simplement comme des bruits blancs, en particulier avec des récepteurs mono-fréquence à faible coût travaillant de manière autonome, en raison des perturbations atmosphériques sur les signaux des satellites et les erreurs d’orbites. Un récepteur GNSS peut également être affecté par de fortes perturbations locales qui sont principalement dues aux multi-trajets. Cette thèse étudie des modèles formeurs de biais d’erreur GNSS qui sont utilisés dans le solveur de localisation en augmentant le vecteur d'état. Une variation brutale due à multi-trajet est considérée comme une valeur aberrante qui doit être rejetée par le filtre. Selon le flux d'informations entre le récepteur GNSS et les autres composants du système de localisation, les architectures de fusion de données sont communément appelées « couplage lâche » (positions et vitesses GNSS) ou « couplage serré » (pseudo-distance et Doppler sur les satellites en vue). Cette thèse étudie les deux approches. En particulier, une approche invariante selon la route est proposée pour gérer une modélisation raffinée de l'erreur GNSS dans l'approche par couplage lâche puisque la caméra ne peut améliorer la performance de localisation que dans la direction latérale de la route
Estimating the pose (position and attitude) in real-time is a key function for road autonomous vehicles. This thesis aims at studying vehicle localization performance using low cost automotive sensors. Three kinds of sensors are considered : dead reckoning (DR) sensors that already exist in modern vehicles, mono-frequency GNSS (Global navigation satellite system) receivers with patch antennas and a frontlooking lane detection camera. Highly accurate maps enhanced with road features are also key components for autonomous vehicle navigation. In this work, a lane marking map with decimeter-level accuracy is considered. The localization problem is studied in a local East-North-Up (ENU) working frame. Indeed, the localization outputs are used in real-time as inputs to a path planner and a motion generator to make a valet vehicle able to drive autonomously at low speed with nobody on-board the car. The use of a lane detection camera makes possible to exploit lane marking information stored in the georeferenced map. A lane marking detection module detects the vehicle’s host lane and provides the lateral distance between the detected lane marking and the vehicle. The camera is also able to identify the type of the detected lane markings (e.g., solid or dashed). Since the camera gives relative measurements, the important step is to link the measures with the vehicle’s state. A refined camera observation model is proposed. It expresses the camera metric measurements as a function of the vehicle’s state vector and the parameters of the detected lane markings. However, the use of a camera alone has some limitations. For example, lane markings can be missing in some parts of the navigation area and the camera sometimes fails to detect the lane markings in particular at cross-roads. GNSS, which is mandatory for cold start initialization, can be used also continuously in the multi-sensor localization system as done often when GNSS compensates for the DR drift. GNSS positioning errors can’t be modeled as white noises in particular with low cost mono-frequency receivers working in a standalone way, due to the unknown delays when the satellites signals cross the atmosphere and real-time satellites orbits errors. GNSS can also be affected by strong biases which are mainly due to multipath effect. This thesis studies GNSS biases shaping models that are used in the localization solver by augmenting the state vector. An abrupt bias due to multipath is seen as an outlier that has to be rejected by the filter. Depending on the information flows between the GNSS receiver and the other components of the localization system, data-fusion architectures are commonly referred to as loosely coupled (GNSS fixes and velocities) and tightly coupled (raw pseudoranges and Dopplers for the satellites in view). This thesis investigates both approaches. In particular, a road-invariant approach is proposed to handle a refined modeling of the GNSS error in the loosely coupled approach since the camera can only improve the localization performance in the lateral direction of the road. Finally, this research discusses some map-matching issues for instance when the uncertainty domain of the vehicle state becomes large if the camera is blind. It is challenging in this case to distinguish between different lanes when the camera retrieves lane marking measurements.As many outdoor experiments have been carried out with equipped vehicles, every problem addressed in this thesis is evaluated with real data. The different studied approaches that perform the data fusion of DR, GNSS, camera and lane marking map are compared and several conclusions are drawn on the fusion architecture choice

Les informations contenues dans les cartes routières numériques revêtent une importance grandissante dans le domaine des véhicules intelligents. La prise en compte d’environnements de plus en plus complexes a augmenté le niveau de précision exigé des informations cartographiques. Les cartes routières numériques, considérées ici comme des bases de données géographiques, contiennent des informations contextuelles sur le réseau routier, facilitant la compréhension correcte de l’environnement. En les combinant avec les données provenant des capteurs embarqués, une représentation plus fine de l’environnement peut être obtenue, améliorant grandement la compréhension de contexte du véhicule et la prise de décision. La performance des différents capteurs peut varier grandement en fonction du lieu considéré, ceci étant principalement dû à des facteurs environnementaux. Au contraire, une carte peut fournir ses informations de manière fiable, sans être affectée par ces éléments extérieurs, mais pour cela, elle doit reposer sur un autre élément essentiel : une source de localisation. Le secteur automobile utilise les systèmes de localisation globale par satellite (GNSS) à des fins de localisation absolue, mais cette solution n’est pas parfaite, étant soumise à différentes sources d’erreur. Ces erreurs sont elles aussi dépendantes de l’environnent d’évolution du véhicule (par exemple, des multi-trajets causés par des bâtiments). Nous sommes donc en présence de deux systèmes centraux, dont les performances sont d´dépendantes du lieu considéré. Cette étude se focalise sur leur dénominateur commun : la carte routière numérique, et son utilisation en tant qu’outil d’évaluation de leur performance. L’idée développée durant cette thèse est d’utiliser la carte en tant que canevas d’apprentissage, pour stocker des informations géoréférencées sur la performance des diésèrent capteurs équipant le véhicule, au cours de trajets répétitifs. Pour cela, une localisation robuste, relative à la carte, est nécessaire au travers d’une méthode de map-matching. La problématique principale réside dans la différence de précision entre la carte et le positionnement GNSS, créant des situations ambigües. Durant cette thèse, un algorithme de map-matching a été conçu pour gérer ces ambigüités en fournissant des hypothèses multiples lorsque nécessaire. L’objectif est d’assurer l’intégrité de l’algorithme en retournant un ensemble d’hypothèses contenant l’hypothèse correcte avec une grande probabilité. Cet algorithme utilise les capteurs proprioceptifs dans une approche de navigation à l’estime aidée d’informations cartographiques. Une procédure d’évaluation de cohérence, utilisant le GNSS comme information redondante de positionnement est ensuite appliquée, visant à isoler une hypothèse cohérente unique qui pourra ainsi être utilisée avec confiance dans le processus d’écriture dans la carte. L’utilisation de la carte numérique en écriture/lecture a été évaluée et la procédure complète d’écriture a été testée sur des données réelles, enregistrées par des véhicules expérimentaux sur route ouverte
The information stored in digital road maps has become very important for intelligent vehicles. As intelligent vehicles address more complex environments, the accuracy requirements for this information have increased. Regarded as a geographic database, digital road maps contain contextual information about the road network, crucial for a good understanding of the environment. When combined with data acquired from on-board sensors, a better representation of the environment can be made, improving the vehicle’s situation understanding. Sensors performance can vary drastically depending on the location of the vehicle, mainly due to environmental factors. Comparatively, a map can provide prior information more reliably but to do so, it depends on another essential component: a localization system. Global Navigation Satellite Systems (GNSS) are commonly used in automotive to provide an absolute positioning of the vehicle, but its accuracy is not perfect: GNSS are prone to errors, also depending greatly on the environment (e.g., multipaths). Perception and localization systems are two important components of an intelligent vehicle whose performances vary in function of the vehicle location. This research focuses on their common denominator, the digital road map, and its use as a tool to assess their performance. The idea developed during this thesis is to use the map as a learning canvas, to store georeferenced information about the performance of the sensors during repetitive travels. This requires a robust localization with respect to the map to be available, through a process of map-matching. The main problematic is the discrepancy between the accuracy of the map and of the GNSS, creating ambiguous situations. This thesis develops a map-matching algorithm designed to cope with these ambiguities by providing multiple hypotheses when necessary. The objective is to ensure the integrity of the result by returning a hypothesis set containing the correct matching with high probability. The method relies on proprioceptive sensors via a dead-reckoning approach aided by the map. A coherence checking procedure using GNSS redundant information is then applied to isolate a single map-matching result that can be used to write learning data with confidence in the map. The possibility to handle the digital map in read/write operation has been assessed and the whole writing procedure has been tested on data recorded by test vehicles on open roads

Les véhicules intelligents sont un élément clé pour des systèmes de transport plus sûrs, efficaces et accessibles à travers le monde. En raison de la multitude de sources de données et de processus associés aux véhicules intelligents, la fiabilité de l'ensemble du système dépend fortement de la possibilité d'erreurs ou de mauvaises performances observées dans ses composants. Dans notre travail, nous nous intéressons à la tâche critique de localisation des véhicules intelligents et relevons les défis de la surveillance de l'intégrité des sources de données utilisées dans la localisation. La contribution clé de notre recherche est la proposition d'un nouveau protocole d'intégrité en combinant les concepts d'intégrité des systèmes d'information et les concepts d'intégrité existants dans les Systèmes de Transport Intelligents (STI). Un cadre de surveillance de l'intégrité basé sur le protocole d'intégrité proposé qui peut gérer les problèmes de localisation multimodale est développé. Dans la première étape, une preuve de concept pour ce cadre est développée sur la base d'une estimation de cohérence croisée des sources de données à l'aide de modèles polynomiaux. Sur la base des observations de la première étape, une représentation des données «Feature Grid» est proposée dans la deuxième étape et un prototype généralisé pour le cadre est mis en œuvre. Le cadre est testé sur les autoroutes ainsi que dans des scénarios urbains complexes pour démontrer que le cadre proposé est capable de fournir des estimations d'intégrité continue des sources de données multimodales utilisées dans la localisation intelligente des véhicules
Intelligent vehicles are a key component in humanity’s vision for safer, efficient, and accessible transportation systems across the world. Due to the multitude of data sources and processes associated with Intelligent vehicles, the reliability of the total system is greatly dependent on the possibility of errors or poor performances observed in its components. In our work, we focus on the critical task of localization of intelligent vehicles and address the challenges in monitoring the integrity of data sources used in localization. The primary contribution of our research is the proposition of a novel protocol for integrity by combining integrity concepts from information systems with the existing integrity concepts in the field of Intelligent Transport Systems (ITS). An integrity monitoring framework based on the theorized integrity protocol that can handle multimodal localization problems is formalized. As the first step, a proof of concept for this framework is developed based on cross-consistency estimation of data sources using polynomial models. Based on the observations from the first step, a 'Feature Grid' data representation is proposed in the second step and a generalized prototype for the framework is implemented. The framework is tested in highways as well as complex urban scenarios to demonstrate that the proposed framework is capable of providing continuous integrity estimates of multimodal data sources used in intelligent vehicle localization

Intelligent Transportation Systems (ITS) have emerged to use different technologies to promote safety, convenience, and efficiency of transportation networks. Many applications of ITS depend on the availability of the real-time positioning of the vehicles in the network. In this research, the two open challenges in the field of vehicle localization for ITS are introduced and addressed. First, in order to have safe and efficient transportation systems, the locations of the vehicles need to be available everywhere in a network. Conventional localization techniques mostly rely on Global Positioning System (GPS) technology which cannot meet the accuracy requirements for all applications in all situations. This work advances the study of vehicle positioning in ITS by introducing an integrated positioning framework which uses several resources including GPS, vehicle-to-infrastructure and vehicle-to-vehicle communications, radio-frequency identification, and dead reckoning. These technologies are used to provide more reliable and accurate location information. The suggested framework fills the gap between the accuracy of the current vehicle localization techniques and the required one for many ITS applications. Second, different ITS applications have different localization accuracy and latency requirements. A smart positioning algorithm is proposed which enable us to change the positioning accuracy delivered by the algorithm based on different applications. The algorithm utilizes only the most effective resources to achieve the required accuracy, even if more resources are available. In this way, the complexity of the system and the running time decrease while the desired accuracy is obtained. The adjective Smart is selected because the algorithm smartly selects the most effective connection which has the most contribution to vehicle positioning when a connection needs to be added. On the other hand, when a connection should be removed, the algorithm smartly selects the least effective one which has the least contribution to the position estimation. This study also provides an overview about the positioning requirements for different ITS applications. A close-to-real-world scenario has been developed and simulated in MATLAB to evaluate the performance of the proposed algorithms. The simulation results show that the vehicle can acquire accurate location in different environments using the suggested Integrated framework. Moreover, the advantages of the proposed Smart algorithm in terms of accuracy and running time are presented through a series of comprehensive simulations.
Master of Science

Dans de nombreuses applications, il est crucial qu'un robot ou un véhicule se localise, notamment pour la navigation ou la conduite autonome. Cette thèse traite de la localisation visuelle par des méthodes de reconnaissance de lieux. Le principe est le suivant: lors d'une phase hors-ligne, des images géo-référencées de l'environnement d'évolution du véhicule sont acquises, des caractéristiques en sont extraites et sauvegardées. Puis lors de la phase en ligne, il s'agit de retrouver l'image (ou la séquence d'images) de la base d'apprentissage qui correspond le mieux à l'image (ou la séquence d'images) courante. La localisation visuelle reste un challenge car l'apparence et l'illumination changent drastiquement en particulier avec le temps, les conditions météorologiques et les saisons. Dans cette thèse, on cherche alors à améliorer la reconnaissance de lieux grâce à une meilleure capacité de description et de reconnaissance de la scène. Plusieurs approches sont proposées dans cette thèse:1) La reconnaissance visuelle de lieux est améliorée en considérant les informations de profondeur, de texture et de forme par la combinaison de plusieurs de caractéristiques visuelles, à savoir les descripteurs CSLBP (extraits sur l'image couleur et l'image de profondeur) et HOG. De plus l'algorithme LSH (Locality Sensitive Hashing) est utilisée pour améliorer le temps de calcul;2) Une méthode de la localisation visuelle basée sur une reconnaissance de lieux par mise en correspondance de séquence d'images (au lieu d'images considérées indépendamment) et combinaison des descripteurs GIST et CSLBP est également proposée. Cette approche est en particulier testée lorsque les bases d'apprentissage et de test sont acquises à des saisons différentes. Les résultats obtenus montrent que la méthode est robuste aux changements perceptuels importants;3) Enfin, la dernière approche de localisation visuelle proposée est basée sur des caractéristiques apprises automatiquement (à l'aide d'un réseau de neurones à convolution) et une mise en correspondance de séquences localisées d'images. Pour améliorer l'efficacité computationnelle, l'algorithme LSH est utilisé afin de viser une localisation temps-réel avec une dégradation de précision limitée
In many applications, it is crucial that a robot or vehicle localizes itself within the world especially for autonomous navigation and driving. The goal of this thesis is to improve place recognition performance for visual localization in changing environment. The approach is as follows: in off-line phase, geo-referenced images of each location are acquired, features are extracted and saved. While in the on-line phase, the vehicle localizes itself by identifying a previously-visited location through image or sequence retrieving. However, visual localization is challenging due to drastic appearance and illumination changes caused by weather conditions or seasonal changing. This thesis addresses the challenge of improving place recognition techniques through strengthen the ability of place describing and recognizing. Several approaches are proposed in this thesis:1) Multi-feature combination of CSLBP (extracted from gray-scale image and disparity map) and HOG features is used for visual localization. By taking the advantages of depth, texture and shape information, visual recognition performance can be improved. In addition, local sensitive hashing method (LSH) is used to speed up the process of place recognition;2) Visual localization across seasons is proposed based on sequence matching and feature combination of GIST and CSLBP. Matching places by considering sequences and feature combination denotes high robustness to extreme perceptual changes;3) All-environment visual localization is proposed based on automatic learned Convolutional Network (ConvNet) features and localized sequence matching. To speed up the computational efficiency, LSH is taken to achieve real-time visual localization with minimal accuracy degradation

The research theme of this dissertation is the multiple-vehicles cooperative perception (or cooperative perception) applied in the context of intelligent vehicle systems. The general methodology of the presented works in this dissertation is to realize multiple-intelligent vehicles cooperative perception, which aims at providing better vehicle perception result compared with single vehicle perception (or non-cooperative perception). Instead of focusing our research works on the absolute performance of cooperative perception, we focus on the general mechanisms which enable the realization of cooperative localization and cooperative mapping (and moving objects detection), considering that localization and mapping are two underlying tasks for an intelligent vehicle system. We also exploit the possibility to realize certain augmented reality effect with the help of basic cooperative perception functionalities; we name this kind of practice as cooperative augmented reality. Naturally, the contributions of the presented works consist in three aspects: cooperative localization, cooperative local mapping and moving objects detection, and cooperative augmented reality.

In some dense urban environments (e.g., a street with tall buildings around), vehicle localization result provided by Global Positioning System (GPS) receiver might not be accurate or even unavailable due to signal reflection (multi-path) or poor satellite visibility. In order to improve the accuracy and robustness of assisted navigation systems so as to guarantee driving security and service continuity on road, a vehicle localization approach is presented in this thesis by taking use of the redundancy and complementarities of multiple sensors. At first, GPS localization method is complemented by onboard dead-reckoning (DR) method (inertial measurement unit, odometer, gyroscope), stereovision based visual odometry method, horizontal laser range finder (LRF) based scan alignment method, and a 2D GIS road network map based map-matching method to provide a coarse vehicle pose estimation. A sensor selection step is applied to validate the coherence of the observations from multiple sensors, only information provided by the validated sensors are combined under a loosely coupled probabilistic framework with an information filter. Then, if GPS receivers encounter long term outages, the accumulated localization error of DR-only method is proposed to be bounded by adding a GIS building map layer. Two onboard LRF systems (a horizontal LRF and a vertical LRF) are mounted on the roof of the vehicle and used to detect building facades in urban environment. The detected building facades are projected onto the 2D ground plane and associated with the GIS building map layer to correct the vehicle pose error, especially for the lateral error. The extracted facade landmarks from the vertical LRF scan are stored in a new GIS map layer. The proposed approach is tested and evaluated with real data sequences. Experimental results with real data show that fusion of the stereoscopic system and LRF can continue to localize the vehicle during GPS outages in short period and to correct the GPS positioning error such as GPS jumps; the road map can help to obtain an approximate estimation of the vehicle position by projecting the vehicle position on the corresponding road segment; and the integration of the building information can help to refine the initial pose estimation when GPS signals are lost for long time.

Aquatic robots, such as Autonomous Underwater Vehicles (AUVs), play a major role in the study of ocean processes that require long-term sampling efforts and commonly perform navigation via dead-reckoning using an accelerometer, a magnetometer, a compass, an IMU and a depth sensor for feedback. However, these instruments are subjected to large drift, leading to unbounded uncertainty in location. Moreover, the spatio-temporal dynamics of the ocean environment, coupled with limited communication capabilities, make navigation and localization difficult, especially in coastal regions where the majority of interesting phenomena occur. To add to this, the interesting features are themselves spatio-temporally dynamic, and effective sampling requires a good understanding of vehicle localization relative to the sampled feature. Therefore, our work is motivated by the desire to enable intelligent data collection of complex dynamics and processes that occur in coastal ocean environments to further our understanding and prediction capabilities. The study originated from the need to localize and navigate aquatic robots in a GPS-denied environment and examine the role of the spatio-temporal dynamics of the ocean into the localization and navigation processes. The methods and techniques needed range from the data collection to the localization and navigation algorithms used on-board of the aquatic vehicles. The focus of this work is to develop algorithms for localization and navigation of AUVs in GPS-denied environments. We developed an Augmented terrain-based framework that incorporates physical science data, i.e., temperature, salinity, pH, etc., to enhance the topographic map that the vehicle uses to navigate. In this navigation scheme, the bathymetric data are combined with the physical science data to enrich the uniqueness of the underlying terrain map and increase the accuracy of underwater localization. Another technique developed in this work addresses the problem of tracking an underwater vehicle when the GPS signal suddenly becomes unavailable. The methods include the whitening of the data to reveal the true statistical distance between datapoints and also incorporates physical science data to enhance the topographic map. Simulations were performed at Lake Nighthorse, Colorado, USA, between April 25th and May 2nd 2018 and at Big Fisherman's Cove, Santa Catalina Island, California, USA, on July 13th and July 14th 2016. Different missions were executed on different environments (snow, rain and the presence of plumes). Results showed that these two methodologies for localization and tracking work for reference maps that had been recorded within a week and the accuracy on the average error in localization can be compared to the errors found when using GPS if the time in which the observations were taken are the same period of the day (morning, afternoon or night). The whitening of the data had positive results when compared to localizing without whitening.

La localisation précise des véhicules et la sécurité des échanges sont deux grands axes qui font la fiabilité des services fournis dans les systèmes de transport intelligent. Ces dernières années, elles font l’objet de nombreux projets de recherche pour des champs d’application divers. Dans cette thèse, le contexte d’application est la réalisation d’un service de télépéage utilisant la technologie ITS-G5. Cette technologie de communication sans-fil permet dans un premier temps le partage des informations de sécurité routière entre les véhicules (V2V), le véhicule et l’infrastructure (V2I). Dans cette thèse, on propose une architecture permettant d’échanger des transactions de télépéage utilisant les équipements communicants en ITS-G5 embarqués dans les véhicules connectés et les unités bord de route (UBR) de l’infrastructure. Les problématiques de nos travaux de recherche se concentrent sur la méthode de localisation des véhicules ayant effectué la transaction afin de pouvoir la valider et sur la sécurité de l’architecture proposée pour assurer l’échange de cette transaction. Afin de bien localiser les véhicules lors du passage au péage, notre approche propose la compréhension de la cinématique du véhicule par une modélisation adéquate à partir des données recueillies dans les messages coopératifs (CAM : Cooperative Awareness Message) en approche du péage. Cela améliorera les informations de géolocalisation déjà présentes. Notre objectif est d’arriver à une précision de moins d’un mètre pour distinguer 2 véhicules adjacents. D’autre part, le protocole de sécurité proposé permet d’assurer l’authentification des équipements participant à l’échange et à la validation de la transaction, l’intégrité des données échangées ainsi que la confidentialité des échanges compte tenu du contexte de communication sans-fil et de la sensibilité des données échangées. Une preuve de concept de la solution de télépéage utilisant la technologie ITS-G5 est développée et intègre nos deux contributions
The precise localization of vehicles and the security of communication are requirements that make almost of the services provided in intelligent transport systems (ITS) more reliable. In recent years, they have been the subject of numerous research projects for various fields of application. In this thesis, the context is the development of an electronic toll service using the ITS-G5 technology. This wireless communication technology initially allows the sharing of traffic safety information between vehicles (V2V), vehicle and infrastructure (V2I). In our work, we propose a tolling application using equipment operating in ITS-G5 embedded in the connected vehicles and roadside units. For this, ensuring both precise geolocation of the vehicles and security of communication are required to validate the transaction.In order to properly locate the vehicles during the toll crossing, our approach is based on the understanding of the kinematics of the vehicle through a suitable modeling from the data collected in the cooperative messages (called CAM: Cooperative Awareness Message). This approach aims to improve the geolocation information already present in the message. Our goal is to achieve vehicle localization with an accuracy lower than one meter to distinguish two adjacent vehicles. On the other hand, the proposed tolling protocol ensures the authentication of the equipment or entities involved in the exchange and the validation of the transaction, the integrity of the transmitted data as well as the confidentiality of the communication. In this way, we take into account the context of the wireless communication and the sensitivity of the exchanged data. Our two contributions are integrated in the implemented Proof of Concept of the tolling application using the ITS-G5 technology

Abstract : Embedded intelligence in vehicular applications is becoming of great interest since the last two decades. Position estimation has been one of the most crucial pieces of information for Intelligent Transportation Systems (ITS). Real time, accurate and reliable localization of vehicles has become particularly important for the automotive industry. The significant growth of sensing, communication and computing capabilities over the recent years has opened new fields of applications, such as ADAS (Advanced driver assistance systems) and active safety systems, and has brought the ability of exchanging information between vehicles. Most of these applications can benefit from more accurate and reliable localization. With the recent emergence of multi-vehicular wireless communication capabilities, cooperative architectures have become an attractive alternative to solving the localization problem. The main goal of cooperative localization is to exploit different sources of information coming from different vehicles within a short range area, in order to enhance positioning system efficiency, while keeping the cost to a reasonable level. In this Thesis, we aim to propose new and effective methods to improve vehicle localization performance by using cooperative approaches. In order to reach this goal, three new methods for cooperative vehicle localization have been proposed and the performance of these methods has been analyzed. Our first proposed cooperative method is a Cooperative Map Matching (CMM) method which aims to estimate and compensate the common error component of the GPS positioning by using cooperative approach and exploiting the communication capability of the vehicles. Then we propose the concept of Dynamic base station DGPS (DDGPS) and use it to generate GPS pseudorange corrections and broadcast them for other vehicles. Finally we introduce a cooperative method for improving the GPS positioning by incorporating the GPS measured position of the vehicles and inter-vehicle distances. This method is a decentralized cooperative positioning method based on Bayesian approach. The detailed derivation of the equations and the simulation results of each algorithm are described in the designated chapters. In addition to it, the sensitivity of the methods to different parameters is also studied and discussed. Finally in order to validate the results of the simulations, experimental validation of the CMM method based on the experimental data captured by the test vehicles is performed and studied. The simulation and experimental results show that using cooperative approaches can significantly increase the performance of the positioning methods while keeping the cost to a reasonable amount.
Résumé : L’intelligence embarquée dans les applications véhiculaires devient un grand intérêt depuis les deux dernières décennies. L’estimation de position a été l'une des parties les plus cruciales concernant les systèmes de transport intelligents (STI). La localisation précise et fiable en temps réel des véhicules est devenue particulièrement importante pour l'industrie automobile. Les améliorations technologiques significatives en matière de capteurs, de communication et de calcul embarqué au cours des dernières années ont ouvert de nouveaux champs d'applications, tels que les systèmes de sécurité active ou les ADAS, et a aussi apporté la possibilité d'échanger des informations entre les véhicules. Une localisation plus précise et fiable serait un bénéfice pour ces applications. Avec l'émergence récente des capacités de communication sans fil multi-véhicules, les architectures coopératives sont devenues une alternative intéressante pour résoudre le problème de localisation. L'objectif principal de la localisation coopérative est d'exploiter différentes sources d'information provenant de différents véhicules dans une zone de courte portée, afin d'améliorer l'efficacité du système de positionnement, tout en gardant le coût à un niveau raisonnable. Dans cette thèse, nous nous efforçons de proposer des méthodes nouvelles et efficaces pour améliorer les performances de localisation du véhicule en utilisant des approches coopératives. Afin d'atteindre cet objectif, trois nouvelles méthodes de localisation coopérative du véhicule ont été proposées et la performance de ces méthodes a été analysée. Notre première méthode coopérative est une méthode de correspondance cartographique coopérative (CMM, Cooperative Map Matching) qui vise à estimer et à compenser la composante d'erreur commune du positionnement GPS en utilisant une approche coopérative et en exploitant les capacités de communication des véhicules. Ensuite, nous proposons le concept de station de base Dynamique DGPS (DDGPS) et l'utilisons pour générer des corrections de pseudo-distance GPS et les diffuser aux autres véhicules. Enfin, nous présentons une méthode coopérative pour améliorer le positionnement GPS en utilisant à la fois les positions GPS des véhicules et les distances inter-véhiculaires mesurées. Ceci est une méthode de positionnement coopératif décentralisé basé sur une approche bayésienne. La description détaillée des équations et les résultats de simulation de chaque algorithme sont décrits dans les chapitres désignés. En plus de cela, la sensibilité des méthodes aux différents paramètres est également étudiée et discutée. Enfin, les résultats de simulations concernant la méthode CMM ont pu être validés à l’aide de données expérimentales enregistrées par des véhicules d'essai. La simulation et les résultats expérimentaux montrent que l'utilisation des approches coopératives peut augmenter de manière significative la performance des méthodes de positionnement tout en gardant le coût à un montant raisonnable.

Afin de naviguer en autonomie un véhicule doit être capable de se localiser précisément par rapport aux bords de voie pour ne pas sortir de celle-ci et par rapport aux véhicules et piétons pour ne pas causer d'accident. Cette thèse traite de l'intérêt de la communication dans l'amélioration de la localisation des véhicules autonomes. La navigation autonome sur route est souvent réalisée à partir de coordonnées cartésiennes. Afin de mieux représenter la pose d'un véhicule relativement à la voie dans laquelle il circule, nous étudions l'utilisation de coordonnées curvilignes le long de chemins enregistrés dans des cartes. Ces coordonnées généralisent l'abscisse curviligne en y ajoutant un écart latéral signé par rapport au centre de la voie et une orientation relative au centre de cette voie en prenant en compte le sens de circulation. Une première approche de localisation coopérative est réalisée à partir de ces coordonnées. Une fusion de données à une dimension permet de montrer l'intérêt de la localisation coopérative dans le cas simplifié où l'écart latéral, l'orientation curviligne et la pose relative entre deux véhicules sont connus avec précision. Les problèmes de corrélation des erreurs dus à l'échange d'information sont pris en compte grâce à un filtre par intersection de covariance. Nous présentons ensuite à une méthode de perception de type ICP (Iterative Closest Point) pour déterminer la pose relative entre les véhicules à partir de points LiDAR et d'un modèle polygonal 2D représentant la forme du véhicule. La propagation des erreurs de poses absolues des véhicules à l'aide de poses relatives estimées avec leurs incertitudes se fait via des équations non linéaires qui peuvent avoir un fort impact sur la consistance. Les poses des différents véhicules entourant l'égo-véhicule sont estimés dans une carte locale dynamique (CLD) permettant d'enrichir la carte statique haute définition décrivant le centre de la voie et les bords de celle-ci. La carte locale dynamique est composée de l'état de chaque véhicule communicant. Les états sont fusionnés en utilisant un algorithme asynchrone, à partir de données disponibles à des temps variables. L'algorithme est décentralisé, chaque véhicule calculant sa propre CLD et la partageant. Les erreurs de position des récepteurs GNSS étant biaisées, une détection de marquages est introduite pour obtenir la distance latérale par rapport au centre de la voie afin d'estimer ces biais. Des observations LiDAR avec la méthode ICP permettent de plus d'enrichir la fusion avec des contraintes entre les véhicules. Des résultats expérimentaux illustrent les performances de cette approche en termes de précision et de consistance
To be able to navigate autonomously, a vehicle must be accurately localized relatively to all obstacles, such as roadside for lane keeping and vehicles and pedestrians to avoid causing accidents. This PhD thesis deals with the interest of cooperation to improve the localization of cooperative vehicles that exchange information. Autonomous navigation on the road is often based on coordinates provided in a Cartesian frame. In order to better represent the pose of a vehicle with respect to the lane in which it travels, we study curvilinear coordinates with respect to a path stored in a map. These coordinates generalize the curvilinear abscissa by adding a signed lateral deviation from the center of the lane and an orientation relative to the center of the lane taking into account the direction of travel. These coordinates are studied with different track models and using different projections to make the map-matching. A first cooperative localization approach is based on these coordinates. The lateral deviation and the orientation relative to the lane can be known precisely from a perception of the lane borders, but for autonomous driving with other vehicles, it is important to maintain a good longitudinal accuracy. A one-dimensional data fusion method makes it possible to show the interest of the cooperative localization in this simplified case where the lateral deviation, the curvilinear orientation and the relative positioning between two vehicles are accurately known. This case study shows that, in some cases, lateral accuracy can be propagated to other vehicles to improve their longitudinal accuracy. The correlation issues of the errors are taken into account with a covariance intersection filter. An ICP (Iterative Closest Point) minimization algorithm is then used to determine the relative pose between the vehicles from LiDAR points and a 2D polygonal model representing the shape of the vehicle. Several correspondences of the LiDAR points with the model and different minimization approaches are compared. The propagation of absolute vehicle pose using relative poses with their uncertainties is done through non-linear equations that can have a strong impact on consistency. The different dynamic elements surrounding the ego-vehicle are estimated in a Local Dynamic Map (LDM) to enhance the static high definition map describing the center of the lane and its border. In our case, the agents are only communicating vehicles. The LDM is composed of the state of each vehicle. The states are merged using an asynchronous algorithm, fusing available data at variable times. The algorithm is decentralized, each vehicle computing its own LDM and sharing it. As the position errors of the GNSS receivers are biased, a marking detection is introduced to obtain the lateral deviation from the center of the lane in order to estimate these biases. LiDAR observations with the ICP method allow to enrich the fusion with the constraints between the vehicles. Experimental results of this fusion show that the vehicles are more accurately localized with respect to each other while maintaining consistent poses

De grands progrès ont été réalisés dans le domaine des transports, ce qui a conduit à l'émergence du concept de la Smart Mobility. Dans cette thèse, nous nous intéressons à l'aspect technologique du concept. Nous proposons une vision plus large de la Smart Mobility, tout en spécifiant trois domaines de mobilité; à savoir terrestre, aérien et marin. Nous nous concentrons ensuite sur le domaine terrestre, plus précisément, les protocoles de routage dans l'Internet des véhicules (IoV). Dans l'environnement véhiculaire, trois catégories de scénario de réseau doivent être distinguées: infrastructure basée, sans infrastructure et infrastructure intermittente. Dans ce travail, nous souhaitons permettre aux véhicules d'atteindre l'infrastructure en temps opportun dans le troisième scénario. À cette fin, nous proposons ILTS (Infrastructure Localization Service and Tracking Scheme) qui extrait des informations précieuses de l'échange de messages périodiques afin de localiser l'infrastructure et de suivre les chemins disponibles vers elle. Ensuite, nous proposons un protocole de routage basé sur un mécanisme de prise de décision, HyRSIC (Hybrid Routing for Safety data with Intermittent V2I Connectivity), qui permet aux véhicules de faire le choix optimal lors de la transmission des données
Great progress has been made in the transportation field, which has led to the emergence of the Smart Mobility concept. In this thesis, we are interested in the technological aspect of the concept. We propose a broader vision of Smart Mobility, while specifying three mobility domains; namely terrestrial, aerial and marine. We then, focus on the terrestrial domain, more precisely, routing protocols in Internet of Vehicles (IoV). In the vehicular environment, three categories of network scenario are to be distinguished: infrastructure-based, infrastructure-less and intermittent infrastructure. In this work, we are interested in enabling vehicles to reach the infrastructure in a timely manner in the third scenario. To this end, we propose ILTS (Infrastructure Localization service and Tracking Scheme) that extracts valuable information from periodic message exchange in order to localize infrastructure and track available paths towards it. Then, we propose a routing protocol based on a decision making mechanism, HyRSIC (Hybrid Routing for Safety data with Intermittent V2I Connectivity), that enables vehicles to make the optimal choice when transmitting data

Meta-analysis was used to investigate the relationship between visuo-spatial ability and performance in remote environments. In order to be included, each study needed to examine the relationship between the use of an ego-centric perspective and various dimensions of performance (i.e., identification, localization, navigation, and mission completion time). The moderator analysis investigated relationships involving: (a) visuo-spatial construct with an emphasis on Carroll's (1993) visualization (VZ) factor; (b) performance outcome (i.e., identification, localization, navigation, and mission completion time); (c) autonomy to support mission performance; (d) task type (i.e., navigation vs. reconnaissance); and (e) experimental testbed (i.e., physical vs. virtual environments). The process of searching and screening for published and unpublished analyses identified 81 works of interest that were found to represent 50 unique datasets. 518 effects were extracted from these datasets for analyses. Analyses of aggregated effects (Hunter & Schmidt, 2004) found that visuo-spatial abilities were significantly associated with each construct, such that effect sizes ranged from weak (r = .235) to moderately strong (r = .371). For meta-regression (Borenstein, Hedges, Figgins, & Rothstein, 2009; Kalaian & Raudenbush, 1996; Tabachnick & Fidell, 2007), moderation by visuo-spatial construct (i.e., focusing on visualization) was consistently supported for all outcomes. For at least one of the outcomes, support was found for moderation by test, the reliability coefficient of a test, autonomy (i.e. to support identification, localization, and navigation), testbed (i.e., physical vs. virtual environment), intended domain of application, and gender. These findings illustrate that majority of what researchers refer to as “spatial ability” actually uses measures that load onto Carroll's (1993) visualization (VZ) factor. The associations between this predictor and all performance outcomes were significant, but the significant variation across moderators highlight important issues for the design of unmanned systems and the external validity of findings across domains. For example, higher levels of autonomy for supporting navigation decreased the association between visualization (VZ) and performance. In contrast, higher levels of autonomy for supporting identification and localization increased the association between visualization (VZ) and performance. Furthermore, moderation by testbed, intended domain of application, and gender challenged the degree to which findings can be expected to generalize across domains and sets of participants.
Ph.D.
Doctorate
Psychology
Sciences
Psychology; Human Factors Psychology

Perceiving or understanding the environment surrounding of a vehicle is a very important step in building driving assistant systems or autonomous vehicles. In this thesis, we study problems of simultaneous localization and mapping (SLAM) with detection, classification and tracking moving objects in context of dynamic outdoor environments focusing on using laser scanner as a main perception sensor. It is believed that if one is able to accomplish these tasks reliably in real time, this will open a vast range of potential automotive applications. The first contribution of this research is made by a grid-based approach to solve both problems of SLAM with detection of moving objects. To correct vehicle location from odometry we introduce a new fast incremental scan matching method that works reliably in dynamic outdoor environments. After good vehicle location is estimated, the surrounding map is updated incrementally and moving objects are detected without a priori knowledge of the targets. Experimental results on datasets collected from different scenarios demonstrate the efficiency of the method. The second contribution follows the first result after a good vehicle localization and a reliable map are obtained. We now focus on moving objects and present a method of simultaneous detection, classification and tracking moving objects. A model-based approach is introduced to interpret the laser measurement sequence over a sliding window of time by hypotheses of moving object trajectories. The data-driven Markov chain Monte Carlo (DDMCMC) technique is used to solve the data association in the spatio-temporal space to effectively find the most likely solution. We test the proposed algorithm on real-life data of urban traffic and present promising results. The third contribution is an integration of our perception module on a real vehicle for a particular safety automotive application, named Pre-Crash. This work has been performed in the framework of the European Project PReVENT-ProFusion in collaboration with Daimler AG. A comprehensive experimental evaluation based on relevant crash and non-crash scenarios is presented which confirms the robustness and reliability of our proposed method.

abstract: The need for incorporating game engines into robotics tools becomes increasingly crucial as their graphics continue to become more photorealistic. This thesis presents a simulation framework, referred to as OpenUAV, that addresses cloud simulation and photorealism challenges in academic and research goals. In this work, OpenUAV is used to create a simulation of an autonomous underwater vehicle (AUV) closely following a moving autonomous surface vehicle (ASV) in an underwater coral reef environment. It incorporates the Unity3D game engine and the robotics software Gazebo to take advantage of Unity3D's perception and Gazebo's physics simulation. The software is developed as a containerized solution that is deployable on cloud and on-premise systems. This method of utilizing Gazebo's physics and Unity3D perception is evaluated for a team of marine vehicles (an AUV and an ASV) in a coral reef environment. A coordinated navigation and localization module is presented that allows the AUV to follow the path of the ASV. A fiducial marker underneath the ASV facilitates pose estimation of the AUV, and the pose estimates are filtered using the known dynamical system model of both vehicles for better localization. This thesis also investigates different fiducial markers and their detection rates in this Unity3D underwater environment. The limitations and capabilities of this Unity3D perception and Gazebo physics approach are examined.
Dissertation/Thesis
Masters Thesis Computer Science 2020