Auswahl der wissenschaftlichen Literatur zum Thema „Fusion des capteurs pour la localisation“

Cet article présente une méthode d’orientation indirecte d’images aériennes utilisant des lignes d’appui extraites des données d’un système laser aéroporté. Cette stratégie d’intégration de données a démontré son potentiel pour l’automatisation des travaux photogrammétriques, y compris pour l’orientation indirecte des images. La principale caractéristique de l’approche proposée est la possibilité de calculer automatiquement les paramètres d’orientation externe d’une ou plusieurs images au moyen d’une résection spatiale avec des données issues de différents capteurs. La méthode proposée procède comme suit. Les lignes droites sont d’abord extraites automatiquement dans l’image aérienne (s) et dans l’image d’intensités issues des données laser (S). La correspondance entre les lignes de s et S est ensuite établie de manière automatique. Un modèle de coplanarité permet d’estimer les paramètres d’orientation externe de la caméra grâce à un filtre de Kalman étendu itératif IEKF). La méthode a été développée et testée en utilisant desdonnées de différents capteurs. Des expériences ont été réalisées pour évaluer la méthode proposée. Les résultats obtenus montrent que l’estimation des paramètres d’orientation externe est fonction de la précision de localisation dusystème laser.

Le projet HYEP (ANR HYEP 14-CE22-0016-01 HYperspectral imagery for Environmental urban Planning - Programme Mobilité et systèmes urbains - 2014) a permis de confirmer l’intérêt d’une approche globale du milieu urbain par télédétection et notamment en utilisant l’imagerie hyperspectrale (IH). L’intérêt des images hyperspectrales réside dans la gamme d’informations fournies sur des longueurs d’onde de 0,4 à 4 μm ; elles fournissent ainsi un accès aux grandeurs spectrales d'intérêt et aux paramètres chimiques ou biophysiques de la surface. HYEP avait pour objectif de préciser ceci et de proposer un panel de méthodes et de traitements en tenant compte des caractéristiques des autres capteurs existants afin d’en comparer les performances. Les développements réalisés ont été appliqués et évalués sur des images aéroportées hyperspectrales acquises sur Toulouse (France) et Kaunas (Lituania), utilisées également pour synthétiser des systèmes spatiaux : Sentinel-2, Hypxim/Biodiversity et Pleiades. Parmi les verrous identifiés, ceux liés à l'amélioration des capacités spatiales des capteurs et aux changements d’échelle spatiale ont été en partie levés par des approches de fusion, qui se sont avérées concluantes. Des méthodes d’extraction, de fusion ou de classification ont été appliquées à différentes résolutions spatiales afin de qualifier les gains et la complémentarité de l’IH par rapport à d’autres capteurs. Ces évaluations ont ainsi porté sur des « objets » d’intérêt pour les gestionnaires et aménageurs du milieu urbain : les surfaces imperméables, la végétation ou encore la détection de panneaux solaires.

Durant la dernière décennie, les besoins en fibres optiques et en capteurs à fibres optiques aptes à opérer dans les environnements radiatifs les plus extrêmes ont connu une forte augmentation : pouvoir anticiper et/ou monitorer les conditions d’exploitation et leurs évolutions est devenu une absolue nécessité dans une multitude de domaines que sont l’espace, l’industrie nucléaire, le stockage des déchets radioactifs, ou encore la physique des hautes énergies et installations dévolues à l’étude de la fusion (Laser Mégajoule, ITER).

Ce travail porte sur l’évaluation du potentiel des images multi-temporelles et multi-capteurs (optique et radar) des satellites Sentinel 1 et 2 pour la cartographie de l’occupation du sol et le suivi de l’évolution du trait de côte dans un écosystème tropical sur la période 2015 à 2020. La zone d’étude choisie est l’Estuaire du Cameroun. Cette zone représente un milieu de transition écologique majeur dans la sous-région avec la présence de réserves naturelles protégées (mangroves, forêt dense, zones humides) mais aussi une forte activité anthropique (constructions, agriculture, forêt dégradée). L’approche méthodologique a consisté en une chaine de prétraitements et d’analyses visuelles d’images, suivie d’une combinaison des bandes de chaque capteur, d’une classification supervisée Random Forest pour ébaucher une cartographie de l’occupation du sol et enfin une numérisation du trait de côte. Globalement, les résultats montrent que la classification, avec les images Sentinel 2 en utilisant 10 bandes et en ajoutant 4 indices de végétation, s’avère légèrement plus précise (95.75%) que celle issue des 13 bandes initiales (91.78%). La classification avec les seules images Sentinel 1A double polarisation (VV, VH) conduit à une précision de 78.44%. La combinaison des bandes Sentinel 2A (10 bandes et 4 indices) et Sentinel 1 améliore les résultats et conduit à une précision de 98.76%. Nos résultats montrent aussi que l’utilisation des séries chronologiques d’images multi-temporelles améliore considérablement la précision de classification par rapport à l’usage d’une seule image (mono-date), et cela pour les deux capteurs, soit un gain supplémentaire de 13% et 10% respectivement pour Sentinel-2 et Sentinel-1. Néanmoins ce gain reste faible pour les classes temporellement stables. Les résultats d’analyse de l’évolution du trait de côte montrent que l’estuaire du Cameroun est perturbé selon différents niveaux d’érosion (Cap Cameroun, Partie Nord île Manoka, embouchure de la Sanaga), et d’accrétion (Limbé, et Partie Sud île Manoka) et aussi par de faible variations internes. La fusion des données de télédétection optique et radar dans la discrimination des classes d’occupation du sol, a permis de montrer que les zones de constructions sont les plus vulnérables à l’érosion côtière. Par contre, la présence de la végétation (mangrove, forêt) stabilise et protège la côte d’éventuels risques de cette nature.

La période actuelle est caractérisée par une abondance de données radar libres d'accès dont l'utilisation estencouragée et facilitée par les agences spatiales, ces dernières mettant gratuitement à disposition des utilisateurs des logiciels de traitement et d'analyse d'images. Parallèlement, plusieurs sites académiques ou institutionnels proposent des ressources explicatives (cours, tutoriaux, logiciels) sur des sujets généraux ou ciblés destinés à faciliter l'usage des images dans la plupart des domaines d'application.Dans cet article, nous souhaitons aborder et détailler un point particulier, celui de la correction des images, au travers des divers prétraitements logiciels proposés lors d'une séquence de géo-référencement-calibration des images. Cette séquence, qui couple des aspects géométriques et radiométriques, a pour objectif d'établir la correspondance entre les valeurs numériques pixellaires de l'image et les mesures physiques de coefficients de rétrodiffusion destinés à caractériser des états de surface. Cette calibration est, en particulier, indispensable pour pratiquer l'inversion de modèles physiques ainsi que la fusion d'informations issues de données multi-capteurs et/ou multi-temporelles. Après avoir présenté les aspects généraux touchant à la puissance mesurée au niveau du capteur et les divers facteurs influençant cette mesure, nous nous focaliserons sur la pratique utilisateur, en discutant d'une part des différents choix de coefficients beta 0, sigma 0, gamma 0 offerts lors d'une calibration, et d'autre part de la prise en compte, ou non des effets de pente dans les corrections géométriques et radiométriques affectant l'image. Une attention particulière sera portée sur le coefficient gamma 0 dont les variations en fonction de l'incidence locale sont réputées très faibles dans le cas des forêts denses.

Depuis quelques années, des véhicules de cartographie mobile ont été développés pour acquérir des données géoréférencées très précises et en grande quantité au niveau du canyon urbain. L'application majeure des données collectées par ces véhicules est d'améliorer les bases de données géographiques existantes, en particulier leur précision, leur niveau de détail et la diversité des objets représentés. On peut citer entre autres applications la modélisation géométrique fine et la texturation des façades, l'extraction de "petits" objets comme les troncs d'arbres, poteaux, panneaux, mobiliers urbain, véhicules,...Cependant, les systèmes de géopositionnement de ces véhicules ne parviennent pas à fournir une localisation d'une précision suffisante pour cette tâche. En particulier, les masques GPS fréquents en milieu urbain sont paliés par les mesures de la centrale inertielle grâce à un algorithme de fusion de données pouvant entraîner une dérive. C'est pourquoi, un recalage est indispensable pour mettre en correspondance ces données mobiles très détaillées avec les bases de données géographiques moins détaillées mais mieux géopositionnées, qu'elles soient 2D ou 3D.Cet article présente une méthode générique et efficace permettant un tel recalage. Le processus est basé sur une méthode de type ICP ("Iterative Closest Point") point à plan.On suppose que l'erreur de géopositionnement, ou dérivevarie de façon non linéaire, mais lentement en fonction du temps. On modélise donc la trajectoire par une "chaîne" ayant une certaine rigidité. A chaque itération, la trajectoire est déformée afin de minimiser la distance des points laser aux primitives planes du modèle.Cette méthode permet d'approximer la dérive par une fonction linéaire par intervalle de temps.La méthode est testée sur des données réelles ( 3,6 millions de points laser acquis sur un quartier de la ville de Paris sont recalés sur un modèle 3D d'environ 71.400 triangles). Enfin, la robustesse et la précision de cet algorithme sont évaluées et discutées.

Allèle : une des formes alternatives d'un locus. Dans une cellule diploïde, il y a deux allèles pour chaque locus (un allèle transmis par chaque parent), qui peuvent être identiques. Dans une population, on peut avoir plusieurs allèles pour un locus.Annotation structurale : repérage des coordonnées des diverses structures dans le génome, telles que les gènes.Annotation fonctionnelle : renseignements sur les fonctions des séquences, le plus souvent pour les gènes.BAC : Bacterial Artificial Chromosome. Vecteur de clonage permettant l’obtention de clones bactériens contenant un grand fragment d’ADN génomique (taille > 100 kb*). Les BAC assemblés en contigs* sont à la base des cartes physiques du génome.Carte cytogénétique : carte des chromosomes. Réalisée par localisation visuelle (FISH*) au microscope de fragments d’ADN sur les chromosomes au stade métaphase de la mitose.Carte d’hybrides irradiés : réalisée en testant par PCR la présence ou l’absence de fragments d’ADN dans une collection de clones d’hybrides irradiés (RH*). Deux fragments d’ADN sont proches sur le génome s’ils sont trouvés fréquemment dans les mêmes clones.Carte génétique : obtenue par l’étude de la ségrégation dans des familles ou des populations, de marqueurs polymorphes, soit moléculaires, soit phénotypiques, deux séquences étant d’autant plus proches qu’elles sont souvent transmises ensemble lors de la méiose.Clonage positionnel : stratégie visant à identifier un gène responsable de l’expression d’un phénotype en utilisant des informations de position sur le génome.Contig : ensemble de clones (le plus souvent des BAC*) ou de lectures de séquence ordonnés grâce à des informations sur leur parties chevauchantes.Cosmide : vecteur de clonage permettant l’obtention de clones bactériens contenant des fragments d’ADN génomique de taille avoisinant les 50 kb*.CNV : Copy Number Variation ; polymorphisme du génome correspondant à la variation du nombre de copies d’une séquence, pouvant dans certains cas contenir un ou plusieurs gènes.Déséquilibre gamétique : pour deux loci quelconques, c'est le fait que la fréquence des haplotypes* estimée pour tous les gamètes est différente de celle attendue à partir du produit des fréquences alléliques de chaque locus. Synonyme : déséquilibre de liaison. Contraire de : équilibre gamétique.Dominance : qualificatif de l’effet d'un allèle, dont une copie suffit à l'expression du phénotype* approprié. L’allèle A est dominant sur l’allèle a si l’hétérozygote* Aa a le même phénotype* que l’homozygote AA.EST : Expressed Sequence Tag : séquences étiquettes (partielles) de transcrit, obtenues par séquençage aléatoire d’ARN.Evaluation génomique : évaluation de la valeur génétique d’individus d’après leurs génotypes pour un ensemble de loci distribués sur le génome, d’après des équations établies à partir des performances d’individus de référencephénotypés et génotypés.Expression génique : études visant à estimer le niveau de production (expression) des gènes en fonction d’états physiologiques ou de tissus différents.Exon : fraction de la partie codante d’un gène eucaryote. Les gènes des organismes eucaryotes sont le plus souvent fractionnés en plusieurs séquences d’ADN dans le génome, les exons, séparés entre eux par d’autres séquences (introns*).FISH : Fluorescent In Situ Hybridisation. Hybridation de sondes d’ADN marquées à l’aide d’un fluorochrome, sur des chromosomes au stade métaphase de la mitose. Permet la réalisation de la carte cytogénétique.Fingerprinting : technique permettant d’estimer très grossièrement la similarité entre des séquences d’ADN sans les séquencer, par la comparaison des longueurs de bandes produites par des enzymes de restriction coupant l’ADN à des sites précis.Fosmide : vecteur de clonage permettant l’obtention de clones bactériens contenant des fragment d’ADN génomique de taille déterminée et égale à 40 kb*.FPC : FingerPrint Contig* ; contig* de clones (généralement des BAC*) ordonnés par la technique du fingerprinting, afin d’obtenir une carte physique du génome.Génotype 1 : constitution génétique d'un individu. 2. Combinaison allélique* à un locus particulier, ex: Aa ou aa.Haplotype : combinaison allélique spécifique pour des loci appartenant à un fragment de chromosome défini.Héritabilité au sens strict : proportion de la variance phénotypique due à la variabilité des valeurs génétiques = proportion de la variance phénotypique due à la variance génétique additive.Hétérozygote : individu ayant des allèles non identiques pour un locus* particulier ou pour plusieurs loci. Cette condition définit l’ «hétérozygotie». Contraire de: homozygote.Homologues : séquences similaires en raison d’une origine évolutive commune.Hybride irradié : cellule hybride obtenue par fusion entre cellules hôte d’une espèce et donneuse d’une autre espèce, contenant une fraction aléatoire du génome de l’espèce donneuse, après cassures par irradiation, reconstitution aléatoire de chromosomes ou insertion dans des chromosomes de la cellule hôte et rétention partielle. Deux séquences proches sur le génome sont en probabilité dans les mêmes clones RH*, tandis que deux séquences distantes ont une probabilité faible d’être conservées ensemble.IBD : pour identity by descent. Identité entre deux chromosomes (ou parties de chromosomes), liée à leur descendance d’un même chromosome ancestral.Indel : Insertion – deletion ; polymorphisme de présence ou absence d’un ou plusieurs nucléotides.Intron : séquence non-codante dans les gènes, séparant les exons, qui codent pour une protéine.Kb : kilobase ; séquence de mille paires de bases (pb*).Locus (pl. : loci) : Site sur un chromosome. Par extension, emplacement d’un gène ou d’un marqueur génétique sur un chromosome.Marqueur génétique : séquence d'ADN dont le polymorphisme est employé pour identifier un emplacement particulier (locus) sur un chromosome particulier.Mate-pair : séquences appariées (1 à 10 kb* de distance), produites en circularisant les fragments d’ADN, puis par séquençage à travers le point de jointure.Mb : mégabase ; séquence d’un million de paires de bases (pb*) de longueur.Orthologues : séquences homologues* entre deux espèces.Paired-end : séquences appariées produites par la lecture des deux extrémités de courts fragments d’ADN (moins de 500 pb*) dans le cas des nouvelles technologies de séquençage.Paralogues : séquences homologues* résultat de la duplication d’une séquence ancestrale dans le génome. Il s’agit de deux (ou plus) séquences similaires par homologie dans un même génome.Pb : paire de base ; unité de séquence d’ADN, représentée par une base et sa complémentaire-inverse sur l’autre brin.Phénotype : caractère observable d'un individu résultant des effets conjugués du génotype et du milieu.Phylogénomique : utilise les méthodes de la génomique et de la phylogénie. Par la comparaison de génomes entiers, permet de mettre en évidence des pertes et gains de gènes dans les génomes, ainsi que leur variabilité moléculaire, afin (entre autres buts) d’aider à prédire leur fonctions.Plasmide : vecteur de clonage permettant l’obtention de clones bactériens contenant des fragment d’ADN génomique de taille allant de 500 pb* à 10 kb* environ.Polymorphisme d'ADN : existence de deux ou de plusieurs allèles* alternatifs à un locus.Puce à ADN ou puce pangénomique : Système permettant pour un individu le génotypage simultané de très nombreux marqueurs génétiques (de quelques milliers à quelques centaines de milliers).QTL : abréviation de locus à effets quantitatifs (de l’anglais Quantitative Trait Locus).Récessivité : qualificatif de l’effet d'un allèle, où l'homozygotie* est nécessaire pour l'expression du phénotype* approprié. opposé de : dominance*.RH : Radiation Hybrid (hybride irradié*)Sanger (méthode de) : méthode de séquençage publiée en 1977 (Sanger et al 1977) et encore utilisée de nos jours avec les séquenceurs à électrophorèse capillaire.Scaffold : ensemble de contigs* de séquence reliés entre eux par des informations apportées par des lectures appariées (mate-pairs* ou paired-ends*).Sélection assistée par marqueurs (abréviation : SAM) : utilisation d’un jeu restreint de marqueurs de l'ADN pour améliorer la réponse à la sélection dans une population : les marqueurs sont choisis comme étroitement liés à un ou plusieurs loci cibles, qui sont souvent des loci à effets quantitatifs ou QTL*.SNP : polymorphisme d'un seul nucléotide à une position particulière de la séquence d’ADN (abréviation de l’anglais Single Nucleotide Polymorphism).Supercontig : nom alternatif pour les scaffolds*.WGS : Whole Genome Shotgun ; production de lectures de séquence d’un génome entier de manière aléatoire.

La perception est une entrée fondamentale des systèmes robotiques, en particulier pour la localisation, la navigation et l'interaction avec l'environnement. Or les données perçues par les systèmes robotiques sont souvent complexes et sujettes à des imprécisions importantes. Pour remédier à ces problèmes, l'approche multi-capteurs utilise soit plusieurs capteurs de même type pour exploiter leur redondance, soit des capteurs de types différents pour exploiter leur complémentarité afin de réduire les imprécisions et les incertitudes sur les capteurs. La validation de cette approche de fusion de données pose deux problèmes majeurs.Tout d'abord, le comportement des algorithmes de fusion est difficile à prédire,ce qui les rend difficilement vérifiables par des approches formelles. De plus, l'environnement ouvert des systèmes robotiques engendre un contexte d'exécution très large, ce qui rend les tests difficiles et coûteux. L'objet de ces travaux de thèse est de proposer une alternative à la validation en mettant en place des mécanismes de tolérance aux fautes : puisqu'il est difficile d'éliminer toutes les fautes du système de perception, on va chercher à limiter leurs impacts sur son fonctionnement. Nous avons étudié la tolérance aux fautes intrinsèquement permise par la fusion de données en analysant formellement les algorithmes de fusion de données, et nous avons proposé des mécanismes de détection et de rétablissement adaptés à la perception multi-capteurs. Nous avons ensuite implémenté les mécanismes proposés pour une application de localisation de véhicules en utilisant la fusion de données par filtrage de Kalman. Nous avons finalement évalué les mécanismes proposés en utilisant le rejeu de données réelles et la technique d'injection de fautes, et démontré leur efficacité face à des fautes matérielles et logicielles
Perception is a fundamental input for robotic systems, particularly for positioning, navigation and interaction with the environment. But the data perceived by these systems are often complex and subject to significant imprecision. To overcome these problems, the multi-sensor approach uses either multiple sensors of the same type to exploit their redundancy or sensors of different types for exploiting their complementarity to reduce the sensors inaccuracies and uncertainties. The validation of the data fusion approach raises two major problems. First, the behavior of fusion algorithms is difficult to predict, which makes them difficult to verify by formal approaches. In addition, the open environment of robotic systems generates a very large execution context, which makes the tests difficult and costly. The purpose of this work is to propose an alternative to validation by developing fault tolerance mechanisms : since it is difficult to eliminate all the errors of the perceptual system, We will try to limit impact in their operation. We studied the inherently fault tolerance allowed by data fusion by formally analyzing the data fusion algorithms, and we have proposed detection and recovery mechanisms suitable for multi-sensor perception, we implemented the proposed mechanisms on vehicle localization application using Kalman filltering data fusion. We evaluated the proposed mechanims using the real data replay and fault injection technique

Les travaux de thèse présentés dans ce mémoire portent sur la contribution de la fusion multi-capteurs par approche probabiliste et de croyance pour la localisation. En effet, deux problématiques de fusion multicapteurs ont été traitées pour l’amélioration de la navigation d’un véhicule terrestre en environnement urbain dense. Dans un premier temps, nous avons proposé une nouvelle solution pour l’intégration des systèmes de navigation : GPS et centrale inertielle (INS). La raison de cette intégration est d’exploiter les avantages de chacun des systèmes utilisés. Cette solution est basée sur de nouveaux filtres non linéaire et non paramétrique. Dans un deuxième temps, deux solutions ont été proposées pour la résolution de la divergence du filtre dans le cas ou les capteurs sont potentiellement défaillants basées sur le modèle de croyances transférables (MCT). La première consiste à introduire un capteur annexe dans les caractéristique sont connues (carte numérique). L’exploitation des informations de la carte numérique s’effectue par une corrélation entre la position du véhicule et les éléments géométriques représentant les routes sur la carte, connue sous le nom de mapmatching. Un nouveau algorithme de map-matching basée sur le MCT a été proposé afin d’identifier le segment de route le plus crédible sur lequel le véhicule est suciptible de se trouver. La deuxième consiste à proposer un algorithme de fusion d’informations permettant de tenir compte du contexte. Cette prise en compte permet de ne sélectionner à tout instant que les mesures pertinentes et de réduire l'importance ou simplement d'exclure les mesures qui pourraient perturber l’information utile
The work presented in this thesis, is focused on the contribution of multisensor fusion by probabilistic and belief approaches for localization. In fact, two problems of multisensor fusion for improving the navigation of land vehicles in dense urban environment have been addressed. As a first step, we proposed a new solution for the integration of navigation systems : GPS and inertial (INS). The reason for the integration is to exploit the advantages of each system used. This solution is based on new nonlinear and nonparametric filters. In a second step, two solutions based on the transferable belief model (TBM) have been proposed to resolve the divergence of the filter in case where these sensors are potentially failing. The first is to introduce an annex sensor in characteristics are known (digital map). The exploitation of digital map information is made by a correlation between the position of the vehicle and the geometric elements representing the roads on the map known as map-matching. A new algorithm for map-matching based on the TBM has been proposed to identify the most credible road that the vehicule is to be suciptible. The second is to propose an algorithm of information fusion to take into account the context. This incorporation allows to select at any time that the relevant measures and to reduce the importance or simply to exclude measures that could disrupt information

Les techniques de fusion et de filtrage utilisées actuellement pour la localisation d’un robot mobile, présentent deux inconvénients majeurs. Le premier est lié au fait qu’aucune information fiable a priori sur l’entrée et la covariance du bruit de mesure n’est généralement disponible. Le second est lié au fait que le processus de localisation est souvent modélisé à l’aide d’un modèle unique, ce qui introduit des erreurs de modélisation qui dégradent la qualité du filtrage. Le travail présenté dans cette thèse constitue deux contributions. La première, consiste à prendre en compte l’existence de plusieurs régimes dans le processus de localisation. Ce dernier est modélisé sous la forme d’un processus hybride à sauts Markoviens, à la fois du point de vue du processus d’état et de celui d’observation. La deuxième contribution consiste d’une part, à effectuer une estimation adaptative en ligne de paramètres statistiques tels les variances des bruits d’état et d’observation et d’autre part, à assurer une gestion optimale des moyens d’observation. La fusion de données est réalisée par des filtres de Kalman adaptatifs linéaires pour les processus linéaires et étendus pour les processus non linéaires. Cette approche a été validée en simulation sur un robot équipé d’un odomètre, de deux télémètres placés perpendiculairement et d’un compas. Pour montrer son efficacité, une analyse comparative de ses performances par rapport à des approches existantes est présentée. Ainsi, les gains en précision apportés par cette approche comparativement aux filtres classiques sont de 2 en translation et de 2 en orientation
Fusion and filtering techniques currently used for the localization of a mobile robot present two main drawbacks. The first one concerns the fact that no a priori reliable information on the input and the measurement noise covariance is generaily available. The second one is tied to the fact that the process of localization is often modelled under the form of a unique model leading to the introduction of modelling errors that degrade the quality of the filtering. The work presented in this thesis presents two contributions. The first one consists in taking into account the existence of several regimes in the localization process. This one is modelled under the form of a Markovian hybrid process both from state and observation procesess point of view. The second contribution consists in proposing an on-une adaptative estimation of statistical parameters such as state and observation noise variances along with an optimal management of observations. The fusion of data is performed by Kalman filters of adaptive linear type for linear process and of adaptive extended type for non linear process. This approach has been validated in simulation on a robot equipped with an odometer, two telemeters perpendicularly displayed and a compas. In order to show its efficiency, a comparative analysis of its performance with respect to existing approaches is presented. Thus, gains values on accuracy obtained hy this approach compared to classical filters are 2 on translation and 2 on orientation

Cette thèse présente la fusion multi-capteurs par un réseau Bayésien appliqué au problème de localisation d'un véhicule sur une carte. La mise en correspondance d'une estimation sur un segment de route ou Road-matching consiste à trouver le segment sur lequel le véhicule roule et la position de ce véhicule sur ce segment. Plusieurs algorithmes utilisent la fusion des estimations données par l'odométrie et le GPS pour traiter le problème du road-matching. Cependant, une simple combinaison du GPS et de l'odométrie ne permet pas de se localiser de manière précise et sans interruption de service. La précision et la continuité de service peuvent être améliorées si on utilise des informations cartographiques qui permettent en particulier de contraindre les positions possibles aux seuls segments correspondants à des voies de circulation autorisées.\\ Dans de nombreux cas, lorsqu'un véhicule se trouve devant des situations ambiguës comme les routes parallèles, les jonctions de routes,... plusieurs auteurs cherchent à sélectionner le segment le plus probable. Cette phase est souvent une source d'erreurs. Dans cette thèse nous proposons de traiter tous les segments candidats jusqu'à la levée de l'ambiguïté. \\ Le problème de la localisation devient encore plus compliqué quand il s'agit d'une localisation multi-véhicules pour une navigation autonome des véhicules suiveurs. Pour un train de véhicules dont seul le premier est piloté par un opérateur humain et dont les véhicules suiveurs sont en mode autopilotage, une géo-localisation précise d'ordre centimétrique de chaque véhicule est plus que nécessaire pour les modules de contrôle pour le suivi de trajectoire du véhicule de tête. \\ Un train de véhicule peut être vu comme la généralisation du modèle de réseau Bayésien pour la localisation d'un véhicule sur une carte. Nous dupliquons le réseau autant de fois qu'on a de véhicule. Nous rajoutons des liens de connexions entre les véhicules afin de concevoir le train de véhicule.\\ Le filtre de Kalman et sa version étendue sont très utilisés en robotique, principalement pour traiter le problème de la non linéarité. Cependant, la linéarisation du système autour de l'estimée courante peut introduire des erreurs sur la moyenne et la covariance calculées \textit{a posteriori} et peut même dans d'autres cas faire diverger le filtre. \\ La transformation du système non linéaire d'un véhicule sous forme chaînée permet de représenter son équation cinématique sous forme linéaire. Par conséquent, cette transformation nous évite de faire appel aux méthodes d'inférence approximatives.

Les systèmes complexes intègrent aujourd'hui de nombreux capteurs physiques ou logiques qui facilitent la prise de décisions optimales en fonction de l'exosystème et de l'endosystème. Ces capteurs sont des sources de données, qui délivrent des informations partielles, imprécises et/ou incertaines, partiellement complémentaires et partiellement redondantes. La théorie des fonctions de croyances offre un cadre formel adapté à la représentation de l'imprécision et de l'incertitude des informations. Cependant, même en modélisant l'ignorance et l'imprécision des sources, l'absence de conflit entre les sources n'est toutefois pas garantie.Dans la théorie des fonctions de croyances, le désaccord entre sources est classiquement mesuré en termes de conflit 'Dempsterien', celui résultant de la combinaison conjonctive des sources, ou de dis-similarité ou distances entre fonctions de croyance. Toutes ces mesures sont globales, et ne donnent pas d'information directe sur la source du conflit.La contribution principale de cette thèse est de décomposer le conflit Dempsterien dans le but d'analyser celui-ci. Nous proposons une décomposition par rapport aux différentes hypothèses simples ou composées, issues de l'espace de discernement. Nous montrons l'unicité de cette décomposition et explicitons l'algorithme de calcul, à partir de la décomposition canonique de la fonction de croyance. Nous interprétons alors chacun des termes de la décomposition comme la contribution au conflit global, apportée par chaque hypothèse simple ou composée. Cette décomposition s'applique à l'analyse du confit intra-source (i.e. le conflit inhérent à la source) ou du conflit inter-sources (i.e. le conflit qui apparait lors de la fusion des sources). Nous illustrons sur des exemples jouets comment l'observation de la répartition du conflit par rapport aux différentes hypothèses peut permettre l'identification de l'origine de certains conflits. Trois applications de notre mesure sont ensuite développées, afin d'illustrer son utilité.La première application concerne la détection préventive de chute un véhicule type bicycle (moto). Les sources de données sont les accélérations mesurées sur les deux roues. Un conflit entre ces mesures, supposées hautement redondantes, voire corrélées, sera alors interprété comme un début de chute. Nous montrons que la décomposition du conflit fournit un indicateur de chute plus fin et précoce que la mesure du conflit Dempsterien.La deuxième application concerne la localisation de véhicule, problème essentiel pour l'autonomie des véhicules d'exploration comme des robots de service. Les sources sont des sorties d'algorithmes d'estimation de mouvement du véhicule. Nous montrons d'abord qu'estimer dynamiquement la fiabilité des sources permet d'améliorer la fusion. Nous montrons ensuite que la décomposition du conflit permet une mesure plus fine de la fiabilité de la fusion que la mesure du conflit Dempsterien. En cas de conflit détecté, l'estimation de la fiabilité de chaque source est ensuite fondée sur la vérification (ou non) d'une hypothèse de régularité temporelle, vérification elle-même basée sur une mesure de distance locale aux hypothèses simples ou composées. La troisième application propose une généralisation de la combinaison hybride de Dubois Prade au cas de la combinaison à N sources. Notre mesure calculant le conflit partiel associé à chaque sous-ensemble d'hypothèses, en nous inspirant du principe de la règle de combinaison hybride, nous redistribuons la masse de ce conflit partiel à la disjonction des hypothèses du sous-ensemble. La décomposition du conflit permet d'identifier de manière unique les différents sous-ensembles d'hypothèses contribuant au conflit.En conclusion, les travaux ont montré que l'information issue de la mesure du conflit, et de sa décomposition, pouvait (devait) être considérée comme une information à part entière, permettant notamment la gestion des sources et des croyances à fusionner.

Dans le cadre de la fusion multi sensorielle, afin d'accélérer la vitesse de traitement des informations issues des différents capteurs du robot, nous combinons les données visuelles avec les données de profondeur (télémètre infrarouge) pour retrouver le mouvement du robot qui se déplace dans un environnement inconnu contenant un certain nombre d'objets rigides et mobiles a priori. Cette méthode a pour point de départ des travaux sur l'estimation itérative du mouvement à partir de la vision 3D et des capteurs ultrasons sans toutefois tenir compte de l'aspect temporel ainsi que des travaux sur la reconstruction 3D trinoculaire. L'originalité de ce travail est de n'utiliser la vision que de temps en temps afin de créer une carte locale de l'environnement. Cette carte est formée de surfaces 3D. Le mouvement est retrouvé de manière itérative (filtre de Kalman étendu) à partir de très peu de données de profondeur. La direction des tirs télémétriques est obtenue en combinant l'estimation courante du mouvement et la prédiction sur la position des plans. Un recalage est nécessaire, en utilisant à nouveau la vision, au bout d'un certain déplacement. La gestion de la fréquence de recalage est faite à partir de deux méthodes proposées : l'une basée sur le calcul d'une erreur de position à chaque instant de recalage et l'autre basée sur l'observation des paramètres d'une surface de référence à chaque instant d'estimation. Les tests de cet algorithme ont été effectués sur des données de synthèse (nous avons réalisé un logiciel permettant de simuler les mouvements du robot dans un environnement polyédrique et d'obtenir des informations synthétiques des différents capteurs). Malheureusement les tests en environnement réel n'ont pu être inclus dans le mémoire puisqu'ils n'ont pu être achevés en temps voulu en raison de problèmes matériels liés à l'utilisation d'un robot mobile.

Les travaux présentés dans cette thèse portent sur l'étude d'une méthode de fusion multi-capteurs pour l'estimation de la localisation 3-D et l'attitude d'un véhicule terrestre. Nous avons développé et validé, en situation réelle, une méthode de fusion centralisée basée sur une modélisation d'état à partir de mesures GNSS/INS provenant du capteur ublox EVK-M8U. Le système de mesure est également alimenté par des données cartographiques routières OSM et d'élévation issues des modèles numériques ASTER/World 30. Certaines mesures sont modélisées par des équations présentant de fortes non-linéarités que nous avons choisies de traiter par filtrage particulaire. La prise en compte des données cartographiques est faite de manière statistique à partir de la métrique de Mahalanobis. En outre, nous avons développé une nouvelle méthode de gestion des modèles numériques d'élévation (MNE), désignée par la méthode de "Fenêtre Glissante Adjacente" (FGA) afin de limiter l'impact des artefacts présents dans ces données. Durant l'étape de gestion du MNE, nous avons mis en oeuvre des approches géométriques (TIN, FGA) qui permettent de rendre plus robuste la correction d'altitude et favorise un accroissement des performances en estimation du paramètre d'inclinaison des segments de la carte routière numérique
Te work presented in this thesis concerns the study of a multi-sensor fusion method for the estimation of 3-D localization and the attitude of a land vehicle. We have developed and validated, in a real situation, a centralized fusion method based on state modeling from GNSS/INS measurements delivered by the ublox EVK-M8U sensor. The measurement system is also completed by OSM digital road maps and elevation data from the ASTER/World 30 digital models. Some measurements are modeled by equations with strong non-linearities which we have chosen to process by particle filtering. The cartographic data are taken into account statistically from the metric of Mahalanobis. In addition, we have developed a new method for managing digital elevation models (DEM), known as the "Fenêtre Glissante Adjacente" (FGA) method, in order to limit the impact of the artifacts that are found in this data. During the DEM management step, we implemented geometric approaches (TIN, FGA) which make the altitude correction more robust and favors an increase in performance in estimating the inclination parameter of the segments of the digital road maps

La démocratisation des terminaux mobiles telle que les téléphones cellulaires, les PDAs et les tablettes PC a rendu possible le déploiement de la réalité augmentée dans des environnements en extérieur à grande échelle. Cependant, afin de mettre en œuvre de tels systèmes, différentes problématiques doivent êtres traitées. Parmi elle, la localisation représente l’une des plus importantes. En effet, l’estimation de la position et de l’orientation (appelée pose) du point de vue (de la caméra ou de l’utilisateur) permet de recaler les objets virtuels sur les parties observées de la scène réelle. Dans nos travaux de thèse, nous présentons un système de localisation original destiné à des environnements à grande échelle qui utilise une approche basée vision sans marqueur pour l’estimation de la pose de la caméra. Cette approche se base sur des points caractéristiques naturels extraits des images. Etant donné que ce type d’approche est sensible aux variations de luminosité, aux occultations et aux mouvements brusques de la caméra, qui sont susceptibles de survenir dans l’environnement extérieur, nous utilisons deux autres types de capteurs afin d’assister le processus de vision. Dans nos travaux, nous voulons démontrer la faisabilité d’un schéma de suppléance dans des environnements extérieurs à large échelle. Le but est de fournir un système palliatif à la vision en cas de défaillance permettant également de réinitialiser le système de vision en cas de besoin. Le système de localisation vise à être autonome et adaptable aux différentes situations rencontrées
The democratization of mobile devices such as smartphones, PDAs or tablet-PCs makes it possible to use Augmented Reality systems in large scale environments. However, in order to implement such systems, many issues must be adressed. Among them, 3D localization is one of the most important. Indeed, the estimation of the position and orientation (also called pose) of the viewpoint (of the camera or the user) allows to register the virtual objects over the visible part of the real world. In this paper, we present an original localization system for large scale environments which uses a markerless vision-based approach to estimate the camera pose. It relies on natural feature points extracted from images. Since this type of method is sensitive to brightness changes, occlusions and sudden motion which are likely to occur in outdoor environment, we use two more sensors to assist the vision process. In our work, we would like to demonstrate the feasibility of an assistance scheme in large scale outdoor environment. The intent is to provide a fallback system for the vision in case of failure as well as to reinitialize the vision system when needed. The complete localization system aims to be autonomous and adaptable to different situations. We present here an overview of our system, its performance and some results obtained from experiments performed in an outdoor environment under real conditions

La perception est un point clé pour le fonctionnement d'un véhicule autonome ou même pour un véhicule fournissant des fonctions d'assistance. Un véhicule observe le monde externe à l'aide de capteurs et construit un modèle interne de l'environnement extérieur. Il met à jour en continu ce modèle de l'environnement en utilisant les dernières données des capteurs. Dans ce cadre, la perception peut être divisée en deux étapes : la première partie, appelée SLAM (Simultaneous Localization And Mapping) s'intéresse à la construction d'une carte de l'environnement extérieur et à la localisation du véhicule hôte dans cette carte, et deuxième partie traite de la détection et du suivi des objets mobiles dans l'environnement (DATMO pour Detection And Tracking of Moving Objects). En utilisant des capteurs laser de grande précision, des résultats importants ont été obtenus par les chercheurs. Cependant, avec des capteurs laser de faible résolution et des données bruitées, le problème est toujours ouvert, en particulier le problème du DATMO. Dans cette thèse nous proposons d'utiliser la vision (mono ou stéréo) couplée à un capteur laser pour résoudre ce problème. La première contribution de cette thèse porte sur l'identification et le développement de trois niveaux de fusion. En fonction du niveau de traitement de l'information capteur avant le processus de fusion, nous les appelons "fusion bas niveau", "fusion au niveau de la détection" et "fusion au niveau du suivi". Pour la fusion bas niveau, nous avons utilisé les grilles d'occupations. Pour la fusion au niveau de la détection, les objets détectés par chaque capteur sont fusionnés pour avoir une liste d'objets fusionnés. La fusion au niveau du suivi requiert le suivi des objets pour chaque capteur et ensuite on réalise la fusion entre les listes d'objets suivis. La deuxième contribution de cette thèse est le développement d'une technique rapide pour trouver les bords de route à partir des données du laser et en utilisant cette information nous supprimons de nombreuses fausses alarmes. Nous avons en effet observé que beaucoup de fausses alarmes apparaissent sur le bord de la route. La troisième contribution de cette thèse est le développement d'une solution complète pour la perception avec un capteur laser et des caméras stéréo-vision et son intégration sur un démonstrateur du projet européen Intersafe-2. Ce projet s'intéresse à la sécurité aux intersections et vise à y réduire les blessures et les accidents mortels. Dans ce projet, nous avons travaillé en collaboration avec Volkswagen, l'Université Technique de Cluj-Napoca, en Roumanie et l'INRIA Paris pour fournir une solution complète de perception et d'évaluation des risques pour le démonstrateur de Volkswagen.

Ce travail traite la Modélisation 3D d'un environnement intérieur par un robot mobile. La principale contribution concerne la construction d'un modèle géométrique hétérogène combinant des amers plans texturés, des lignes 3D et des points d'intérêt. Pour cela, nous devons fusionner des données géométriques et photométriques. Ainsi, nous avons d'abord amélioré la stéréovision, en proposant une approche de la mise en correspondance stéréoscopique par coupure de graphe. Notre contribution réside dans la construction d'un graphe réduit qui a permis d'accélérer la méthode globale et d'obtenir de meilleurs résultats que les méthodes locales. Aussi, pour percevoir l'environnement, le robot est équipé d'un télémètre laser 3D et d'une caméra. Nous proposons une chaîne algorithmique permettant de construire une carte hétérogène, par l'algorithme de Cartographie et Localisation Simultanées (EKF-SLAM). Le placage de la texture sur les facettes planes a permis de solidifier l'association de données
This thesis examines the problem of 3D Modelling of indoor environment by a mobile robot. Our main contribution consists in constructing a heterogeneous geometrical model containing textured planar landmarks, 3D lines and interest points. For that, we must fuse geometrical and photometrical data. Hence, we began by improving the stereo vision algorithm, and proposed a new approach of stereo matching by graph cuts. The most significant contribution is the construction of a reduced graph that allows to accelerate the global method and to provide better results than the local methods. Also, to perceive the environment, the robot is equipped by a 3D laser scanner and by a camera. We proposed an algorithmic chain allowing to incrementally constructing a heterogeneous map, using the algorithm of Simultaneous Localization and Mapping based (EKF-SLAM). Mapping the texture on the planar landmarks makes more robust the phase of data association