Добірка наукової літератури з теми "Localisation 3D en temps réel"

Cet article interroge la représentation de la forêt dans Éducation européenne (1945) de Romain Gary : lieu de vie des personnages du roman, elle en est de facto le cadre romanesque. Mais n’est-t-elle pour autant qu’une localisation géographique ou un effet de réel ? En tant qu’espace sauvage et préservé de la guerre qui fait rage dans le reste du roman, mais aussi en tant qu’espace où émerge et se concentre la critique de la barbarie humaine, la forêt devient alors une hétérotopie telle que la théorise Michel Foucault et dont nous proposons ici une lecture écopoétique. Gary fait de la forêt un espace qui fait sens et qui, paradoxalement, symbolise la survivance de l’humanisme dans les temps où il est le plus menacé.

Au cours de cet exposé nous présenterons nos activités de recherche dans plusieurs domaines. Nous commencerons par le domaine de la réalité virtuelle qui correspond à l’interaction avec des univers 3D simulés et restitués en temps réel par des ordinateurs. La réalité virtuelle permet d’envisager des applications nombreuses en médecine tels que les simulateurs chirurgicaux pour s’entraîner sur des patients virtuels ou bien, en psychiatrie, des simulateurs immersifs permettant de traiter des phobies par exposition parfaitement contrôlée des patients. Nous évoquerons ensuite le domaine des interfaces cerveau-ordinateur qui permet d’extraire et d’analyser en temps réel l’activité cérébrale d’un utilisateur équipé d’un casque EEG (électro-encéphalo-graphie) pour pouvoir par exemple piloter des prothèses ou des fauteuils roulants sans activité motrice et uniquement « par la pensée ». Ces technologies peuvent être combinées et viser des applications de Neurofeedback. Ainsi au cours d’un projet récent nous avons participé à l’élaboration d’un simulateur de classe virtuelle dans laquelle des enfants souffrant de troubles attentionnels (ADHD) peuvent être immergés virtuellement et progressivement travailler leurs rythmes cérébraux liés à l’attention et à leur pathologie.

Nous présentons le principe de modélisation par le flux comme un paradigme de modélisation distribuée adaptée à la phase initiale de conception de l’architecture s’inspirant du principe de la programmation par le flux. Au moyen d’un serveur 3D, un nombre arbitraire de logiciels peuvent coopérer en temps réel à la création d’un « modèle collaborant » conçu comme la somme des opérations de modélisation rassemblées audelà des strictes limites de chacune des applications participantes.

Ce travail marque une première étape dans la définition d'une méthode de correction du flou de mouvement observé dans les clichés pris avec un long temps d'exposition par un véhicule de cartographie mobile. Dans l'approche proposée, nous prenons en considération à la fois les données inertielles provenant d'accéléromètres et de gyroscopes et les données de variation de la profondeur de la scène fournies par des mesures Lidar ou un modèle 3D. Notre algorithme utilise toutes les données utiles afin de déterminer au mieux la fonction d'étalement du point en chaque pixel. Nous proposons également un premier essai de correction du flou en utilisant les noyaux de flou non uniforme et spatialement variant que nous avons obtenus en suivant une approche de reconstruction spatiale. Notre méthode est actuellement validée sur des prises de vue floues non bruitées obtenues par images de synthèse qui reproduisent le mouvement réel du véhicule. Nous précisons enfin comment il est envisagé d'obtenir une correction de l'image complète et d'améliorer encore ces premiers travaux.

Introduction : La pandémie à nouveau coronavirus (COVID-19) due au nouveau virus du syndrome respiratoire aiguë sévère de type 2 (SARS-CoV-2), a tiré la sonnette d'alarme sur les capacités des laboratoires de par le monde entier, et particulièrement en Afrique.Objectif: Identifier les défis rencontrés par les laboratoires de diagnostic du SARS-CoV-2 au Burkina Faso.Matériel et méthodes : Il s'est agi d'une recherche documentaire basée sur la consultation des articles scientifiques disponibles dans Pubmed, Google scholar, les documents du Service d'Information du Gouvernement, du Ministère de la santé et des laboratoires du Burkina Faso. Les mots clés utilisés étaient : COVID-19,SARS-CoV-2, laboratoire, diagnostic, Burkina Faso en français et en anglais. Résultats: Au Burkina Faso, face à la demande croissante en tests de diagnostic, des défis tels que l'approvisionnement limité en ressources de laboratoire, la continuité de l'alimentation électrique, le stockage des échantillons et la gestion des déchets biomédicaux ont été identifiés. Le nombre de laboratoires est limités, et leur localisation dans les grandes villes délaisse une dizaine d'autres régions. La technique de diagnostic moléculaire par RT-PCR en temps réel a été initialement utilisée avant la prise en compte du GeneXpert pour la décentralisation du diagnostic. Conclusion: L'incertitude sur l'approvisionnement et la disponibilité permanente des ressources des laboratoires pourrait constituer un handicap important en cas de recrudescence de COVID-19. Des efforts devraient être faits en investissant davantage dans l'équipement, l'approvisionnement en intrants de diagnostic et dans la recherche afin de parer aux éventuels cas de regain de la maladie.

Le barrage d’Arzal est un ouvrage clé pour la gestion des niveaux sur le bassin de la Vilaine aval et une réserve d’eau douce alimentant la plus importante unité de production d’eau potable de Bretagne. Cette réserve est multi-usage et peut engendrer des conflits complexes à gérer, notamment en période de sécheresse. Le barrage est équipé d’une écluse, entraînant des intrusions d’eau de mer lors des éclusées, et d’un système de siphons, permettant de capter la majeure partie des eaux salées parasites et de les rediriger vers l’estuaire. Cependant, en étiage, une fraction d’eau salée peut remonter dans le plan d’eau et dégrader la qualité de l’eau à la prise d’eau de l’usine. Dans un contexte de changement climatique, les périodes de sécheresse ainsi que les conflits d’usage pourraient devenir plus intenses. L’amélioration des connaissances des phénomènes complexes de diffusion des eaux salées en amont du barrage permettrait de piloter au mieux l’ouvrage, en validant ou identifiant des pratiques de gestion. L’étude de solutions de limitation transitoires « simples » pourrait également permettre d’optimiser cette gestion. Le projet transversal avec quatre parties prenantes (EPTB Vilaine, imaGeau, Saur et Inria), réalisé de 2016 à 2018, a permis de répondre à ces objectifs. Les résultats de cette étude montrent l’importance des outils de mesure de salinité en continu innovants en temps réel pour l’aide à la décision de restrictions de certains usages si la ressource est menacée, via un retour d’expérience sur trois ans de mesures. Il montre également l’utilisation et la valorisation de la donnée, en mode prédictif, via la construction d’un modèle mathématique 3D de diffusion de la salinité, intégrant l’ensemble des ouvrages. La modélisation a également permis de simuler et d’étudier les performances de solutions de limitation des phénomènes de remontées d’eaux salées afin de choisir la mieux adaptée.

Depuis quelques années, des véhicules de cartographie mobile ont été développés pour acquérir des données géoréférencées très précises et en grande quantité au niveau du canyon urbain. L'application majeure des données collectées par ces véhicules est d'améliorer les bases de données géographiques existantes, en particulier leur précision, leur niveau de détail et la diversité des objets représentés. On peut citer entre autres applications la modélisation géométrique fine et la texturation des façades, l'extraction de "petits" objets comme les troncs d'arbres, poteaux, panneaux, mobiliers urbain, véhicules,...Cependant, les systèmes de géopositionnement de ces véhicules ne parviennent pas à fournir une localisation d'une précision suffisante pour cette tâche. En particulier, les masques GPS fréquents en milieu urbain sont paliés par les mesures de la centrale inertielle grâce à un algorithme de fusion de données pouvant entraîner une dérive. C'est pourquoi, un recalage est indispensable pour mettre en correspondance ces données mobiles très détaillées avec les bases de données géographiques moins détaillées mais mieux géopositionnées, qu'elles soient 2D ou 3D.Cet article présente une méthode générique et efficace permettant un tel recalage. Le processus est basé sur une méthode de type ICP ("Iterative Closest Point") point à plan.On suppose que l'erreur de géopositionnement, ou dérivevarie de façon non linéaire, mais lentement en fonction du temps. On modélise donc la trajectoire par une "chaîne" ayant une certaine rigidité. A chaque itération, la trajectoire est déformée afin de minimiser la distance des points laser aux primitives planes du modèle.Cette méthode permet d'approximer la dérive par une fonction linéaire par intervalle de temps.La méthode est testée sur des données réelles ( 3,6 millions de points laser acquis sur un quartier de la ville de Paris sont recalés sur un modèle 3D d'environ 71.400 triangles). Enfin, la robustesse et la précision de cet algorithme sont évaluées et discutées.

La thèse s'inscrit dans le domaine de la vision par ordinateur. Il s'agit, dans un environnement intérieur inconnu, partiellement connu ou connu de trouver la position et l'orientation d'une camera mobile en temps réel à partir d'une séquence vidéo prise par cette même camera. Le sujet implique également la reconstruction 3D de l'environnement. Les algorithmes de vision seront implémentés et testés sur des plateformes massivement parallèles. Processing the video sequence of a indoor camera in motion we have to find the position and angle of the camera in real time. We will use a single prime lens camera. It may involve an unknown, partially known or well known environment. A big part of the computation is the 3D reconstruction of the scene. The algorithms used to locate the camera will be implemented and tested on GPU
In this thesis, we explore the problem of modeling an unknown environment using monocular vision for localization applications. We focus in modeling dynamic indoor environments. Many objects in indoor environments are likely to be moved. These movements significantly affect the structure and appearance of the environment and disrupt the existing methods of visual localization. We present in this work a new approach for modeling the environment and its evolution with time. We define explicitly the scene as a static structure and a set of dynamic objects. The object is defined as a rigid entity that a user can take, move and that is visually detectable. First, we show how to automatically discover new objects in a dynamic environment. Existing methods of visual localization simply ignore the inconsistencies due to changes in the scene. We aim to analyze these changes to extract additional information. Without any prior knowledge, an object is a set of points with coherent motion relative to the static structure of the scene. We combine two methods of visual localization to compare various explorations in the same environment taken at different time. The comparison enables to detect objects that have moved between the two shots. For each object, a geometric model and an appearance model are learned. Moreover, we extend the scene model while updating the metrical map and the topological map of the static structure of the environment. Object discovery using motion is based on a new algorithm of multiple structures detection in an image pair. Given a set of correspondences between two views, the method based on RANSAC extracts the different structures corresponding to different model parameterizations seen in the data. The method is applied to homography estimation to detect planar structures and to fundamental matrix estimation to detect structures that have been shifted one from another. Our approach for dynamic scene modeling is applied in a new formulation of place recognition to take into account the presence of dynamic objects in the environment. The model of the place consists in an appearance model of the static structure observed in that place. An object database is learned from previous observations in the environment with the method of object discovery using motion. The place recognition we propose detects the dynamic objects seen in the place and rejects the false detection due to these objects. The different methods described in this dissertation are tested on synthetic and real data. Qualitative and quantitative results are presented throughout the dissertation

Cette étude va se focaliser sur trois aspects. Dans un premier temps, un effort sera porté sur l'aspect "localisation précise" du véhicule en mouvement. Pour cela, il est nécessaire de se pencher sur l'intégration et le traitement de l'information issue de systèmes hétérogènes de navigation: GPS et centrale inertielle (INS) auxquels sera rajoutée ensuite l'odométrie. La raison de cette intégration est d'exploiter les avantages de chacun des systèmes utilisés. L'intégration utilise un filtrage numérique pour procéder à une compensation des erreurs en position, vitesse, et en attitude issues de chaque capteur. L'accent n'a pas seulement été mis sur l'intégration, mais aussi sur les notions de précision des résultats. Dans un deuxième temps, nous allons nous intéresser à la fois à la validation quantitative et qualitative des résultats et à l'élaboration d'une application exploitant notre travail. Les erreurs du système sont comparées avec une trajectoire de référence. Nous avons choisi de réaliser un système de numérisation tridimensionnelle de l'environnement couplé à un système de modélisation adapté au type d'environnement. L'étude se penchera sur le capteur d'acquisition de données télémétriques et son intégration à bord du véhicule. Un intérêt particulier est porté sur la qualité et les imprécisions des données retournées par le télémètre. L'acquisition des données se fera au vol et pendant le déplacement du véhicule. Enfin, le modèle obtenu sera exploité, de deux manières: la constitution d'un modèle géométrique et topologique précis puis l'extraction d'informations sémantiques du modèle (extraction de la route ou des obstacles fixes, identifications d'amers, caractérisation de la route, etc.).

Le problème de la reconstruction 3D à partir d'une séquence d'images acquise par une caméra en mouvement est un sujet important dans le domaine de la vision par ordinateur. Ce travail de thèse présente une méthode qui permet d'estimer conjointement des points 3D de la scène filmée et le mouvement de la caméra en combinant la précision des méthodes "horsligne" (basées sur une optimisation globale de tous les paramètres par ajustement de faisceaux) et la vitesse de calcul des méthodes incrémentales. La nouvelle approche est considérée comme une accélération des techniques classiques de reconstruction 3D qui utilisent l'ajustement de faisceaux, permettant ainsi de traiter de longues séquences vidéos. L'algorithme développé peut être résumé de la façon suivante : détection de points d'intérêt dans les images, mise en correspondance de ces points et souséchantillonnage temporel de la vidéo. En effet, seul un sousensemble d'images dites "images clef" est sélectionné pour la reconstruction des points 3D alors que la localisation de la caméra est calculée pour chaque image. Le point clef de l'approche est l'ajustement de faisceaux local : les paramètres de la reconstruction sont affinés sur la fin de la séquence uniquement, à chaque fois qu'une image est choisie comme nouvelle image clef. La méthode, initialement prévue pour les caméras perspectives, a ensuite été généralisée de manière à rendre possible l'utilisation d'autres types de caméras, comme les caméras catadioptriques ou encore les paires rigides de caméras. Les résultats obtenus montrent que la précision atteinte est du même ordre que celle des méthodes par optimisation globale, avec des temps de calcul très réduits, ce qui permet de viser des applications d'odométrie visuelle temps réel pour la robotique mobile ou l'aide à la conduite en automobile. Realtime

Le problème de la reconstruction 3D à partir d'une séquence d'images acquise par une caméra en mouvement est un sujet important dans le domaine de la vision par ordinateur. Ce travail de thèse présente une méthode qui permet d'estimer conjointement des points 3D de la scène filmée et le mouvement de la caméra en combinant la précision des méthodes "hors-ligne" (basées sur une optimisation globale de tous les paramètres par ajustement de faisceaux) et la vitesse de calcul des méthodes incrémentales. La nouvelle approche est considérée comme une accélération des techniques classiques de reconstruction 3D qui utilisent l'ajustement de faisceaux, permettant ainsi de traiter de longues séquences vidéos. L'algorithme développé peut être résumé de la façon suivante : détection de points d'intérêt dans les images, mise en correspondance de ces points et sous-échantillonage temporel de la vidéo. En effet, seul un sous-ensemble d'images dites "images clefs" est sélectionné pour la reconstruction des points 3D alors que la localisation de la caméra est calculée pour chaque image. Le point clef de l'approche est l'ajustement de faisceaux local : les paramètres de la reconstruction sont affinés sur la fin de la séquence uniquement, à chaque fois qu'une image est choisie comme nouvelle image clef. La méthode, initialement prévue pour les caméras perspectives, a été généralisée de manière à rendre possible l'utilisation d'autres types de caméras, comme les caméras catadioptriques ou encore les paires rigides de caméras. Les résultats obtenus montrent que la précision atteinte est du même ordre que celle des méthodes par optimisation globale, avec des temps de calcul très réduits, ce qui permet de viser des applications d'odométrie visuelle temps-réel pour la robotique mobile ou l'aide à la conduite en automobile

Le développement des systèmes autonomes engendre des besoins en perception de l'environnement de plus en plus élevés dans les systèmes électroniques embarqués. Les voitures autonomes, les drones, ou encore les casques à réalité mixte présentent des facteurs de forme limités et un budget de puissance énergétique restreint pour les performances en temps-réel. Par exemple, les cas applicatifs cités ont un budget compris entre 300W-10W, 15W-10W et 10W-10mW respectivement. La thèse se place dans le domaine des systèmes autonomes et mobiles ayant un budget de consommation de 10mW à 15W avec l'utilisation de capteurs d'images et de la centrale inertielle (IMU). La méthode Simultaneous Localization And Mapping (SLAM) fournit aux systèmes autonomes et mobiles une perception précise et robuste de l'environnement en temps-réel et sans connaissances préalables. La thèse a pour objectif de répondre à la problématique de l'exécution temps-réel du système SLAM dans son ensemble composé de fonctions de perception avancées allant de la localisation à la reconstruction 3D sur du matériel à ressources restreintes. Dans ce cadre, deux principales questions sont posées pour répondre aux défis de l'état de l'art. Comment réduire les besoins en ressources de ces fonctions de perception ? Quel est le partitionnement de la chaîne de traitement SLAM pour le système hétérogène intégrant plusieurs unités de calcul allant du circuit intégré au capteur d'image, au traitement proche capteur (FPGA) et dans la plateforme embarquée (ARM, GPU embarqué) ?. La première question abordée dans la thèse concerne le besoin de réduire les ressources utilisées par la chaîne de traitement SLAM, de la sortie du capteur à la reconstruction 3D. Dans ce sens, les travaux détaillés dans le manuscrit apportent deux principales contributions. La première présente le traitement dans le circuit intégré au capteur en impactant les caractéristiques de l'image grâce à la réduction de la dynamique. La seconde impacte le pilotage du flux d'image envoyé dans la chaîne de traitement SLAM avec un traitement proche capteur. La première contribution vise à réduire l'empreinte mémoire des algorithmes SLAM en évaluant l'impact de la réduction de la dynamique du pixel sur la précision et la robustesse de la localisation et la reconstruction 3D temps-réel. Les expérimentations menées ont montré que l'on peut réduire la donnée d'entrée jusqu'à 75% correspondant à moins de 2 bits par pixel tout en obtenant une précision similaire à la référence 8 bits par pixel. Ces résultats ont été obtenus en évaluant la précision et la robustesse de quatre algorithmes SLAM différents sur deux bases de données. La seconde contribution vise à réduire la quantité de données injectée dans le SLAM par le filtrage adaptatif qui est la stratégie de décimation pour contrôler le flux d'entrée des images. Le déclenchement des images provenant du capteur est initialement à un flux constant (20 images par seconde). Cela implique une consommation d'énergie, de mémoire, de bande passante et augmente la complexité calculatoire. Pouvons-nous réduire cette quantité de données à traiter ? Dans le cadre du SLAM, la précision et le nombre de calculs à effectuer dépendent fortement du mouvement du système. Grâce à l'IMU qui fournit les accélérations linéaires et angulaires, les données sont injectées en fonction du mouvement du système. Ces images clés sont obtenues grâce à la méthode de filtrage adaptatif (AF). Bien que les résultats dépendent de la difficulté des bases de données choisies, les expérimentations menées ont montré que l'AF permet de décimer jusqu'à 80% des images tout en assurant une erreur de localisation faible et similaire à la référence. L'étude de l'impact mémoire dans le contexte embarqué montre que le pic de consommation est réduit jusqu'à 92%
The development of autonomous systems has an increasing need for perception of the environment in embedded systems. Autonomous cars, drones, mixed reality devices have limited form factor and a restricted budget of power consumption for real-time performances. For instance, those use cases have a budget in the range of 300W-10W, 15W-10W and 10W-10mW respectively. This thesis is focused on autonomous and mobile systems with a budget of 10mW to 15W with the use of imager sensors and the inertial measurement unit (IMU). Simultaneous Localization And Mapping (SLAM) provides accurate and robust perception of the environment in real-time without prior knowledge for autonomous and mobile systems. The thesis aims at the real-time execution of the whole SLAM system composed of advanced perception functions, from localization to 3D reconstruction, with restricted hardware resources. In this context, two main questions are raised to answer the challenges of the literature. How to reduce the resource requirements of advanced perception functions? What is the SLAM pipeline partitioning for the heterogeneous system that integrates several computing units, from the embedded chip in the imager, to the near-sensor processing (FPGA) and in the embedded platform (ARM, embedded GPU)?. The first issue addressed in the thesis is about the need to reduce the hardware resources used by the SLAM pipeline, from the sensor output to the 3D reconstruction. In this regard, the work described in the manuscript provides two main contributions. The first one presents the processing in the embedded chip with an impact on the image characteristics by reducing the dynamic range. The second has an impact on the management of the image flow injected in the SLAM pipeline with a near-sensor processing. The first contribution aims at reducing the memory footprint of the SLAM algorithms with the evaluation of the pixel dynamic reduction on the accuracy and robustness of real-time localization and 3D reconstruction. The experiments show that we can reduce the input data up to 75% corresponding to 2 bits per pixel while maintaining a similar accuracy than the baseline 8 bits per pixel. Those results have been obtained with the evaluation of the accuracy and robustness of four SLAM algorithms on two databases. The second contribution aims at reducing the amount of data injected in SLAM with a decimation strategy to control the input frame rate, called the adaptive filtering. Data are initially injected in constant rate (20 frames per second). This implies a consumption of energy, memory, bandwidth and increases the complexity of calculation. Can we reduce this amount of data ? In SLAM, the accuracy and the number of operations depend on the movement of the system. With the linear and angular accelerations from the IMU, data are injected based on the movement of the system. Those key images are injected with the adaptive filtering approach (AF). Although the results depend on the difficulty of the chosen database, the experiments describe that the AF allows the decimation of up to 80% of the images while maintaining low localization and reconstruction errors similar to the baseline. This study shows that in the embedded context, the peak memory consumption is reduced up to 92%

Un besoin applicatif existe en terme de localisation 3D d’objets par vision. Cette technologie devient en effet de plus en plus populaire dans le milieu industriel où elle peut être utile lors de contrôle qualité, de robotisation de tâches ou encore d’aide à la maintenance par Réalité Augmentée. Néanmoins, le déploiement de telles applications est actuellement limité en raison de la difficulté à allier qualité de localisation, facilité de mise en oeuvre et généricité de la solution. En effet, la majorité des solutions implique : soit des étapes de mise en oeuvre complexes comme avec l’installation de capteurs de mouvement ou une préparation supervisée du modèle CAO; soit un manque de précision de la localisation dans le cadre de certaines applications nécessitant de prendre en compte des mouvements de fortes amplitudes de la caméra (provoquant du flou de bouger et des tremblements dans le flux vidéo) ainsi que des occultations partielles ou totales de l’objet ; soit enfin une restriction sur la nature de l’objet, celui-ci devant être texturé, de petite taille ou encore polyédrique pour avoir une bonne localisation. La plupart des solutions de localisation existantes correspondent à des approches de suivi basé modèle. Cette méthode consiste à estimer la pose relative entre la caméra et l’objet d’intérêt par mises en correspondance de primitives 3D extraites du modèle avec des primitives 2D extraites d’images d’un flux vidéo. Pour autant, cette approche atteint ses limites lorsque l’objet est difficilement observable dans l’image.Afin d’améliorer la localisation lorsque l’application concerne un objet fixe, de récentes solutions se sont appuyées en complément des primitives du modèle, sur des primitives de l’environnement reconstruites au cours du processus de localisation. Ces approches combinent algorithmes de SLAM (Simultaneous Localization And Mapping) et de suivi d’objet basé contours en utilisant les informations du modèle comme contrainte dans le processus d’optimisation du SLAM. Pour cela, un terme d’erreur est ajouté à la fonction de coût classique.Celui-ci mesure l’erreur de re-projection entre des primitives 3D issues des arêtes franches du modèle et les points de contour 2D dans l’image qui leur sont associés. L’ajout de cette contrainte permet d’exprimer la localisation du SLAM dans le repère de l’objet d’intérêt tout en réduisant sa dérive. Les solutions de SLAM contraint au modèle n’exploitant cependant que les contours francs du modèle, ne sont pas génériques et ne permettent de localiser que des objets polyédriques. De plus, l’ajout de cette contrainte entraîne une forte augmentation de la consommation mémoire, les images de contours nécessaires à l’étape de mise en correspondance devant être conservées.Les travaux présentés dans ce mémoire de thèse visent à fournir une solution répondant simultanément à l’ensemble des besoins concernant la facilité de déploiement, la qualité de localisation et la généricité sur la nature des objets suivis. Aussi, notre solution basée sur un algorithme de SLAM visuel contraint basé images clés, se restreint-elle au seul usage d’une caméra couleur, les caméras RGBD impliquant généralement une limite sur le volume, la nature réflective ou absorbante de l’objet, et sur la luminosité de son environnement. Cette étude est en outre restreinte à la seule exploitation de modèles 3D géométrique non texturés, les textures pouvant difficilement être considérées comme stables dans le temps (usure, taches...) et pouvant varier pour un même objet manufacturé. De plus, les modèles à base de nuages de descripteurs locaux ou les modèles surfaciques texturés sont actuellement des données peu disponibles dans l’industrie. Enfin, nous faisons le choix d’estimer la pose de la caméra de manière géométrique et non par apprentissage. Le suivi d’objets à l’aide d’apprentissage automatique est en effet encore difficilement exploitable en milieu industriel. (...)
In the industry domain, applications such as quality control, automation of complex tasks or maintenance support with Augmented Reality (AR) could greatly benefit from visual tracking of 3D objects. However, this technology is under-exploited due to the difficulty of providing deployment easiness, localization quality and genericity simultaneously. Most existing solutions indeed involve a complex or an expensive deployment of motion capture sensors, or require human supervision to simplify the 3D model. And finally, most tracking solutions are restricted to textured or polyhedral objects to achieved an accurate camera pose estimation.Tracking any object is a challenging task due to the large variety of object forms and appearances. Industrial objects may indeed have sharp edges, or occluding contours that correspond to non-static and view-point dependent edges. They may also be textured or textureless. Moreover, some applications require to take large amplitude motions as well as object occlusions into account, tasks that are not always dealt with common model-based tracking methods. These approaches indeed exploit 3D features extracted from a model, that are matched with 2D features in the image of a video-stream. However the accuracy and robustness of the camera localization depend on the visibility of the object as well as on the motion of the camera. To better constrain the localization when the object is static, recent solutions rely on environment features that are reconstructed online, in addition to the model ones. These approaches combine SLAM (Simultaneous Localization And Mapping) and model-based tracking solutions by using constraints from the 3D model of the object of interest. Constraining SLAM algorithms with a 3D model results in a drift free localization. However, such approaches are not generic since they are only adapted for textured or polyhedral objects. Furthermore, using the 3D model to constrain the optimization process may generate high memory consumption,and limit the optimization to a temporal window of few cameras. In this thesis, we propose a solution that fulfills the requirements concerning deployment easiness, localization quality and genericity. This solution, based on a visual key-frame-based constrained SLAM, only exploits an RGB camera and a geometric CAD model of the static object of interest. An RGB camera is indeed preferred over an RGBD sensor, since the latter imposes limits on the volume, the reflectiveness or the absorptiveness of the object, and the lighting conditions. A geometric CAD model is also preferred over a textured model since textures may hardly be considered as stable in time (deterioration, marks,...) and may vary for one manufactured object. Furthermore, textured CAD models are currently not widely spread. Contrarily to previous methods, the presented approach deals with polyhedral and curved objects by extracting dynamically 3D contour points from a model rendered on GPU. This extraction is integrated as a structure constraint into the constrained bundle adjustment of a SLAM algorithm. Moreover we propose different formalisms of this constraint to reduce the memory consumption of the optimization process. These formalisms correspond to hybrid structure/trajectory constraints, that uses output camera poses of a model-based tracker. These formalisms take into account the structure information given by the 3D model while relying on the formalism of trajectory constraints. The proposed solution is real-time, accurate and robust to occlusion or sudden motion. It has been evaluated on synthetic and real sequences of different kind of objects. The results show that the accuracy achieved on the camera trajectory is sufficient to ensure a solution perfectly adapted for high-quality Augmented Reality experiences for the industry

Ce mémoire de thèse présente la réalisation d'un système de localisation pour un robot mobile fondé sur la vision monoculaire. L'objectif de ces travaux est de pouvoir faire naviguer un véhicule robotique sur parcours donné en milieu urbain. Le robot est d'abord conduit manuellement. Pendant cette phase d'apprentissage, la caméra embarquée enregistre une séquence vidéo. Après un traitement approprié hors ligne, une image prise avec le même matériel permet de localiser le robot en temps réel. Cette localisation peut être utilisée pour commander le robot et faire en sorte qu'il suive de façon autonome le même parcours que durant la phase d'apprentissage. Le principe retenu consiste à construire une carte tridimensionnelle de la zone parcourue pendant la phase d'apprentissage, puis à se servir de la carte pour se localiser. Une grande partie de ce mémoire est consacré à l'étude des performances du système

Dans l'objectif de traiter les tumeurs cérébrales difficilement accessibles avec les outils chirugicaux actuels, Robeauté développe un microrobot innovant dans l'objectif de naviguer dans les zones cérébrales profondes avec un minimum d'invasivité. L'objectif de cette thèse a été de développer et de valider un système de suivi ultrasonore transcrânien du microrobot afin de pouvoir implémenter des commandes robotiques et garantir ainsi la sûreté et l'efficacité de l'intervention.L'approche proposée consiste à placer trois émetteurs ultrasonores sur la tête du patient, et à embarquer un récepteur ultrasonore sur le microrobot. En connaissant la vitesse du son dans les tissus biologiques et l'épaisseur de crâne traversée, il est possible d'estimer les distances entre les émetteurs et le récepteur par mesure de temps de vol, et d'en déduire sa position 3D par trilatération. Une preuve de concept a d'abord été réalisée à travers un modèle de crâne d'épaisseur constante, démontrant une précision de localisation submillimétrique. Pour se placer dans un contexte clinique, le système a ensuite été évalué à travers un modèle de calvaria dont l'épaisseur et la vitesse du son en face de chaque émetteur ont été déduites par tomodensitométrie. Le système a démontré une précision de localisation moyenne de 1.5 mm, soit une dégradation de la précision d'1 mm comparée à celle du suivi à travers le modèle de crâne d'épaisseur constante, expliquée par l'incertitude apportée par l'épaisseur hétérogène de la calvaria. Enfin, trois tests pré-cliniques, sans possibilité d'évaluer l'erreur de localisation, ont été réalisés : (i) un test post-mortem sur un humain, (ii) un test post-mortem sur une brebis, (iii) et un test in vivo sur une brebis.De futures pistes d'amélioration du système de suivi ont été proposées, telles que (i) l'utilisation de simulation de propagation ultrasonore transcrânienne basée sur une tomodensitométrie pour la prise en compte des hétérogénéités du crâne, (ii) la miniaturisation du capteur ultrasonore embarqué sur le microrobot, (iii) ainsi que l'intégration d'une imagerie ultrasonore pour la visualisation de la vascularisation locale autour du microrobot, permettant ainsi de réduire le risque de lésions et de détecter d'éventuelles angiogenèses pathologiques
With the aim of treating brain tumors difficult to access with current surgical tools, Robeauté is developing an innovative microrobot to navigate deep brain areas with minimal invasiveness. The aim of this thesis was to develop and validate a transcranial ultrasound-based tracking system for the microrobot, in order to be able to implement robotic commands and thus guarantee both the safety and the effectiveness of the intervention.The proposed approach consists in positioning three ultrasound emitters on the patient's head, and embedding an ultrasound receiver on the microrobot. Knowing the speed of sound in biological tissue and the skull thickness crossed, it is possible to estimate the distances from the emitters to the receiver by time-of-flight measurements, and to deduce its 3D position by trilateration. A proof of concept was first carried out using a skull phantom of constant thickness, demonstrating submillimeter localization accuracy. The system was then evaluated using a calvaria phantom whose thickness and speed of sound in front of each emitter were deduced by CT scan. The system demonstrated an mean localization accuracy of 1.5 mm, i.e. a degradation in accuracy of 1 mm compared with the tracking through the skull phantom of constant thickness, explained by the uncertainty brought by the heterogeneous shape of the calvaria. Finally, three preclinical tests, without the possibility of assessing localization error, were carried out: (i) a post-mortem test on a human, (ii) a post-mortem test on a ewe, (iii) and an in vivo test on a ewe.Further improvements to the tracking system have been proposed, such as (i) the use of CT scan-based transcranial ultrasound propagation simulation to take account of skull heterogeneities, (ii) the miniaturization of the ultrasound sensor embedded in the microrobot, (iii) as well as the integration of ultrasound imaging to visualize local vascularization around the microrobot, thereby reducing the risk of lesions and detecting possible pathological angiogenesis

La géométrie numérique en temps réel est un domaîne de recherches émergent en informatique graphique.Pour pouvoir générer des images photo-réalistes de haute définition,beaucoup d'applications requièrent des méthodes souvent prohibitives financièrementet relativement lentes.Parmi ces applications, on peut citer la pré-visualisation d'architectures, la réalisation de films d'animation,la création de publicités ou d'effets spéciaux pour les films dits réalistes.Dans ces cas, il est souvent nécessaire d'utiliser conjointement beaucoup d'ordinateurs possédanteux-mêmes plusieurs unités graphiques (Graphics Processing Units - GPUs).Cependant, certaines applications dites temps-réel ne peuvent s'accomoder de telles techniques, car elles requièrentde pouvoir générer plus de 30 images par seconde pour offrir un confort d'utilisationet une intéraction avec des mondes virtuels 3D riches et réalistes.L'idée principale de cette thèse est d'utiliser la synthèse de géométrie,la géométrie numérique et l'analyse géométrique pourrépondre à des problèmes classiques en informatique graphique,telle que la génération de surfaces de subdivision, l'illumination globaleou encore l'anti-aliasing dans des contextes d'intéraction temps-réel.Nous présentons de nouveaux algorithmes adaptés aux architectures matérielles courantes pour atteindre ce but
Eal-time geometry synthesis is an emerging topic in computer graphics.Today's interactive 3D applications have to face a variety of challengesto fulfill the consumer's request for more realism and high quality images.Often, visual effects and quality known from offline-rendered feature films or special effects in movie productions are the ultimate goal but hard to achieve in real time.This thesis offers real-time solutions by exploiting the Graphics Processing Unit (GPU)and efficient geometry processing.In particular, a variety of topics related to classical fields in computer graphics such assubdivision surfaces, global illumination and anti-aliasing are discussedand new approaches and techniques are presented