Academic literature on the topic 'Vision stéréo'

Nous abordons, dans un premier chapitre, des problemes du pre-traitement de l'image dans un systeme de stereo vision, qui sont le filtrage de l'image et la detection de contours. Une famille de detecteurs de contours sur le filtre optimal exponentiel est presentee et une analyse des performances des filtres est donnee. Dans le deuxieme chapitre, nous analysons d'abord le modele de la camera lineaire et le probleme de la calibration d'une camera, et nous proposons ensuite une methode originale de calibration, cette methode permet de calibrer les parametres extrinseques pour un systeme binoculaire et les parametres intrinseques et extrinseques pour un systeme trinoculaire, a partir des points correspondants dans les images, sans connaitre les coordonnees 3-d des points dans l'espace. Nous proposons dans le troisieme chapitre une methode originale de stereo vision binoculaire: a methode de mise en correspondance par les graphes pyramidaux des images bli. Nous faisons l'analyse statisituqe sur le probleme des fausses cibles pour les systemes binoculaires et trinoculaires, et proposons ensuite un nouveau systeme trinoculaire qui met en correspondance les trois images au niveau des primitives dans l'espace tridimensionnel, sans utiliser les contraintes supplementaires usuelles dans les systemes binoculaires courants

Pour une voiture munie d'un système multicapteur avec fusion de données, la détection d'obstacles doit fournir des données indépendantes des autres capteurs. Dans ce but, nous avons essayé deux groupes de méthodes, l'une basée sur la prédiction de la carte de disparité dense à partir de celle des images précédentes (pour un gain de temps) et une méthode d'élimination de la surface de la route et recherche des contours restants dans les images. La prédiction des cartes de disparités nécessite l'estimation de la position du centre de l'expansion de l'image ainsi que du taux d'expansion, fonction de la vitesse. Les estimations testées étaient par expansion uniforme et par expansion dépendant de la distance - estimée de la carte de disparité - du point dans l'image. Les estimations des paramètres sont faites en comparant les valeurs données par plusieurs prédictions de la carte de disparité. Les méthodes de prédiction des cartes de disparités peuvent s'affranchir des limites des disparités considérés et suivre les bons mises en correspondances dans le temps, mais elles ne prévoient pas le mouvement propre des objets et la correction des cartes estimées est infaisable sur route, faute de contours partout denses dans l'image. L'élimination de la surface de la route nécessite la mise en correspondance de plusieurs points sur la route. On les cherche par un transformée de Hough, supposant qu'ils sont alignés sur un arc de cercle plus ou moins tangent à la voiture. En cas de route plane, les paramètres de mise en correspondance des deux images changent de façon prévisible pendant le tangage de la voiture, ce que l'on exploite pour mettre un seul point de la route en correspondance. Sur les points de contour restants nous cherchons des suites quasi-verticales montantes avec des disparités quasi-constantes et avoisinant celui de la route au départ. Ce calcul rapide donne la position et une valeur de confidence (longueur de la suite) des contours d'obstacles
For a multisensor car with data fusion the stereo vision must deliver independent data from the other sensors. We tested two groups of methods to do that, one predicting the dense disparity maps to save CPU time and the other eliminating road surface points and looking for obstacles in the contour points left. To predict the disparity maps we need the position of the expansion center and the expansion coefficient, the latter depending on speed. We tested uniform and depth-dependent expansion, depth being estimated from the disparity values. Parameter estimations were made comparing several estimated disparity maps' values. The prediction methods can extend the considered disparity values' range without loss of image size and can follow correct matches over time. On the other hand, they don't follow the objects' own movement and in lack of everywhere dense contrast points in road situations the estimations cannot be corrected. Road surface elimination needs matching several road surface points. Supposing some are on an arc of circle more or less tangent to the car, we apply a Hough transform to find them. On planar road the matching parameters vary dependently with the car's pitch movement and we exploit that to use just one road point matched. On the contour points left we look for quasi-vertical scending sequences with quasi-constant disparity values close to that of the road surface at the beginning of the sequence. This gives a very fast algorithm yielding positions and confidence values (length of the ascending sequence) of obstacle contours

Ce travail est une contribution aux efforts visant à doter les robots du sens de la "vue" par une méthode de stéréo-vision passive pour les adapter à l'environnement. On expose quelques méthodes développées pour le traitement d'images, la détection de points caractéristiques et la détermination de leurs coordonnées tridimensionnelles pour des objets approximativement polyédriques

Ce travail a porté sur l'étude de certains facteurs physiologiques de la vison stéréo humaine particulièrement liés à la perception de relief dans un système de TV stéréo dynamique, et sur la compréhension des processus visuels stéréoscopiques humains à l'aide des modèles spectraux locaux. Nous avons étudié les différents types d'acuités stéréoscopiques sur tous les méridiens rétiniens aussi bien en position d’œil centrale qu'en position d’œil excentrique chez es sujets physiologique et pathologiques. L'accommodation et la convergence, deux facteurs principaux de la vision en relief en système stéréo,ont également été étudiées en détail, permettant d'en déduire la manière selon laquelle le système visuel humain résout le conflit entre l'accommodation et la convergence. Le problème de la qualité de sensation du relief en présence des distorsions géomagnétiques été abordé. Dans ce cadre, deux types de distorsions géométriques ont été distingué, et sur leur effet sur le confort visuel et sur la sensibilité à la disparité binoculaire a chiffré dans diverses situations. Enfin, en vue d'appréhender la processus de traitement et de codage de l 'information stéréo , nous avons étudié l'influence du contenu spectral local des images monoculaires sur la vision stéréo humaine en introduisant un modèle bidimensionnel espace/fréquence spatiale. Fondé sur la transformation de Wigner-Ville. Et la transformation de cosinus discrète bidimensionnelle
This thesis is concerned with the stud of certain hurnan stereo vision cues. Particularly relevant ta depth perception in a dynamic 3d (three-dimensional) stereoscopic TV and with t he understanding of human stereoscopic visual processes using local spectral models. We have studied different types of stereo acuity all the retinal meridian in both central and eccentric eye positions, in physiological and pathological subjects. Accomdation and convergence, the two essentiel depth perception cues in 3D Tvs, have benn investigated in detail, allowing ta get insight into the way the human visual system behaves in arder to resolve the conflict between accommodation and convergence. The quality problem of depth perception in the presence of geometrical distortions was also addressed. Within this framework. Two types of geornetrical distortions have been distinguished, and their affect the visual comfort and binocular disparity sensitivity bas been detailed in various situations. Finally, in arder ta get an insight into the stereo informatian processing and coding processes, we have studied the influence of the monocular images' local spectral content on human stereo vision by employing a 2D (two-dimensional) space/spatial-frequency model based on using the 2D Wigner-Vill distribution, and the 2D discrets cosine transformation

Un grand nombre d'applications de robotique embarquées pourrait bénéficier d'une détection explicite des objets mobiles. A ce jour, la majorité des approches présentées repose sur la classification, ou sur une analyse structurelle de la scène (la V-Disparité est un bon exemple de ces approches). Depuis quelques années, nous sommes témoins d'un intérêt croissant pour les méthodes faisant collaborer activement l'analyse structurelle et l'analyse du mouvement. Ces deux processus sont en effet étroitement liés. Dans ce contexte, nous proposons, à travers de travail de thèse, deux approches différentes. Si la première fait appel à l'intégralité de l'information stéréo/mouvement, la seconde se penche sur le cas des capteurs monoculaires, et permet de retrouver une information partielle.La première approche présentée consiste en un système innovation d'odométrie visuelle. Nous avons en effet démontré que le problème d'odométrie visuelle peut être posé de façon linéaire, alors que l'immense majorité des auteurs sont contraint de faire appel à des méthodes d'optimisation non-linéaires. Nous avons également montré que notre approche permet d'atteindre, voire de dépasser le niveau de performances présenté par des système matériels haut de gamme (type centrale inertielle). A partir de ce système d'odométrie visuelle, nous définissons une procédure permettant de détecter les objets mobiles. Cette procédure repose sur une compensation de l'influence de l'égo-mouvement, puis une mesure du mouvement résiduel. Nous avons ensuite mené une réflexion de fond sur les limitations et les sources d'amélioration de ce système. Il nous est apparu que les principaux paramètres du système de vision (base, focale) ont un impact de premier plan sur les performances du détecteur. A notre connaissance, cet impact n'a jamais été décrit dans la littérature. Il nous semble cependant que nos conclusions peuvent constituer un ensemble de recommandations utiles à tout concepteur de système de vision intelligent.La seconde partie de ce travail porte sur les systèmes de vision monoculaire, et plus précisément sur le concept de C-Vélocité. Alors que la V-Disparité a défini une transformée de la carte de disparité permettant de mettre en avant certains plans de l'image, la C-Vélocité défini une transformée du champ de flot optique, et qui utilise la position du FoE, qui permet une détection facile de certains plans spécifiques de l'image. Dans ce travail, nous présentons une modification de la C-Vélocité. Au lieu d'utiliser un a priori sur l'égo-mouvement (la position du FoE) afin d'inférer la structure de la scène, nous utilisons un a priori sur la structure de la scène afin de localiser le FoE, donc d'estimer l'égo-mouvement translationnel. Les premiers résultats de ce travail sont encourageants et nous permettent d'ouvrir plusieurs pistes de recherches futures.

Cette thèse s'inscrit dans le contexte de la robotique mobile et plus précisément dans le cadre de la localisation de véhicules en environnement urbain. Notre tâche a consisté à extraire le maximum d'informations sur le déplacement d'un système de stéréo-vision non-calibré embarqué à bord d'un véhicule en s'appuyant sur l'environnement structuré que forme les rues. L'objectif de cette étude est d'estimer le déplacement d'un véhicule lorsque la configuration de l'environnement s'oppose à sa localisation par un système de géo-référencement satellitaire.

Une modélisation polyhédrique des rues qui forment l'environnement urbain de cette étude permet de segmenter trois plans principaux : la route et les façades verticales des bâtiments qui délimitent l'espace de navigation. La segmentation du plan de la route est facilitée par la matérialisation des voies de navigation et autres trottoirs ou terre-pleins, parallèles entre eux au premier plan, qui sont à l'origine dans les images de contours qui convergent vers un point de fuite dominant.

Les conditions d'illumination et la présence d'obstacles dynamiques qui obstruent le champ de vision compliquent la tâche de suivi des plans segmentés. L'emploi d'une paire stéréo permet à chaque nouvelle pose de déterminer quelles sont les régions des images qui correspondent aux plans segmentés en calculant l'homographie induite par chaque plan entre les deux images de la paire. Le déplacement du véhicule étant supposé plan, ses mouvements d'inclinaison et de lacet influent peu sur chacune des homographies estimées entre les images de la paire stéréo. Nous possédons ainsi un outil fiable de segmentation des plans principaux qui forment l'environnement.

L'estimation du déplacement entre deux poses de chaque caméra consiste à estimer l'homographie induite par le mouvement relatif du plan considéré. Le calcul est entrepris grâce à la mise en correspondance des primitives (points, droites) détectées dans les régions planaires segmentées. La précision et la fiabilité des résultats dépendent essentiellement de la répartition spatiale des primitives mises en correspondance.

L'introduction de la notion de super-homographie permet de robustifier les estimations des homographies en calculant de manière simultanée toutes les homographies induites par un même plan, observé dans plusieurs images. La redondance des contraintes imposées par le mouvement relatif des primitives coplanaires mises en correspondance améliore l'estimation du mouvement de la projection du plan dans les différentes images. L'apport de la super-homographie est double : elle permet de détecter d'éventuelles erreurs de mise en correspondance et fournit une estimée des coordonnées des primitives coplanaires avec une précision sub-pixellique. Lorsque la calibration de la paire stéréo est connue, la trajectographie du véhicule peut être estimée en décomposant l'homographie relative au mouvement d'une des caméras, extraite de la super-homographie.

Cette thèse s’inscrit dans le contexte de la robotique mobile et plus précisément dans le cadre de la localisation de véhicules en environnement urbain. Notre tâche a consisté à extraire le maximum d’informations sur le déplacement d’un système stéréo-vision non calibré embarqué à bord d’un véhicule en s’appuyant sur l’environnement structuré que forme les rues. L’objectif de cette étude est d’estimer le déplacement d’un véhicule lorsque la configuration de l’environnement s’oppose à sa localisation par un système de géo-référencement satellitaire. Une modélisation polyhédriques des rues qui forment l’environnement urbain de cette étude permet de segmenter trois plans principaux : la route et les façades verticales des bâtiments qui délimitent l’espace de navigation. La segmentation du plan de la route est facilitée par la matérialisation des voies de navigation et autres trottoirs ou terre-pleins, parallèles entre eux au premier plan, qui sont à l’origine dans les images de contours qui convergent vers un point de fuite dominant. Les conditions d’illumination et la présence d’obstacles dynamiques qui obstruent le champ de vision compliquent la tâche de suivi des plans segmentés. L’emploi d’une paire stéréo permet à chaque nouvelle pose de déterminer quelles sont les régions des images qui correspondent aux plans segmentés en calculant l’homographie induite par chaque plan entre les deux images de la paire. Le déplacement du véhicule étant supposé plan, ses mouvements d’inclinaison et de lacet influent peu sur chacune des homographies estimées entre les images de la paire stéréo. Nous possédons ainsi un outil fiable de segmentation des plans principaux qui forment l’environnement. L’estimation du déplacement entre deux poses de chaque caméra consiste à estimer l’homographie induite par le mouvement relatif du plan considéré. Le calcul est entrepris grâce à la mise en correspondance des primitives (points, droites) détectées dans les régions planaires segmentées. La précision et la fiabilité des résultats dépendent essentiellement de la répartition spatiale des primitives mises en correspondance. L’introduction de la notion de super-homographie permet de robustifier les estimations des homographies en calculant de manière simultanée toutes les homographies induites par un même plan, observé dans plusieurs images. La redondance des contraintes imposées par le mouvement relatif des primitives coplanaires mises en correspondance améliore l’estimation du mouvement de la projection du plan dans les différentes images. L’apport de la super-homographie est double : elle permet de détecter d’éventuelles erreurs de mise en correspondance et fournit une estimée des coordonnées des primitives coplanaires avec une précision sub-pixellique. Lorsque la calibration de la paire stéréo est connue, la trajectographie du véhicule peut être estimée en décomposant l’homographie relative au mouvement d’une des caméras, extraite de la super-homographie
The thesis deals with mobile robots in the specific context of urban environment. We want to extract the maximum of data on the motion of an uncalibrated stereo-rig embedded in a vehicle with in a structured environment. The aim of this study is to estimate the motion of a vehicle when the localization is impossible with a satellite position system due to the occlusion of the free space. A polyhedrical model of the streets, which is the considered environment in this study, allows the segmentation of three main plane : the road and the vertical facades which represent the frontier of the navigation area. We assume that the while lanes which split the different ways and the kerbs which delimit the road are all parallel in the scene, at least on the foreground. Therefore the detection of these induced edges in image is easy because they all converge in a dominant vanishing point. The lighting conditions and the dynamical obstacles which occlude the vision field make the tracking task of the segmented planes difficult. The use of a stereo-vision allows the segmentation in image of the coplanar area of the scene assuming that each plane induces a homography between both images of the stereo-rig. The vehicle motion is assumed to be plane, the pan and tilt rotation motions have low contributions on the computed homographies. We hence possess a reliable tool to segment the main planes which structure the environment. The motion of the cameras between two poses is obtained with the homography induced by the relative motion of one plane. The homography computation requires the matching of features (lines, points) detected in the coplanar regions of images. The precision and the reliability of the result highly depends on the spatial distribution of the matched features. The introduction of the motion of super-homography improves the robustness of the homography computation by computing in one shot all the homographies induced by the same plane in several images. The redundancy of the constraints imposed by the relative motion of the matched coplanar features increases the constraints of the plane projection in each image. The super-homography has two advantages : it allows the detection of mismatched features and supplies coordinates with a sub-pixellic precision. When the calibration of the stereo-rig is available, the extraction of the homography induced by the relative motion of a camera from the super-homography supplies the trajectography of the vehicle

Cette thèse s'inscrit dans la problématique de la perception des véhicules autonomes, qui doivent notamment être capables de détecter et de positionner à tout moment les éléments fixes et mobiles de leur environnement. Les besoins sont ensuite multiples, de la détection d'obstacles à la localisation du porteur dans l'espace, et de nombreuses méthodes de la littérature s'y attellent. L'objectif de cette thèse est de reconstituer, à partir de prises de vues de stéréo-vision, une carte en trois dimensions décrivant l'environnement proche ; tout en effectuant une détection, localisation et suivi dans le temps des objets mobiles.La détection et le suivi dans le temps d'un grand nombre de points d'intérêt constitue une première étape. Après avoir effectué une comparaison exhaustive de divers détecteurs de points d'intérêt de la littérature, on propose pour réaliser le suivi de points une implémentation massivement parallélisée de l'algorithme KLT, dans une configuration redondante réalisée pendant cette thèse. Cette implémentation autorise le suivi fiable de milliers de points en temps réel, et se compare favorablement à l'état de l'art.Il s'agit ensuite d'estimer le déplacement du porteur, et de positionner ces points dans l'espace, tâche pour laquelle on propose une évolution robuste d'une procédure bien connue, dite "SVD", suivie d'un filtrage par UKF, qui nous permettent d'estimer très rapidement le mouvement propre du porteur. Les points suivis sont ensuite positionnés dans l'espace, en prenant en compte leur possible mobilité, en estimant continuellement la position la plus probable compte tenu des observations successives.La détection et le suivi des objets mobiles font l'objet d'une dernière partie, dans laquelle on propose une segmentation originale tenant compte des aspects de position et de vitesse. On exploite ainsi une des singularités de notre approche, qui conserve pour chaque point positionné un ensemble cohérent de positions dans le temps. Le filtrage et le suivi des cibles se basent finalement sur un filtre GM-PHD
This PhD work is to be seen within the context of autonomous vehicle perception, in which the detection and localisation of elements of the surroundings in real time is an obvious requirement. Subsequent perception needs are manyfold, from localisation to obstacle detection, and are the subject of a continued research interest. The goal of this work is to build, in real time and from stereovision acquisition, a 3D map of the surroundings ; while detecting and tracking moving objects.Interest point selection and tracking on picture space are a first step, which we initiate by a thorough comparison of detectors from the literature. As regards tracking, we propose a massively parallel implementation of the standard KLT algorithm, using redundant tracking to provide reliable quality estimation. This allows us to track thousands of points in real-time, which compares favourably to the state of the art.Next step is the ego-motion estimation, along with the positioning of tracked points in 3D space. We first propose an iterative variant of the well known “SVD” process followed by UKF filtering, which allows for a very fast and reliable estimation. Then the position of every followed interest point is filtered on the fly over time, in contrast to most dense approaches from the literature.We finally propose a segmentation of moving objects in the augmented position-speed space, which is made possible by our continuous estimation of feature points position. Target tracking and filtering finally use a GM-PHD approach

Extraire des mesures sur des surfaces est un problème dans de nombreux domaines de recherche. L'archaïsme de certains systèmes ou la cherté d'appareils perfectionnés empêchent l'extraction rapide et robuste de ces paramètres. Pourtant, ils sont essentiels dans de nombreux domaines, comme les paramètres de rugosité qui interviennent dans de nombreux phénomènes physiques ou les valeurs dendrométriques pour l'étude de la bio-diversité. En parallèle, l'utilisation et la production de contenus 3D se développent considérablement ces dernières années dans des domaines très divers. Le but de cette thèse est donc d'utiliser toutes ces innovations dans le domaine de la reconstruction 3D et de les appliquer à la mesure de paramètres de surfaces. Pour cela, il est nécessaire de créer une chaîne complète de reconstruction 3D, n'utilisant que des images prises sans contrainte dans le but d'être accessible au plus grand nombre. Dans cette chaîne nous utilisons des algorithmes de stéréo-vision robustes produisant, pour chaque couple d'images, un nuage de points. Après le passage de ces nuages dans un référentiel commun, une étape de filtrage des points 3D et de suppression des redondances est nécessaire. Une étape de lissage permet d'obtenir le nuage final. Pour justifier des bons résultats obtenus, une étape de validation nous a permis de vérifier et d'étudier la robustesse de la chaîne de traitements développée. Enfin, les paramètres de rugosités et dendrométriques seront extraits. Nous étudierons dans ces deux cas, comment extraire ces informations et leurs utilisations

Dans cette thèse nous nous intéressons à l'étude de problèmes d'analyse mathématique d'images issus du domaine de la vision par ordinateur. Nous considérons des modèles variationnels d'estimation du flot optique et des problèmes de correspondance en stéréo-vision. La résolution de ces modèles variationnels est basée sur la minimisation de fonctionnelles énergies qui comportent deux termes : un terme de données et un terme de régularisation. Ce dernier est du au caractère mal posé de ces problèmes. L'objet du travail de thèse est d'étudier et mettre en œuvre un contrôle adaptatif du paramètre de régularisation qui permette de la choisir au mieux en chaque point du domaine de calcul. Ce contrôle est rendu possible par les estimations a posteriori qui fournissent un critère de sélection « optimal » du paramètre. Cette technique a été introduite par Z. Belhachmi et F, Hecht et appliquée avec succès au problème d'optique flot dans le cas de la régularisation de Tikhonov. Nous la considérons ici pour l'estimation de l'optique flot et la problème de correspondance en stéréo-vision dans le cas de la régularisation par variation totale. L'efficacité de la méthode est manifeste pour faire ressortir les arêtes (discontinuités de champs optiques. En effet, à ces endroits le paramètre de régularisation diminue et aux endroits plus homogènes le paramètre augmente. Ce comportement nous a encouragé à l'expérimenter pour d'autres problèmes d'analyse d'images comme de débruitage, nous avons rajouté un chapitre préliminaire sur le modèle de Perona-Malik
An adaptive control and regularization techniques are studied for some linear and nonlinear ill-posed problems in image processing and computer vision. These methods are based on variational approach which constitutes the minimization of a suitable energy functional made up of two parts data term obtained from constancy of grey value assumption and regularization term which cope with ill-posed problem by its filling in effect property. We have provided a novel adaptive approach for optic flow and stero vision problems. Which is based on adaptive finite element method using unstructutred grid as the domain of computation, which allow the automatic choice of local optimal regularization parameters. Various linear and nonlinear variational models have been considered in this thesis for scientific computations of optic flow and stereo vision problems and an efficient adaptive control is obtained. This novel regularization strategy is controlled by the regularization parameter [alpha] which depends on space and a posteriori error estimator called residual error indicator. This local adptive behavior has encouraged us to experiment with other problems in image analysis such as denoising, we add a preliminary chapter on hte model of Perona-Malik. This work falls in to the category novel and advanced numerical strategies for scientific computations specifically for image motion problems