Littérature scientifique sur le sujet « Correspondance stéréo »

Le lac Poyang, première réserve d'eau douce de Chine, est un lac de moussons présentant de fortes variations de surfaces en eau entre la saison sèche, novembre-mars, et la saison humide juin-septembre. Les surfaces en eau passent ainsi de plus de 3000 km2 en été, à moins de 1000 km2 en hiver, cela correspondant à une variation inter annuelle de la hauteur de l'eau de 8 à 12 mètres. En saison sèche, la dépression du Poyang comprend une cuvette centrale en eau de taille réduite, et des lacs déconnectés entourés de vastes zones enherbées plus ou moins hautes. Lorsque le niveau d'eau augmente, la grande dépression centrale se remplit, puis au fur et à mesure du remplissage, comme une marée montante, l'eau arrive au niveau des lacs, les submerge et l'ensemble forme alors une petite mer intérieure d'eau douce. Cette dynamique et cette amplitude de variations ont de nombreuses implications en termes de ressources en eau, de santé publique (bilharziose), et mais aussi de richesse de la biodiversité.Le lac Poyang est un des milieux les plus riches et les plus importants en termes de biodiversité en Asie du Sud Est. Il s'agit d'une zone d'hivernage essentielle pour toute l'avifaune de l'Asie et de Sibérie. Plus de trois cents espèces d'oiseaux dépendent de cet habitat unique dont plus d'une douzaine d'espèces considérées en danger. Les plus emblématiques sont les grues de Sibérie et les cigognes blanches orientales dont la quasi-totalité, 98% de la population mondiale (moins de 3000 individus) viennent hiverner au Poyang. Cette de grande diversité d'oiseaux d'eau migrateurs est une conséquence directe de l'hydrologie complexe du lac Poyang.La forte variabilité intra et interannuelle du remplissage du Poyang, est un phénomène difficile à qualifier, c'est pourquoi un suivi temporel à relative haute fréquence est nécessaire. Dans le cadre de la RTU Pléiades HR, des acquisitions sur une base mensuelle ont été programmées au cours de l'année 2013 couvrant la partie la plus riche et sensible de la Reserve Naturelle du lac Poyang (PLNR). L'exploitation des données a porté sur plusieurs axes. Tout d'abord la caractérisation, à une échelle fine, des trajets de l'eau et de la dynamique de remplissage et de vidange des lacs, mettant en évidence un remplissage plutôt tardif et peu important au regard des observations réalisées les 12 dernières années, et surtout une vidange très précoce (fin juillet, entrainant par exemple la vidange totale du Bang Hu, principal site d'accueil des grues sibériennes). Les travaux ont également portés sur l'autre principale composant du milieu naturel, la végétation et sa dynamique inverse de l'eau. A partir des relevés terrain, le long de quatorze de transects, des indices de végétation ont été exploités afin de réaliser la cartographie de la végétation de ce secteur clé du lac Poyang. Les travaux ont également portes portés sur l'impact des activités anthropiques sur le milieu avec deux atteintes fortes, la mise en place de zones de cultures au sein du Parc national, et l'exploitation du lac Poyang comme carrière de sable se traduisant par un fort retrait des berges et un creusement des lits mineurs. Enfin, l'exploitation des données Pléiades HR, associées à des données CSK a permis de lever la première carte des filets de pêche au sein de la Reserve naturelle. De plus, deux triplets stéréo ont été acquis lors de périodes de basses hautes en en mars et septembre 2013, permettant la génération de modèles numériques de surfaces très précis et très détaillés.Les résultats obtenus suite à l'exploitation des images Pléiades HR, transmis à l'administration en charge de la gestion du Parc et à une ONG, l'International Crane Fondation, montrent l'apport des données Pléiades HR pour le suivi environnemental et aussi tout l'intérêt de séries temporelles très haute résolution pour la connaissance, et par la même, la protection des milieux.

Principalement, notre but dans cette thèse est de présenter de nouvelles idées afin de réduire au minimum la complexité des algorithmes de la mise en correspondance stéréo. L'idée principale de notre algorithme est de décomposer le problème initial en problèmes indépendant, plus élémentaires et qui peuvent être résolus rapidement sans faire appel à des méthodes mathématiques compliquées. Pour réaliser cela, nous avons utilisé deux nouvelles propriétés d'images, appelées propriété de continuité et propriété de discontinuité, au lieu d'utiliser des propriétés classiques telles que le contour, les coins. . . Ces propriétés peuvent être extraites par un processus assez simple ne nécessitant aucune méthode de recherche. Ainsi, nous les utilisons pour représenter des lignes épipolaires par une nouvelle méthode.

Description d'un système de vision stéréoscopique. Le but est de mettre en correspondance deux images d'une même scène acquises de deux points de vue différents et de reconstituer ensuite la structure tridimensionnelle de la scène. Des segments de droite sont extraits de l'image de gauche et de l'image de droite. Ces segments sont groupes convenablement afin de former des structures locales 2d. Sur la base de ces groupements, chaque image est décrite par un graphe relationnel ou les nœuds représentent les segments et les arcs représentent des relations structurelles entre les segments. La mise en correspondance des deux descriptions monoculaires obtenues est réalisée en trouvant des structures similaires entre les deux descriptions, ce qui est équivalent a la recherche d'un isomorphisme

La profondeur des objets dans la scène 3-D peut être récupérée à partir d'une paire d'images stéréo en trouvant des correspondances entre les deux points de vue. Cette tâche consiste à identifier les points dans les images gauche et droite, qui sont les projections du même point de la scène. La différence entre les emplacements des deux points correspondants est la disparité, qui est inversement proportionnelle à la profondeur 3D. Dans cette thèse, nous nous concentrons sur les techniques Bayésiennes qui contraignent les estimations des disparités en appliquant des hypothèses de lissage explicites. Cependant, il ya des contraintes supplémentaires qui doivent être incluses, par exemple, les disparités ne doivent pas être lissées au travers des bords des objets, les disparités doivent être compatibles avec les propriétées géométriques de la surface. L'objectif de cette thèse est d'intégrer ces contraintes en utilisant des informations monoculaires et des informations géométrique différentielle sur la surface. Dans ce but, cette thèse considère deux problèmes importants associés à stéréo : le premier est la localisation des discontinuités des disparités et le second vise à récupérer les disparités binoculaires en conformité avec les propriétés de surface de la scène. Afin de faire face aux discontinuités des disparités, nous nous proposons d'estimer conjointement les disparités et les frontières des objets. Cette démarche est motivée par le fait que les discontinuités des disparités se trouvent à proximité des frontières des objets. La seconde méthode consiste à contraindre les disparités pour qu'elles soient compatibles avec la surface et les normales à la surface en estimant les deux en même temps
The depth of objects in 3-D scene can be recovered from a stereo image-pair by finding correspondences between the two views. This stereo matching task involves identifying the corresponding points in the left and the right images, which are the projections of the same scene point. The difference between the locations of the two corresponding points is the disparity, which is inversely related to the 3-D depth. In this thesis, we focus on Bayesian techniques that constrain the disparity estimates. In particular, these constraints involve explicit smoothness assumptions. However, there are further constraints that should be included, for example, the disparities should not be smoothed across object boundaries, the disparities should be consistent with geometric properties of the surface, and regions with similar colour should have similar disparities. The goal of this thesis is to incorporate such constraints using monocular cues and differential geometric information about the surface. To this end, this thesis considers two important problems associated with stereo matching; the first is localizing disparity discontinuities and second aims at recovering binocular disparities in accordance with the surface properties of the scene under consideration. We present a possible solution for each these problems. In order to deal with disparity discontinuities, we propose to cooperatively estimating disparities and object boundaries. This is motivated by the fact that the disparity discontinuities occur near object boundaries. The second one deals with recovering surface consistent disparities and surface normals by estimating the two simultaneously

La profondeur des objets dans la scène 3-D peut être récupérée à partir d'une paire d'images stéréo en trouvant des correspondances entre les deux points de vue. Cette tâche consiste à identifier les points dans les images gauche et droite, qui sont les projections du même point de la scène. La différence entre les emplacements des deux points correspondants est la disparité, qui est inversement proportionnelle à la profondeur 3D. Dans cette thèse, nous nous concentrons sur les techniques Bayésiennes qui contraignent les estimations des disparités en appliquant des hypothèses de lissage explicites. Cependant, il ya des contraintes supplémentaires qui doivent être incluses, par exemple, les disparités ne doivent pas être lissées au travers des bords des objets, les disparités doivent être compatibles avec les propriétées géométriques de la surface. L'objectif de cette thèse est d'intégrer ces contraintes en utilisant des informations monoculaires et des informations géométrique différentielle sur la surface. Dans ce but, cette thèse considère deux problèmes importants associés à stéréo : le premier est la localisation des discontinuités des disparités et le second vise à récupérer les disparités binoculaires en conformité avec les propriétés de surface de la scène. Afin de faire face aux discontinuités des disparités, nous nous proposons d'estimer conjointement les disparités et les frontières des objets. Cette démarche est motivée par le fait que les discontinuités des disparités se trouvent à proximité des frontières des objets. La seconde méthode consiste à contraindre les disparités pour qu'elles soient compatibles avec la surface et les normales à la surface en estimant les deux en même temps
The depth of objects in 3-D scene can be recovered from a stereo image-pair by finding correspondences between the two views. This stereo matching task involves identifying the corresponding points in the left and the right images, which are the projections of the same scene point. The difference between the locations of the two corresponding points is the disparity, which is inversely related to the 3-D depth. In this thesis, we focus on Bayesian techniques that constrain the disparity estimates. In particular, these constraints involve explicit smoothness assumptions. However, there are further constraints that should be included, for example, the disparities should not be smoothed across object boundaries, the disparities should be consistent with geometric properties of the surface, and regions with similar colour should have similar disparities. The goal of this thesis is to incorporate such constraints using monocular cues and differential geometric information about the surface. To this end, this thesis considers two important problems associated with stereo matching; the first is localizing disparity discontinuities and second aims at recovering binocular disparities in accordance with the surface properties of the scene under consideration. We present a possible solution for each these problems. In order to deal with disparity discontinuities, we propose to cooperatively estimating disparities and object boundaries. This is motivated by the fact that the disparity discontinuities occur near object boundaries. The second one deals with recovering surface consistent disparities and surface normals by estimating the two simultaneously

La réalité augmentée consiste en l'insertion d'éléments virtuels dans une scène réelle, observée à travers un écran. Les systèmes de réalité augmentée peuvent prendre des formes différentes pour obtenir l'équilibre désiré entre trois critères : précision, latence et robustesse. On identifie trois composants principaux : localisation, reconstruction et affichage. Nous nous concentrons sur l'affichage et la reconstruction. Pour certaines applications, l'utilisateur ne peut être isolé de la réalité. Nous proposons un système sous forme de "tablette augmentée" avec un écran semi transparent, au prix d'un étalonnage adapté. Pour assurer l'alignement entre augmentations et réalité, il faut connaître les poses relatives de l'utilisateur et de la scène observée par rapport à l'écran. Deux dispositifs de localisation sont nécessaires et l'étalonnage consiste à calculer la pose de ces dispositifs par rapport à l'écran. Le protocole d'étalonnage est le suivant : l'utilisateur renseigne les projections apparentes dans l'écran de points de référence d'un objet 3D connu ; les poses recherchées minimisent la distance 2D entre ces projections et celles calculées par le système. Ce problème est non convexe et difficile à optimiser. Pour obtenir une estimation initiale, nous développons une méthode directe par l'étalonnage intrinsèque et extrinsèque de caméras virtuelles. Ces dernières sont définies par leurs centres optiques, confondus avec les positions de l'utilisateur, ainsi que leur plan focal, constitué par l'écran. Les projections saisies par l'utilisateur constituent alors les observations 2D des points de référence dans ces caméras virtuelles. Un raisonnement symétrique permet de considérer des caméras virtuelles centrées sur les points de référence de l'objet, "observant" les positions de l'utilisateur. Ces estimations initiales sont ensuite raffinées par ajustement de faisceaux. La reconstruction 3D est basée sur la triangulation de correspondances entre images. Ces correspondances peuvent être éparses lorsqu'elles sont établies par détection, description et association de primitives géométriques ou denses lorsqu'elles sont établies par minimisation d'une fonction de coût sur toute l'image. Un champ dense de correspondance est préférable car il permet une reconstruction de surface, utile notamment pour une gestion réaliste des occultations en réalité augmentée. Les méthodes d'estimation d'un tel champ sont basées sur une optimisation variationnelle, précise mais sensible aux minimums locaux et limitée à des images peu différentes. A l'opposé, l'emploi de descripteurs discriminants peut rendre les correspondances éparses très robustes. Nous proposons de combiner les avantages des deux approches par l'intégration d'un coût basé sur des correspondances éparses de primitives à une méthode d'estimation variationnelle dense. Cela permet d'empêcher l'optimisation de tomber dans un minimum local sans dégrader la précision. Notre terme basé correspondances éparses est adapté aux primitives à coordonnées non entières, et peut exploiter des correspondances de points ou de segments tout en filtrant implicitement les correspondances erronées. Nous proposons aussi une détection et gestion complète des occultations pour pouvoir mettre en correspondance des images éloignées. Nous avons adapté et généralisé une méthode locale de détection des auto-occultations. Notre méthode produit des résultats compétitifs avec l'état de l'art, tout en étant plus simple et plus rapide, pour les applications de flot optique 2D et de stéréo à large parallaxe. Nos contributions permettent d'appliquer les méthodes variationnelles à de nouvelles applications sans dégrader leur performance. Le faible couplage des modules permet une grande flexibilité et généricité. Cela nous permet de transposer notre méthode pour le recalage de surfaces déformables avec des résultats surpassant l'état de l'art, ouvrant de nouvelles perspectives
Augmented reality is the process of inserting virtual elements into a real scene, observed through a screen. Augmented Reality systems can take different forms to get the desired balance between three criteria: accuracy, latency and robustness. Three main components can be identified: localization, reconstruction and display. The contributions of this thesis are focused on display and reconstruction. Most augmented reality systems use non-transparent screens as they are widely available. However, for critical applications such as surgery or driving assistance, the user cannot be ever isolated from reality. We answer this problem by proposing a new “augmented tablet” system with a semi-transparent screen. Such a system needs a suitable calibration scheme:to correctly align the displayed augmentations and reality, one need to know at every moment the poses of the user and the observed scene with regard to the screen. Two tracking devices (user and scene) are thus necessary, and the system calibration aims to compute the pose of those devices with regard to the screen. The calibration process set up in this thesis is as follows: the user indicates the apparent projections in the screen of reference points from a known 3D object ; then the poses to estimate should minimize the 2D on-screen distance between those projections and the ones computed by the system. This is a non-convex problem difficult to solve without a sane initialization. We develop a direct estimation method by computing the extrinsic parameters of virtual cameras. Those are defined by their optical centers which coincide with user positions, and their common focal plane consisting of the screen plane. The user-entered projections are then the 2D observations of the reference points in those virtual cameras. A symmetrical thinking allows one to define virtual cameras centered on the reference points, and “looking at” the user positions. Those initial estimations can then be refined with a bundle adjustment. Meanwhile, 3D reconstruction is based on the triangulation of matches between images. Those matches can be sparse when computed by detection and description of image features or dense when computed through the minimization of a cost function of the whole image. A dense correspondence field is better because it makes it possible to reconstruct a 3D surface, useful especially for realistic handling of occlusions for augmented reality. However, such a field is usually estimated thanks to variational methods, minimizing a convex cost function using local information. Those methods are accurate but subject to local minima, thus limited to small deformations. In contrast, sparse matches can be made very robust by using adequately discriminative descriptors. We propose to combine the advantages of those two approaches by adding a feature-based term into a dense variational method. It helps prevent the optimization from falling into local minima without degrading the end accuracy. Our feature-based term is suited to feature with non-integer coordinates and can handle point or line segment matches while implicitly filtering false matches. We also introduce comprehensive handling of occlusions so as to support large deformations. In particular, we have adapted and generalized a local method for detecting selfocclusions. Results on 2D optical flow and wide-baseline stereo disparity estimation are competitive with the state of the art, with a simpler and most of the time faster method. This proves that our contributions enables new applications of variational methods without degrading their accuracy. Moreover, the weak coupling between the components allows great flexibility and genericness. This is the reason we were able to also transpose the proposed method to the problem of non-rigid surface registration and outperforms the state of the art methods

Dans cette thèse, nous abordons le problème SLAM pour des robots évoluant en 3D dans de grands environnements, en utilisant la stéréovision. Une implémentation complète des différentes fonctionnalités nécessaires a été conçue, développée et expérimentée dans différents contextes. La première partie de la thèse traite du problème d'association des données :elle présente un algorithme de mise en correspondance de points d'intérêt détectés dans les images, qui est robuste par rapport au bruit et aux changements de point de vue. La deuxième partie de la thèse est dédiée au développement d'une approche du problème SLAM basée sur le filtrage de Kalman. Les amers sont les points d'intérêt détectés dans les images, dont les coordonnées 3D sont fournies par la stéréovision. La dernière partie de la thèse présente et analyse des résultats obtenus dans différents contextes~: sur des trajectoires de plusieurs centaines de mètres effectuées par un ballon dirigeable évoluant à faible altitude, avec un robot évoluant en environnement naturel non structuré, et avec un robot évoluant en environnements intérieurs. Lorsque la trajectoire ``ferme une boucle'', une méthode rapide de correction de l'estimée des différentes positions par lesquelles le robot est passé permet de reconstruire un modèle numérique du terrain.

Actuellement, les Modèles Numériques de Surface (MNS) sont nécessaires pour de nombreuses applications, telles que la gestion des ressources en eau, le suivi de la biomasse, l’évaluation des dommages causés par les catastrophes naturelles ou la planification urbaine. Les MNS peuvent principalement être produits par interférométrie Radar, photogrammétrie ou en utilisant des instruments LiDAR. Dans ce contexte, le CNES et Airbus préparent le lancement de la constellation de satellites CO3D afin d’assurer la production massive de MNS à haute résolution par photogrammétrie. Fournie avec le MNS, une carte de performance permettra de caractériser les erreurs liées aux incertitudes dans les données d’entrée ainsi qu’aux incertitudes des méthodes utilisées. L’objectif de cette thèse et de caractériser l’incertitude associée à la production de MNS par photogrammétrie. Nous utilisons des modèles d’incertitude spécifiques, à savoir des probabilités imprécises, et plus particulièrement des distributions de possibilité, afin de caractériser l’incertitude résultant du traitement des images stéréo. Ces modèles définissent des “ensembles crédaux”, qui sont des ensembles convexes de distributions de probabilité. L’intérêt de ces ensembles crédaux est d’être mieux adaptés pour représenter l’incertitude résultant de connaissances incomplètes ou imparfaites, par rapport aux simples distributions de probabilité. En présence de plusieurs sources d’incertitudes, il est également nécessaire de considérer leurs relations de dépendance. Pour cela, il est courant d’utiliser des copules, qui sont des modèles représentant la dépendance entre plusieurs variables aléatoires. Dans cette thèse, trois méthodes distinctes sont introduites afin de joindre des ensembles crédaux marginaux en des ensembles crédaux multivariés à l’aide de copules. Les relations entre ces méthodes sont ensuite étudiées pour des copules spécifiques ainsi que pour différents modèles de probabilités imprécises. Une application de ces ensembles crédaux multivariés est ensuite proposée, afin de propager l’incertitude d’images stéréo dans un problème d’appariement. Différentes optimisations et façons de faciliter la propagation de l’incertitude sont présentées. La propagation correcte de l’incertitude est enfin validée à l’aide de méthodes de Monte-Carlo. Une seconde contribution de cette thèse concerne la modélisation de l’incertitude intrinsèque de l’algorithme d’appariement en utilisant des distributions de possibilité. Une méthode est proposée pour générer des intervalles de confiance associés aux résultats de l’étape d’appariement, et ces intervalles sont propagés jusqu’à la fin du pipeline stéréo, produisant ainsi des intervalles de confiance d’élévation pour les MNS. La taille et la précision de ces intervalles est évaluée en utilisant des images satellites réelles et des MNS pour lesquels une vérité terrain est disponible. Les intervalles ainsi créés contiennent correctement la vérité terrain au moins 90 % du temps
Currently, Digital Surface Models (DSMs) are required in many applications, such as for managing water resources, monitoring biomass, evaluating damages caused by natural catastrophes, or for urban planning. DSMs can mainly be produced by Radar interferometry, photogrammetry or LiDAR scanning. In this context, CNES and Airbus are planning the launch of the CO3D constellation of satellites to massively provide highly accurate DSMs using photogrammetry. A performance map will also be provided alongside the DSM to characterize potential errors resulting from the uncertainty on input data or on its processing. The objective of this thesis is to characterize the uncertainty associated with the production of DSMs using photogrammetry. To do so, special uncertainty models, namelyimprecise probabilities, and more specifically possibility distributions, are employed to characterize the uncertainty arising from stereo images processing. Those models define credal sets, which are convex sets of probability distributions. Credal sets are well-suited to represent uncertainty resulting from incomplete or imperfect knowledge, which can be a limitation for a single probability distribution. In the presence of multiple sources of uncertainty, their dependency must also be considered. For this purpose, it is possible to consider copulas, which are models used to represent the dependency between multiple random variables. In this thesis, three different methods are introduced to join marginal credal sets into multivariate credal sets using copulas. The relationships between those methods are then investigated, for specific copulas and different models of imprecise probabilities. An application of those multivariate credal sets is then proposed, for propagating the uncertainty of stereo images in a dense stereo-matching problem. Different optimizations and ways to facilitate the uncertainty propagation are presented. The correct uncertainty propagation is validated using Monte Carlo sampling. A second contribution of this thesis concerns the uncertainty modeling of the dense matching algorithm itself using possibility distributions. A method is presented for generating confidence intervals associated with the results of the dense-matching step. Those intervals are then propagated to the end of the stereo pipeline, therefore producing elevation confidence intervals for the DSMs. The size and accuracy of intervals are then evaluated, using real satellites images and DSMs for which a ground truth is available. Elevation intervals correctly contain the ground truth at least 90% of the time

La profondeur des objets dans la scène 3-D peut être récupérée à partir d'une paire d'images stéréo en trouvant des correspondances entre les deux points de vue. Cette tâche consiste à identifier les points dans les images gauche et droite, qui sont les projections du même point de la scène. La différence entre les emplacements des deux points correspondants est la disparité, qui est inversement proportionnelle à la profondeur 3D. Dans cette thèse, nous nous concentrons sur les techniques Bayésiennes qui contraignent les estimations des disparités en appliquant des hypothèses de lissage explicites. Cependant, il ya des contraintes supplémentaires qui doivent être incluses, par exemple, les disparités ne doivent pas être lissées au travers des bords des objets, les disparités doivent être compatibles avec les propriétées géométriques de la surface. L'objectif de cette thèse est d'intégrer ces contraintes en utilisant des informations monoculaires et des informations géométrique différentielle sur la surface. Dans ce but, cette thèse considère deux problèmes importants associés à stéréo : le premier est la localisation des discontinuités des disparités et le second vise à récupérer les disparités binoculaires en conformité avec les propriétés de surface de la scène. Afin de faire face aux discontinuités des disparités, nous nous proposons d'estimer conjointement les disparités et les frontières des objets. Cette démarche est motivée par le fait que les discontinuités des disparités se trouvent à proximité des frontières des objets. La seconde méthode consiste à contraindre les disparités pour qu'elles soient compatibles avec la surface et les normales à la surface en estimant les deux en même temps.