Letteratura scientifica selezionata sul tema "Caméras catadioptriques"

Calibrer une camera permet de déterminer les propriétés géométriques qui permettent le processus de formation d'une image. Ce processus a un objectif principal, identifier les coordonnées 3D de chaque points de l'image dans un nouveau référenciel d'image dans lequel les coordonnées de l'image ainsi obtenue en deux dimensions seront exprimées dans une nouvelle unité le pixel. Cette méthode est nécessaire pour restaurer des informations 3D. On peut préciser aussi ,qu'il est indispensable de connaitre la translation et la rotation du capteur vidéo en garantissant l'alignement avec tous les autre paramètres systèmes externes , et aussi évidemment les autres paramètres intrinsèques internes tels que l'optique, longueur des focales, facteurs de magnitude, emplacement des axes d'alignement optique et rétine. Alors en prenant en compte correctement de toutes les conditions précédentes on peut dire de la problématique calibration camera quel est un sujet déjà bien maitrisée, et en cela l'on sait déjà qu'aucunes méthodes ne permet aujourd'hui une robuste auto calibration temps réel et ceci pour chacune des cameras omnidirectionnelles existantes. Les techniques d'auto calibration existantes essaye de calibrer a partir de point de correspondances, de lignes, de cercles, ou encore de spécifiques mouvements de camera. Cependant des résultats intéressants peuvent être obtenus, même si l'autocalibration souffre encore de certaines limites, comme un faible nombre de points fonctionnels, la difficulté de détection des lignes, d'indésirables effets de mouvements camera et de la difficulté de prise en compte de certains types de miroirs. Par conséquence l'objectif de cette thèse est la proposition d'un nouvel algorithme qui permettrait d'éliminer certaines de ces limitations permettant ainsi son utilisation dans différentes applications robotiques ou encore dans d'autre environnement applicatifs pratiques ou l'autocalibration n'a pas encore pénétrée mais ou l'on y trouverait un intérêt certain; cet algorithme fonctionne directement avec l'intensité lumineuse de l'image, en faisant le minimum de d'hypothèses concernant la structure de la scène qui est visualisée et reste valide et utilisable pour tous les systèmes catadioptriques centraux et de fait ne nécessite donc aucunes connaissances antérieures des paramètres intrinsèques et externes. Ainsi, un partie de cette thèse est centrée sur la formalisation de l'unicité de la solution pour résoudre les problèmes de calibration des cameras centrales catadioptrique omnidirectionnelles. Pour la majeur partie de ce travail sur la calibration camera omnidirectionnel, il a été observe ceci, dans le cas de miroirs non planaires, deux images acquises de différents points de vus son suffisantes pour effectuer la calibration de la camera. Cependant, à notre connaissance, aucune démonstration théorique de l'unicité de la solution n'existe. Dans cette thèse le problème de calibration est formalise par l'utilisation d'un model unifie valide pour tous les cameras centrales catadioptrique omnidirectionnelles. Il peut être utilisé avec de cameras traditionnelles quand le miroir planaire est considéré. Il a été aussi montre que l'unicité de la solution peut être dérivé a partir d'un système non linéaire d'équations. Cependant étant donne la complexité pour résoudre ce système d'équations dans un cas général ,cette thèse fait apparaitre l'unicité de solution dans le cas d'un miroir parabolique.

Cette thèse présente les méthodes de conception de deux caméras catadioptriques capables de capturer des images exploitables d'environnements hétérogènes. Ces caméras s'inscrivent dans le domaine de la vision adaptative, qui rassemble les caméras dont la partie optique ou le capteur ont des propriétés hétérogènes qui peuvent varier au cours du temps. Les caméras adaptatives sont capables, entre autres, de capturer des environnements hétérogènes dont les propriétés physiques ou la géométrie varient dans l'espace. La thèse propose une revue de l'état de l'art des caméras adaptatives qui permettent de capturer certains types d'environnements hétérogènes. Dans un premier temps, on considère les scènes caractérisées par une variation spatiale de luminances, d'une gamme dynamique de l'ordre de 120 décibels. Ces scènes mettent en difficulté les caméras conventionnelles, dont les images ont des pixels d'intensité saturée et d'autres trop sombres, à cause de leur dynamique plus faible. Dans les deux cas, ces zones d'image n'apportent pas d'informations visuelles sur la scène, elles ne sont pas exploitables. Afin de capturer les luminances associées à ces zones claires et sombres, les caméras à large gamme dynamique (HDR) sont employées. Néanmoins, à l'heure actuelle, aucune caméra HDR n'est panoramique. C'est l'objet de la première contribution de cette thèse : concevoir une caméra panoramique HDR, afin d'améliorer la navigation de robots en extérieur par la perception visuelle seule dans des environnements à luminances variées. Montée sur un robot mobile, elle accroît le domaine de convergence et la précision en positionnement du robot en extérieur par asservissement visuel direct. Dans un second temps, on s'intéresse aux scènes dont le niveau de détail est non-uniforme dans l'espace : certains éléments de la scène présentent sont plus riches en informations visuelles que les autres. Afin de capturer de tels environnements hétérogènes, la deuxième contribution de cette thèse est une caméra adaptative. Elle s'appuie sur un nouveau miroir déformable dont les courbures locales permettent d'accroître ou de réduire le nombre de pixels qu'occupent les régions de la scène dans l'image. Cette caméra, surnommée Visadapt, capture des images multi-résolution selon le contenu de la scène. D'une scène à l'autre, il est possible de changer la forme du miroir afin d'optimiser la résolution des images qu'elle capture à cette nouvelle scène. La surface du miroir est constituée d'un matériau à la fois réfléchissant et déformable, le mylar et se déforme par une grille d'actionneurs linéaires placés sous sa surface. Ce miroir, plan à l’état initial, peut se déformer afin que les régions de la scène soient capturées par Visadapt à la résolution désirée. Une étude en simulation a permis de fixer les caractéristiques de Visadapt, notamment les dimensions et les matériaux des différents éléments qui la constituent, ainsi que l'espacement inter-actionneurs. Un prototype a été réalisé à partir des paramètres fixés en simulation. Les expérimentations réalisées ont montré que ce prototype est capable de magnifier jusqu'à quatre zones de la scène à la fois. Cette thèse se conclut sur des perspectives de travail qui proposent d'améliorer les prototypes des deux caméras conçues afin d'améliorer leurs performances et la variété des images qu'elles peuvent capturer. De plus, elle propose des pistes de recherche afin d'aller plus loin sur ces deux concepts de caméras et même sur la vision adaptative en général
This thesis presents the conception methods of two catadioptric cameras capable of recording usable images of heterogeneous environments. These cameras belong to the adaptive vision field, which gathers the cameras of which the optics or sensor have heterogeneous properties which can vary across time. Adaptive cameras abilities include capturing heterogenous environments which physical or geometrical properties change across space. This thesis proposes a survey of the state of the art on adaptive cameras which are able to capture specific types of heterogenous environments. On the one hand, we consider the scenes characterized by a spatial variation of radiances, with a dynamic range around 120 decibels. These scenes put conventional cameras in difficulty, their images have some pixels saturated and others to dark, because of their low dynamic range. In both casses, these image regions does not carry any visual information about the scene, they are not usable. In order to capture the radiances corresponding to these bright and dark areas, the high dynamic range cameras (HDR) are used. Nonetheless, there is no available HDR panoramic camera yet. Therefore, the first contribution of this thesis is the conception of an HDR panoramic camera in order to improve robots navigation, with only visual perception, in outdoor scenes with various. Mounted on a mobile robot, this camera enlarges the convergence domain and the positioning accuracy of a robot by direct visual servoing, outdoors. On the other hand, we consider the scenes which have a non-uniform level of details across space : some scene elements carry more visual information than the others. To capture such heterogeneous environments, the second contribution of this thesis is an adaptive camera. This camera is based on a new deformable mirror of local curvatures allowing to enlarge or reduce the number of pixels occupied by scene regions in the image. This camera, nicknamed Visadapt, capture multi-résolution images which depend on scene content. From one scene to another, the shape of the mirror may be changed to optimise the resolution of the images captured to this new scene. The surface of the mirror is made of material both reflective and deformable, the mylar, and changes of shape thanks to a grid of linear actuators placed underneath. This mirror, plan as an initial state, is able to change shape to give to the scene regions captured by Visadapt the desired resolution in the image. The characteristics of Visadapt, particularly the dimensions, the materials of its different elements and the actuators pitch, have been defined thanks to a simulation study. A real prototype have been built to respect the parameters defined by the simulation. The experiments shown that this prototype is able to magnify up to four scene regions at once. This thesis ends with a conclusion presenting future works to upgrade the prototypes of the two cameras, in order to enhance their performances and the diversity of images they can capture. Furthermore, this conclusion proposes research tracks to improve even further these two cameras and even adaptive vision in general

Ce travail de thèse s'intéresse au problème de la reconstruction 3D dense complète d'objets sans recul. Nous avons conçu et développé un système de reconstruction tridimensionnelle d'objet réel basé caméra avec deux miroirs plans: c'est un système Stéréo Catadioptrique Planaire (SCP). En premier lieu, nous modélisons le système SCP par un réseau de caméras virtuelles afin de l'étalonner. Ensuite, nous formulons la mise en correspondance des points caractéristiques détectés dans les images reflétés en utilisant une variante de la méthode ASIFT qui est adaptée aux miroirs plans et que l'on dénomme AMIFT. L'élimination des fausses correspondances est assurée par la méthode Symmetric-RANSAC proposée dans cette thèse. Pour reconstruire la surface de l'objet, et non quelques points épars, une étape de mise en correspondance dense est par la suite nécessaire. Nous proposons alors une approche de recherche de pixels correspondants intégrant la géométrie projective par le biais d'homographies locales. Cette méthode permet d'estimer la transformation géométrique qui lie l'image de l'objet à l'une de ses inter-réflexions sur les miroirs plans en minimisant une fonction de coût avec la technique d'optimisation de Branch-and-Bound. Cela nous permet d'adapter la reconstruction 3D dense, fondamentalement basée sur la triangulation de correspondances entre images. Enfin, nous appliquons ce pipeline de reconstruction 3D sur des images de réflexions multiples afin de vérifier l'hypothèse de reconstruction 3D complète à partir d'un système SCP. La performance du système proposé est validée par des expérimentations sur des images synthétiques et les résultats obtenus montrent la qualité de la reconstruction 3D
This PhD work focuses on the problem of complete dense 3D reconstruction of objects without recoil. We have conceived and developed a tridimensional reconstruction system of real objects based on a camera with two planar mirrors; baptised as a Planar Catadioptric Stereo (PCS) system. We first model the PCS system by a network of virtual cameras to perform calibration. Then, we formulate the problem of characteristic points' correspondences detected on the reflected images by using a variant of the ASIFT method. This adaptation which we behold as AMIFT on the mirror planes. Putative point correspondences are further refined with outlier rejection using our method of Symmetric RANSAC proposed in this thesis. To reconstruct a proper dense object surface, and not just a sparse projection of points, a dense correspondence technique is consequently required. This method estimates the geometric transformation linking the image object with one of it’s inter-reflections on the mirror planes by minimizing a branch and bound cost function. This allows us to adapt the 3D dense reconstruction, fundamentally based on the triangulation of image correspondences. We apply this 3D reconstruction pipeline on multiple catadioptric images in order to verify the undermining hypothesis using a PCS system. Our methodology is validated using experimental results on synthetic images to illustrate the quality of the 3D reconstruction

La modélisation 3d automatique d'un environnement à partir d'images est un sujet toujours d'actualité en vision par ordinateur. Ce problème se résout en général en trois temps : déplacer une caméra dans la scène pour prendre la séquence d'images, reconstruire la géométrie, et utiliser une méthode de stéréo dense pour obtenir une surface de la scène. La seconde étape met en correspondances des points d'intérêts dans les images puis estime simultanément les poses de la caméra et un nuage épars de points 3d de la scène correspondant aux points d'intérêts. La troisième étape utilise l'information sur l'ensemble des pixels pour reconstruire une surface de la scène, par exemple en estimant un nuage de points dense.Ici nous proposons de traiter le problème en calculant directement une surface à partir du nuage épars de points et de son information de visibilité fournis par l'estimation de la géométrie. Les avantages sont des faibles complexités en temps et en espace, ce qui est utile par exemple pour obtenir des modèles compacts de grands environnements comme une ville. Pour cela, nous présentons une méthode de reconstruction de surface du type sculpture dans une triangulation de Delaunay 3d des points reconstruits. L'information de visibilité est utilisée pour classer les tétraèdres en espace vide ou matière. Puis une surface est extraite de sorte à séparer au mieux ces tétraèdres à l'aide d'une méthode gloutonne et d'une minorité de points de Steiner. On impose sur la surface la contrainte de 2-variété pour permettre des traitements ultérieurs classiques tels que lissage, raffinement par optimisation de photo-consistance ... Cette méthode a ensuite été étendue au cas incrémental : à chaque nouvelle image clef sélectionnée dans une vidéo, de nouveaux points 3d et une nouvelle pose sont estimés, puis la surface est mise à jour. La complexité en temps est étudiée dans les deux cas (incrémental ou non). Dans les expériences, nous utilisons une caméra catadioptrique bas coût et obtenons des modèles 3d texturés pour des environnements complets incluant bâtiments, sol, végétation ... Un inconvénient de nos méthodes est que la reconstruction des éléments fins de la scène n'est pas correcte, par exemple les branches des arbres et les pylônes électriques.

Ce manuscrit étudie les images omnidirectionnelles catadioptriques couleur en tant que variétés Riemanniennes. Cette représentation géométrique ouvre des pistes intéressantes pour résoudre les problèmes liés aux distorsions introduites par le système catadioptrique dans le cadre de la perception couleur des systèmes autonomes. Notre travail démarre avec un état de l’art sur la vision omnidirectionnelle, les différents dispositifs et modèles de projection géométriques. Ensuite, nous présentons les notions de base de la géométrie Riemannienne et son utilisation en traitement d’images. Ceci nous amène à introduire les opérateurs différentiels sur les variétés Riemanniennes, qui nous seront utiles dans cette étude. Nous développons alors une méthode de construction d’un tenseur métrique hybride adapté aux images catadioptriques couleur. Ce tenseur a la double caractéristique, de dépendre de la position géométrique des points dans l’image, et de leurs coordonnées photométriques également. L’exploitation du tenseur métrique proposé pour différents traitements des images catadioptriques, est une partie importante dans cette thèse. En effet, on constate que la fonction Gaussienne est au cœur de plusieurs filtres et opérateurs pour diverses applications comme le débruitage, ou bien l’extraction des caractéristiques bas niveau à partir de la représentation dans l’espace-échelle Gaussien. On construit ainsi un nouveau noyau Gaussien dépendant du tenseur métrique Riemannien. Il présente l’avantage d’être applicable directement sur le plan image catadioptrique, également, variable dans l’espace et dépendant de l’information image locale. Dans la dernière partie de cette thèse, nous discutons des applications robotiques de la métrique hybride, en particulier, la détection de l’espace libre navigable pour un robot mobile, et nous développons une méthode de planification de trajectoires optimal
This manuscript investigates omnidirectional catadioptric color images as Riemannian manifolds. This geometric representation offers insights into the resolution of problems related to the distortions introduced by the catadioptric system in the context of the color perception of autonomous systems. The report starts with an overview of the omnidirectional vision, the different used systems, and the geometric projection models. Then, we present the basic notions and tools of Riemannian geometry and its use in the image processing domain. This leads us to introduce some useful differential operators on Riemannian manifolds. We develop a method of constructing a hybrid metric tensor adapted to color catadioptric images. This tensor has the dual characteristic of depending on the geometric position of the image points and their photometric coordinates as well.In this work, we mostly deal with the exploitation of the previously constructed hybrid metric tensor in the catadioptric image processing. Indeed, it is recognized that the Gaussian function is at the core of several filters and operators for various applications, such as noise reduction, or the extraction of low-level characteristics from the Gaussian space- scale representation. We thus build a new Gaussian kernel dependent on the Riemannian metric tensor. It has the advantage of being applicable directly on the catadioptric image plane, also, variable in space and depending on the local image information. As a final part in this thesis, we discuss some possible robotic applications of the hybrid metric tensor. We propose to define the free space and distance transforms in the omni- image, then to extract geodesic medial axis. The latter is a relevant topological representation for autonomous navigation, that we use to define an optimal trajectory planning method

Mes travaux de recherche concernent essentiellement la vision par ordinateur, ou vision artificielle. Basiquement, je me suis efforcé d'imaginer des dispositifs, d'étudier des algorithmes, d'intégrer des méthodes et techniques connues dans des méthodologies nouvelles, de développer çà et là des aspects théoriques originaux. Je me suis beaucoup intéressé à des systèmes de vision alternatifs comme les systèmes en lumière structurée ou catadioptriques. Ces systèmes permettent d'étudier les techniques usuelles de vision par ordinateur sous un éclairage différent, ils nous obligent à ajuster le problème aux caractéristiques qui leur sont propres ; ils permettent, en quelque sorte, d'appréhender la vision par ordinateur "de biais". J'ai participé, de manière plus marginale, à des travaux sur la chirurgie virtuelle et la reconstruction d'objets transparents qui, chacun à leur manière, sont venus compléter le cadre de ce que sont mes activités de recherche. Ce qui les ont animées tient en une phrase : comment passer d'une image à sa représentation tridimensionnelle ? - et en corollaire : quelles sont les informa- tions dont j'ai besoin pour y parvenir ? comment adapter le capteur, le principe ou la méthode à l'application et comment adapter les traitements au capteur ? Ceci m'a conduit à étudier, en amont, le traitement des images et à m'aventurer parfois dans des domaines qui vont au-delà de mon champ de compétence, comme celui de l'imagerie polarimétrique ou de la physique.