Auswahl der wissenschaftlichen Literatur zum Thema „Reconstruction d'images visuelles“

Le présent article décrit l'implémentation d'une méthode de pré-location décimétrique d'images au sein de grands volumes de données dans des tunnels navigables et routiers. Elle repose sur une technique d'odométrie visuelle simplifiée, ce qui la rend rapide et facile à mettre en oeuvre. Cette méthode permet de structurer les données afin d'améliorer les traitements postérieurs, comme par exemple la reconstruction 3D par photogrammétrie. La méthode est évaluée sur la précision de la localisation par comparaison avec des techniques de localisation plus conventionnelles. La structuration des données qui découle de cette localisation des images au sein de l'ouvrage constitue l'aspect le plus important du travail présenté ici.

Les grands esprits de l'humanité ont toujours été curieux de la nature de l'esprit, du cerveau et de la conscience. Par le biais d'expériences physiques et mentales, ils ont tenté de répondre à des questions difficiles sur la perception visuelle. Avec le développement des techniques de neuro-imagerie, les techniques de codage et de décodage neuronaux ont permis de mieux comprendre la manière dont nous traitons les informations visuelles. Les progrès réalisés dans les domaines de l'intelligence artificielle et de l'apprentissage profond ont également influencé la recherche en neuroscience. Avec l'émergence de modèles génératifs profonds tels que les autoencodeurs variationnels (VAE), les réseaux adversariaux génératifs (GAN) et les modèles de diffusion latente (LDM), les chercheurs ont également utilisé ces modèles dans des tâches de décodage neuronal telles que la reconstruction visuelle des stimuli perçus à partir de données de neuro-imagerie. La présente thèse fournit deux bases théoriques dans le domaine de la reconstruction des stimuli perçus à partir de données de neuro-imagerie, en particulier les données IRMf, en utilisant des modèles génératifs profonds. Ces bases théoriques se concentrent sur des aspects différents de la tâche de reconstruction visuelle que leurs prédécesseurs, et donc ils peuvent apporter des résultats précieux pour les études qui suivront. La première étude dans la thèse (décrite au chapitre 2) utilise un modèle génératif particulier appelé IC-GAN pour capturer les aspects sémantiques et réalistes de la reconstruction visuelle. La seconde étude (décrite au chapitre 3) apporte une nouvelle perspective sur la reconstruction visuelle en fusionnant les informations décodées à partir de différentes modalités (par exemple, le texte et l'image) en utilisant des modèles de diffusion latente récents. Ces études sont à la pointe de la technologie dans leurs domaines de référence en présentant des reconstructions très fidèles des différents attributs des stimuli. Dans nos deux études, nous proposons des analyses de régions d'intérêt (ROI) pour comprendre les propriétés fonctionnelles de régions visuelles spécifiques en utilisant nos modèles de décodage neuronal. Les relations statistiques entre les régions d'intérêt et les caractéristiques latentes décodées montrent que les zones visuelles précoces contiennent plus d'informations sur les caractéristiques de bas niveau (qui se concentrent sur la disposition et l'orientation des objets), tandis que les zones visuelles supérieures sont plus informatives sur les caractéristiques sémantiques de haut niveau. Nous avons également observé que les images optimales de ROI générées à l'aide de nos techniques de reconstruction visuelle sont capables de capturer les propriétés de sélectivité fonctionnelle des ROI qui ont été examinées dans de nombreuses études antérieures dans le domaine de la recherche neuroscientifique. Notre thèse tente d'apporter des informations précieuses pour les études futures sur le décodage neuronal, la reconstruction visuelle et l'exploration neuroscientifique à l'aide de modèles d'apprentissage profond en fournissant les résultats de deux bases théoriques de reconstruction visuelle et d'analyses de ROI. Les résultats et les contributions de la thèse peuvent aider les chercheurs travaillant dans le domaine des neurosciences cognitives et avoir des implications pour les applications d'interface cerveau-ordinateur
The great minds of humanity were always curious about the nature of mind, brain, and consciousness. Through physical and thought experiments, they tried to tackle challenging questions about visual perception. As neuroimaging techniques were developed, neural encoding and decoding techniques provided profound understanding about how we process visual information. Advancements in Artificial Intelligence and Deep Learning areas have also influenced neuroscientific research. With the emergence of deep generative models like Variational Autoencoders (VAE), Generative Adversarial Networks (GAN) and Latent Diffusion Models (LDM), researchers also used these models in neural decoding tasks such as visual reconstruction of perceived stimuli from neuroimaging data. The current thesis provides two frameworks in the above-mentioned area of reconstructing perceived stimuli from neuroimaging data, particularly fMRI data, using deep generative models. These frameworks focus on different aspects of the visual reconstruction task than their predecessors, and hence they may bring valuable outcomes for the studies that will follow. The first study of the thesis (described in Chapter 2) utilizes a particular generative model called IC-GAN to capture both semantic and realistic aspects of the visual reconstruction. The second study (mentioned in Chapter 3) brings new perspective on visual reconstruction by fusing decoded information from different modalities (e.g. text and image) using recent latent diffusion models. These studies become state-of-the-art in their benchmarks by exhibiting high-fidelity reconstructions of different attributes of the stimuli. In both of our studies, we propose region-of-interest (ROI) analyses to understand the functional properties of specific visual regions using our neural decoding models. Statistical relations between ROIs and decoded latent features show that while early visual areas carry more information about low-level features (which focus on layout and orientation of objects), higher visual areas are more informative about high-level semantic features. We also observed that generated ROI-optimal images, using these visual reconstruction frameworks, are able to capture functional selectivity properties of the ROIs that have been examined in many prior studies in neuroscientific research. Our thesis attempts to bring valuable insights for future studies in neural decoding, visual reconstruction, and neuroscientific exploration using deep learning models by providing the results of two visual reconstruction frameworks and ROI analyses. The findings and contributions of the thesis may help researchers working in cognitive neuroscience and have implications for brain-computer-interface applications

Ce travail est rédigé en deux parties, où sont abordés plusieurs problèmes fondamentaux de reconstruction visuelle: celui de la segmentation d'images numérisées dans la première partie, puis dans la deuxième des problèmes liés à la reconstruction du relief, ou vision stéréoscopique. L'introduction de la première partie se veut une présentation rapide de la segmentation, et en particulier des méthodes variationnelles, dans un cadre discret (approches de type déterministe ou probabiliste) et continu (fonctionnelle de Mumford et Shah). Dans les chapitres suivants des résultats mathématiques établissent, en dimension un (segmentation de signaux) puis deux (segmentation d'images), l'équivalence des algorithmes discrets et du problème continu. On discute aussi en détail de la résolution numérique du problème de segmentations de signaux; certaines idées se généralisent en dimension deux, fournissant un algorithme de résolution approchée du problème. La deuxième partie comprend deux chapitres relativement indépendants, axés tous deux sur la reconstruction du relief. Le premier contient un résultat mathématique d'unicité qui prouve l'intérêt théorique du couplage de deux approches classiques, la vision binoculaire et le shape-from-shading, théorie modélisant le lien entre les variations d'intensité lumineuse d'une image numérique (le shading) et la forme des objets observés. Le dernier chapitre, plus pratique, décrit l'implémentation d'un algorithme de mise en correspondance de deux images binoculaires

L'endothélium cornéen humain constitue une mono-couche de cellules de formes relativement hexagonales et de surfaces régulières, situées à la face interne de la cornée. Ces cellules sont primordiales car elles maintiennent la transparence de la cornée. Leurs contours sont facilement photographiés chez le patient grâce à la microscopie optique spéculaire (in vivo), ou sur un greffon (ex vivo) grâce à la microscopie optique classique. Les ophtalmologistes s'intéressent alors à la densité cellulaire, ainsi qu'à des caractéristiques morphométriques (polymégethisme et pléomorphisme). Leur analyse, lorsqu'elle utilise des logiciels spécifiques, n'est cependant jamais aussi pertinente que l'analyse visuelle. Ce constat nous a conduit à nous intéresser aux principes qui régissent la perception visuelle humaine. Dans cette thèse, nous vérifions de manière élémentaire que les principes de bonne continuation et de proximité de la théorie de la Gestalt sont vérifiés algorithmiquement sur des cas simples, ce qui permet d'envisager leur utilisation pour fermer les contours imparfaitement détectés dans les images. Cependant, les résultats obtenus suggèrent une intéraction complexe entre ces principes. L'utilisation de méthodes morphologiques basées sur des filtres alternés séquentiels, des cartes de distances et des lignes de partage des eaux fournit de bons résultats. Il est montré que ces méthodes sont fondées sur les principes de la théorie de la Gestalt: la "proximité'' est introduite par les cartes de distances, la "continuation'' et la "fermeture'' sont des propriétés des lignes de partage des eaux. Leur utilisation conjointe permet de réaliser une analyse duale contours-régions: les cartes de distances permettent d'accéder à des informations régionales à partir des contours, alors que les lignes de partage des eaux permettent d'obtenir des informations de contours à partir de marqueurs régionaux. Ces impressions ont été vérifiées en mettant en place un critère de dissimilarité qui permet de quantifier l'erreur entre une mosaïque (structure cellulaire observée sur l'image de l'endothélium) fournie par l'expert et une autre mosaïque. Ainsi, plusieurs méthodes de segmentation sont testées, et la méthode que nous proposons donne les meilleurs résultats. Ce critère de dissimilarité a permis de trouver les meilleurs paramètres de chaque méthode et de faire établir entre elles un classement par les ophtalmologistes. Pour terminer la segmentation des images, une validation des résultats, basée sur des paramètres de formes, est proposée.

Cette thèse a été effectuée en collaboration avec le Laboratoire national de métrologie et d’essais(LNE) dans le cadre d’une convention CIFRE. Dans ce travail, nous cherchons à réaliser une métrique objective dédiée à l’évaluation des dispositifs de restitution d’images (les écrans). Pour répondre à cette problématique, nous avons développé un algorithme permettant d’estimer la qualité à partir des qualités du moniteur et celles du Système visuel humain (SVH). L’algorithme développé se décompose en trois blocs. Le premier bloc prend en compte les caractéristiques d’un moniteur (fonction de transfert, gamut) pour modifier une image (envoyée à un moniteur par un dispositif numérique) en une image physique (affichée par le moniteur). Le deuxième bloc de l’algorithme modélise la transformation de l’image physique en une image perceptuelle. Cette modélisation implique la connaissance des principes de fonctionnement du système visuel humain, en particulier le codage d’une information couleur, mais aussi les attributs perceptuels intervenant dans le jugement de la qualité d’une image numérique couleur. Le troisième et dernier bloc a été développé afin d’attribuer une note de qualité à cette image perceptuelle. Une étude subjective de la qualité de cinq différents écrans LCD, faisant intervenir trente participants et conduite sur la base de six critères d’analyse, a été réalisée. Elle a permis de montrer que la teinte, la saturation et le contraste sont les facteurs prépondérants pour juger la qualité des écrans. La métrique développée à partir de ces constatations présente une corrélation satisfaisante avec les données issues de l’évaluation subjective, montrant ainsi sa proximité avec un jugement humain. Cette métrique a également été testée dans le cadre de la problématique de compression JPEG et JPEG2000 où elle s’est montrée également performante. Parmi les perspectives de ce travail, nous pouvons citer l’extension de l’étude à d’autres technologies d’écrans ainsi que la définition de bornes pour les scores de la métrique
This thesis was conducted in cooperation with the Laboratoire National de Métrologie et d’Essais (LNE) within the framework of a CIFRE convention. This work consisted in realising an objective metric dedicated to the assessment of image retrieval devices (screens). To address the underlying issues, we developed an algorithm for estimating quality using the monitor features and those of the Human Visual System. The developed algorithm is made up of three blocks. The first block takes into account the technical features of the monitor (transfer function, gamut, etc. ) to turn a digital image (sent to the monitor using a digital device) into a physical image (displayed by the monitor). The second block of the algorithm models the transformation of the physical image into a perceptual image. This modelling involves familiarity with human visual system operational principles, particularly the encoding of colour information, as well as the perceptual attributes involved in judging a colour digital image quality. The required knowledge is described in chapter 4 of the present thesis. The third and last block was developed to rate the quality of this perceptual image. A subjective study of the quality of 5 different LCD screens involving thirty participants and based on six analysis criteria was performed. It successfully showed that colour, saturation and contrast are major factors on which the screen quality is assessed. The metric developed was based on these findings and shows good correlation with subjective evaluation data, thus showing similarity with human judgement. The metric was also tested in the field of JPEG and JPEG2000 compression with similar efficiency

Ce travail de thèse présente un nouveau modèle de projection pour les cameras fisheye, qui est mathématiquement simple et pourtant montre une haute précision une fois appliqué aux caméras réelles. Les propriétés géométriques de ce modèle ont été analysées en utilisant le concept de surface de projection, introduit dans ce travail. En particulier, une inverse analytique de ce modèle a été établie, ainsi qu'une équation implicite des projections de lignes droites. Cette dernière nous a permis de développer une méthode de reconstruction 3D directe basée vision pour les caméras fisheye sans rectifier les images. Cela a été fait grâce à une algorithme de rastérisation de courbes implicites. Cet algorithme de reconstruction nous permet d'employer le Semi-Global Matching pour obtenir une reconstruction 3D précise. Tous ces éléments ont été employés dans un système de localisation visuelle directe avec deux méthodes de recalage d'images : minimisation d'erreur photométrique et maximisation d'information mutuelle. L'étalonnage intrinsèque et extrinsèque d'un robot mobile équipé de caméras fisheye a été considéré et une toolbox d'étalonnage a été développée
This thesis presents a novel projection model for fisheye cameras, which is mathematically simple and yet shows a high precision when applied to real cameras. Geometric properties of the model have been analyzed using the concept of projection surface, introduced in this work. In particular, a closed-form inverse mapping and an implicit equation for straight line projection have been found. This fact has been used to develop a method of direct stereo correspondence on raw fisheye images via rasterization of implicit curve. This correspondence algorithm allows us to apply the Semi-Global Matching algorithm to get an accurate 3D reconstruction using fisheye stereo systems. All these elements have been shown to be applicable to a direct visual localization system with two different methods of image registration: direct photometric error minimization and mutual information maximization. Intrinsic and extrinsic calibration of a mobile robot with fisheye cameras has been considered and a toolbox for such a calibration has been developed

Cette recherche s'inscrit dans le cadre général du contrôle de qualité des processus utilisés en production minière, tels que le tir à l'explosif, le broyage et le concassage. Elle s'intéresse plus particulièrement à la quantification par traitement d'images de la granulométrie des roches fragmentées. Globalement, les développements menés portent sur l'amélioration des deux étapes les plus déterminantes de la mesure : l'extraction des contours des fragments de roches dans l'image (2D) et la reconstruction de la courbe granulométrique en volume (étape de stéréologie, 3D). Actuellement, le tamisage (ou plus exactement le criblage) est le moyen le plus utilisé pour la mesure de la granulométrie des roches fragmentées. Il constitue la référence actuelle de la mesure. En conséquence, toute mesure établie par traitement d'images sera validée sur la base des résultats du tamisage. En ce qui concerne l'étape d'extraction les contours de fragments, le problème majeur qui se pose est celui du filtrage correct du bruit présent dans l'image. Dans un premier temps, de nouveaux outils de filtrage, basés sur les transformations morphologiques résiduelles, assez puissants et adaptés au cas des images de fragments de roches sont introduits et évalués. Dans un second temps, les surfaces des fragments sont extraites grâce à une segmentation de l'image, basée sur une ligne de partage des eaux contrôlées par les marqueurs extraits des filtrages. La robustesse et l'automatisation de la démarche sont validées sur plusieurs cas d'images de fragments de roches. Le second problème abordé dans cette recherche est celui de la reconstruction de la courbe granulométrique en volume à partir des surfaces extraites par traitement d'images. Afin d'éviter l'occurrence de nombreux biais liés à cette étape, nous proposons un découpage en deux sous-problèmes et ce en fonction de la disposition des matériaux analysés (tas abattu, camion, convoyeur à bande). Enfin les résultats obtenus dans cette recherche pour les fragments en vrac mais aussi pour d'autres types d'images d'éléments granulaires, nous ont permis d'envisager d'ores et déjà une valorisation aussi bien auprès de l'industrie minérale et aussi dans d'autres domaines tels que l'agralimentaire, pharmaceutiques, cimenteries….
This research deals with a more general context of the quality control for some important operations in minig production, predominantly blasting, crushing and grinding. It is interested more in the granulometry quantification of the fragmented rocks by using image processing. In general, the developement work is mainly related to the improvment of two most important stages of measurement : the contours extraction of the fragments at the image (2D) and the rebuilding of the 3D size-distribution-curve ( stage of stereology,3D). Nowadays, screening ( or more general the sifting)is the most used and important process for measuring the granulometry of the fragmented rocks. It is therfore considered as the current reference of measurement. Consequently, any measurement established by image processing will then be valited on the basis of screening's result. With regard to the stage of contours extraction of fragments, the major problem is how to determine the correct filtering of the noise at the image. First of all, new tools for filtering, based on the residual morphological transformations and rather powerful and adapted to the case of fragment images of rocks, are introduced and evaluated. The study undertaken on grey level images, approaches the various aspects of the noise problems from a topographic point of view. Surfaces of fragments are then extracted carefully with the help of a segmentation of the image. The extraction process is principally based on the construction of a watershed controlled by the markers, which are extracted by filtering. The robustness and the automation of the step are afterward validated for sevarl case of images of rocks fragments. The second problem carried out in this rsearch is the rebuilding of 2D size-distribution-curve starting from the surfaces extracted by image processing. In order to avoid the interference of many skews related to this stage, we recommand to separate the problem into two subproblems according to the origin of analysed materials (cut down heap, truck, belt conveyor). Finally, the results obtained in this research for the case of the fragments of rocks as well as for oher type of images of granaular elements, enable us presently to consider a valorisation not only for mineral industry but also for other fields such as the agro industry, the pharmaceutical industry and cement factories

Ce travail de thèse vise à mettre en place un système d'extraction de réseau routier en milieu urbain à partir d'image satellite à très haute résolution. Dans ce contexte, nous avons proposé deux méthodes de localisation de routes. La première approche est fondée sur la procédure de conversion de l'image vers un format vectoriel. L'originalité de cette approche réside dans l'utilisation d'une méthode géométrique pour assurer le passage vers une représentation vectorielle de l'image d'origine et la mise en place d'un formalisme logique fondé sur un ensemble de critères perceptifs permettant le filtrage de l'information inutile et l'extraction des structures linéaires. Dans la deuxième approche, nous avons proposé un algorithme fondé sur la théorie des ondelettes, il met particulièrement en évidence les deux volets multi-résolution et multi-direction. Nous proposons donc une approche de localisation des routes mettant en jeux l'information fréquentielle multi directionnelle issue de la transformée en ondelette Log-Gabor. Dans l'étape de localisation, nous avons présenté deux détecteurs de routes qui exploitent l'information radiométrique, géométrique et fréquentielle. Cependant, ces informations ne permettent pas un résultat exact et précis. Pour remédier à ce problème, un algorithme de suivi s'avère nécessaire. Nous proposons la reconstruction de réseaux routiers par des courbes NURBS. Cette approche est basée sur un ensemble de points de repères identifiés dans la phase de localisation. Elle propose un nouveau concept, que nous avons désigné par NURBSC, basé sur les contraintes géométriques des formes à approximer. Nous connectons les segments de route identifiés afin d'obtenir des tracés continus propres aux routes.

Les travaux présentés dans ce mémoire abordent le problème de l'analyse automatique de documents cartographiques. L'application proposée concerne l'interprétation des documents cadastraux français. La méthodologie employée s'appuie sur des résultats d'études sur la perception visuelle et sur une description hiérarchisée du document. La stratégie, basée sur le modèle du document, utilise une approche mixte avec différents points de vue sur l'image à traiter. La partie descendante est caractérisée par un ensemble de traitements qui, grâce à une analyse multi-résolution de l'image, permettent d'émettre des hypothèses sur la structure globale de l'image. Les hypothèses émises par ce point de vue sont validées par un ensemble de traitements d'analyse de l'image. Cette analyse est réalisée selon différents niveaux hiérarchiques sur lesquels sont implantés des spécialistes charges de l'extraction de caractéristiques spécifiques au document traité. Dans le cas du cadastre, ces spécialistes traitent de l'analyse des zones texturées, de l'extraction des objets linéaires, de la reconnaissance des caractères et de la reconstitution des entités cadastrales. Les résultats de cette analyse mixte peuvent mettre en évidence des objets non interprétables au sens du cadastre, à cause d'incohérences sémantiques dues à différents facteurs. Une stratégie d'analyse est alors proposée, elle permet grâce à des cycles d'aller-retours entre les traitements hauts et bas niveaux, de résoudre les incohérences de façon autonome. Les résultats présentés, issus de tests effectués sur des données de laboratoire, laissent augurer de bonnes performances sur des bases de données plus importantes et permettent d'envisager l'adaptabilité de la stratégie à d'autres types de documents

Nous présentons une nouvelle approche pour la modélisation d'objets 3D de haute qualité à partir de séquences d'images en rotation partiellement calibrées. L'algorithme est capable: de calibrer la caméra (la pose et la longueur focale), de reconstruire la géométrie 3D et de créer une carte de texture. Par rapport à d'autres méthodes plus classiques, le calibrage est réalisé à partir d'un ensemble de silhouettes comme seule source d'information. Nous développons le concept de cohérence d'un ensemble de silhouettes généré par un objet 3D. Nous discutons d'abord la notion de cohérence de silhouettes et définissons un critère pratique pour l'estimer. Ce critère dépend à la fois des silhouettes et des paramètres des caméras qui les ont générées. Ces paramètres peuvent être estimés pour le problème de modélisation 3D en maximisant la cohérence globale des silhouettes. La méthode de reconstruction 3D est fondée sur l'utilisation d'un modèle déformable classique, qui définit le cadre dans lequel nous pouvons fusionner l'information de la texture et des silhouettes pour reconstruire la géométrie 3D. Cette fusion est accomplie en définissant deux forces basées sur les images: une force définie par la texture et une autre définie par les silhouettes. La force de texture est calculée en deux étapes: une approche corrélation multi-stéréo par décision majoritaire, et une étape de diffusion du vecteur gradient (GVF). En raison de la haute résolution de l'approche par décision majoritaire, une version multi-résolution du GVF a été développée. En ce qui concerne la force des silhouettes, une nouvelle formulation de la contrainte des silhouettes est dérivée. Elle fournit une manière robuste d'intégrer les silhouettes dans l'évolution du modèle déformable. A la fin de l'évolution, cette force fixe les contours générateurs du modèle 3D. Finalement, une carte de texture est calculée à partir des images originales et du modèle 3D reconstruit.