Literatura académica sobre el tema "Recalage d'images à large base"

Cette thèse étudie la détection des points de fuite et de la ligne d'horizon ainsi que leur application à des tâches de localisation visuelle en environnement urbain. La localisation visuelle est un problème fondamental de vision par ordinateur qui vise à déterminer la position et l'orientation d'une caméra dans un environnement en se basant uniquement sur des informations visuelles. En environnements urbains et manufacturés, les points de fuite sont des repères visuels qui apportent des informations importantes sur la structure de la scène et leur détection est donc importante pour les tâches de reconstruction et de localisation. La thèse propose de nouvelles méthodes d'apprentissage profond pour surmonter les limites des approches existantes de détection de points de fuite. La première contribution clé introduit une nouvelle approche pour la détection de lignes d'horizon et de points de fuite. Contrairement à la plupart des méthodes existantes, cette méthode infère simultanément la ligne d'horizon et un nombre illimité de points de fuite horizontaux, même ceux s'étendant au-delà du cadre de l'image. La deuxième contribution clé de cette thèse est un détecteur de points de fuite amélioré par les structures de la scène. Cette méthode utilise un cadre d'apprentissage multitâche pour estimer plusieurs points de fuite horizontaux et générer les masques des structures planaires verticales correspondants à chaque point de fuite. Notre méthode fournit ainsi des informations essentielles sur la configuration de la scène. Contrairement aux méthodes existantes, cette approche exploite les informations contextuelles et les structures de la scène pour une estimation précise sans s'appuyer sur les lignes détectées. Les résultats expérimentaux démontrent que cette méthode surpasse les méthodes traditionnelles basées sur les lignes et les méthodes modernes basées sur l'apprentissage profond. La thèse explore ensuite l'utilisation des points de fuite pour la mise en correspondance et le recalage d'images, en particulier dans le cas où les images sont prises depuis des points de vue très différents. Malgré les progrès continus sur les extracteurs et les descripteurs d'indices, ces méthodes sont souvent inopérantes en présence de fortes variations d'échelle ou de points de vue. Les méthodes proposées relèvent ce défi en incorporant les points de fuite et les structures de la scène. L'un des défis majeurs liés à l'utilisation des points de fuite pour le recalage consiste à établir des correspondances fiables, en particulier dans des scénarios à large base. Ce travail relève ce défi en proposant une méthode de détection de points de fuite aidée par la détection des masques de structures verticales de scène correspondant à ces points de fuite. À notre connaissance, il s'agit de la première implémentation d'une méthode pour la mise en correspondance des points de fuite qui exploite le contenu de l'image et non seulement les segments détectés. Cette correspondance de points de fuite facilite l'estimation de la rotation relative de la caméra, en particulier dans les scénarios à large base. De plus, l'incorporation d'informations des structures de la scène permet une correspondance plus fiable des points clés au sein de ces structures. Par conséquent, la méthode facilite l'estimation de la translation relative, qui est contrainte elle-même par la rotation dérivée des points de fuite. La qualité de la rotation peut cependant parfois être impactée par l'imprécision des points de fuite détectés. Nous proposons donc une méthode de mise en correspondance d'image guidée par les points de fuite, qui est beaucoup moins sensible à la précision de détection des points de fuite
This thesis examines the detection of vanishing points and the horizon line and their application to visual localization tasks in urban environments. Visual localization is a fundamental problem in computer vision that aims to determine the position and orientation of a camera in an environment based solely on visual information. In urban and manufactured environments, vanishing points are important visual landmarks that provide crucial information about the scene's structure, making their detection important for reconstruction and localization tasks. The thesis proposes new deep learning methods to overcome the limitations of existing approaches to vanishing point detection. The first key contribution introduces a novel approach for HL and VP detection. Unlike most existing methods, this method directly infers both the HL and an unlimited number of horizontal VPs, even those extending beyond the image frame. The second key contribution of this thesis is a structure-enhanced VP detector. This method utilizes a multi-task learning framework to estimate multiple horizontal VPs from a single image. It goes beyond simple VP detection by generating masks that identify vertical planar structures corresponding to each VP, providing valuable scene layout information. Unlike existing methods, this approach leverages contextual information and scene structures for accurate estimation without relying on detected lines. Experimental results demonstrate that this method outperforms traditional line-based methods and modern deep learning-based methods. The thesis then explores the use of vanishing points for image matching and registration, particularly in cases where images are captured from vastly different viewpoints. Despite continuous progress in feature extractors and descriptors, these methods often fail in the presence of significant scale or viewpoint variations. The proposed methods address this challenge by incorporating vanishing points and scene structures. One major challenge in using vanishing points for registration is establishing reliable correspondences, especially in large-scale scenarios. This work addresses this challenge by proposing a vanishing point detection method aided by the detection of masks of vertical scene structures corresponding to these vanishing points. To our knowledge, this is the first implementation of a method for vanishing point matching that exploits image content rather than just detected segments. This vanishing point correspondence facilitates the estimation of the camera's relative rotation, particularly in large-scale scenarios. Additionally, incorporating information from scene structures enables more reliable keypoint correspondence within these structures. Consequently, the method facilitates the estimation of relative translation, which is itself constrained by the rotation derived from the vanishing points. The quality of rotation can sometimes be impacted by the imprecision of detected vanishing points. Therefore, we propose a vanishing point-guided image matching method that is much less sensitive to the accuracy of vanishing point detection

Dans ce travail, nous proposons un système de recalage géométrique possibiliste qui fusionne les connaissances sémantiques et les connaissances au niveau du gris des images à recaler. Les méthodes de recalage géométrique existantes se reposent sur une analyse des connaissances au niveau des capteurs lors de la détection des primitives ainsi que lors de la mise en correspondance. L'évaluation des résultats de ces méthodes de recalage géométrique présente des limites au niveau de la perfection de la précision causées par le nombre important de faux amers. L’idée principale de notre approche proposée est de transformer les deux images à recaler en un ensemble de projections issues des images originales (source et cible). Cet ensemble est composé des images nommées « cartes de possibilité », dont chaque carte comporte un seul contenu et présente une distribution possibiliste d’une classe sémantique des deux images originales. Le système de recalage géométrique basé sur la théorie de possibilités proposé présente deux contextes : un contexte supervisé et un contexte non supervisé. Pour le premier cas de figure nous proposons une méthode de classification supervisée basée sur la théorie des possibilités utilisant les modèles d'apprentissage. Pour le contexte non supervisé, nous proposons une méthode de clustering possibiliste utilisant la méthode FCM-multicentroide. Les deux méthodes proposées fournissent en résultat les ensembles de classes sémantiques des deux images à recaler. Nous créons par la suite, les bases de connaissances pour le système de recalage possibiliste proposé. Nous avons amélioré la qualité du recalage géométrique existant en termes de perfection de précision, de diminution du nombre de faux amers et d'optimisation de la complexité temporelle
In this work, we propose a possibilistic geometric registration system that merges the semantic knowledge and the gray level knowledge of the images to be registered. The existing geometric registration methods are based on an analysis of the knowledge at the level of the sensors during the detection of the primitives as well as during the matching. The evaluation of the results of these geometric registration methods has limits in terms of the perfection of the precision caused by the large number of outliers. The main idea of our proposed approach is to transform the two images to be registered into a set of projections from the original images (source and target). This set is composed of images called “possibility maps”, each map of which has a single content and presents a possibilistic distribution of a semantic class of the two original images. The proposed geometric registration system based on the possibility theory presents two contexts: a supervised context and an unsupervised context. For the first case, we propose a supervised classification method based on the theory of possibilities using learning models. For the unsupervised context, we propose a possibilistic clustering method using the FCM-multicentroid method. The two proposed methods provide as a result the sets of semantic classes of the two images to be registered. We then create the knowledge bases for the proposed possibilistic registration system. We have improved the quality of the existing geometric registration in terms of precision perfection, reductionin the number of false landmarks and optimization of time complexity

Le but de cette thèse est de construire une image couleur de haute qualité, contenant un faible niveau de bruit et d'aliasing, à partir d'une grande séquence (e.g. des centaines) d'images RAW prises avec un appareil photo grand public. C’est un problème complexe nécessitant d'effectuer à la volée du dématriçage, du débruitage et de la super-résolution. Les algorithmes existants produisent des images de haute qualité, mais le nombre d'images d'entrée est limité par des coûts de calcul et de mémoire importants. Dans cette thèse, nous proposons un algorithme de fusion d'images qui les traite séquentiellement de sorte que le coût mémoire ne dépend que de la taille de l'image de sortie. Après un pré-traitement, les images mosaïquées sont recalées en utilisant une méthode en deux étapes que nous introduisons. Ensuite, une image couleur est calculée par accumulation des données irrégulièrement échantillonnées en utilisant une régression à noyau classique. Enfin, le flou introduit est supprimé en appliquant l'inverse du filtre équivalent asymptotique correspondant (que nous introduisons). Nous évaluons la performance et la précision de chaque étape de notre algorithme sur des données synthétiques et réelles. Nous montrons que pour une grande séquence d'images, notre méthode augmente avec succès la résolution et le bruit résiduel diminue comme prévu. Nos résultats sont similaires à des méthodes plus lentes et plus gourmandes en mémoire. Comme la génération de données nécessite une méthode d'interpolation, nous étudions également les méthodes d'interpolation par polynôme trigonométrique et B-spline. Nous déduisons de cette étude de nouvelles méthodes d'interpolation affinées
The aim of this thesis is to build a high-quality color image, containing a low level of noise and aliasing, from a large sequence (e.g. hundreds or thousands) of RAW images taken with a consumer camera. This is a challenging issue requiring to perform on the fly demosaicking, denoising and super-resolution. Existing algorithms produce high-quality images but the number of input images is limited by severe computational and memory costs. In this thesis we propose an image fusion algorithm that processes the images sequentially so that the memory cost only depends on the size of the output image. After a preprocessing step, the mosaicked (or CFA) images are aligned in a common system of coordinates using a two-step registration method that we introduce. Then, a color image is computed by accumulation of the irregularly sampled data using classical kernel regression. Finally, the blur introduced is removed by applying the inverse of the corresponding asymptotic equivalent filter (that we introduce).We evaluate the performance and the accuracy of each step of our algorithm on synthetic and real data. We find that for a large sequence of RAW images, our method successfully performs super-resolution and the residual noise decreases as expected. We obtained results similar to those obtained by slower and memory greedy methods. As generating synthetic data requires an interpolation method, we also study in detail the trigonometric polynomial and B-spline interpolation methods. We derive from this study new fine-tuned interpolation methods

Cette thèse se situe dans le domaine de l'auto-localisation et de la cartographie 3D des caméras RGB-D pour des robots mobiles et des systèmes autonomes avec des caméras RGB-D. Nous présentons des techniques d'alignement et de cartographie pour effectuer la localisation d'une caméra (suivi), notamment pour des caméras avec mouvements rapides ou avec faible cadence. Les domaines d'application possibles sont la réalité virtuelle et augmentée, la localisation de véhicules autonomes ou la reconstruction 3D des environnements.Nous proposons un cadre consistant et complet au problème de localisation et cartographie 3D à partir de séquences d'images RGB-D acquises par une plateforme mobile. Ce travail explore et étend le domaine d'applicabilité des approches de suivi direct dites "appearance-based". Vis-à-vis des méthodes fondées sur l'extraction de primitives, les approches directes permettent une représentation dense et plus précise de la scène mais souffrent d'un domaine de convergence plus faible nécessitant une hypothèse de petits déplacements entre images.Dans la première partie de la thèse, deux contributions sont proposées pour augmenter ce domaine de convergence. Tout d'abord une méthode d'estimation des grands déplacements est développée s'appuyant sur les propriétés géométriques des cartes de profondeurs contenues dans l'image RGB-D. Cette estimation grossière (rough estimation) peut être utilisée pour initialiser la fonction de coût minimisée dans l'approche directe. Une seconde contribution porte sur l'étude des domaines de convergence de la partie photométrique et de la partie géométrique de cette fonction de coût. Il en résulte une nouvelle fonction de coût exploitant de manière adaptative l'erreur photométrique et géométrique en se fondant sur leurs propriétés de convergence respectives.Dans la deuxième partie de la thèse, nous proposons des techniques de régularisation et de fusion pour créer des représentations précises et compactes de grands environnements. La régularisation s'appuie sur une segmentation de l'image sphérique RGB-D en patchs utilisant simultanément les informations géométriques et photométriques afin d'améliorer la précision et la stabilité de la représentation 3D de la scène. Cette segmentation est également adaptée pour la résolution non uniforme des images panoramiques. Enfin les images régularisées sont fusionnées pour créer une représentation compacte de la scène, composée de panoramas RGB-D sphériques distribués de façon optimale dans l'environnement. Ces représentations sont particulièrement adaptées aux applications de mobilité, tâches de navigation autonome et de guidage, car elles permettent un accès en temps constant avec une faible occupation de mémoire qui ne dépendent pas de la taille de l'environnement
This thesis is in the context of self-localization and 3D mapping from RGB-D cameras for mobile robots and autonomous systems. We present image alignment and mapping techniques to perform the camera localization (tracking) notably for large camera motions or low frame rate. Possible domains of application are localization of autonomous vehicles, 3D reconstruction of environments, security or in virtual and augmented reality. We propose a consistent localization and 3D dense mapping framework considering as input a sequence of RGB-D images acquired from a mobile platform. The core of this framework explores and extends the domain of applicability of direct/dense appearance-based image registration methods. With regard to feature-based techniques, direct/dense image registration (or image alignment) techniques are more accurate and allow us a more consistent dense representation of the scene. However, these techniques have a smaller domain of convergence and rely on the assumption that the camera motion is small.In the first part of the thesis, we propose two formulations to relax this assumption. Firstly, we describe a fast pose estimation strategy to compute a rough estimate of large motions, based on the normal vectors of the scene surfaces and on the geometric properties between the RGB-D images. This rough estimation can be used as initialization to direct registration methods for refinement. Secondly, we propose a direct RGB-D camera tracking method that exploits adaptively the photometric and geometric error properties to improve the convergence of the image alignment.In the second part of the thesis, we propose techniques of regularization and fusion to create compact and accurate representations of large scale environments. The regularization is performed from a segmentation of spherical frames in piecewise patches using simultaneously the photometric and geometric information to improve the accuracy and the consistency of the scene 3D reconstruction. This segmentation is also adapted to tackle the non-uniform resolution of panoramic images. Finally, the regularized frames are combined to build a compact keyframe-based map composed of spherical RGB-D panoramas optimally distributed in the environment. These representations are helpful for autonomous navigation and guiding tasks as they allow us an access in constant time with a limited storage which does not depend on the size of the environment

Le premier objectif de cette thèse est de générer et d'analyser une base de données pour l'écoulement intracardiaque dans des géométries réalistes. Dans ce but, une stratégie couplant simulation numérique et imagerie médicale est appliquée à un cœur gauche pathologique et à un cœur gauche sain. Le second objectif est d'illustrer comment cette base de données peut être analysée afin de mieux comprendre l'écoulement intracardiaque, en portant une attention particulière aux caractéristiques instationnaires de l'écoulement et à sa nature turbulente. Une chaîne numérique pour simuler l'écoulement dans des géométries spécifiques au patient est tout d'abord présentée. La cavité cardiaque et ses mouvements sont extraits à partir d'images médicales à l'aide d'un algorithme de recalage d'image afin d'obtenir le domaine de calcul. Les équations qui régissent l'écoulement sont écrites dans le cadre d'un maillage se déformant au cours du temps (approche arbitrairement Lagrangienne ou Eulérienne). Les valves cardiaques sont modélisées à l'aide de frontières immergées. L'application de cette chaîne numérique à deux cœurs gauches, l'un pathologique, l'autre sain est ensuite détaillée. L'écoulement sanguin est caractérisé par sa nature transitoire, donnant un écoulement complexe et cyclique. Il est montré que l'écoulement n'est ni laminaire, ni pleinement turbulent, justifiant a posteriori l'utilisation de simulation aux grandes échelles. Le développement instationnaire de la turbulence est analysé à l'aide de l'écoulement moyenné sur un nombre suffisant de cycles cardiaques. Les statistiques de l'écoulement, l'énergie turbulente, la production de turbulence et une analyse spectrale sont notamment présentées. Une étude Lagrangienne est aussi effectuée en utilisant des statistiques calculées à l'aide de particules ensemencées dans l'écoulement. En plus des caractéristiques habituellement rapportées, ce travail met en évidence le caractère perturbé et transitoire de l'écoulement, tout en identifiant les mécanismes de production de la turbulence
The first objective of this thesis is to generate and analyse CFD-based databases for the intracardiac flow in realistic geometries. To this aim, an image-based CFD strategy is applied to both a pathological and a healthy human left hearts. The second objective is to illustrate how the numerical database can be analysed in order to gain insight about the intracardiac flow, mainly focusing on the unsteady and turbulent features. A numerical framework allowing insight in fluid dynamics inside patient-specific human hearts is first presented. The heart cavities and their wall dynamics are extracted from medical images, with the help of an image registration algorithm, in order to obtain a patient-specific moving numerical domain. Flow equations are written on a conformal moving computational domain, using an Arbitrary Lagrangian-Eulerian framework. Valves are modelled using immersed boundaries.Application of this framework to compute flow and turbulence statistics in both a realistic pathological and a realistic healthy human left hearts is presented. The blood flow is characterized by its transitional nature, resulting in a complex cyclic flow. Flow dynamics is analysed in order to reveal the main fluid phenomena and to obtain insights into the physiological patterns commonly detected. It is demonstrated that the flow is neither laminar nor fully turbulent, thus justifying a posteriori the use of Large Eddy Simulation.The unsteady development of turbulence is analysed from the phase averaged flow, flow statistics, the turbulent stresses, the turbulent kinetic energy, its production and through spectral analysis. A Lagrangian analysis is also presented using Lagrangian particles to gather statistical flow data. In addition to a number of classically reported features on the left heart flow, this work reveals how disturbed and transitional the flow is and describes the mechanisms of turbulence production

La Réalité Augmentée (RA) vise à afficher des informations numériques virtuelles sur des images réelles. Le recalage est important, puisqu’il permet d'aligner correctement les objets virtuels dans le monde réel. Contrairement au tracking qui recale en utilisant les informations de l’image précédente, la localisation à grande échelle (wide baseline localization) calcule la solution en utilisant uniquement les informations présentes dans l’image courante. Il permet ainsi de trouver des solutions initiales au problème de recalage (initialisation) et, n’est pas sujet aux problèmes de « perte de tracking ». Le problème du recalage en RA est relativement bien étudié dans la littérature, mais les méthodes existantes fonctionnent principalement lorsque la scène augmentée présente des textures. Pourtant, pour le recalage avec les objets peu ou pas texturés, il est possible d’utiliser leurs informations géométriques qui représentent des caractéristiques plus stables que les textures. Cette thèse s’attache au problème de recalage basé sur des informations géométriques, et plus précisément sur les points. Nous proposons deux nouvelles méthodes de recalage de points (RRDM et LGC) robustes et rapides. LGC est une amélioration de la méthode RRDM et peut mettre en correspondance des ensembles de motifs de points 2D ou 3D subissant une transformation dont le type est connu. LGC présente un comportement linéaire en fonction du nombre de points, ce qui permet un tracking en temps-réel. La pertinence de LGC a été illustrée en développant une application de calibration de système projecteur-caméra dont les résultats sont comparables avec l’état de l’art tout en présentant des avantages pour l’utilisateur en termes de taille de mire de calibration
Registration is a very important task in Augmented Reality (AR). It provides the spatial alignment between the real environment and virtual objects. Unlike tracking (which relies on previous frame information), wide baseline localization finds the correct solution from a wide search space, so as to overcome the initialization or tracking failure problems. Nowadays, various wide baseline localization methods have been applied successfully. But for objects with no or little texture, there is still no promising method. One possible solution is to rely on the geometric information, which sometimes does not vary as much as texture or color. This dissertation focuses on new wide baseline localization methods entirely based on geometric information, and more specifically on points. I propose two novel point pattern matching algorithms, RRDM and LGC. Especially, LGC registers 2D or 3D point patterns under any known transformation type and supports multipattern recognitions. It has a linear behavior with respect to the number of points, which allows for real-time tracking. It is applied to multi targets tracking and augmentation, as well as to 3D model registration. A practical method for projector-camera system calibration based on LGC is also proposed. It can be useful for large scale Spatial Augmented Reality (SAR). Besides, I also developed a method to estimate the rotation axis of surface of revolution quickly and precisely on 3D data. It is integrated in a novel framework to reconstruct the surface of revolution on dense SLAM in real-time

Les méthodes de recalage d’images, qui ont pour but l’alignement de deux ou plusieurs images dans un même système de coordonnées, sont parmi les algorithmes les plus anciens et les plus utilisés en vision par ordinateur. Les méthodes de recalage servent à établir des correspondances entre des images (prises à des moments différents, par différents senseurs ou avec différentes perspectives), lesquelles ne sont pas évidentes pour l’œil humain. Un type particulier d’algorithme de recalage, connu comme « les méthodes de recalage déformables à l’aide de modèles graphiques » est devenu de plus en plus populaire ces dernières années, grâce à sa robustesse, sa scalabilité, son efficacité et sa simplicité théorique. La gamme des problèmes auxquels ce type d’algorithme peut être adapté est particulièrement vaste. Dans ce travail de thèse, nous proposons plusieurs extensions à la théorie de recalage déformable à l’aide de modèles graphiques, en explorant de nouvelles applications et en développant des contributions méthodologiques originales.Notre première contribution est une extension du cadre du recalage à l’aide de graphes, en abordant le problème très complexe du recalage d’une tranche avec un volume. Le recalage d’une tranche avec un volume est le recalage 2D dans un volume 3D, comme par exemple le mapping d’une tranche tomographique dans un système de coordonnées 3D d’un volume en particulier. Nos avons proposé une formulation scalable, modulaire et flexible pour accommoder des termes d'ordre élevé et de rang bas, qui peut sélectionner le plan et estimer la déformation dans le plan de manière simultanée par une seule approche d'optimisation. Le cadre proposé est instancié en différentes variantes, basés sur différentes topologies du graph, définitions de l'espace des étiquettes et constructions de l'énergie. Le potentiel de notre méthode a été démontré sur des données réelles ainsi que des données simulées dans le cadre d’une résonance magnétique d’ultrason (où le cadre d’installation et les stratégies d’optimisation ont été considérés).Les deux autres contributions inclues dans ce travail de thèse, sont liées au problème de l’intégration de l’information sémantique dans la procédure de recalage (indépendamment de la dimensionnalité des images). Actuellement, la plupart des méthodes comprennent une seule fonction métrique pour expliquer la similarité entre l’image source et l’image cible. Nous soutenons que l'intégration des informations sémantiques pour guider la procédure de recalage pourra encore améliorer la précision des résultats, en particulier en présence d'étiquettes sémantiques faisant du recalage un problème spécifique adapté à chaque domaine.Nous considérons un premier scénario en proposant un classificateur pour inférer des cartes de probabilité pour les différentes structures anatomiques dans les images d'entrée. Notre méthode vise à recaler et segmenter un ensemble d'images d'entrée simultanément, en intégrant cette information dans la formulation de l'énergie. L'idée principale est d'utiliser ces cartes estimées des étiquettes sémantiques (fournie par un classificateur arbitraire) comme un substitut pour les données non-étiquettées, et les combiner avec le recalage déformable pour améliorer l'alignement ainsi que la segmentation.Notre dernière contribution vise également à intégrer l'information sémantique pour la procédure de recalage, mais dans un scénario différent. Dans ce cas, au lieu de supposer que nous avons des classificateurs arbitraires pré-entraînés à notre disposition, nous considérons un ensemble d’annotations précis (vérité terrain) pour une variété de structures anatomiques. Nous présentons une contribution méthodologique qui vise à l'apprentissage des critères correspondants au contexte spécifique comme une agrégation des mesures de similarité standard à partir des données annotées, en utilisant une adaptation de l’algorithme « Latent Structured Support Vector Machine »
Image registration methods, which aim at aligning two or more images into one coordinate system, are among the oldest and most widely used algorithms in computer vision. Registration methods serve to establish correspondence relationships among images (captured at different times, from different sensors or from different viewpoints) which are not obvious for the human eye. A particular type of registration algorithm, known as graph-based deformable registration methods, has become popular during the last decade given its robustness, scalability, efficiency and theoretical simplicity. The range of problems to which it can be adapted is particularly broad. In this thesis, we propose several extensions to the graph-based deformable registration theory, by exploring new application scenarios and developing novel methodological contributions.Our first contribution is an extension of the graph-based deformable registration framework, dealing with the challenging slice-to-volume registration problem. Slice-to-volume registration aims at registering a 2D image within a 3D volume, i.e. we seek a mapping function which optimally maps a tomographic slice to the 3D coordinate space of a given volume. We introduce a scalable, modular and flexible formulation accommodating low-rank and high order terms, which simultaneously selects the plane and estimates the in-plane deformation through a single shot optimization approach. The proposed framework is instantiated into different variants based on different graph topology, label space definition and energy construction. Simulated and real-data in the context of ultrasound and magnetic resonance registration (where both framework instantiations as well as different optimization strategies are considered) demonstrate the potentials of our method.The other two contributions included in this thesis are related to how semantic information can be encompassed within the registration process (independently of the dimensionality of the images). Currently, most of the methods rely on a single metric function explaining the similarity between the source and target images. We argue that incorporating semantic information to guide the registration process will further improve the accuracy of the results, particularly in the presence of semantic labels making the registration a domain specific problem.We consider a first scenario where we are given a classifier inferring probability maps for different anatomical structures in the input images. Our method seeks to simultaneously register and segment a set of input images, incorporating this information within the energy formulation. The main idea is to use these estimated maps of semantic labels (provided by an arbitrary classifier) as a surrogate for unlabeled data, and combine them with population deformable registration to improve both alignment and segmentation.Our last contribution also aims at incorporating semantic information to the registration process, but in a different scenario. In this case, instead of supposing that we have pre-trained arbitrary classifiers at our disposal, we are given a set of accurate ground truth annotations for a variety of anatomical structures. We present a methodological contribution that aims at learning context specific matching criteria as an aggregation of standard similarity measures from the aforementioned annotated data, using an adapted version of the latent structured support vector machine (LSSVM) framework

Les avancées technologiques dans le domaine informatique (logiciel et matériel) et, en particulier, de la géolocalisation ont permis la démocratisation des modèles numériques. L'arrivée depuis quelques années de véhicules de cartographie mobile a ouvert l'accès à la numérisation 3D mobile terrestre. L'un des avantages de ces nouvelles méthodes d'imagerie de l'environnement urbain est la capacité potentielle de ces systèmes à améliorer les bases de données existantes 2D comme 3D, en particulier leur niveau de détail et la diversité des objets représentés. Les bases de données géographiques sont constituées d'un ensemble de primitives géométriques (généralement des lignes en 2D et des plans ou des triangles en 3D) d'un niveau de détail grossier mais ont l'avantage d'être disponibles sur de vastes zones géographiques. Elles sont issues de la fusion d'informations diverses (anciennes campagnes réalisées manuellement, conception automatisée ou encore hybride) et peuvent donc présenter des erreurs de fabrication. Les systèmes de numérisation mobiles, eux, peuvent acquérir, entre autres, des nuages de points laser. Ces nuages laser garantissent des données d'un niveau de détail très fin pouvant aller jusqu'à plusieurs points au centimètre carré. Acquérir des nuages de points laser présente toutefois des inconvénients :- une quantité de données importante sur de faibles étendues géographiques posant des problèmes de stockage et de traitements pouvant aller jusqu'à plusieurs Téraoctet lors de campagnes d'acquisition importantes- des difficultés d'acquisition inhérentes au fait d'imager l'environnement depuis le sol. Les systèmes de numérisation mobiles présentent eux aussi des limites : en milieu urbain, le signal GPS nécessaire au bon géoréférencement des données peut être perturbé par les multi-trajets voire même stoppé lors de phénomènes de masquage GPS liés à la réduction de la portion de ciel visible pour capter assez de satellites pour en déduire une position spatiale. Améliorer les bases de données existantes grâce aux données acquises par un véhicule de numérisation mobile nécessite une mise en cohérence des deux ensembles. L'objectif principal de ce manuscrit est donc de mettre en place une chaîne de traitements automatique permettant de recaler bases de données géographiques et nuages de points laser terrestre (provenant de véhicules de cartographies mobiles) de la manière la plus fiable possible. Le recalage peut se réaliser de manière différentes. Dans ce manuscrit, nous avons développé une méthode permettant de recaler des nuages laser sur des bases de données, notamment, par la définition d'un modèle de dérive particulièrement adapté aux dérives non-linéaires de ces données mobiles. Nous avons également développé une méthode capable d'utiliser de l'information sémantique pour recaler des bases de données sur des nuages laser mobiles. Les différentes optimisations effectuées sur notre approche nous permettent de recaler des données rapidement pour une approche post-traitements, ce qui permet d'ouvrir l'approche à la gestion de grands volumes de données (milliards de points laser et milliers de primitives géométriques).Le problème du recalage conjoint a été abordé. Notre chaîne de traitements a été testée sur des données simulées et des données réelles provenant de différentes missions effectuées par l'IGN
Technological advances in computer science (software and hardware) and particularly, GPS localization made digital models accessible to all people. In recent years, mobile mapping systems has enabled large scale mobile 3D scanning. One advantage of this technology for the urban environment is the potential ability to improve existing 2D or 3D database, especially their level of detail and variety of represented objects. Geographic database consist of a set of geometric primitives (generally 2D lines and plans or triangles in 3D) with a coarse level of detail but with the advantage of being available over wide geographical areas. They come from the fusion of various information (old campaigns performed manually, automated or hybrid design) wich may lead to manufacturing errors. The mobile mapping systems can acquire laser point clouds. These point clouds guarantee a fine level of detail up to more than one points per square centimeter. But there are some disavantages :- a large amount of data on small geographic areas that may cause problems for storage and treatment of up to several Terabyte during major acquisition,- the inherent acquisition difficulties to image the environment from the ground. In urban areas, the GPS signal required for proper georeferencing data can be disturbed by multipath or even stopped when GPS masking phenomena related to the reduction of the portion of the visible sky to capture enough satellites to find a good localization. Improve existing databases through these dataset acquired by a mobile mapping system requires alignment of these two sets. The main objective of this manuscript is to establish a pipeline of automatic processes to register these datasets together in the most reliable manner. Co-registration this data can be done in different ways. In this manuscript we have focused our work on the registration of mobile laser point cloud on geographical database by using a drift model suitable for the non rigid drift of these kind of mobile data. We have also developped a method to register geographical database containing semantics on mobile point cloud. The different optimization step performed on our methods allows to register the data fast enough for post-processing pipeline, which allows the management of large volumes of data (billions of laser points and thousands geometric primitives). We have also discussed on the problem of joint deformation. Our methods have been tested on simulated data and real data from different mission performed by IGN

L'histopathologie a pour objectif d'analyser des images de tissus biologiques pour évaluer l’état pathologique d'un organe et établir un diagnostic. L'apparition des scanners de lames a haute résolution a ouvert la voie a des nouvelles possibilités d'acquisition de très grandes images (whole slide imaging), de multiplexage de marquages, d'extraction exhaustive d'informations visuelles et d'annotations multiples a large échelle. Cette thèse propose un ensemble de méthodes algorithmiques visant a faciliter et optimiser ces différents aspects. Dans un premier temps, nous proposons une méthode de recalage multiculturelle d'images histologiques multi-marquées reposant sur les propriétés des B-splines pour modéliser, de fawn continue, une image discrète. Nous proposons ensuite de nouvelles approches d'analyse morphologique sur des polygones faiblement simples, généralisés par des graphes a segments droits. Elles reposent sur le formalisme des squelettes droits (une approximation de squelettes courbes définis par des segments droits), construits a l'aide de graphes de motocyclettes. Cette structure permet de réaliser des opérations de morphologie mathématiques sur des polygones avec une complexité réduite. La précision des opérations sur des polygones bruites est obtenue en raffinant la construction des squelettes droits par ajout adaptatif de sommets. Nous avons aussi propose un algorithme de détection de l'axe médian et montre qu'il est possible de reconstruire la forme d'origine avec une approximation arbitraire. Enfin, nous avons explore les squelettes droits pondérés qui permettent des opérations morphologiques directionnelles. Ces approches d'analyse morphologique offrent un support consistant pour améliorer la segmentation des objets grâce a l'information contextuelle et réaliser des études liées a l'analyse spatiale des interactions entre les différentes structures d’intérêt au sein du tissu. Tous les algorithmes proposes sont optimises pour le traitement d'images gigapixels et garantissent une reproductibilité des analyses, notamment grâce a la création du plugin Icytomine, interface entre Icy et Cytomine
Histopathology aims to analyze images of biological tissues to assess the pathologi¬cal condition of an organ and to provide a diagnosis. The advent of high-resolution slide scanners has opened the door to new possibilities for acquiring very large im¬ages (whole slide imaging), multiplexing stainings, exhaustive extraction of visual information and large scale annotations. This thesis proposes a set of algorith¬mic methods aimed at facilitating and optimizing these different aspects. First, we propose a multi-scale registration method of multi-labeled histological images based on the properties of B-splines to model, in a continuous way, a discrete image. We then propose new approaches to perform morphological analysis on weakly simple polygons generalized by straight-line graphs. They are based on the formalism of straight skeletons (an approximation of curved skeletons defined by straight segments), built with the help of motorcycle graphs. This structure makes it possible to perform mathematical morphological operations on polygons. The precision of operations on noisy polygons is obtained by refining the construction of straight skeletons. We also propose an algorithm for computing the medial axis from straight skeletons, showing it is possible to approximate the original polygonal shape. Finally, we explore weighted straight skeletons that allow directional mor¬phological operations. These morphological analysis approaches provide consistent support for improving the segmentation of objects through contextual information and performing studies related to the spatial analysis of interactions between dif¬ferent structures of interest within the tissue. All the proposed algorithms are optimized to handle gigapixel images while assuring analysis reproducibility, in particular thanks to the creation of the Icytomine plugin, an interface between Icy and Cytomine

A l'heure actuelle, la procédure clinique standard de prélèvement de biopsies de la prostate est effectuée sous contrôle échographique 2D en utilisant un protocole systématique. Il est difficile pour le clinicien de localiser les cibles de biopsie avec précision, et il est impossible de connaître la position exacte des tissus échantillonnés après l'intervention. Dans ce mémoire, nous proposons une méthode permettant de localiser la position des tissus prélevés avec une précision millimétrique par rapport à une image 3D de la prostate de référence. Elle combine des techniques de recalage rigide et élastique basées sur les intensités (recalage iconique) avec des modèles a priori des contraintes biomécaniques. Ce travail permet la mise en œuvre d'applications telles que la validation postopératoire de la distribution des biopsies et l'établissement de cartographies précises des tissus cancéreux, ce qui permettrait éventuellement un traitement localisé du cancer de la prostate. L'approche proposée permet également de guider le clinicien vers des cibles définies sur l'image de référence, provenant par exemple d'une autre modalité d'imagerie telle que l'IRM ou le SpectroIRM.