Dissertationen zum Thema „Traitement d'images 3D“

Le but de ce travail de recherche est de fournir un cadre pour l'analyse et la segmentation d'images. Pour cela, nous présentons un nouveau modèle pour décrire à la fois la géométrie et la topologie d'une scène discrète 3D, une telle scène étant constituée d'objets 6-connexes qui peuvent être adjacents ou non adjacents. Ce modèle est composé d'un niveau géométrique, basé sur la définition des surfaces inter-voxels, et d'un niveau topologique, codé par des cartes combinatoires de dimension 3 (appelées 3-cartes) auxquelles est associée une relation d'inclusion. Dans ce document, nous expliquons dans un premier temps la problématique et décrivons les modèles existants en 2D et en 3D. Nous définissons ensuite notre modèle en décrivant le modèle géométrique, le modèle topologique puis la correspondance entre les deux. Nous expliquons alors la construction de ce double modèle avant de définir des primitives d'insertion et de suppression d'éléments. Ces primitives nous permettent enfin de définir des opérateurs de division et des opérateurs de fusion, qui sont à la base d'algorithmes de segmentation de type " division-fusion ".

Les capteurs 3D existants sont encore peu utilisés et ne permettent que l’acquisition de données 3D. En cas de nécessité de données 2D monochrome ou couleur, il faut alors obligatoirement ajouter un capteur supplémentaire et procéder au recalage des données. La société NT2I a décidé de développer sa propre solution afin de pouvoir rester maître de la chaîne d’acquisition. Mon travail a consisté en la conception d’un capteur spécifique intégrant couleur et calibration et au traitement des images issues de celui-ci. Pour cela, j’ai été amené à travailler sur l’extension du modèle LIP (Logarithmic Image Processing) pour des images couleur et à l’implémentation d’algorithmes temps réel
The existing 3D sensors aren’t much used and are only capable of capturing 3D dat. When 2D data are necessary, one has to use another camera and correlate the 2 images. NT2I has decided to develop its own solution in order to control the acquisition chain. My work has been to develop a specific camera with color, calibration, and image processing algorithms. In that purpose, I've worked on the extension of the LIP model (Logarithmic Image Processing) for color images and on the implementation of real time algorithms

La rétro-conception d'un objet 3D consiste à retrouver les parties principales, ou primitives, qui reconstruisent au mieux le nuage de points qui le décrit. Le succès du processus de reconstruction étant grandement influencé par les erreurs engendrées le long de la chaîne de rétro-conception, nous nous sommes intéressés à améliorer deux des étapes du procédé. Dans un premier temps, afin de minimiser les erreurs liées à l’acquisition du nuage de point au moyen d'un scanneur à projection de lumière structurée, nous présentons une méthode permettant de choisir les conditions optimales d’éclairage et les couleurs les plus adaptées pour l'apparence de l'objet en fonction des possibilités du scanneur utilisé. Puis, afin d’obtenir une représentation plus abstraite de l’objet tout en gardant une certaine précision et réalité des parties le composant, nous présentons des méthodes entrant dans le cadre de la représentation du modèle via les étapes de reconstruction et de segmentation. L’originalité de ces méthodes est l’utilisation des algorithmes génétiques permettant la représentation du modèle au moyen de primitives, dans notre cas des superquadriques ou des supershapes. Les particularités de ces méthodes résident dans la flexibilité apportée par les algorithmes génétiques dans le mécanisme de résolution des problèmes d’optimisation qui ne dépend pas de l’initialisation du processus, et dans possibilités de la représentation par supershapes permettant la reconstruction d’objets de formes très complexes. En dépit de temps de calcul relativement importants, les résultats obtenus montrent de bonnes performances en termes de reconstruction et de segmentation d’objets ou de scènes
The reverse engineering of a 3D object consists to identify the main parts or primitives, which best reconstruct its 3D point cloud. Because the success of the reconstruction process is greatly influenced by the errors generated along the reverse engineering chain, we focus our research on improving two phases of the process. Firstly, in order to minimize the point cloud acquisition errors associated with the use of a structured light projection scanner, we present a method to select the best illumination source and the best object appearance colors depending on the characteristics of the scanner used. Secondly, in order to obtain a simplified representation of the object while maintaining accuracy and realistic representation, we present novel 3D reconstruction and segmentation methods. The originality of these methods is the use of genetic algorithms to obtain the representation of the model using primitives, in our case using superquadriques or supershapes. The particularities of these methods lie in the flexibility provided by the genetic algorithms in solving optimization problems since they do not depend on the initialization process, and lie on the capabilities of the supershapes representation allowing to reconstruct very complex 3D shapes. Despite computing time relatively expensive, we present good performance results in terms of reconstruction and segmentation of objects and/or scenes

L’imagerie HDR et l’imagerie 3D sont deux domaines dont l’évolution simultanée mais indépendante n’a cessé de croître ces dernières années. D’une part, l’imagerie HDR (High Dynamic Range) permet d’étendre la gamme dynamique de couleur des images conventionnelles dites LDR (Low Dynamic Range). D’autre part, l’imagerie 3D propose une immersion dans le film projeté avec cette impression de faire partie de la scène tournée. Depuis peu, ces deux domaines sont conjugués pour proposer des images ou vidéos 3D HDR mais peu de solutions viables existent et aucune n’est accessible au grand public. Dans ce travail de thèse, nous proposons une méthode de génération d’images 3D HDR pour une visualisation sur écrans autostéréoscopiques en adaptant une caméra multi-points de vue à l’acquisition d’expositions multiples. Pour cela, des filtres à densité neutre sont fixés sur les objectifs de la caméra. Ensuite, un appareillement des pixels homologues permet l’agrégation des pixels représentant le même point dans la scène acquise. Finalement, l’attribution d’une valeur de radiance est calculée pour chaque pixel du jeud’images considéré par moyenne pondérée des valeurs LDR des pixels homologues. Une étape supplémentaire est nécessaire car certains pixels ont une radiance erronée. Nous proposons une méthode basée surla couleur des pixels voisins puis deux méthodes basées sur la correction de la disparité des pixels dontla radiance est erronée. La première est basée sur la disparité des pixels du voisinage et la seconde sur la disparité calculée indépendamment sur chaque composante couleur. Ce pipeline permet la générationd’une image HDR par point de vue. Un algorithme de tone-mapping est ensuite appliqué à chacune d’elles afin qu’elles puissent être composées avec les filtres correspondants à l’écran autostéréoscopique considéré pour permettre la visualisation de l’image 3D HDR
HDR imaging and 3D imaging are two areas in which the simultaneous but separate development has been growing in recent years. On the one hand, HDR (High Dynamic Range) imaging allows to extend the dynamic range of traditionnal images called LDR (Low Dynamic Range). On the other hand, 3Dimaging offers immersion in the shown film with the feeling to be part of the acquired scene. Recently, these two areas have been combined to provide 3D HDR images or videos but few viable solutions existand none of them is available to the public. In this thesis, we propose a method to generate 3D HDR images for autostereoscopic displays by adapting a multi-viewpoints camera to several exposures acquisition.To do that, neutral density filters are fixed on the objectives of the camera. Then, pixel matchingis applied to aggregate pixels that represent the same point in the acquired scene. Finally, radiance is calculated for each pixel of the set of images by using a weighted average of LDR values. An additiona lstep is necessary because some pixels have wrong radiance. We proposed a method based on the color of adjacent pixels and two methods based on the correction of the disparity of those pixels. The first method is based on the disparity of pixels of the neighborhood and the second method on the disparity independently calculated on each color channel. This pipeline allows the generation of 3D HDR image son each viewpoint. A tone-mapping algorithm is then applied on each of these images. Their composition with filters corresponding to the autostereoscopic screen used allows the visualization of the generated 3DHDR image

Étude portant sur la modélisation d'images a traiter. Application des fonctions spline. Diverses techniques d'approximation sont mises en œuvre et des algorithmes spécifiques sont développés pour s'adapter au volume important des données. L'intérêt de cette représentation confirmée est illustré sur trois exemples d'origine médicale

Nous présentons dans cette étude nos travaux concernant le recalage 3D/2D d'images de dissection aortique. Son but est de de proposer une visualisation de données médicales, qui pourra servir dans le contexte de l'assistance peropératoire durant les procédures endovasculaires.Pour effectuer cette tâche, nous avons proposé un modèle paramétrique de l'aorte, appelé enveloppe tubulaire. Il sert à exprimer la forme globale et les déformations de l'aorte, à l'aide d'un nombre minimal de paramètres.L'enveloppe tubulaire est utilisée par les algorithmes de recalage proposés dans cette étude.Notre méthode originale consiste à proposer un recalage par calcul direct de la transformation entre image 2D, i.e. sans procéssus d'optimisation, et est appelée recalage par ITD .Les descripteurs, que nous avons définis pour le cas des images d'aorte, permettent de trouver rapidement un alignement grossier des données. Nous proposons également l'extension de notre approche pour la mise en correspondance des images 3Det 2D.La chaîne complète du recalage 3D/2D, que nous présentons dans ce document, est composée de la technique ITD et de méthodes précises iconiques et hybrides. L'intégration de notre algorithme basé sur les descripteurs en tant qu'étape d'initialisation réduit le temps de calcul nécessaire et augmente l'efficacité du recalage, par rapport aux approches classiques.Nous avons testé nos méthodes avec des images médicales, issues de patients trîtés par procédures endovasculaires. Les résultats ont été vérifiés par les spécialistes cliniques et ont été jugés satisfaisants; notre chaine de recalage pourrait ainsi être exploitée dans les salles d'interventions à l'avenir
In this study, we present our works related to 3D/2D image registrationfor aorti dissition. Its aim is to propose a visualization of medial datawhih an be used by physians during endovas ular proedures.For this purpose, we have proposed a parametrimodel of aorta, alleda Tubular Envelope. It is used to express the global shape and deformationsof the aorta, by a minimal number of parameters. The tubular envelope isused in our image registration algorithms.The registration by ITD (Image Transformation Descriptors) is our ori-ginal method of image alignment : itomputes the rigid 2D transformation between data sets diretly, without any optimization process.We provide thedefinition of this method, as well as the proposition of several descriptors' formulae, in the base of images of aorta. The technique allows us to quickly and a poarse alignment between data. We also propose the extension of theoriginal approach for the registration of 3D and 2D images.The complete chain of 3D/2D image registration techniques, proposedin this document, consists of the ITD stage, followed by an intensity basedhybrid method. The use of our 3D/2D algorithm, based on the image trans-formation descriptors as an initialization phase, reduces the computing timeand improves the efficiency of the presented approach.We have tested our registration methods for the medical images of several patients after endovasular treatment. Results have been approved by our clinical specialists and our approach.We have tested our registration methods for the medical images of several patients after endovascular treatment. Results have been approved by our clinical specialists and our approach may appear in the intervention rooms in the futur

L'objectif de notre recherche est d'extraire les altitudes h d'une scène donnée prise en image sous deux angles différents donnés par le satellite SPOT. Dans ce but nous avons modélisé le mouvement du satellite et de son système optique afin de transformer les deux images initiales en images épipolaires, ce qui nous permettra de réduire le temps d'appariement et de trouver les pixels homologues avec succès. Pour la mise en correspondance, nous avons utilisé une technique qui est à base de la corrélation et de la programmation dynamique. Cette méthode nous a permet d'apparier 96 % des pixels homologues avec une erreur inférieure à 5 mètres. Ce problème de mise en correspondance reste toujours ouvert
The aim of our research was to extract the level h of a precise landscape taken over two differents angles by the satellite SPOT. To do so, we have modelised the movement of the satellite and his optical system to transform the two first images in another one, epipolar which will allow us to reduce the matching time and to find with success the equivalent pixels. For the pairing, we have utilised a technic wich is based on the corrolation and of the dynamic programming. This method was very satisfactory and allow us to match 96 % of the equivalent pixels, with an error of less than 5 meters, but the original problem is still a matter of research for complimentary studing

Ce travail concerne la reconstruction d'images en tomographie réellement 3D par rayons X, qui consiste à reconstruire un volume à partir de ses radiographies sous différents angles de vue. La technique est. Tout d'abord située par rapport aux autres modalités d'imagerie en tomographie assistée par ordinateur. Deux approches au problème de la reconstruction d'images 3D à partir de projections coniques de rayons X sont alors considérées, en utilisant soit une méthode de type analytique, soit une méthode de type algébrique. Après une étude bibliographie des méthodes analytiques de reconstruction d'images, la généralisation d'une formule d'inversion est démontrée, dans le cas où la source se déplace sur la surface d'une sphère. Ce résultat traduit l'invariance spatiale du système linéaire projection-rétroprojection. L'étude de ce système montre que pour d'autres trajectoires de la source, l'invariance est perdue, à moins de négliger la divergence du faisceau. L'algorithme découlant de la formule d'inversion est mis en œuvre sur un calculateur vectoriel et testé sur des simulations. Les résultats obtenus montrent que les images reconstruites sont satisfaisantes si l'on respecte un certain nombre de conditions (nombre. Suffisant de vues, répartition des vues suivant une géométrie 47t). Dans les autres cas l'image obtenue peut être considérée comme une première approximation de l'objet. Afin d'être moins dépendant des conditions d'acquisition, une approche algébrique à ce problème est considérée. Après une étude bibliographie, l'utilisation de trois algorithmes de reconstruction itératifs par blocs pouvant inclure des contraintes simples (positivité, bornes, support. . . ) est proposée. Les propriétés de convergence de ces algorithmes sont ensuite testées. Dans tous les cas d'acquisition, les images reconstruites sont satisfaisantes, toutefois l'isotropie de l'acquisition influe sur la vitesse de convergence des algorithmes. Une méthode hybride, combinant simultanément les deux approches analytique et algébrique permet d'accélérer la convergence d'un algorithme de type SIRT bénéficiant de bonnes propriétés de stabilité. Les diverses méthodes sont ensuite appliquées à la reconstruction d'un fantôme osseux à partir de projections physiques acquises sur un banc expérimental. Les images obtenues sont comparables et de qualité acceptable. Enfin, quelques conclusions concernant la réalisation d'un scanner réellement tridimensionnel, sont présentées
[This work is concerned with truly X-ray 3D tomography. The method consists in the acquisition of radiographs of an object for different positions of a X-ray cone beam source. Then the Image is obtained by solving a 3D reconstruction from cone-beam projection problem. The method is first situated with respect to the other imaging modalities in tomography. After a bibliographic study of reconstruction technicals, the generalisation of the back-projection theorem for cone-beam projection is proved. It leads to an inversion formula, which is exact when the source describes the surface of a sphere. The subsequent algorithm iS implemented on a super calculator and tested on simulations. When the source trajectory satisfies the theorem hypothesis, the reconstructed images are satisfying. Other while they can be considered as a first approximation of the object. In order to be less sensitive to the acquisition conditions, an algebraic approach to this problem is considered. The use of three bloc Iterative reconstruction algorithms including or not some simple constraints is proposed. At last, the different methods are applied to the reconstruction of a bony phantom from physical projections, and some conclusions concerning the realisation of a truly 3D X-ray scanner are presented. ]

Cette thèse s’inscrit dans le cadre du projet SimulFoot dont l’objectif est l’analyse de scènes de football. Nos problématiques concernent l’analyse de séquences d’images, la modélisation géométrique et la visualisation, ainsi que la simulation et l’ergonomie cognitive. Nos principales recherches se sont focalisées sur des processus de traitement d’images pour la reconstruction automatique d’un modèle 3D d’une scène à partir d’une seule image. Une première étape permet la détection de la région d’intérêt (le terrain) par une analyse colorimétrique. Nous illustrons notre méthodologie à travers l’étude de la distribution des pixels dans l’espace HLS. En complément, nous proposons une nouvelle façon de structurer, au niveau perceptuel, l’espace des couleurs CIELab. Une seconde étape propose une approche originale d’extraction (par transformées de Hough) des amers de la région d’intérêt (droites et ellipses) et leur mise en correspondance avec des éléments remarquables du modèle 3D
This PhD is part of the SimulFoot project, whose main goal is the analysis of soccer scenes. Our research deals with image sequence analysis, geometrical modeling, and visualization, as well as simulation and cognitive studies. Our work focuses on image processing methods for automatically reconstructing a 3D model from a single image in the scene. A first step provides the detection of a region of interest (the field) by colorimetric analysis. Our method is illustrated with the study of pixel distribution in the HLS color space. We then propose a novel method for color space categorization at the perceptual level in CIELab space. A second step proposes an original approach for extracting (using a Hough transform) the landmarks of a region of interest (straight lines and ellipses) and matching them with the corresponding features in the 3D model

L’objectif de cette thèse était de proposer de nouvelles méthodes de segmentation 3D en imagerie scintigraphique. Une première partie des travaux réalisés a consisté à simuler des volumes 3D avec vérité de terrain connue afin de pouvoir valider une méthode de segmentation par rapport aux autres. Des simulations de MonteCarlo ont été réalisées à l’aide du logiciel GATE (Geant4 Application for Emission Tomography). Pour cela, nous avons caractérisé et modélisé la gamma camera "γ Imager" Biospace™ en comparant chaque mesure d'une acquisition réelle à une simulation équivalente. L'outil de segmentation "bas niveau" que nous avons développé s’appuie sur une modélisation des niveaux de l'image par une loi de mélange dont l'estimation des paramètres est réalisée par un algorithme SEM (Stochastic Expectation Maximization). La segmentation des volumes 3D est obtenue par un algorithme ICM (Iterative Conditional Mode). Nous avons comparé des segmentations basées sur des mélanges Gaussiens et Poissonniens à des segmentations par seuillage sur les volumes simulés. Ceci a montré la pertinence des segmentations obtenues à l’aide des lois de mélange, notamment celles obtenues avec les mélanges Poissonniens. Ces derniers ont été utilisés pour segmenter des images cérébrales réelles TEP 18FDG et calculer des statistiques descriptives des différents tissus. En vue d’obtenir une méthode de segmentation "haut niveau" et retrouver des structures anatomiques (zone nécrosée ou zone active d’une tumeur par exemple), nous avons proposé un processus exploitant le formalisme des processus ponctuels. Une étude de faisabilité nous a permis d’obtenir des résultats très encourageants
The objective of this thesis was to propose a new 3D segmentation method for scintigraphic imaging. The first part of the work was to simulate 3D volumes with known ground truth in order to validate a segmentation method over other. MonteCarlo simulations were performed using the GATE software (Geant4 Application for Emission Tomography). For this, we characterized and modeled the gamma camera "Imager" Biospace™ by comparing each measurement from a simulated acquisition to his real equivalent. The "low level" segmentation tool that we have developed is based on a modeling of the levels of the image by probabilistic mixtures. Parameters estimation is done by an SEM algorithm (Stochastic Expectation Maximization). The 3D volume segmentation is achieved by an ICM algorithm (Iterative Conditional Mode). We compared the segmentation based on Gaussian and Poisson mixtures to segmentation by thresholding on the simulated volumes. This showed the relevance of the segmentations obtained using probabilistic mixtures, especially those obtained with Poisson mixtures. Those one has been used to segment real 18FDG PET images of the brain and to compute descriptive statistics of the different tissues. In order to obtain a "high level" segmentation method and find anatomical structures (necrotic part or active part of a tumor, for example), we proposed a process based on the point processes formalism. A feasibility study has yielded very encouraging results

L'objet de cette these est la reconstruction 3d des os longs des membres a partir de coupes paralleles successives reconstruites par tomographie ultrasonore. L'originalite du travail au niveau de la reconstruction 2d reside dans le developpement de methodes de tomographie ultrasonore en mode reflexion par traitement d'images radiales (acquises avec des sondes echographiques classiques). Pour cela un systeme d'acquisition permettant d'obtenir plusieurs images radiales par plan de coupe et pour plusieurs plans de coupes paralleles successifs a ete realise. Le traitement des images permet la segmentation des structures recherchees et l'extraction de leurs contours, moyennant la resolution d'un certain nombre de problemes et de cas particuliers. La reconstruction 3d consiste a donner un sens a la scene volumique obtenue en etablissant des liens de connexion entre les differents contours extraits, afin de comprendre la scene comme un ensemble d'objets distincts. Il est ensuite possible de faire une representation 3d par facettes planes via une etape de triangulation, et meme par listes de voxels grace a une methode originale d'interpolation de contours. La visualisation 3d permet ensuite de representer les structures sous n'importe quel angle de vue par des techniques classiques, avec rendu realiste grace a l'utilisation d'un modele d'ombrage

Ce travail concerne l'évaluation des approches orientées « système à base de connaissances » pour l'interprétation des images médicales, en application à l'échoendoscopie oesophagienne et le développement d'un système d'aide au « staging » des tumeurs. Il est montré comment les approches intelligentes (systèmes experts et fusion d'information) peuvent permettre de rationaliser l'utilisation de l'ensemble de connaissances à priori. L'extraction pertinente de structures anatomiques, dans notre cas, la structure oesophagienne, devient une application naturelle de l'ingénierie des connaissances. Cette extraction s'appuie sur une segmentation des images. La robustesse requise pour ces algorithmes impose le développement d'architectures avancées de traitement permettant de compenser le faible contenu numérique de ces images. Trois exemples concrets sont détaillés : l'extraction 2D de l'interface oesophagienne interne, l'extraction 3D des interfaces oesophagiennes et , le suivi spatial avec la reconstruction 3D de l'artère aorte. Les connaissances sont représentées par des modèles statiques ou dynamiques (modèles flous, géométriques ou évidentiels). Nous avons examiné une approche qui exploite la complémentarité des probabilités et de la logique floue pour obtenir une représentation « fidèle » des connaissances à priori. Modèles flous et réalité statistique sont mis en adéquation dans une base d'apprentissage. Il est montré comment toutes ces composantes peuvent être intégrées dans une architecture cohérente et hiérarchiquement organisée
This work concerns the approach evaluations, which are oriented « knowledge based system » for medical images interpretation applied to esophagus echoendoscopy and the development of aid system for tumor staging. It's shown how the intelligent approaches (expert system and information fusion) can allow rationalizing the using of a priori knowledge. The pertinent extraction of anatomic structures, in our case, esophagus structure, becomes a natural application in the knowledge engineering. This extraction is based on the image segmentation. The required robustness for these algorithms impose the advanced architectures development allowing the compensation of low numerical content of these images. Three concrete examples are detailed : 2D extraction of the esophagus' interface, 3D extraction of the esophagus' interfaces and spatial following with 3D reconstruction of the aorta. Knowledge is represented by static or dynamical model (fuzzy, geometric or evidential models). The approach using the complementarities of probabilities and fuzzy logic to obtain presentation « exact » of knowledge a priori. Fuzzy models and statistic reality are synchronized by a knowledge base. It's shown that all components can be integrated in a coherent architecture hierarchically organized

Nous decrivons dans cette these un systeme analysant et gerant une sequence stereoscopique d'images. Le but d'un tel systeme est la localisation et la caracterisation des objets mobiles dans une scene avant de proceder dans un deuxieme temps a l'estimation de leurs parametres de mouvement 3d. Notre strategie peut se resumer de la maniere suivante: chaque sequence (droite et gauche) est analysee d'une facon independante, un ensemble d'operateurs permet de detecter et de caracteriser les regions mobiles dans une image. L'ensemble des descriptions des regions mobiles dans une image constitue la base des faits des regions mobiles de cette image. Ces bases de faits sont ensuite utilisees dans un deuxieme temps pour etablir la phase de l'appariement qui met en jeu a chaque pas de traitement quatre images relatives a deux couples stereoscopiques successifs. Lors de cette phase toutes les mises en correspondance temporelles et stereoscopiques sont realisees d'une facon independante. La fusion est assuree quant a elle, par un algorithme original de verification des coherences et de gestion des conflits. Ce dernier traitement est effectue selon une strategie privilegiant les associations temporelles. Lors du calcul de mouvement, les regions mobiles ne sont pas considerees individuellement, mais au contraire, elles sont regroupees entre elles en classes selon un critere garantissant l'identite du mouvement entre les elements d'une meme classe. A ce sujet, nous avons pu en effet demontrer que la conservation au cours de leur mouvement d'un nombre fini de distances entre des points appartenant a deux regions solides garantit l'identite de mouvement entre ces deux regions. Ce critere est exploite pour definir un algorithme de regroupement des regions. Enfin le calcul de mouvement est effectue sur chacune des classes issues de la phase de regroupement

Ce travail présente un système de construction automatique de représentations 3D d'objets solides, où sur les données d'entrée sont des images en niveaux de gris acquises sur l'objet. Dans une première étape nous construisons une représentation du volume occupée dans l'espace à partir de ces images. Ensuite nous déterminons une représentation approchée du type fil de fer de l'objet, utilisée pour affichage et pour la définition interactive de repères fonctionnels. Partant du code volumique de base, nous proposons un nouveau système de codage de la surface de l'objet. Cette représentation est ensuite segmentée en faces planes de l'objet dont nous déterminons et codons les contours.

Cette thèse traite de la reconstruction 3D d'objets réels pour des applications d'interactions collaboratives. L'objectif est de reconstruire un objet 3D à partir d'un faible nombre de vues calibrées (entre 8 et 12), puis d'insérer les modèles obtenus dans des environnements collaboratifs partagés distants, où ils peuvent être visualisés et manipulés par un ensemble d'utilisateurs. En premier lieu, dans l'introduction générale, nous présentons le contexte des travaux engagés avec la description du système d'acquisition mis en œuvre au sein de notre laboratoire et en soulignant le lien entre le calibrage de ce système, l'acquisition d'images, la reconstruction 3D d'objets réels et les interactions collaboratives. Ensuite, dans le premier chapitre nous rappelons les principes de la géométrie 3D appliqués à la vision par ordinateur. En particulier, nous présentons les deux modèles de caméra les plus utilisés (linéaire et non-linéaire), ainsi que des éléments de vision stéréoscopique utiles à la compréhension du reste du document. Le deuxième chapitre aborde la problématique du calibrage de caméras. Après un état de l'art sur les méthodes de calibrage existantes, nous proposons une nouvelle méthode de calibrage fondée sur une estimation robuste de la matrice de projection perspective. La mire utilisée est un cube dont les faces sont de couleurs différentes. Dans sa formulation de base, la méthode utilise une seule image du cube par caméra. Toutefois, pour augmenter la précision de l'estimation, plusieurs images du cube peuvent être également utilisées. La grand avantage de la méthode est lié à l'interaction utilisateur requise, qui est minimisée. Pour valider notre approche, une méthdologie d'évaluation et de comparaison des méthodes de calibrage, avec nouveaux critères de performances objectifs, est également proposée. Les critères introduits sont fondés sur la rectification et la reconstruction 3D d'un ensemble de points 3D coplanaires, l'utilisation d'une mire virtuelle, ainsi qu'une ré-estimation des paramètres connus d'un capteur stéréoscopique. La méthode de calibrage proposée est enfin testée et validée en utilisant l'ensemble de ces critères. Dans le troisième chapitre, nous abordons la reconstruction 3D d'objets réels. Après un état de l'art des méthodes existantes, nous proposons une nouvelle méthode de reconstruction 3D avec une approche par vision passive multi-résolution. Deux nouvelles contributions permettent l'estimation de la visibilité et de la photo-cohérence d'un voxel. Cette méthode de reconstruction 3D est adaptée à l'application d'interactions collaboratives avec objets 3D. Des expérimentations en utilisant des images issues de différentes bases de données sont présentées pour valider les performances de l'algorithme proposé. Le dernier chapitre est consacré aux interactions collaboratives avec objets 3D reconstruits. Dans un premier lieu, nous présentons un positionnement de nos travaux de recherche au sein des laboratoires de France Télécom R\&D - Orange Labs. Le protocole de calibrage du système d'acquisition mis en œuvre est ensuite présenté, ainsi que les résultats des reconstructions 3D de différents objets réels. Enfin, nous présentons la manipulation des objets 3D reconstruits au sein des trois interfaces MOWGL, DigiTable et Spin3D disponibles chez France Télécom R&D? Cela nous permet de valider l'ensemble de la chaîne méthodologique proposée et de démontrer sa pertinence pour des applications d'interaction collaborative. Enfin, une section de conclusions générales synthétise les différentes contributions proposées dans ce travail de thèse et ouvre des perspectives de travail futur
The objective of this thesis is the 3D reconstruction of real objects for collaborative interactions. Within this framework, the goal is to reconstruct an object from a small number of calibrated views (8 to 12 images), and then insert the obtained numerical models into shared collaborative environments for further visualization and manipulation. The thesis is organized as follows. First, in the general introduction, we introduce the context of the research presented in this work. We present the acquisition system developed within our laboratory, and show the relationship between the calibration of this system, the image acquisition process, and the collaborative interactions with the reconstructed objects. Then, in a first chapter, we present some aspects of 3D geometry applied to computer vision. We present the projective geometry theory, the classical linear and non-linear camera models, and some stereoscopic vision results useful for the rest of the document. The second chapter is dedicated to the issue of camera calibration. After a state-of-the-art of camera calibration methods, we propose a robust camera calibration method based on the robust estimation of the perspective projection matrix. The calibration pattern used is a cube with faces of different colours. The proposed calibration algorithm uses one image per camera to perform the calibration. However, in order to increase the accuracy of the camera parameters estimation, multiple images can also be used. Our method yields a robust estimation of the camera parameters while minimizing the amount of user interaction requested. In order to validate the method, we introduce a set of new objective criteria for evaluation and comparison of camera calibration methods. The proposed criteria are based on rectification and 3D reconstruction of an unknown coplanar point set, a virtual pattern, and the re-estimation of the known parameters of stereoscopic systems. Our calibration method is finally validated according to the proposed criteria. The third chapter3D tackles the issue of 3D reconstruction of real objects. After a comprehensive state-of-the-art of 3D reconstruction methods, we present our proposed multiresolutiuon 3D reconstruction algorithm, which is adapted to collaborative interaction tasks. Our contributions specifically concern new algorithms for voxel visibility and photo-consistency estimation. The proposed 3D reconstruction method is then tested and validated upon a set of images of real objects from existing benchmark databases. The fourth chapter handles the collaborative interactions with 3D objects. First, the calibration of our acquisition system composed of eight cameras is presented. Experimental results concerning 3D reconstruction of objects available in our laboratory are then presented. Finally, collaborative interactions with the reconstructed objects are illustrated within the framework of three existing interfaces in the France Telecom R\&D laboratories: MOWGLI, DigiTable and Spin3D. A concluding section summarizes the contributions of this thesis and opens perspectives of future work

Les systèmes de fusion d'informations sont principalement composés, d'outils mathématiques permettant de réaliser la représentation et la combinaison des données. L'objectif de ces systèmes peut s'exprimer comme un problème de décision sur la vérité ou la vraisemblance d'une proposition étant donné une ou plusieurs informations issues de différentes sources. Les systèmes de fusion cherchent à exploiter au mieux les propriétés des sources de données en tenant compte de l'imperfection de l'information (imprécis, incomplet, ambigu, incertain, etc.) ainsi que l'aspect redondant, complémentaire et conflictuel des informations. Le système de fusion concerné par cette thèse a la capacité d'intégrer dans ses traitements de la connaissance experte. On le nomme système de fusion coopératif. Puisque ce système cherche à intégrer pleinement les experts dans son fonctionnement, il est important de mettre à disposition des utilisateurs des informations aidant à mieux comprendre la fusion réalisée. De tels systèmes disposent de nombreux paramètres à régler et ces derniers ont un impact important sur la qualité des résultats obtenus. Une des grandes problématiques liées à ces systèmes de fusion d'informations porte sur l'évaluation de leurs performances. L'évaluation doit permettre d'améliorer la qualité de la fusion, d'améliorer l'interaction expert/système et d'aider à mieux ajuster les paramètres du système. En général, l'évaluation de tels systèmes est réalisée en fin de chaîne par une évaluation globale du résultat. Mais, celle-ci ne permet pas de savoir précisément l'endroit de la chaîne qui nécessite une intervention. Une autre difficulté réside dans le fait qu'une vérité terrain complète sur le résultat n'est pas toujours disponible, ce qui complique la tâche d'évaluation de performances de ce type de systèmes. Le contexte applicatif de ce travail est l'interprétation d'images tridimensionnelles (images tomographiques, images sismiques, images synthétiques, ...). Dans ce contexte une évaluation locale des systèmes de fusion d'informations, a été mise en place. L'approche a montré son intérêt dans l'ajustement efficace des paramètres et dans la coopération avec l'expert.

Cette thèse présente une nouvelle méthode de segmentation interactive et incrémentale d'images médicales 3D. Nous proposons une manière plus locale, de modéliser les connaissances a priori décrivant les structures d'intérêt. Des relations spatiales sont également apprises entre ces régions et ont pour objectif de permettre le positionnement automatique des atlas locaux au sein de l'image entière. Lors de la segmentation, ces informations sont utilisées suivant un processus incrémental permettant de réaliser des segmentations partielles et rapides tout en choisissant l'ordre de segmentation des différentes régions. L'utilisateur peut intervenir sur le positionnement des atlas locaux afin d'améliorer la qualité de la segmentation obtenue. En outre, notre méthode englobe un post-traitement capable de corriger les erreurs systématiques que notre méthode de segmentation peut produire
This research work describes a new interactive and incremental method for the segmentation of 3D medical images. The a priori information associated to the anatomical structure to analyze is leamed in a local way. Several local atlases, each one describing only one anatomical structure are constwcted from a training dataset. Spatial relationships are also leamed between those regions aiming to position the local atlases inside the whole image. During the segmentation process, the graph is used in an incremental way allowing fast and partial segmentation. fle user can also interact during the local atlas posiboning in order toimprove the segmentation quality. A voxel classification by a hidden Markov random field is employed toprovide the local segmentations. We also propose s post-processing step in order to correct the systematiceuors that a segmentation can achieve

Dans cette thèse, nous explorons des structures intermédiaires ainsi que le rapport entre eux et des algorithmes utilisés dans le contexte du rendu photoréaliste (RP) et non photoréaliste (RNP). Nous présentons des nouvelles structures pour le rendu et l'utilisation alternative des structures existantes. Nous présentons trois contributions principales dans les domaines RP et RNP: Nous montrons une méthode pour la génération des images stylisées noir et blanc. Notre approche est inspirée par des bandes dessinées, utilisant l'apparence et la géometrie dans une formulation d'énérgie basée sur un graphe 2D. En contrôlant les énérgies, l'utilisateur peut générer des images de differents styles et représentations. Dans le deuxième travail, nous proposons une nouvelle méthode pour la paramétrisation temporellement cohérente des lignes animées pour la texturisation. Nous introduisons une structure spatiotemporelle et une formulation d'énérgie permettant une paramétrisation globalement optimale. La formulation par une énérgie donne un contrôle important et simple sur le résultat. Finalement, nous présentons une extension sur une méthode de l'illumination globale (PBGI) utilisée dans la production de films au cours des dernières années. Notre extension effectue une compression par quantification de données générées par l'algorithme original. Le coût ni de memoire ni de temps excède considérablement celui de la méthode d'origin et permet ainsi le rendu des scènes plus grande. L'utilisateur a un contrôle facile du facteur et de la qualité de compression. Nous proposons un nombre d'extensions ainsi que des augmentations potentielles pour les méthodes présentées.

Une carte topologique 3D est un modèle servant à représenter la partition en régions d'une image 3D pour le traitement d'images. Dans ce travail, nous développons des outils permettant de modifier la partition représentée par une carte topologique, puis nous utilisons ces outils afin de proposer des algorithmes de segmentation intégrant des critères topologiques. Dans une première partie, nous proposons trois opérations. La fusion de régions est définie avec une approche locale adaptée à une utilisation interactive et une approche globale pour une utilisation automatisée comme lors d'une segmentation. La division de régions est proposée avec une méthode d'éclatement en voxels et la division à l'aide d'un guide. Enfin, la déformation de la partition est basée sur la définition de points ML-Simples : des voxels pouvant changer de région sans modifier la topologie de la partition. À l'aide de ces opérations, nous mettons en œuvre dans une seconde partie des algorithmes de segmentation d'images utilisant les cartes topologiques. Notre première approche adapte au modèle des cartes topologiques un algorithme existant qui utilise un critère basé sur la notion de contraste. Nous proposons ensuite des méthodes de calcul d'invariants topologiques sur les régions : les nombres de Betti. Grâce à eux, nous développons un critère topologique de segmentation permettant de contrôler le nombre de tunnels et de cavités des régions. Enfin, nous illustrons les possibilités de tous nos outils en mettant en place une chaîne de traitement pour la segmentation de tumeurs cérébrales dans des images médicales.

Dans cette thèse, nous explorons des structures intermédiaires ainsi que le rapport entre eux et des algorithmes utilisés dans le contexte du rendu photoréaliste (RP) et non photoréaliste (RNP). Nous présentons des nouvelles structures pour le rendu et l'utilisation alternative des structures existantes. Nous présentons trois contributions principales dans les domaines RP et RNP: Nous montrons une méthode pour la génération des images stylisées noir et blanc. Notre approche est inspirée par des bandes dessinées, utilisant l'apparence et la géometrie dans une formulation d'énérgie basée sur un graphe 2D. En contrôlant les énérgies, l'utilisateur peut générer des images de differents styles et représentations. Dans le deuxième travail, nous proposons une nouvelle méthode pour la paramétrisation temporellement cohérente des lignes animées pour la texturisation. Nous introduisons une structure spatiotemporelle et une formulation d'énérgie permettant une paramétrisation globalement optimale. La formulation par une énérgie donne un contrôle important et simple sur le résultat. Finalement, nous présentons une extension sur une méthode de l'illumination globale (PBGI) utilisée dans la production de films au cours des dernières années. Notre extension effectue une compression par quantification de données générées par l'algorithme original. Le coût ni de memoire ni de temps excède considérablement celui de la méthode d'origin et permet ainsi le rendu des scènes plus grande. L'utilisateur a un contrôle facile du facteur et de la qualité de compression. Nous proposons un nombre d'extensions ainsi que des augmentations potentielles pour les méthodes présentées
In this thesis, we explore intermediary structures and their relationship to the employed algorithms in the context of photorealistic (PR) and non-photorealistic (NPR) rendering. We present new structures for rendering as well as new uses for existing structures. We present three original contributions in the NPR and PR domain: First, we present binary shading, a method to generate stylized black and white images, inspired by comic artists, using appearance and geometry in a graph-based energy formulation. The user can control the algorithm to generate images of different styles and representations. The second work allows the temporally coherent parameterization of line animations for texturing purposes. We introduce a spatio-temporal structure over the input data and an energy formulation for a globally optimal parameterization. Similar to the work on binary shading, the energy formulation provides a an important and simple control over the output. Finally, we present an extension to Point-based Global Illumination, a method used extensively in movie production during the last years. Our work allows compressing the data generated by the original algorithm using quantification. It is memory-efficient and has only a neglegible time overhead while enabling the rendering of larger scenes. The user can easily control the strength and quality of the compression. We also propose a number of possible extensions and improvements to the methods presented in the thesis

Dans cette these nous nous interessons a l'utilisation des méthodes de chemins minimaux et des méthodes de contours actifs par Ensembles de Niveaux, pour l'extraction de courbes et de surfaces dans des images medicales 3D. Dans un premier temps, nous nous sommes attaches a proposer un éventail varié de techniques d'extraction de chemins minimaux dans des images 2D et 3D, basees sur la résolution de l'équation Eikonal par l'algorithme du Fast Marching. Nous avons montre des resultats de ces techniques appliquees a des problèmes d'imagerie médicale concrets, notamment en construction de trajectoires 3D pour l'endoscopie virtuelle, et en segmentation interactive, avec possibilité d'apprentissage. Dans un deuxieme temps, nous nous sommes interessés a l'extraction de surfaces. Nous avons developpé un algorithme rapide de pré-segmentation, sur la base du formalisme des chemins minimaux. Nous avons étudié en détail la mise en place d'une collaboration entre cette méthode et celle des Ensembles de Niveaux, dont un des avantages communs est de ne pas avoir d'a priori sur la topologie de l'objet a segmenter. Cette méthode collaborative a ensuite ete testée sur des problèmes de segmentation et de visualisation de pathologies telles que les anevrismes cerebraux et les polypes du colon. Dans un troisième temps nous avons fusionné les résultats des deux premières parties pour obtenir l'extraction de surfaces, et des squelettes d'objets anatomiques tubulaires. Les squelettes des surfaces fournissent des trajectoires que nous utilisons pour déplacer des cameras virtuelles, et nous servent a definir les sections des objets lorsque nous voulons mesurer l'étendue d'une pathologie. La dernière partie regroupe des applications de ces méthodes a l'extraction de structures arborescentes. Nous étudions le cas des arbres vasculaires dans des images médicales 3D de produit de contraste, ainsi que le problème plus difficile de l'extraction de l'arbre bronchique sur des images scanners des poumons
In this thesis, we focus on the use of minimal path techniques and Level-Sets active contours, for curve and shape extraction in 3D medical images. In the first part of thesis, we worked upon the reduction of the computing cost for path extraction. We proposed several path extraction algorithms for 2D as well as for 3D images. And we applied those techniques to real medical imaging problems, in particular automatic path extraction for virtual endoscopy and interactive and real-time path extraction with on-the-fly training. In the second part, we focused on surface extraction. We developed a fast algorithm for pre-segmentation, on the basis of the minimal path formalism of the first part. We designed a collaborative method between this algorithm and a Level-Sets formulation of the problem, which advantage is to be able to handle any topological change of the surfaces segmented. This method was tested on different segmentation problems, such as brain aneurysms and colon polyps, where target is accuracy of the segmentation, and enhanced visualization of the pathologies. In the last part of the thesis, we mixed results from previous part to design a specific method for tubular shape description and segmentation, where description is the extraction of the underlying skeleton of our objects. The skeletons are trajectories inside our objects, which are used as well for virtual inspection of pathologies, as for accurate definition of cross-sections of our tubular objects. In the last chapter we show applications of our algorithms to the extraction of branching structures. We study the vascular tree extraction in contrast enhanced medical images, and we apply the same principle to the more complex problem of the bronchial tree extraction in multi-slice CT scanners of the lungs

Ce travail consiste aux développements et à l'amélioration de techniques expérimentales de mesures 3D de vitesses au sein d'écoulement de fluide. Ces techniques sont des systèmes de vélocimétrie par image de particule (PIV) stéréoscopique en configuration angulaire. Des méthodes et des montages sont proposés pour déterminer avec précision les erreurs de mesure, pour diminuer et corriger ces erreurs, mais aussi pour simplifier la mise en œuvre de ces techniques. Les problèmes liés aux calibrages des caméras, et aux erreurs commises en cas de désalignement du plan d'observation (plan laser) par rapport au plan de calibrage, sont analysés et résolus. 2 méthodes ont été proposées pour corriger ces erreurs, qui peuvent être importantes dans certains cas. 2 types d'objectif sont étudiés, utilisés et comparés : les objectifs standards et les objectifs télécentriques. En particulier, les auto-dimensionnements des systèmes stéréoscopiques sont réalisés, et ouvrent la voie à l'auto-étalonnage des caméras de système stéréoscopique. Notre étude a montré que les fonctions géométriques de calibrage et l'utilisation d'objectifs télécentriques permettent d'améliorer de nombreux points par rapport aux fonctions générales et l'utilisation d'objectifs standards en conditions de Scheimpflug. Premièrement, des efforts spécifiques sont réalisés sur la modélisation des fonctions géométriques, afin d'atteindre la même précision qu'avec des fonctions générales. Deuxièmement, les objectifs télécentriques permettent d'éliminer les effets de perspectives sur les images acquises, limiter le temps d'installation du système stéréoscopique ainsi que celui du temps de calcul des vecteurs vitesses 3D. Cependant, ils ont l'inconvénient d'être limités en taille de champs. 2 campagnes d'essais avec 2 systèmes stéréoscopiques différents ont permis de mesurer les vitesses 3D au sein d'écoulements de jet axisymétrique turbulent
This work consists with the developments and the improvements of experimental techniques that measure 3D velocity within flow of fluid. These techniques are stereoscopic particle image velocimetry (SPIV) systems in angular configuration. . . [etc. ]

Dans de nombreux domaines tels que la mécanique des fluides ou l'imagerie cardiaque, les données manipulées consistent en des champs denses de vecteurs 2D ou 3D représentant par exemple une vitesse de déplacement. Le volume important que représentent ces données ainsi que leur complexité rendent leur visualisation particulièrement difficile. Leur interprétation et leur compréhension nécessite l'élaboration de techniques de visualisation efficaces. Dans ce cadre, nous proposons une nouvelle représentation de champs de vecteurs basée sur une texture de type fourrure. Nous considérons qu'une telle texture fournit une représentation naturelle d'un champ dense de vecteurs et par suite intuitive et facile à interpréter. Nous avons conçu une technique de synthèse 2D de ce type de texture qui produit des images d'aspect visuel satisfaisant. Cette technique est peu coûteuse en temps de calcul et permet de contrôler les principaux attributs de la texture (orientation et longueur des filaments). Pour cela, nous avons utilisé un modèle autorégressif 2D (AR 2D) dont les paramètres ont été identifiés à partir d'un ensemble d'images de texture 3D synthétisées par une modélisation en Hypertexture. Nous nous sommes ensuite intéressés à l'exploitation du procédé pour la représentation de champs denses de vecteurs. Différentes représentations de champs de vecteurs 2D sont testées en utilisant des données de simulation et des données réelles issues de 1 'imagerie cardiaque. De plus, pour pouvoir représenter des champs de vecteurs 3D définis sur des surfaces 3D, nous avons développé une procédure de plaquage de texture appropriée. Deux applications sont ensuite présentées. L'une en synthèse d'images, concerne la représentation de champs de vecteurs particuliers simulant une fourrure sur des objets 3D. La seconde application intéresse l'imagerie médicale et a pour but la visualisation du mouvement des parois cardiaques
In many areas such as fluid dynamics or medical imaging, the analysis of studied phenomena produces complex data that consists in large vector fields. The vectors represent some characteristic of each point on the field such as: a fluid vorticity, a wind velocity or a motion speed. The visualization of vector fields is not straightforward because they have no natural representation. In this work, we propose to build a new representation of vector fields based on furlike texture. We assume that such a texture provides a natural and intuitive representation of a dense vector field. Our approach consists in the development of a texture model that allows 2D synthesis of furlike texture having a 3D aspect. The model is based on the modeling of the texture autocorrelation function (ACF) and a two dimensional Auto Regressive synthesis (2D AR). This provides a simple and efficient 2D generator of furlike texture with a local control of the main attributes of the texture (orientation and length of filaments). We have experimented the use of this texture model to represent vector fields. We use orientation, length and color attributes of our furlike texture to visualize local orientation and magnitude of a 2D vector field. Results are presented using simulated data and cardiac imaging data. We also show how to visualize 3D vector fields defined over 3D surfaces by a simple and appropriate texture mapping procedure. We have applied this technique for special vector fields that simulate fur appearance on 3D objects. This produces images with quite realistic aspect

Dans le domaine médical, les systèmes d'imagerie sont de plus en plus performants et fournissent un nombre important d'images des structures internes du corps humain. Dans ce contexte, il est essentiel de développer des chaînes de traitement et d'analyse de ces informations afin d'aider le diagnostic médical. En échocardiographie, le traitement et l'analyse quantitatifs décuplent leur potentiel quand on utilise un système d'acquisition 3D. Dans cet objectif, nous avons développé une nouvelle chaîne de traitement qui contribue à améliorer le diagnostic médical à partir de la reconstruction 3D d'images ultrasons. Cette chaîne est divisée en plusieurs modules : acquisition, filtrage, segmentation et reconstruction 3D, modélisation, visualisation, et extraction de paramètres cliniques. Dans chacun des modules on a réalisé plusieurs contributions. La plus importante consiste en un modèle de fusion entre une méthode de segmentation locale évoluée (front de propagation 3D) et un modèle global de superquadriques afin d'extraire de manière précise les parois du ventricule gauche (VG) dans le cas de perte de régions. Cette segmentation permet en outre la visualisation 3D temporelle et le calcul de paramètres cliniques importants. En conclusion, la visualisation 3D du cœur en mouvement, le comportement du modèle virtuel et les valeurs des paramètres cliniques sont des informations importantes pour le cardiologue. Nul doute qu'elles contribueront à diagnostiquer avec une plus grande précision les maladies cardiovasculaires.

On assiste depuis quelques temps `a un regain d’intérêt pour un certain nombre de problèmes liés au domaine de l’analyse de l’activité humaine `a partir de caméras et de capteurs 3D et ceci pour plusieurs raisons dont principalement le d´développement de la technologie d’estimation de profondeur de Kinect et les caméras Time-Of-Flight. En outre, le caractère complémentaire de la profondeur et de l’information visuelle (RGB) fournies par ces dispositifs offre de nouvelles solutions potentielles aux problèmes classiques de la vision par ordinateur. Par ailleurs, la thermographie infrarouge (IRT), aussi connu comme l’imagerie thermique, est une technologie idéale pour garantir des résultats de mesures non intrusives probants en toutes circonstances pour un nombre croissant d’applications de s´écrite et de surveillance comme pour le diagnostic m´médical. L’analyse thermique affine la reconnaissance visuelle. Cependant, d´détecter `a la volée un ´évènement remarquable qui se distingue par son comportement temporel, dans les s´séquences vidéo reste un d´défi majeure. Ce problème est particulièrement difficile en raison d’´énormes variations dans les aspects visuels et de mouvement des objets et de la caméra, des occlusions, ainsi que la présence de bruit. L’objectif principal de cette thèse est d’apporter des contributions m´méthodologiques pour la d´détection des ´évènements `a partir de flux issus de caméras thermique et de caméras de profondeur Kinect. La première partie de nos contributions concerne le d´développement d’une plateforme de reconnaissance d’´évènement thermique basée sur l’extraction de motifs spatio-temporels `a partir de s´séries chronologiques avec une application d´ediee au domaine m´médical. Nous nous sommes intéresses particulièrement `a la d´détection de la douleur chez les bébés prématurés et nous avons introduit une nouvelle base de données (Pretherm) réalisée dans le cadre du projet ANR du même nom, avec des vidéos de bébés prématurés de l’hôpital CHU de Caen. Pour caractériser le motif d’intérêt dans un signal monodimensionnel, nous avons proposé d’utiliser un descripteur basé sur les motifs binaires locaux non redondants (ou résiduels). Nous avons ´également d´défini une nouvelle m´méthode basée sur la persistance topologique pour filtrer et ordonner les valeurs critiques. Les deux m´méthodes ont ´et´e validés sur le corpus de s´séquences thermiques représentant la douleur et non douleur chez les enfants prématurés, grâce aux m´méthodes d’apprentissage statistique automatique suivants : Les réseaux de neurones (avec Extreme Learning Machines) et les m´méthodes a noyaux (avec Support Vector Machines). Dans la seconde partie de la thèse, nous avons ´étudie le problème de la reconnaissance automatique d’action humaine `a partir de caméras `a capteur de profondeur type Kinect. Nous nous sommes concentrés sur le d´développement de descripteurs spatio-temporels pertinents qui caractérisent au mieux l’action humaine et qui permettent de bien identifier la nature de l’action(classification). Nous passions en revue et comparions les techniques les plus populaires de l’´état de l’art pour la reconnaissance d’action. Dans un premier volet, nous nous sommes orient ´es vers l’analyse des angles des articulations et de leurs trajectoires. `a chaque angle d’articulation est associée une trajectoire au cours de l’action. La trajectoire d’une action donnée est ainsi d´décomposée en une suite de trajectoires ´élémentaires permettant la création d’un vocabulaire visuel compact et la construction d’un automate de reconnaissance d’actions modélise par un modèle de Markov caché (HMM). Pour pallier la sensibilité `a la rotation et aux variations locales des trajectoires, nous avons proposé une seconde approche basée sur les harmoniques sphériques (SHs). Ces derniers ´étant une description fréquentielle de l’image sphérique, le spectre est alors utilise comme descripteur, de structure de l’environnement dont la dimension est très faible, qui servira pour apprendre et reconnaitre les poses. Chaque catégorie est ainsi caractérisée par une distribution de probabilité de spectres d’harmoniques sphériques. Ensuite, pour améliorer la précision et la convergence des calculs, nous avons utilise une représentation compacte en utilisant les harmoniques sphériques sous une forme quadratique. Finalement, les techniques proposées permettent d’obtenir une performance meilleure ou semblable par rapport `a l’´etat de l’art, sur des bases de données représentant une grande diversité d’actions 3D (MSR Action 3D , UTKinect Action , Florence Action, et G3D)
Modern computer vision algorithms try to understand the human activity using 3D visible sensors. However, there are inherent problems using 2D visible sensors as a data source. First, visible light images are sensitive to illumination changes and background clutter. Second, the 3D structural information of the scene is degraded when mapping the 3D scene to 2D images. Recently, the easy access to the RGBD data at real-time frame rate is leading to a revolution in perception and inspired many new research. Time of Flight (ToF) and multi-view sensors have been used to model the 3D structure of the scene. Otherwise, infrared thermography (IRT), also known as thermal imaging, is an ideal technology to investigate thermal anomalie under different circumstances because it provides complete thermal images of an object with no physical attachments (nonintrusive). IRT is now being introduced to a wide range of different applications, such as medical diagnostic and surveillance. However, finding meaningful features from a time series data from thermal video is still a challenging problem, especially for event detection. This problem is particularly hard due to enormous variations in visual and motion appearance of object, moving background, occlusions and thermal noise. In this thesis, we propose a framework for the detection of visual events in thermal video and 3d human actions in RGBD data. Despite differences in the applications, the associated fundamental problems share numerous properties, for instance the necessity of handling vision-based approach for the automatic recognition of events. The first part of the thesis deals with the recognition of events in thermal video. In this context, the use of time series is challenging due to the graphical nature which exposes hidden patterns and structural changes in data. In this study, we investigated the use of visual texture patterns for time series classification. Our principal aim was to develop a general framework for time series data mining based on event analysis with an application to the medical domain. In particular, we are interested to pain/no-pain detection using parametric statistics and shape descriptors in order to analyze and to classify time 2D distribution data sets. We first extracted automatically thermal-visual facial features from each face considered as the region of interest (ROI) of the image. We proposed two feature descriptors for the signal pattern of interest (POI) which efficiently exploits the dependence between time and frequency in one-dimension (1D) signal. The original signal is extracted directly from local patch in ROI. The first method is based on non-redundant temporal local binary pattern (NRTLBP). The second approach propose a topological persistence descriptor (TP) for extracting and filtering local extrema of 1D signal. Local minima and local maxima are extracted, paired, and sorted according to their persistence. The final representation of an event is a completely new feature vector of all paired critical values. These features provide many benefits for many applications to get a fast estimation of the event in dynamic time series data. Both methods are validated using an Extreme Learning Machine (ELM) and Support vector Machine (SVM) classifiers. Experimental results on a real thermal-based data set ”Pain in Preterm Infants” (PPI), which is captured in a real condition monitoring environment, show that the proposed methods successfully capture temporal changes in events and achieve higher recognition rates. PPI dataset was developed in the context of Infant pain project, a french project supported by the French National Research Agency Projects for science (ANR). _ In the second part of the thesis, we investigate the problem of recognizing human activities in different application scenarios: controlled video environment( e. G. Indoor surveillance) and specially depth or skeletal data (e. G. Captured by Kinect). We focus on developing spatio-temporal features, and applying these features to identify human activities from a sequence of RGB-D images, i. E. ,color images with depth information. First, we proposed a view-invariant approach which use joint angles and relative joint positions as features. These features are quantized into posture visual words and their temporal transitions are encoded as observation symbols in a Hidden Markov Model (HMM). To eliminate rotation dependence in skeletal descriptors, we proposed an approach that combines the covariance descriptor and the spherical harmonics (SHs). The harmonic representation of 3d shape descriptors is adapted to skeleton joint-based human action recognition. To improve the accuracy and the convergence speed of the SHs solutions, we proposed an extension of the model, using quadratic spherical harmonics (QSH) representation, to encode pose information in the spatiotemporal space. These SHs representations are compact and discriminating. For the recognition task, we used ELM classifier. Our experimental results on a number of popular 3d action datasets show significant achievements in terms of accuracy, scalability and efficiency in comparison to alternate methods, of the state-of-the-art

La microstructure du combustible nucléaire MOX, élaboré à partir de UO2 et de PuO2, détermine son comportement en réacteur. Le CEA et la COGEMA portent un intérêt grandissant à sa caractérisation par imagerie, objet du présent travail. Les algorithmes de segmentation qui sont développés ici s'appuient sur des images issues d'une microsonde et d'un MEB, pour analyser la répartition du plutonium et des porosités dans les pastilles de combustible. Ils sont novateurs, automatisés et assez robustes pour être utilisés sur un faible nombre de données. Ils ont été testés avec succès sur différents combustibles, avant et après irradiation. Des informations tridimensionnelles ont été calculées à l'aide d'un algorithme génétique. Les distributions en taille d'objet 3D obtenues ont permis de modéliser en volume différents combustibles industriels et de recherche. La reconstruction 3D est fiable et stable, et ouvre de nombreuses perspectives, dont l'étude du comportement sous irradiation du MOX
The microstructure of the MOX fuel, made with UO2 and PuO2, determines his " in pile " behavior. The french companies CEA and COGEMA are highly interested in its description by image analysis, which is the object of the present work. The segmentation algorithms described here use pictures issued from a microprobe and a SEM, to analyse the plutonium and porosity distribution in the fuel pellets. They are innovating, automated and robust enough to be used with a small data set. They have been successfully tested on different fuels, before and after irradation. Three-dimensional informations have been computed with a genetic algorithm. The obtained 3D object size distributions allowed the modeling of many different industrial and research fuels. 3D reconstruction is accurate and stable, and provides a basis for different studies among which the study of the MOX fuel " in pile " behavior

L’angiographie rotationnelle (AR) 3d devient une aide indispensable au traitement endovasculaire des pathologies cérébrales. Elle offre au médecin la possibilité d'examiner en 3d la complexité de l'arbre vasculaire cérébral en vue d’un geste thérapeutique plus sur. Le volume visualise est le résultat d’un algorithme de reconstruction tomographique applique a un ensemble de projections rayons x acquises pendant l1njection d’un produit de contraste. Ce travail vise a proposer de nouvelles méthodes de reconstruction tomographique pour accéder a la représentation d’un objet à différents niveaux de résolution a partir de ses projections. L’idée sous-jacente est de pouvoir effectuer des traitements d’image dans cet espace intermédiaire afin d'améliorer la rapidité et la qualité de la reconstruction. Dans un premier temps, nous ayons explore les relations existant entre ondelettes et tomographie pour une géométrie d'acquisition parallèle. Nous présentons un algorithme original de reconstruction tomographique applicable à des ondelettes séparables ou quinconces. Celui-ci est valide sur des données expérimentales, acquises par rayonnement synchrotron a l’ESRF, Grenoble. La généralisation de ces méthodes de reconstruction en géométrie divergente (2d-3d) est ensuite étudiée. Le principal obstacle réside dans le calcul de la transformée de radon a partir dune telle acquisition. Nous proposons alors un algorithme de reconstruction multi résolution approchée exploitant a la fois la géométrie d'acquisition particulière en AR 3d et la non séparabilité des ondelettes. Des simulations sur fantômes mathématiques ont permis de valider notre méthode et de fixer ses limites d’utilisation. L utilisation de ces techniques en AR 3d est enfin présentée sur des données réelles acquises a l’hôpital neurologique de Lyon. La reconstruction initiale rapide de l'arbre vasculaire a basse résolution avec ajout progressif des détails dans une région d’intérêt est ainsi démontrée
3D rotational angiography (RA) is raising increasing interest for diagnostic in the field of endovascular treatment of intracranial Aneurysms. It brings to the physician valuable 3d information of the cerebral vascular 3D reconstruction of arterial vessels is Obtained via a cone-beam reconstruction algorithm applied onto a set of contrast-enhanced x-ray images. This thesis suggests new Tomographic reconstruction methods in order to access directly the Representation of a 3d object at different resolutions from its projections. The underlying idea is to apply image processing techniques in this intermediate space to increase both image quality and Computation time. In a first step, the natural relationship between wavelets and Computerized tomography is investigated for parallel beam geometry. It provides a rigorous mathematical framework where multiresolution Analysis can be considered. We present an original tomography Reconstruction algorithm satisfying either separable or quincunx Wavelet schemes. It has been validated on experimental data, acquired Using synchrotron radiation at the ESRF, Grenoble. The generalization of these reconstruction methods for divergent geometries (2d-3d) is then studied. The main difficulty consists in the direct computation of the radon transform from a divergent data set. Nevertheless, we propose an approximate multiresolution algorithm that makes full use of the particular acquisition geometry in 3D RA and of the special Choice of non separable wavelets. Simulations on mathematical phantoms allowed validating our algorithm and fixing its conditions of Use. Lastly, these multiresolution techniques were successfully applied to 3D rotational angiography. The feasibility of our Reconstruction method w as shown on clinical data, acquired at the Neurological hospital in Lyon. A fast low-resolution reconstruction of the 3D arterial vessels with the progressive addition of details in a Region of interest w as demonstrated

Cette thèse est centrée sur un projet de recherche en vision. Il s'agit d'un projet qui permet à des caméras intelligentes de comprendre dans quelle posture se trouve la personne filmée. Cela permet de savoir si la personne se porte bien ou si elle est dans une situation critique ou de danger. Les caméras ne doivent pas être connectées à un ordinateur, mais avoir toute l'intelligence embarquée dans la caméra même. Ce travail s'appuie sur des technologies récentes comme le capteur Kinect de la console de jeu. Ce type de capteur est un capteur de profondeur, c'est-à-dire que la caméra peut estimer la distance qui la sépare de chaque point de la scène. Notre contribution consiste à combiner plusieurs de ces caméras pour avoir une meilleure reconstruction de la posture de la personne. Nous avons créé une base de données d'images qui a permis d'apprendre au programme comment reconnaître les postures. Nous avons ajusté les bons paramètres à notre programme et on l'a comparé au programme du Kinect
This thesis is based on a computer vision research project. It is a project that allows smart cameras to understand the posture of a person. It allows to know if the person is alright or if it is in a critical situation or in danger. The cameras should not be connected to a computer but embed all the intelligence in the camera itself. This work is based on the recent technologies like the Kinect sensor of the game console. This sensor is a depth sensor, which means that the camera can estimate the distance to every point in the scene. Our contribution consists on combining multiple of these cameras to have a better posture reconstruction of the person. We have created a dataset of images to teach the program how to recognize postures. We have adjusted the right parameters and compared our program to the one of the Kinect

L’investigation du milieu marin est un domaine qui fait l'objet de travaux de recherche importants. Dans la plupart des secteurs d'applications (ingénierie offshore, secteur de la pêche, archéologie, océanographie, lutte anti sous-marine), l'un des problèmes majeurs concerne la classification des objets sous-marins, c'est-a-dire la différenciation des cibles immergées ou enfouies dans le sédiment. L’objectif de ce rapport est de proposer, grâce aux techniques de traitement du signal et des images, une méthode générale pour la reconnaissance des objets sous-marins. Une part essentielle du travail consiste à rechercher des paramètres pertinents capables de distinguer différents types d'objets. La première démarche proposée étudie la séparation des objets sous-marins en deux catégories : objets naturels et manufacturés. Différentes techniques d'amélioration de la résolution temporelle sont développées afin de séparer les deux échos dûs à la présence d'une coque pour les cibles manufacturées : l'algorithme music, l'analyse spectrale a l'ordre 3 et l'algorithme wrelax. Nous montrons que ce dernier répond le mieux au problème en termes de pouvoir de séparation et de robustesse au bruit. Nous nous intéressons ensuite à l'identification de la forme des objets à partir de l'information acoustique 2D et 3D. Cette partie traite de la recherche de paramètres capables de caractériser les formes. Trois méthodes fournissant des jeux de paramètres discriminants sont comparées. Pour caractériser la forme 2D : les descripteurs de Fourier, puis les descripteurs de Fourier améliorés par fusion floue. Pour caractériser la forme 3D : les invariants 3D. Une structure de classification supervisée, fondée sur un classifieur non-paramétrique et mise en place sur données synthétiques et réelles, permet de comparer les performances des différents paramètres proposés. Les résultats montrent la supériorité des invariants 3D en termes de pouvoir discriminant et de robustesse au bruit.

Le cadre de cette thèse concerne la navigation dans des scènes 3D au travers d'un réseau de télécommunications. La scène 3D ne contient pas d'objets en mouvement et est décrite par un ensemble de séquences vidéo avec cartes de profondeur associées. L'objectif est de développer les différents éléments de la chaîne de navigation concernant la modélisation de la scène, la transmission et le rendu. La première partie de cette thèse consiste à construire un modèle pour chaque séquence vidéo. Ces modèles sont constitués par un ensemble de régions extraites des séquences qui seront ensuite utilisées pour recréer les points de vue. L'ensemble de ces modèles constituent une représentation compacte de la scène. La deuxième partie de notre travail concerne l'exploitation de la représentation pour la navigation. Les modèles (cartes de texture, cartes de profondeur et masque définissant les régions) sont encodés au format MPEG-4. Le rendu est ensuite réalisé par une méthode d'interpolation basée image consistant en un maillage de type microfacettes des régions. La troisième partie de la thèse concerne l'exploitation de la représentation sous forme de modèles à facettes. Les cartes de profondeur associées aux régions de la représentation sont triangulées. On forme alors des modèles VRML qui seront utilisés pour créer les points de vue.

Dans ce travail de thèse, nous nous intéressons à la transposition et à l'étude de certaines Équations aux Dérivées Partielles (EDPs) et méthodes variationnelles et leurs extensions pour le traitement et l'analyse de données sous forme de surfaces ou de nuages de points. Les EDPs et les méthodes variationnelles ont montré leur efficacité comme outils pour la résolution d'un grand nombre de problèmes inverses en imagerie, notamment pour le débruitage, la restauration d'images et de vidéos, l'inpainting d'images, la segmentation d'images, etc. Récemment, beaucoup de ces méthodes ont été étendues sous formulation non-locale. Cependant, ces méthodes sont utilisées pour le traitement d'images ou de vidéos sur des espaces euclidiens où la discrétisation se fait sur des grilles régulières. Dans cette thèse, nous proposons une nouvelle approche de résolution et d'adaptation d'EDPs sur des nuages de points 3D ou des surfaces: celle-ci est basée sur la représentation de nuages de points par des graphes pondérés et sur le cadre des Équations aux différences Partielles (EdPs). Cette approche ne nécessite aucun prétraitement préalable de nuages de points, de plus elle permet naturellement d'étendre et d'adapter les EDPs sous une formulation non-locale en changeant uniquement la topologie du graphe
In this thesis, we are interesting in transposing and solving PDEs and variational problems on general surfaces or manifolds. PDEs and variational methods are one of the most important tools widely used for modeling and solving inverse problems, e. G. , in image processing and computer vision. Recently, many of these methods were extended to non-local forms. However, most of the research works on local or non-local processing focus only on image processing on Euclidean spaces. In this thesis, we propose an approach to transpose and to solve PDEs on surfaces and point clouds. This latter approach is based on the representation of point clouds by weighted graphs and the framework of Partial differential Equations (PdEs). This approach requires no pre-processing of point clouds, and allow to extend and to adapt non-local PDEs by changing only the topology of the graph

L'utilisation du courant electrique a des fins therapeutiques est une technique tres repandue en milieu medical, mais les mecanismes d'action du courant electrique dans le corps humain posent des problemes tres complexes. Ce travail cherche a apporter une contribution a une meilleure connaissance de ces mecanismes en analysant la distribution des densites de courant dans un volume conducteur de forme arbitraire inhomogene, quand le courant est injecte par des electrodes placees sur sa surface. La determination des lignes de courant electrique a l'interieur d'un volume conducteur inhomogene spherique, soumis a des injections de courant au moyen d'electrodes constitue le probleme direct. En utilisant la methode des elements frontiere, les distributions de potentiel sur la surface et a l'interieur du volume sont calculees, ce qui permet de determiner les lignes de courant dans le domaine etudie. Un logiciel a ete developpe pour cette determination. L'imagerie d'impedance est une nouvelle technique d'imagerie medicale, qui a pour but de reconstruire une image de la distribution de conductivite electrique au sein d'un milieu physiologique, a partir d'informations recueillies a la peripherie de ce meme milieu. Elle apparait comme potentiellement complementaire aux autres techniques d'imagerie medicale et constitue le probleme inverse. Un algorithme de reconstruction en 2d et en 3d, utilisant la methode de la matrice directe de sensibilite, a ete realise. Cette methode est basee sur la relation existant entre la variation de conductivite d'un pixel donne c a l'interieur du domaine et la variation des perturbations de difference de potentiel de la frontiere du domaine. L'application en 3d de cette methode, qui s'affranchit de l'utilisation d'images de sections planes, a ete demontree a l'issue de cette etude. Enfin, une etude approfondie de la methode de retroprojection filtree a permis de developper un filtrage specifique ameliorant la qualite des images reconstruites

Les graphes sont des modèles de représentation qui permettent de modéliser un grand nombre de type de documents. Dans cette thèse, nous nous intéressons à leur utilisation pour la recherche dans des bases de données multimédia.Nous commençons par présenter la théorie autour des graphes ainsi qu'un aperçu des méthodes qui ont été proposées pour leur mise en correspondance.Puis, nous nous intéressons plus particulièrement à leur utilisation pour la reconnaissance des formes et l'indexation multimédia.Dans le but de répondre de la manière la plus générique possible aux différents problèmes de recherche, nous proposons de travailler dans le cadre des fonctions noyaux.Ce cadre permet de séparer les problèmes liées à la nature des documents de ceux apportés par les différents types de recherche. Ainsi, toute notre énergie est consacrée à la conception de fonctions de mise en correspondance,mais en gardant à l'esprit qu'elles doivent respecter un certain nombre de propriétés mathématiques. Dans ce cadre, nous proposons de nouvelles solutions qui permettent de mieux répondre aux caractéristiques particulières des graphes issus de primitives et descripteurs visuels. Nous présentons aussi les algorithmes qui permettent d'évaluer rapidement ces fonctions. Enfin, nous présentons des expériences qui mettent en lumière ces différentes caractéristiques, ainsi que des expériences qui montrent les avantages qu'offre nos modèles vis à vis de la littérature
Many type of documents can be modeled by a graph representation. In this thesis, we focus on theuse of graph for research in multimedia databases.We begin by presenting the theory of graphs and aroundan overview of methods that have been proposed for matching.Then, we are particularly interested in their use for recognitionforms and multimedia indexing.In order to respond in the most generic possible differentresearch problems, we propose to work within the framework of kernel functions.This framework allows to separate the problems related to the nature of the documentsthose introduced by the different types of research. Thus, all ourenergy is devoted to the design of mapping functions,but bearing in mind that they must meet a numbermathematical properties. In this context, we propose newsolutions that better meet the specificgraphs from primitive and visual descriptors. Wealso present algorithms to quickly assessthese functions. Finally, wepresent experiments that highlight thesedifferent characteristics and experiences that showadvantages of our models with respect to the literature

Dans ce travail, nous nous intéressons à la modélisation géométrique hiérarchique à base topologique en proposant la définition d'un modèle générique en dimension quelconque, et en montrant une application possible en segmentation multi-échelle d'images 3D. Dans la première partie de cette thèse, nous définissons et étudions les pyramides généralisées nD. C'est un modèle topologique hiérarchique générique qui représente toutes les cellules d'une subdivision ainsi que les relations d'adjacence et d'incidence existant entre celles-ci. Nous proposons et comparons trois représentations possibles de ces pyramides. Afin de retrouver les informations correspondant à une cellule, nous définissons la notion d'orbite généralisée étendant celle de champ récepteur. Nous définissons également une opération de modification locale d'un niveau de la pyramide permettant de conserver la cohérence du modèle en propageant les modifications aux niveaux supérieurs. Dans la deuxième partie de ce travail, nous montrons comment utiliser ce modèle dans le cadre d'une segmentation multi-échelle d'images 3D. Nous définissons les propriétés que doit satisfaire la pyramide, puis nous donnons les algorithmes qui permettent de construire une telle pyramide. Nous montrons ensuite comment utiliser les orbites généralisées afin de retrouver les voxels ou éléments inter-voxels composant une région ou son bord. Enfin nous définissons une opération permettant de modifier localement le critère de segmentation d'un ensemble de régions. Cette opération est basée sur celle définie dans la première partie afin de conserver les contraintes de cohérence
In this work, we are interested in the hierarchical geometrical modeling with a topological basis. We propose the definition of a generic model in any dimension, and we show a possible application in multi-level segmentation of 3D images. In the first part of this work, we define and study the nD generalized pyramids. This is a generic hierarchical topological model which represents all the cells of a subdivision as well as the adjacency and incidence relations existing between these cells. We propose and compare three possible representations of these pyramids. In order to retrieve the information which corresponds to a cell, we define the notion of generalized orbit. This notion extends the notion of receptive field. We also define a local modification operation of a pyramid level allowing to preserve the model coherence by propagating the modifications at the upper levels. In the second part of this work, we show how to use this model in the case of a multi-level segmentation of 3D images. We define the properties which have to be respected by the pyramid, and we give the algorithms that allow to construct such a pyramid. Then, we show how to use the generalized orbits in order to retrieve the voxels or the inter-voxel elements which compose a region or its boundary. Finally we define an operation allowing to locally modify the segmentation criterion of a region set. This operation is based on the operation defined in the first part in order to preserve the coherence constraints

Les méthodes actuelles de venupuncture et cathétérisation périphérique intraveineuse (IV) sont réalisées «en aveugle» dans la mesure où le clinicien ne peut pas voir la veine, mais doit se fonder sur le sens du toucher, pouvant conduire à manquer totalement la veine, et provoquer douleur et anxiété pour le patient voir des lésions tissulaires, en particulier chez l’enfant, les personnes âgées et ceux en état de déshydratation. Nous présentons dans ce document des méthodes expérimentales et théoriques pour (1) Estimer la position relative des veines dans différents types de tissus cutanés, en utilisant des techniques d’imagerie combinant un ensemble discret d’illuminants allant du visible au proche infrarouge et un système de mesures dimensionnelles de la surface de la peau via triangulation active 3D. (2) Optimiser la mesure quantitative des veines dans les tissus cutanés en combinant imagerie multispectrale, modélisation de la propagation de la lumière par méthode Monte Carlo, et résolution de problème inverse sur des données réelles incluant tissus synthétiques et humains. (3) Mettre au point des systèmes d’imagerie pour l’estimation tri-dimensionnelle de la position des veines et l’aide à la sélection des points d’entrées optimum de l’aiguille. L’objectif à long terme étant de créer un appareil portable d’imagerie optique facile à utiliser et peu coûteux qui permettra la visualisation des veines pour l’accès IV et évaluer l’intégrité et le placement du cathéter
Current methods of venipuncture and peripheral intravenous (IV) catheterization procedures are performed ‘blind’ in that the clinician cannot see the vein but has to rely on feel, which may lead to missing the vein completely, causing tissue damage, pain and anxiety for the patient, especially with small children, older patients and those in a dehydrated state. We present in this dissertation experimental and theoretical methods to (1) Estimate relative vein location in different types of subcutaneous tissue and various skin colors, done by imaging the skin using a discrete set of illuminants ranging from visible to near infrared and a structured light pattern for active 3D triangulation and skin surface shape measurements. (2) Quantitatively optimize the measurement of vein depth in the tissue, using multispectral imaging, three dimensional Monte Carlo photon transport modeling, and inverse imaging with pattern recognition on phantom limbs and human subjects. (3) Develop imaging software enhancements utilizing three-dimensional mapping to help visualize the estimation of an optimal catheter entry point into a vein. The long term goal is to create an easy-to-use, inexpensive portable vein imaging device that will allow vein visualization for IV access and also assessment of IV catheter integrity in order to verify correct IV catheter placement

L'imagerie médicale a profondément influencé à la fois la recherche médicale et la pratique clinique. Elle est aujourd'hui incontournable aussi bien pour l'établissement du diagnostic que pour la mise en place et le suivi d'un traitement thérapeutique. Elle fournit un volume croissant de données tridimensionnelles provenant de modalités d'acquisition différentes (IRM, scanner-X, médecine nucléaire, échographie). Ce volume croissant de données rend délicate et laborieuse la tâche d'interprétation par un expert. Le traitement d'images est un outil permettant une automatisation des tâches et va assister l'expert aussi bien dans l'analyse qualitative que quantitative des images. Dans ce mémoire, nous proposons des techniques automatiques de détection de changements dans des séquences d'images IRM cérébrales. Nous nous intéressons plus particulièrement aux changements d'intensité localisés survenant lors d'évolutions pathologiques telles que les évolutions de lésions en sclérose en plaques (SEP). Les applications médicales des techniques développées ici sont nombreuses: aide au diagnostic, suivi à long terme de l'évolution d'une pathologie, évaluation de l'efficacité thérapeutique d'un médicament, aide à la prise de décision en vue d'une intervention chirurgicale. Ce travail de recherche a été mené en étroite collaboration entre le LSIIT (ULP/UMR CNRS 7005) et l'Institut de Physique Biologique (ULP-Hôpitaux Universitaires / UMR CNRS 7004), au sein de l'équipe-projet multi-laboratoires "Imagerie et Robotique Médicale et Chirurgicale" (EPML IRMC). Il a été soutenu par la Ligue Française Contre la Sclérose En Plaques (LFSEP), la société SERONO et la région Alsace. La détection automatique et fiable de changements interimages rencontre d'importantes difficultés rendant impossible la comparaison directe d'images acquises successivement. La position des patients dans l'imageur n'est jamais identique et les paramètres d'acquisition peuvent varier sensiblement entre chaque examen, entraînant, entre autres, des modifications de contraste. La définition même de ce qui doit être détecté est souvent subjective. Dans le cadre spécifique de la détection de changements d'intensité de lésions, des déformations globales de structures anatomiques, telle que l'atrophie cérébrale, peuvent également perturber la comparaison directe des images. Le travail présenté dans cette thèse est centré sur le développement d'outils de traitement d'images permettant de décider quels changements sont statistiquement significatifs ou non. Lorsque l'expert détermine visuellement des changements, il utilise des connaissances a priori, implicites, de haut niveau qui lui permettent de corriger certaines erreurs d'acquisition. Ainsi, il peut compenser visuellement des erreurs de repositionnement et utiliser ses connaissances anatomiques propres pour identifier et rejeter certains artefacts. Nous développons donc ici, des techniques automatiques d'identification et de correction des principaux artefacts (positionnement, déformations, variations d'intensité ...) et nous proposons une technique originale de segmentation du cortex, apportant les informations anatomiques permettant l'amélioration de la détection automatique. Les techniques de traitement d'images proposées ici ont été développées pour l'IRM cérébrale. Cependant, elles sont suffisamment générales pour s'appliquer à d'autres domaines. Notre système de détection de changements a été évalué dans le cadre de l'étude de l'évolution de lésions de sclérose en plaques. Ses performances ont été déterminées sur une grande base d'images multimodales (plus de 200 images FLAIR, RARE et GE3D) de taille $128^3$. L'évaluation a été faite à l'aide d'un protocole impliquant deux experts (neurologues) et utilisant une analyse statistique de type COR Le système automatique a été jugé plus performant que l'expert humain. Dans la première partie de ce manuscrit, nous présentons tout d'abord les éléments d'imagerie IRM et les aspects médicaux nécessaires à la compréhension de l'ensemble de ce travail. Nous décrivons les modalités d'acquisition IRM et les artefacts associés. Cette étape est importante pour la compréhension des imperfections pouvant apparaître et leur correction. Nous présentons ensuite des éléments sur l'anatomie cérébrale et nous décrivons l'apparence prise les différentes structures cérébrales dans les trois modalités IRM considérées. Puis, nous terminons par les pathologies cérébrales, leurs évolutions, et leur aspect en IRM. Les objectifs et les limites de notre approche sont situés par rapport à ce contexte applicatif. Dans une deuxième partie nous décrivons une approche nouvelle de segmentation sous-voxel. Pour décider de la pertinence d'un changement observé, l'expert utilise des connaissances anatomiques. Dans notre système de détection automatique, ces connaissances sont obtenues en segmentant l'image du cerveau. La méthode de segmentation proposée est basée sur l'évolution d'une image de labels de très haute résolution. L'évolution se fait sous l'influence de contraintes statistiques multiples, exprimées dans un cadre de minimisation d'énergie. L'évolution de l'image de labels n'ayant lieu qu'à la frontière entre régions, notre approche est comparable à un système d'évolution de surfaces. Afin de s'adapter aux spécificités de chaque région cérébrale, les contraintes sont paramétrées à l'aide d'un atlas. Celui-ci, composé d'une image de référence et d'images de paramètres, est plaqué sur l'image à segmenter à l'aide d'un recalage déformable multi-échelles. Les contraintes sont classées en deux catégories: les contraintes image (attache aux données) et le modèle a priori. Plusieurs contraintes image, opérant simultanément à des échelles différentes, sont employées. Elles utilisent une description rigoureuse du processus d'acquisition, permettant ainsi d'atteindre à la fois une précision sous-voxel et une convergence globale (à grande échelle). Le modèle a priori est également composé de plusieurs contraintes : une contrainte de distribution relative qui donne la probabilité d'observer un label à une distance donnée d'un autre label et une contrainte d'épaisseur. Notre approche permet d'obtenir une segmentation de haute résolution à partir d'images IRM pouvant être de résolution inférieure. La performance du système de segmentation a été évaluée sur des images simulées et testée sur des images réelles. La troisième partie présente l'ensemble de la chaîne de traitements conduisant à la détection de changements, ainsi que le protocole d'évaluation et les résultats. La chaîne de traitements est constituée d'une première étape de repositionnement et de correction des déformations. Toutes les images de la base sont alignées sur des références soigneusement choisies, d'abord à l'aide d'une méthode de recalage affine itératif robuste, puis à l'aide de recalage déformable. Au cours de la deuxième étape, les deux images à comparer subissent une correction d'intensité non-linéaire ainsi qu'une élimination d'erreurs résiduelles. La méthode de correction d'intensité que nous proposons permet d'établir une fonction de transfert d'intensité non-linéaire en optimisant un critère simple s'appuyant sur des informations de l'histogramme conjoint. Finalement, au cours de la dernière étape, une approche de détection statistique multimodale permet de décider quels changements sont significatifs. Les connaissances anatomiques fournies par la segmentation sont utilisées pour éliminer certaines détections aberrantes. L'ensemble de ces traitements est appliqué de manière entièrement automatique sur une base de plus de 200 images, de modalités différentes, démontrant ainsi la fiabilité des traitements. La validation du système a été menée à l'aide d'un protocole d'évaluation comprenant deux experts (neurologues). Le premier expert ainsi que le système automatique ont procédé indépendamment à un même travail de détection (l'expert opérant manuellement). Le second expert fait ensuite office d'arbitre pour comparer les résultats des deux procédés. L'analyse COR permet une vue synthétique de la performance du détecteur en donnant la probabilité de détection en fonction du nombre de fausses alarmes. Dans un cadre applicatif, les modifications détectées par le système automatique sont ordonnées par vraisemblance décroissante et présentées au neurologue dans un système de visualisation interactif. Ceci permet au médecin de conserver la décision finale, tout en parcourant efficacement et très rapidement les modifications détectées. En annexe nous proposons quelques réflexions sur l'importance du développement logiciel et de sa diffusion dans la recherche en traitement d'images. Nous présentons ensuite ImLib3D, une librairie C++ dédiée à la recherche en traitement d'images volumiques, que nous avons développée dans le cadre de cette recherche. ImLib3D propose à la fois un système de visualisation séparé et une librairie soigneusement conçue à l'aide d'une méthodologie orientée objet et utilisant des concepts modernes s'inspirant de la librairie standard du C++. L'objectif, dans la conception, a été de créer une librairie simple à utiliser par le chercheur, considéré comme le public cible. ImLib3D est distribuée librement (Open Source) et est placée dans un cadre de développement distribué coopératif (sourceforge.net). En conclusion, nous avons élaboré un système complet et opérationnel de détection de changements dans lequel nous avons systématiquement analysé et traité les principaux artefacts gênant la détection.

Nous placons notre etude dans le cadre de la segmentation 2d et 3d en imagerie cardio-vasculaire d'une structure bien definie: une cavite sanguine entouree par une paroi musculaire. Si d'un point de vue theorique, les deux milieux, sang et paroi, sont consideres comme quasi-homogenes, il en est rarement ainsi. Toutes les modalites d'imagerie (scanner x, irm, imagerie ultrasonore) rencontrent ces deux problemes, qui sont differemment caracterises selon l'agent physique employe. Nous etablissons un modele 3d de deformation de surface pour reconstruire le volume cardiaque, a partir de coupes d'images 2d, ou analyser dynamiquement les sequences d'images 2d. Afin de mieux prendre en compte les problemes lies a l'estimation de l'interface entre la cavite et la paroi, la segmentation est realisee a un niveau local, regional et global. Cette procedure se decompose en deux processus d'equilibre complementaires et sequentiels. D'une part, un processus de deformation discret deplace un point, independamment des autres points du maillage, vers un minimum local du champ externe et, d'autre part, un processus de stabilisation continu, par une interpolation spline bicubique, evalue si le point deplace correspond a un minimum regional du champ externe (seuil de distance de chanfrein). La convergence du processus de segmentation est obtenue par stabilisation de morceaux de contours dans le cas 2d et par stabilisation de surfaces elementaires en 3d. Le compromis entre la forme et la nature de l'objet depend des poids relatifs entre les differents termes d'energie. Ceux-ci sont controles de maniere adaptative, par un critere de concavite lie a la geometrie du systeme cardio-vasculaire. Une validation 2d et des resultats 3d sur differents volumes cardio-vasculaires, ont permis d'obtenir des resultats satisfaisants pour lesquels la variation des parametres est relativement faible et rend par consequent le processus de segmentation robuste

Cette etude s'insere dans le cadre d'une recherche en imagerie medicale. Elle traite et analyse les angiogrammes en s'appuyant sur les methodes videodensitometriques qui consistent a mesurer l'absorption du produit de contraste au moyen de techniques video. Les recherches ont porte particulierement sur les applications de la videodensitometrie dans les domaines suivants: calcul des volumes systoliques, diastoliques et de la fraction d'ejection du ventricule gauche apres une detection semi-automatique des contours des images; etude fonctionnelle comparative des reins en cas de stenoses unilaterales des arteres renales. Cette investigation necessite de concevoir un algorithme permettant le traitement sequentiel d'images. Une technique analogue est egalement appliquee a la mesure des debits dans les vaisseaux arteriels; enfin, on s'interesse a la reconstruction d'images a partir de deux projections orthogonales. Nous proposons une modelisation mathematique simplifiee, mais neanmoins efficace, dans laquelle une information a priori est introduite pour reduire l'ambiguite de l'image reconstruite. Deux algorithmes sont developpes et mis en uvre et les performances sont comparees. L'ensemble des algorithmes proposes ici ont ete largement experimentes in vitro et/ou in vivo et certains d'entre eux ont ete evalues par rapport a d'autres methodes. Nos experiences montrent que l'analyse numerique d'angiogrammes par videodensitometrie fournit des resultats quantitatifs precis, ce qui fait de cette technique un outil puissant d'aide au diagnostic et au pronostic

Au cours de la dernière décennie, les technologies permettant la numérisation d'espaces urbains ont connu un développement rapide. Des campagnes d'acquisition de données couvrant des villes entières ont été menées en utilisant des scanners LiDAR (Light Detection And Ranging) installés sur des véhicules mobiles. Les résultats de ces campagnes d'acquisition laser, représentants les bâtiments numérisés, sont des nuages de millions de points pouvant également contenir un ensemble de photographies. On s'intéresse ici à l'amélioration du nuage de points à l'aide des données présentes dans ces photographies. Cette thèse apporte plusieurs contributions notables à cette amélioration. La position et l'orientation des images acquises sont généralement connues à l'aide de dispositifs embarqués avec le scanner LiDAR, même si ces informations de positionnement sont parfois imprécises. Pour obtenir un recalage précis d'une image sur un nuage de points, nous proposons un algorithme en deux étapes, faisant appel à l'information mutuelle normalisée et aux histogrammes de gradients orientés. Cette méthode permet d'obtenir une pose précise même lorsque les estimations initiales sont très éloignées de la position et de l'orientation réelles. Une fois ces images recalées, il est possible de les utiliser pour inférer la couleur de chaque point du nuage en prenant en compte la variabilité des points de vue. Pour cela, nous nous appuyons sur la minimisation d'une énergie prenant en compte les différentes couleurs associables à un point et les couleurs présentes dans le voisinage spatial du point. Bien entendu, les différences d'illumination lors de l'acquisition des données peuvent altérer la couleur à attribuer à un point. Notamment, cette couleur peut dépendre de la présence d'ombres portées amenées à changer avec la position du soleil. Il est donc nécessaire de détecter et de corriger ces dernières. Nous proposons une nouvelle méthode qui s'appuie sur l'analyse conjointe des variations de la réflectance mesurée par le LiDAR et de la colorimétrie des points du nuage. En détectant suffisamment d'interfaces ombre/lumière nous pouvons caractériser la luminosité de la scène et la corriger pour obtenir des scènes sans ombre portée. Le dernier problème abordé par cette thèse est celui de la densification du nuage de points. En effet la densité locale du nuage de points est variable et parfois insuffisante dans certaines zones. Nous proposons une approche applicable directement par la mise en oeuvre d'un filtre bilatéral joint permettant de densifier le nuage de points en utilisant les données des images
Recent years saw a rapid development of city digitization technologies. Acquisition campaigns covering entire cities are now performed using LiDAR (Light Detection And Ranging) scanners embedded aboard mobile vehicles. These acquisition campaigns yield point clouds, composed of millions of points, representing the buildings and the streets, and may also contain a set of images of the scene. The subject developed here is the improvement of the point cloud using the information contained in the camera images. This thesis introduces several contributions to this joint improvement. The position and orientation of acquired images are usually estimated using devices embedded with the LiDAR scanner, even if this information is inaccurate. To obtain the precise registration of an image on a point cloud, we propose a two-step algorithm which uses both Mutual Information and Histograms of Oriented Gradients. The proposed method yields an accurate camera pose, even when the initial estimations are far from the real position and orientation. Once the images have been correctly registered, it is possible to use them to color each point of the cloud while using the variability of the point of view. This is done by minimizing an energy considering the different colors associated with a point and the potential colors of its neighbors. Illumination changes can also change the color assigned to a point. Notably, this color can be affected by cast shadows. These cast shadows are changing with the sun position, it is therefore necessary to detect and correct them. We propose a new method that analyzes the joint variation of the reflectance value obtained by the LiDAR and the color of the points. By detecting enough interfaces between shadow and light, we can characterize the luminance of the scene and to remove the cast shadows. The last point developed in this thesis is the densification of a point cloud. Indeed, the local density of a point cloud varies and is sometimes insufficient in certain areas. We propose a directly applicable approach to increase the density of a point cloud using multiple images

Le sujet de cette thèse est l’automatisation de la modélisation 3D de scènes complexes par combinaison d’une image numérique haute résolution et de données laser. Ces travaux s’articulent autour de trois principaux thèmes : l’estimation de pose, la segmentation et la modélisation. L’estimation de pose s’appuie sur l’appariement de points d’intérêts par corrélation entre image numérique et image d’intensité laser, et sur l’extraction d’éléments linéaires. La segmentation géométrique des données a été étudiée en s’appuyant sur le principe de segmentation hiérarchique, ce qui permet de combiner les données dans le processus de segmentation. Un outil de saisie semi-automatique basé sur la structure hiérarchique est proposé. La modélisation a été abordée au niveau des surfaces construites à partir de profils quelconques. On obtient ainsi une description de la scène en plans, cylindres à profils quelconques, surfaces de révolution et maillage, pour les parties complexes
This thesis deals with combining a digital image with laser data for complex scenes 3D modeling automation. Image and laser data are acquired from the same point of view, with a greater image resolution than the laser one. This work is structured around three main topics pose estimation, segmentation and modeling. Pose estimation is based both on feature points matching, between the digital image and the laser intensity image, and on linear feature extraction. Data segmentation into geometric features is done through a hierarchical segmentation scheme, where image and laser data are combined. 3D modeling automation is studied through this hierarchical scheme. A tool for semi-automated modeling is also derived from the hierarchical segmentation architecture. In the modeling step, we have focused on automatic modeling of cylinders with free-form profiles. The description is then very general, with planes, freeform profile cylinders, revolution objects, and meshes on complex parts