Auswahl der wissenschaftlichen Literatur zum Thema „Recalage 2D/3D – Automatisation“

Le recalage se révèle indispensable pour assembler des relevés laser devant servir à l'analyse, à la documentation et à la reconstruction tridimensionnelle d'environnements. Ce problème apparaît lorsqu'une zone d'intérêt est numérisée, au fil du temps, deux ou plusieurs fois, ou quand sa complexité nécessite un accroissement du nombre de stations de scanner laser fixes. Aussi, en raison de la variété des techniques disponibles d'acquisition, l'intégration multi-données devient une question importante puisqu'elle permet de mettre en cohérence des données contenant souvent une information complémentaire. La vaste majorité des algorithmes existants s'appuient sur les éléments ponctuels. C'est pourquoi les méthodes ICP basées-point demeurent actuellement les plus répandues. Cet article propose l'utilisation des segments sous forme d'intersections entre les plans principaux, pour un recalage rigide des nuages de points mobiles avec d'autres données, qu'elles soient 2D ou 3D. Ces primitives peuvent être aisément extraites, même dans les données laser hétérogènes de faible densité. Quelques méthodes de recalage basées-lignes ont été examinées afin de vérifier leur précision et robustesse au bruit. Les erreurs des paramètres estimés ainsi qu'un nouveau critère — distance modifiée de Hausdorff ont été employés pour les besoins d'une analyse quantitative. Au vu de ces éléments, une chaîne complète nommée RLMR-FMII 2 comprenant un recalage grossier suivi par un recalage fin est proposée pour calculer les paramètres de pose à partir de segments appariés.Étant donné que la mise en correspondance automatique d'entités linéaires est ardue et influence l'estimation des paramètres optimaux de transformation, une méthode d'appariement étudiant la similitude relative est avancée. Enfin, l'efficacité de cette méthode de recalage par mise en correspondance préalable des segments est évaluée et discutée.

Depuis quelques années, des véhicules de cartographie mobile ont été développés pour acquérir des données géoréférencées très précises et en grande quantité au niveau du canyon urbain. L'application majeure des données collectées par ces véhicules est d'améliorer les bases de données géographiques existantes, en particulier leur précision, leur niveau de détail et la diversité des objets représentés. On peut citer entre autres applications la modélisation géométrique fine et la texturation des façades, l'extraction de "petits" objets comme les troncs d'arbres, poteaux, panneaux, mobiliers urbain, véhicules,...Cependant, les systèmes de géopositionnement de ces véhicules ne parviennent pas à fournir une localisation d'une précision suffisante pour cette tâche. En particulier, les masques GPS fréquents en milieu urbain sont paliés par les mesures de la centrale inertielle grâce à un algorithme de fusion de données pouvant entraîner une dérive. C'est pourquoi, un recalage est indispensable pour mettre en correspondance ces données mobiles très détaillées avec les bases de données géographiques moins détaillées mais mieux géopositionnées, qu'elles soient 2D ou 3D.Cet article présente une méthode générique et efficace permettant un tel recalage. Le processus est basé sur une méthode de type ICP ("Iterative Closest Point") point à plan.On suppose que l'erreur de géopositionnement, ou dérivevarie de façon non linéaire, mais lentement en fonction du temps. On modélise donc la trajectoire par une "chaîne" ayant une certaine rigidité. A chaque itération, la trajectoire est déformée afin de minimiser la distance des points laser aux primitives planes du modèle.Cette méthode permet d'approximer la dérive par une fonction linéaire par intervalle de temps.La méthode est testée sur des données réelles ( 3,6 millions de points laser acquis sur un quartier de la ville de Paris sont recalés sur un modèle 3D d'environ 71.400 triangles). Enfin, la robustesse et la précision de cet algorithme sont évaluées et discutées.

Abstract This research investigates flow experiences and explores meaning construction for artistic practices that differ in haptic nature. In addition to the phenomenological analysis of interviews, videos of artistic practice and practice-based research (in which participants instruct the researcher in their primary techniques) were employed to obtain both retrospective and real-time records of the physicality of artistic practice. Drawing on authors who emphasise the automatisation of actions in flow (Dietriche, 2004; Spinelli, 2005) and heightened body awareness (Pagis, 2009) flow is reconceptualised in non-representational terms as optimal precognitive engagement with the world. In this light meaning in flow results not from bringing order to the mind as Csikszentmihalyi (2002) proposed, but through its embodied construction in activity. Analyses revealed that the sources of enjoyment and meaning, the relationship between artist, tools and artwork, and the nature and extent of self-differentiation differ between artists who work in two (2D) and three (3D) dimensions, and whose physical actions differ in the production of their artwork. 2D artists derive enjoyment from their creative process and meaning from capturing an atmosphere or place, and attribute artistic control to their artwork. 3D artists derive more enjoyment from the product of their artistic activity and meaning from the recreation of the self in material form, and do not attribute artistic control to the artwork. Consequently, embodied physicality of activity appears fundamental to similarities in flow experiences and meaning-making: accounts of flow and the meanings generated in activity differ between activities that differ in their haptic or performative nature but are similar among haptically similar activities.

La résection hépatique consiste à retirer des parties du foie qui englobent des tumeurs. Elle peut être réalisée de manière mini-invasive, par le biais d'instruments chirurgicaux et d'un endoscope insérés au travers de la paroi abdominale par de petites incisions. La chirurgie mini-invasive a des avantages importants par rapport à la chirurgie ouverte, comme des complications postopératoires et une durée d'hospitalisation réduites. Cependant, la localisation des structures internes du foie telles que les tumeurs et les vaisseaux sanguins est difficile.Ces positions peuvent être extraites d'une imagerie préopératoire du patient, et utilisées pour construire un modèle 3D du foie avec ses structures internes d'intérêt. Cependant, le modèle 3D doit être déplacé et déformé pour que sa projection corresponde à l'image 2D de la scène mini-invasive intra-abdominale : c'est le problème du recalage 3D/2D. Les informations du modèle préopératoire recalé peuvent être augmentées sur l'image pour être visualisées par le chirurgien, lui apportant la réalité augmentée. Des informations augmentées précises pourraient réduire les problèmes de localisation en chirurgie mini-invasive. Des travaux précédents ont mis en place une méthodologie informatisée de base pour le recalage 3D/2D spécifique au patient. Elle consiste à estimer le mouvement rigide (la pose) puis la déformation du modèle préopératoire, en se basant principalement sur des correspondances 3D/2D de repères de surface de foie. Cependant, elle contient des étapes manuelles, ce qui n'est pas adapté à la pratique clinique, notamment dû aux besoins de ne pas ajouter de la charge mentale au chirurgien et de généralement préserver son habillage stérile. L'objectif principal de cette thèse est de passer à l'étape suivante, en automatisant la procédure de recalage 3D/2D peropératoire. Deux voies sont envisagées pour le réaliser : automatiser chaque étape peropératoire manuelle de la méthodologie de base, et exploiter l'apprentissage profond. Pour la première voie, nous formulons d'abord l'étape d'annotation des repères 2D comme un problème de segmentation d'image et comparons différentes architectures encodeur-décodeur. Un réseau de neurones entièrement basé sur le mécanisme d'attention obtient les meilleurs résultats, pour des entrées d'images indépendantes. Cependant, il est surpassé par un réseau prenant en compte des informations supplémentaires provenant d'autres images et masques. L'estimation de pose est ensuite automatisée via un algorithme itératif qui prend en compte la visibilité des repères 3D de l'itération précédente pour affiner la pose estimée. Il s'exécute en quelques secondes et obtient des résultats très compétitifs par rapport à l'estimation manuelle.Pour la seconde voie basée sur l'apprentissage, nous établissons un lien avec la reconstruction de forme de corps humain afin d'adapter une architecture encodeur-régresseur au problème de recalage 3D/2D du foie. Des cartes de distance de repères annotés alimentent l'encodeur, alors que des paramètres de pose et déformation sont régressés itérativement. L'apprentissage préopératoire est basé sur des simulations. Cette première version obtient des résultats de recalage équivalents aux précédentes méthodes de l'état de l'art, mais son inférence est en temps-réel.Une seconde version remplace le modèle de déformation spécifique au patient par un modèle de forme de foie générique, construit en utilisant des informations anatomiques. Cela résulte en de très faibles erreurs de recalage et de reconstruction de surface. Cette version générique contient aussi un bloc préopératoire pour traiter des données spécifiques au patient. Bien que sa performance soit légèrement inférieure aux autres méthodes, elle ne requiert pas de ré-entraînement pour chaque patient et peut s'appliquer sans données spécifiques, facilitant l'augmentation générique en plus de spécifique
Minimally invasive liver resection consists in removing liver parts enclosing tumours using surgical tools, while visualising the abdominal cavity through an endoscope, both inserted through small incisions in the abdominal wall. It offers significant advantages over open liver resection, including fewer postoperative complications and shorter hospital stays. However, the localisation of liver inner structures, such as tumours and blood vessels, remains challenging.This information can be extracted from preoperative imaging and used for building a 3D model of the liver with its inner structures. However, this model must be moved and deformed for its projection to be aligned with the 2D image of the intra-abdominal surgical scene; this is the 3D/2D registration problem. Augmented reality enhances mini-invasive images with information from the registered preoperative model. Accurate augmented information could alleviate the limitations of mini-invasive surgery.To this end, previous computer-based approaches have established a patient-specific registration pipeline, mainly relying on 3D/2D liver surface landmark correspondences to estimate pose (rigid movement) and then deformation. However, these methods still contain manual steps. In clinical practice, this is not handy for the surgeon, whose focus should not be disturbed and gloves should be kept sterile. The main objective of this thesis is to improve upon this baseline by automating the 3D-2D intraoperative registration process using 3D/2D correspondence information. We propose two approaches: automating the manual intraoperative steps of the registration pipeline, or using a learning-based framework.We first review the baseline pipeline and redefine the landmarks. This facilitates the identification of relevant 3D/2D correspondences. Additionally, we compare different deformation models and select one based on biomechanical simulations followed by dimension reduction.Next, we automate the manual intraoperative steps from the baseline pipeline, comprising landmark annotation on mini-invasive images and pose estimation. We formulate the former as an image segmentation task and compare segmentation neural networks based on encoder-decoder architectures. The best results for image independent inputs are achieved with a fully attention-based network, but these are further improved when incorporating additional information from other images and masks. Pose estimation is tackled using an iterative visibility-aware algorithm, refining 3D/2D landmark point correspondences to estimate pose according to the visible 3D surface landmark parts from the previous iteration. This method obtains competitive results compared to manual pose estimation, while executing in a few seconds.Regarding the learning-based framework, we draw connections to human body shape reconstruction to adapt an encoder-regressor architecture network to the 3D/2D liver registration problem. Distance maps of automatically or manually annotated landmarks are input to the encoder, while pose and deformation parameters are iteratively regressed. Preoperative training involves simulating corresponding inputs and outputs. This patient-specific approach obtains registration results on par with previous state-of-the-art methods, while ensuring real-time network inference.Instead of a patient-specific deformation model, the second learning-based approach uses a generic liver shape model, which is built using anatomical priors. This leads to very low surface registration and reconstruction errors. This patient-generic approach also includes a preoperative block for processing patient-specific data. Although the 3D-2D registration accuracy is slightly lower than that of patient-specific methods, it does not require per-patient retraining and can be applied without patient-specific data, facilitating both patient-generic and patient-specific image augmentation

En cardiologie interventionnelle, le clinicien pourrait bénéficier d'une fusion de deux informations complémentaires provenant d'un scanner CT préopératoire et du flux d'images radiographiques servant au guidage des outils manipulés dans les vaisseaux du patient. Une telle fusion nécessite d'aligner les deux modalités et de construire des correspondances pertinentes. Nous proposons une approche basée sur la préservation de la topologie des structures mises en correspondance par le biais d'un cadre général visant à recaler des courbes ainsi qu'une méthode d'appariement d'arbre
In interventional cardiology, the clinician can benefit from a fused visualization of a diagnostic pre-operative CT scan and the live X-ray projective images used for the guidance of dedicated tools inside the patient's vasculature. This necessitates to align both modalities and build relevant pairings between them. We have developed a general framework combining a method to register curves with a tree pairing procedure, which is able to preserve the topology of the structures

L’angioplastie coronarienne est une intervention guidée par rayons X et réalisée par voie endovasculaire qui restaure le diamètre des vaisseaux coronaires réduit par accumulation de corps gras au sein de leurs parois. Lors de cette procédure, un guide est introduit à partir d’une artère qui peut être située au poignet ou au niveau de l’aine. La technique consiste alors à amener dans le vaisseau pathologique un ballonnet gonflable dans la zone rétrécie, localisée grâce à l’injection préalable d’un produit de contraste. Le gonflement du ballonnet élargit l’artère et s’accompagne en général de la pose d’un stent, structure métallique capable de renforcer la paroi. Le geste clinique peut être facilité en intégrant aux images le détail de la nature de la paroi, information disponible avec un scanner 3D. Le but de cette thèse est de proposer une méthode de recalage déformable pour superposer cette information 3D à des images angiographiques 2D per-opératoire en déformant le modèle 3D afin qu’il suive la dynamique cardiaque capturée dans les images angiographiques. Nous introduisons un algorithme de segmentation capable de segmenter automatiquement les vaisseaux principaux dans ces images angiographiques. Ensuite, nous présentons une approche de suivi du vaisseau 3D pathologique dans une séquence 2D+t combinant appariements et déformation d’une courbe spline. Enfin, nous décrivons l’extension au suivi d'un arbre vasculaire 3D, représenté par un arbre dont les arcs sont des courbes splines, dans une séquence 2D+t. Nous avons privilégié les approches applicables avec une seule projection angiographique, bien adapté au déroulement usuel des procédures cliniques. La performance des algorithmes a fait l’objet d’évaluations quantitatives sur des données réelles incluant 30 images pour la segmentation et 23 séquences pour le recalage
Coronary angioplasty is an X-ray guided intervention, which aims at recovering the diameter of coronary vessels when the accumulation of fat in the vessel wall reduced it. During this procedure, a guide-wire is inserted in the blood vessel located at the wrist or groin. This guide-wire brings into the pathologic vessel a balloon at the level of the fat accumulation, thanks to a previous contrast injection which highlights the lesion. The balloon is inflated and very frequently a thin mesh tube of metallic wires (stent), which is wrapped around the balloon, is then expanded during the balloon inflation. The procedure could benefit from additional information on the nature of the inner wall, available on 3D CT scan. The aim of the thesis is to propose a dynamic registration to superimpose this 3D information onto the intraoperative 2D angiographic sequence, by deforming the 3D model so that it can follow the cardiac motion captured thanks to the angiographic images. We introduce a segmentation algorithm able to automatically segment the main vessels of the angiographic images. Then, we present a tracking approach of the 3D pathologic vessel in a 2D+t sequence combining pairings and the deformation of a spline curve. Finally, we describe the extension to the 3D vascular tree tracking represented by a tree, whose edges are spline curves, in a 2D+t sequence. We favored approaches that are applicable to a single angiographic projection, which is well adapted to the usual process of clinical procedures. All the proposed methods have been tested on real data, consisting of 30 angiographic images for the segmentation algorithm and 23 angiographic sequences for the registration algorithms

Nous présentons dans cette étude nos travaux concernant le recalage 3D/2D d'images de dissection aortique. Son but est de de proposer une visualisation de données médicales, qui pourra servir dans le contexte de l'assistance peropératoire durant les procédures endovasculaires.Pour effectuer cette tâche, nous avons proposé un modèle paramétrique de l'aorte, appelé enveloppe tubulaire. Il sert à exprimer la forme globale et les déformations de l'aorte, à l'aide d'un nombre minimal de paramètres.L'enveloppe tubulaire est utilisée par les algorithmes de recalage proposés dans cette étude.Notre méthode originale consiste à proposer un recalage par calcul direct de la transformation entre image 2D, i.e. sans procéssus d'optimisation, et est appelée recalage par ITD .Les descripteurs, que nous avons définis pour le cas des images d'aorte, permettent de trouver rapidement un alignement grossier des données. Nous proposons également l'extension de notre approche pour la mise en correspondance des images 3Det 2D.La chaîne complète du recalage 3D/2D, que nous présentons dans ce document, est composée de la technique ITD et de méthodes précises iconiques et hybrides. L'intégration de notre algorithme basé sur les descripteurs en tant qu'étape d'initialisation réduit le temps de calcul nécessaire et augmente l'efficacité du recalage, par rapport aux approches classiques.Nous avons testé nos méthodes avec des images médicales, issues de patients trîtés par procédures endovasculaires. Les résultats ont été vérifiés par les spécialistes cliniques et ont été jugés satisfaisants; notre chaine de recalage pourrait ainsi être exploitée dans les salles d'interventions à l'avenir
In this study, we present our works related to 3D/2D image registrationfor aorti dissition. Its aim is to propose a visualization of medial datawhih an be used by physians during endovas ular proedures.For this purpose, we have proposed a parametrimodel of aorta, alleda Tubular Envelope. It is used to express the global shape and deformationsof the aorta, by a minimal number of parameters. The tubular envelope isused in our image registration algorithms.The registration by ITD (Image Transformation Descriptors) is our ori-ginal method of image alignment : itomputes the rigid 2D transformation between data sets diretly, without any optimization process.We provide thedefinition of this method, as well as the proposition of several descriptors' formulae, in the base of images of aorta. The technique allows us to quickly and a poarse alignment between data. We also propose the extension of theoriginal approach for the registration of 3D and 2D images.The complete chain of 3D/2D image registration techniques, proposedin this document, consists of the ITD stage, followed by an intensity basedhybrid method. The use of our 3D/2D algorithm, based on the image trans-formation descriptors as an initialization phase, reduces the computing timeand improves the efficiency of the presented approach.We have tested our registration methods for the medical images of several patients after endovasular treatment. Results have been approved by our clinical specialists and our approach.We have tested our registration methods for the medical images of several patients after endovascular treatment. Results have been approved by our clinical specialists and our approach may appear in the intervention rooms in the futur

Les cardiopathies congénitales cyanogènes sont des malformations cardiaques infantiles qui, dans leurs formes les plus complexes, sont aggravées par des artères morbides partant de l’aorte et appelées collatérales aorto-pulmonaires majeures (MAPCAs). Pour corriger ces malformations, les cardiologues insèrent un cathéter dans une artère du patient puis, le guident jusqu’à atteindre la structure vasculaire d’intérêt. Le cathéter est visualisé grâce à des angiographies acquises lors de l’opération. Néanmoins, ces interventions, dîtes percutanées, sont délicates à réaliser. L’emploi des angiographies 2D limite le champ de vision des cardiologues et les oblige à mentalement reconstruire la structure vasculaire en mouvement. Afin d’améliorer les conditions d’intervention, des techniques d’imagerie médicale exploitant des données tomographiques acquis avant l’intervention sont développées. Les données tomographiques forment un modèle 3D fiable de la structure vasculaire qui, une fois précisément aligné avec les angiographies, définit un outil de navigation virtuel 3D qui augmente le champ de vision des cardiologues. Dans ce mémoire, une nouvelle méthode automatique de recalage rigide 3D-2D par intensité de données tomographiques 3D avec des angiographies 2D est présentée. Aussi, une technique d’alignement semi-automatique permettant d’accélérer l’initialisation de la méthode automatique est développée. Les résultats de la méthode de recalage proposée, obtenus avec deux jeux de données de patient atteints de malformations cardiaques, sont prometteurs. Un alignement précis et robuste des données tomographique de l’artère aorte et des MAPCAs (0;265�0;647mm et 99 % de succès) à partir d’un déplacement rigide d’amplitude maximale (20mm et 20°) est obtenu en un temps de calcul raisonnable (13,7 secondes).

L'objectif du recalage est la mise en correspondance d'informations issues de plusieurs modalites ou provenant d'une meme modalite mais separees dans le temps. Deux nouvelles approches sont developpees. La premiere, le recalage a partir des silhouettes, repond a un triple objectif: elle recale des images 2d/2d, 3d/3d et une image 3d par rapport a ses projections. La deuxieme approche realise le recalage de deux images 3d a partir des surfaces extraites. La surface de l'objet reference est approchee par une representation tetraedrique, et l'objet a recaler est decrit par un ensemble de points de la surface. Le recalage est alors effectue en minimisant les distances points-tetraedres. Les deux derniers chapitres de cette these sont consacres aux applications dans les domaines biologique et medical. L'application en biologie vise d'une part a mettre en evidence, apres recalage, une symetrie d'ordre 4 dans les images d'une molecule de ferritine et d'autre part a determiner l'ultrastructure de la macromolecule d'alpha 2-macroglobuline. Un modele pour cette structure est finalement proposee. Une etude comparative des methodes introduites sur le plan theorique est realisee a partir de points caracteristiques, de moments et sur la base des approches par approximation de surface et silhouettes. Cette validation est effectuee sur des structures anatomiques osseuses imagees par scanner x

Cette thèse porte sur la définition d'un schéma de recalage automatique en microscopie corrélative 2D et 3D, en particulier pour des images de microscopie optique et électronique (CLEM). Au cours des dernières années, la CLEM est devenue un outil d'investigation important et puissant dans le domaine de la bio-imagerie. En utilisant la CLEM, des informations complémentaires peuvent être collectées à partir d'un échantillon biologique. La superposition des différentes images microscopiques est généralement réalisée à l'aide de techniques impliquant une assistance manuelle à plusieurs étapes, ce qui est exigeant et prend beaucoup de temps pour les biologistes. Pour faciliter et diffuser le procédé de CLEM, notre travail de thèse est axé sur la création de méthodes de recalage automatique qui soient fiables, faciles à utiliser et qui ne nécessitent pas d'ajustement de paramètres ou de connaissances complexes. Le recalage CLEM doit faire face à de nombreux problèmes dus aux différences entre les images de microscopie électronique et optique et leur mode d'acquisition, tant en termes de résolution du pixel, de taille des images, de contenu, de champ de vision et d'apparence. Nous avons conçu des méthodes basées sur l'intensité des images pour aligner les images CLEM en 2D et 3D. Elles comprennent plusieurs étapes : représentation commune des images LM et EM à l'aide de la transformation LoG, pré-alignement exploitant des mesures de similarité à partir d'histogrammes avec une recherche exhaustive, et un recalage fin basé sur l'information mutuelle. De plus, nous avons défini une méthode de sélection robuste de modèles de mouvement, et un méthode de détection multi-échelle de spots, que nous avons exploitées dans le recalage CLEM 2D. Notre schéma de recalage automatisé pour la CLEM a été testé avec succès sur plusieurs ensembles de données CLEM réelles 2D et 3D. Les résultats ont été validés par des biologistes, offrant une excellente perspective sur l'utilité de nos développements
This thesis is concerned with the definition of an automated registration framework for 2D and 3D correlative microscopy images, in particular for correlative light and electron microscopy (CLEM) images. In recent years, CLEM has become an important and powerful tool in the bioimaging field. By using CLEM, complementary information can be collected from a biological sample. An overlay of the different microscopy images is commonly achieved using techniques involving manual assistance at several steps, which is demanding and time consuming for biologists. To facilitate and disseminate the CLEM process for biologists, the thesis work is focused on creating automatic registration methods that are reliable, easy to use and do not require parameter tuning or complex knowledge. CLEM registration has to deal with many issues due to the differences between electron microscopy and light microscopy images and their acquisition, both in terms of pixel resolution, image size, content, field of view and appearance. We have designed intensity-based methods to align CLEM images in 2D and 3D. They involved a common representation of the LM and EM images using the LoG transform, a pre-alignment step exploiting histogram-based similarities within an exhaustive search, and a fine mutual information-based registration. In addition, we have defined a robust motion model selection method, and a multiscale spot detection method which were exploited in the 2D CLEM registration. Our automated CLEM registration framework was successfully tested on several real 2D and 3D CLEM datasets and the results were validated by biologists, offering an excellent perspective in the usefulness of our methods

La radioembolisation est une intervention mini-invasive réalisée pour traiter le cancer du foie en administrant des microsphères radioactives. Afin d'optimiser les résultats du traitement, la procédure est réalisée en deux sessions : une intervention de prétraitement, principalement réalisée pour localiser le site d'injection, évaluer la distribution et effectuer une évaluation dosimétrique, et une intervention de traitement réalisée pour injecter la dose appropriée de microsphères radioactives dans le site d'injection localisé. En raison la complexité de la vascularisation hépatique, les radiologues interventionnels manipulent soigneusement le cathéter, lors des deux interventions, sous guidage radiographique et recourent à l'injection de produit de contraste afin de visualiser les vaisseaux. Dans cette thèse, nous proposons une nouvelle stratégie de guidage qui promet une simplification et une précision de la navigation du cathéter lors des deux interventions. Le système de navigation proposé traite les images préopératoires et peropératoires pour réaliser une fusion d'images grâce à une technique de recalage rigide. Cette approche est conçue pour 1) aider l'accès au tronc cœliaque, 2) aider l'accès au site d'injection et 3) reproduire le site d'injection lors de l'intervention de traitement. Sachant que le foie subit un déplacement lié au mouvement respiratoire, nous proposons également une approche qui permet d'obtenir une superposition dynamique des vaisseaux 3D projetés sur la fluoroscopie
Radioembolization is a minimally-invasive intervention performed to treat liver cancer by administering radioactive microspheres. In order to optimize radioembolization outcomes, the procedure is carried out in two sessions: pretreatment assessment intervention, mainly performed to locate the injection site, assess microspheres distribution and perform dosimetry evaluation, and treatment intervention performed to inject the estimated proper dose of radioactive microspheres in the located injection site. Due to the hepatic vasculature complexity, interventional radiologists carefully manipulate the catheter, during the two interventions, under X-Ray image guidance and resort to contrast media injection in order to highlight vessels. In this thesis, we propose a novel guidance strategy that promises a simplification and accuracy of the catheter navigation during the pretreatment assessment, as well as during the treatment interventions. The proposed navigation system processes pre- and intraoperative images to achieve intraoperative image fusion through a rigid registration technique. This approach is designed to 1) assist the celiac trunk access, 2) assist the injection site access and 3) automatically reproduce the injection site during the proper intervention. Knowing that the liver undergoes a motion induced by the breathing, we also propose an approach that allows obtaining a dynamic overlay of the projected 3D vessels onto fluoroscopy

Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d'interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. Ce travail vise à animer l'avatar à partir d'une acquisition 3D des gestes de l'utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d'un PC grand public équipé d'une webcam. L'approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d'une part et de l'image d'autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d'images monoculaires provient des ambiguïtés 3D/2D et de l'absence d'information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d'hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l'attitude des bras par l'extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l'incertitude sur la profondeur. Enfin, l'évaluation est accélérée par calcul sur GPU. En conclusion, l'algorithme proposé permet un suivi 3D robuste en temps-réel à partir d'une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur.

Les avancées technologiques dans le domaine informatique (logiciel et matériel) et, en particulier, de la géolocalisation ont permis la démocratisation des modèles numériques. L'arrivée depuis quelques années de véhicules de cartographie mobile a ouvert l'accès à la numérisation 3D mobile terrestre. L'un des avantages de ces nouvelles méthodes d'imagerie de l'environnement urbain est la capacité potentielle de ces systèmes à améliorer les bases de données existantes 2D comme 3D, en particulier leur niveau de détail et la diversité des objets représentés. Les bases de données géographiques sont constituées d'un ensemble de primitives géométriques (généralement des lignes en 2D et des plans ou des triangles en 3D) d'un niveau de détail grossier mais ont l'avantage d'être disponibles sur de vastes zones géographiques. Elles sont issues de la fusion d'informations diverses (anciennes campagnes réalisées manuellement, conception automatisée ou encore hybride) et peuvent donc présenter des erreurs de fabrication. Les systèmes de numérisation mobiles, eux, peuvent acquérir, entre autres, des nuages de points laser. Ces nuages laser garantissent des données d'un niveau de détail très fin pouvant aller jusqu'à plusieurs points au centimètre carré. Acquérir des nuages de points laser présente toutefois des inconvénients :- une quantité de données importante sur de faibles étendues géographiques posant des problèmes de stockage et de traitements pouvant aller jusqu'à plusieurs Téraoctet lors de campagnes d'acquisition importantes- des difficultés d'acquisition inhérentes au fait d'imager l'environnement depuis le sol. Les systèmes de numérisation mobiles présentent eux aussi des limites : en milieu urbain, le signal GPS nécessaire au bon géoréférencement des données peut être perturbé par les multi-trajets voire même stoppé lors de phénomènes de masquage GPS liés à la réduction de la portion de ciel visible pour capter assez de satellites pour en déduire une position spatiale. Améliorer les bases de données existantes grâce aux données acquises par un véhicule de numérisation mobile nécessite une mise en cohérence des deux ensembles. L'objectif principal de ce manuscrit est donc de mettre en place une chaîne de traitements automatique permettant de recaler bases de données géographiques et nuages de points laser terrestre (provenant de véhicules de cartographies mobiles) de la manière la plus fiable possible. Le recalage peut se réaliser de manière différentes. Dans ce manuscrit, nous avons développé une méthode permettant de recaler des nuages laser sur des bases de données, notamment, par la définition d'un modèle de dérive particulièrement adapté aux dérives non-linéaires de ces données mobiles. Nous avons également développé une méthode capable d'utiliser de l'information sémantique pour recaler des bases de données sur des nuages laser mobiles. Les différentes optimisations effectuées sur notre approche nous permettent de recaler des données rapidement pour une approche post-traitements, ce qui permet d'ouvrir l'approche à la gestion de grands volumes de données (milliards de points laser et milliers de primitives géométriques).Le problème du recalage conjoint a été abordé. Notre chaîne de traitements a été testée sur des données simulées et des données réelles provenant de différentes missions effectuées par l'IGN
Technological advances in computer science (software and hardware) and particularly, GPS localization made digital models accessible to all people. In recent years, mobile mapping systems has enabled large scale mobile 3D scanning. One advantage of this technology for the urban environment is the potential ability to improve existing 2D or 3D database, especially their level of detail and variety of represented objects. Geographic database consist of a set of geometric primitives (generally 2D lines and plans or triangles in 3D) with a coarse level of detail but with the advantage of being available over wide geographical areas. They come from the fusion of various information (old campaigns performed manually, automated or hybrid design) wich may lead to manufacturing errors. The mobile mapping systems can acquire laser point clouds. These point clouds guarantee a fine level of detail up to more than one points per square centimeter. But there are some disavantages :- a large amount of data on small geographic areas that may cause problems for storage and treatment of up to several Terabyte during major acquisition,- the inherent acquisition difficulties to image the environment from the ground. In urban areas, the GPS signal required for proper georeferencing data can be disturbed by multipath or even stopped when GPS masking phenomena related to the reduction of the portion of the visible sky to capture enough satellites to find a good localization. Improve existing databases through these dataset acquired by a mobile mapping system requires alignment of these two sets. The main objective of this manuscript is to establish a pipeline of automatic processes to register these datasets together in the most reliable manner. Co-registration this data can be done in different ways. In this manuscript we have focused our work on the registration of mobile laser point cloud on geographical database by using a drift model suitable for the non rigid drift of these kind of mobile data. We have also developped a method to register geographical database containing semantics on mobile point cloud. The different optimization step performed on our methods allows to register the data fast enough for post-processing pipeline, which allows the management of large volumes of data (billions of laser points and thousands geometric primitives). We have also discussed on the problem of joint deformation. Our methods have been tested on simulated data and real data from different mission performed by IGN