Дисертації з теми "Imagerie augmentée"

Estimer la pose de la caméra est un défi fondamental en réalité augmentée et permet la superposition d’un modèle à la réalité. Estimer précisément la pose est souvent critique en ingénierie d’infrastructures. Les images omnidirectionnelles ont un champ de vision supérieur aux images planaires communément utilisées en RA. Cette propriété peut bénéficier à l’estimation de la pose. Or, aucun travail ne présente de résultats montrant clairement un gain de précision. Notre objectif est de quantifier la précision de l’estimation de pose omnidirectionnelle et la tester en pratique. Nous proposons une méthode d’estimation de pose pour images omnidirectionnelles et en avons mesuré la précision par des simulations automatisées. Les résultats obtenus confirment que le champ de vision large des images omnidirectionnelles permet d’atteindre une précision de pose supérieure à celle d’images planaires. Nous avons également testé notre méthode sur des données tirées d’environnements réels et discutons les défis et limitations à son utilisation en pratique.
Camera pose estimation is a fundamental problem of augmented reality, and enables registration of a model to the reality. An accurate estimate of the pose is often critical in infrastructure engineering. Omnidirectional images cover a larger field of view than planar images commonly used in AR. This property can be beneficial to pose estimation. However, no existing work present results clearly showing accuracy gains. Our objective is therefore to quantify the accuracy of omnidirectional pose estimation and test it in practice. We propose a pose estimation method for omnidirectional images and have measured its accuracy using automated simulations. Our results show that the large field of view of omnidirectional images increases pose accuracy, compared to poses from planar images. We also tested our method in practice, using data from real environments and discuss challenges and limitations to its use in practice.

Lors d'une intervention teleoperee, la connaissance du modele geometrique du site distant peut permettre au systeme informatique de fournir une assistance precieuse à l'operateur. Il peut par exemple empecher des collisions entre le robot et des objets du site ou contraindre le mouvement d'un outil relativement a la geometrie de la piece qu'il doit usiner. Ces modeles peuvent egalement permettre au systeme de realiser certaines taches de maniere autonome ou d'ajouter des indicateurs visuels en surimpression sur l'image video. Afin d'obtenir ces modeles rapidement et de facon fiable, nous envisageons une collaboration entre l'operateur et un systeme de vision. L'operateur, qui controle son action a travers une interface de visualisation stereoscopique, reconnait immediatement et de maniere selective les objets d'interet pour la mission. Il est egalement capable d'indiquer leur localisation approximative par simple retour visuel. Le systeme de vision, fortement aide par ces pre-positionnements, peut a son tour determiner la localisation des objets avec une plus grande precision. Un algorithme de recalage automatique qui s'appuie sur les contours visibles des objets est employe. En raison de contraintes de temps liees a l'application, le resultat du recalage automatique doit etre fourni rapidement. Pour tenter de repondre a ce besoin, la methode proposee combine deux types de representations pour les modeles d'objet. La premiere est une approximation polyedrique du modele. Elle est utilisee dans le but d'etablir une correspondance entre les contours du modele et les contours extraits des images. Le recalage au sens propre (minimisation de l'ecart) peut egalement se faire sur cette representation approximative. Il fournit dans ce cas une reponse rapide mais peu precise pour les objets courbes par nature. La deuxieme representation decrit exactement les contours courbes et permet de determiner avec plus de precision la configuration des modeles.

Nous avons développé un modèle numérique du traitement des anévrismes de l'aorte abdominale (AAA) en utilisant l'analyse par éléments finis (FEA). L'objectif est de simuler les différentes étapes de la procédure endovasculaire dans la phase préopératoire. Pour cela, dans un premier temps, on a fait des études expérimentales Macro et Nano de rupture, indentation, traction, frottement des outils métalliques et des biomatériaux. Ensuite, on a développé une nouvelle approche de la conception des structures anatomiques très angulées et hétérogènes, et enfin, on a crée une maquette numérique de l'interaction outils métalliques et biomatériaux. Dans ce modèle, nous avons pris en compte la géométrie réelle reconstituée à partir des scans, une caractérisation locale des propriétés mécaniques guide / cathéter, une cartographie des propriétés des matériaux composites en fonction de la qualité pariétale, et une projection de l'environnement de l'artère dans l'outil de simulation. Nos résultats ont été validés grâce à un recalage entre les données cliniques et notre simulation pour un groupe donné de patients, dont les artères sont très tortueuses et calcifiées. Cet outil d'aide à l'acte chirurgical permet de contrôler avec précision la navigation endovasculaire en péropératoire, prédire la faisabilité de la chirurgie avec une fiabilité ainsi que d'optimiser le nombre d'outils métalliques pour chaque patient, en tenant compte du risque de rupture des zones avec fortes tortuosités et hétérogénéités.

Nous vivons une époque exaltante où de nouveaux types d'écrans sont rendus possibles, et la communauté scientifique s'emploie à améliorer l'expérience utilisateur. Nous vivons notamment l'émergence d'écrans courbés, volumétriques, autostéréoscopiques, transparents ou même portés sur la tête, avec des capteurs et algorithmes de plus en plus complexes permettant des interactions toujours plus riches.Cette thèse vise à contribuer à la création de ces nouveaux types d'afficheurs. À travers trois projets concrets, nous associons l'optique et l'informatique pour répondre à des problématiques spécifiques, avec l'objectif final de créer un nouveau type d'écran 3D. Chacun de ces projets a mené au développement de prototypes basés sur l'utilisation de picoprojecteurs laser, de caméras, d'éléments optiques et de logiciels dédiés.Dans un premier projet, nous avons étudié les écrans sphériques : ceux-ci sont plus adaptés que les écrans classiques pour visualiser des données sphériques, cependant les solutions existantes sont onéreuses et difficiles à mettre en place. Nous proposons une méthode pour concevoir un écran sphérique tactile à moindre coût en utilisant seulement des optiques commerciales et peu onéreuses ainsi que des éléments créés par impression 3D, dans le but de rendre ces écrans plus accessibles et reproductibles. Notre solution utilise un picoprojecteur laser associé à un système optique permettant de projeter une image nette sur toute la sphère. L'aspect tactile est réalisé par suivi optique de doigts dans l'infrarouge et nous avons développé un logiciel permettant de gérer l'affichage et l'interaction. Nous compensons l'utilisation de matériel peu coûteux par des calibrations et des corrections logicielles.Nous avons ensuite largement étudié la technologie des guides "wedges" (en forme de "cale"), qui sont devenus des éléments essentiels du reste de la thèse. Les guides wedges ont été initialement développés pour des systèmes de projection plats, mais dans ce projet nous les utilisons dans un contexte d'acquisition. La problématique est la suivante : dans certaines configurations, une zone d'intérêt peut être difficile à imager avec une caméra standard à cause du manque d'espace en face de celle-ci. Nous proposons d'utiliser un guide wedge et un film prismatique afin de replier la distance nécessaire. Nous avons étudié et validé différentes applications dans le domaine spécifique de l'archéologie.Les compétences que nous avons développées au cours de ces deux projets nous ont permis d'imaginer et de concevoir un nouvel écran autostéréoscopique transparent. Un tel écran peut être vu comme une vitre permettant d'ajouter au monde réel des information 3D dépendantes du point de vue, et cela sans avoir besoin de porter de lunettes ou de casques. Le principe est d'utiliser un guide wedge avec des picoprojecteurs laser générant chacun un point de vue différent. Les points de vues sont répartis en face de l'écran par un élément optique holographique que nous avons spécialement conçu. Ce nouvel écran ouvre le champ à de nombreuses applications en réalité augmentée
We live exciting times where new types of displays are made possible, and current challenges focus on enhancing user experience. As examples, we witness the emergence of curved, volumetric, head-mounted, autostereoscopic, or transparent displays, among others, with more complex sensors and algorithms that enable sophisticated interactions.This thesis aims at contributing to the creation of such novel displays. In three concrete projects, we combine both optical and software tools to address specific applications with the ultimate goal of designing a three-dimensional display. Each of these projects led to the development of a working prototype based on the use of picoprojectors, cameras, optical elements, and custom software.In a first project, we investigated spherical displays: they are more suitable for visualizing spherical data than regular flat 2D displays, however, existing solutions are costly and difficult to build due to the requirement of tailored optics. We propose a low-cost multitouch spherical display that uses only off-the-shelf, low-cost, and 3D-printed elements to make it more accessible and reproducible. Our solution uses a focus-free projector and an optical system to cover a sphere from the inside, infrared finger tracking for multitouch interaction, and custom software to link both. We leverage the use of low-cost material by software calibrations and corrections.We then extensively studied wedge-shaped light guides, in which we see great potential and that became the center component of the rest of our work. Such light guides were initially devised for flat and compact projection-based displays but in this project we exploit them in a context of acquisition. We seek to image constrained locations that are not easily accessible with regular cameras due to the lack of space in front of the object of interest. Our idea is to fold the imaging distance into a wedge guide thanks to prismatic elements. With our prototype, we validated various applications in the archaeological field.The skills and expertise that we acquired during both projects allowed us to design a new transparent autostereoscopic display. Our solution overcomes some limitations of augmented reality displays allowing a user to see both a direct view of the real world as well as a stereoscopic and view-dependent augmentation without any wearable or tracking. The principle idea is to use a wedge light guide, a holographic optical element, and several projectors, each of them generating a different viewpoint. Our current prototype has five viewpoints, and more can be added. This new display has a wide range of potential applications in the augmented reality field

La réalité augmentée (RA) a récemment eu un impact énorme sur les ingénieurs civils et les travailleurs de l'industrie de la construction, ainsi que sur leur interaction avec les plans ar-chitecturaux. La RA introduit une superposition du modèle 3D d'un bâtiment sur une image 2D non seulement comme une image globale, mais aussi potentiellement comme une repré-sentation complexe de ce qui va être construit et qui peut être visualisée par l'utilisateur. Pour insérer un modèle 3D, la caméra doit être localisée par rapport à son environnement. La lo-calisation de la caméra consiste à trouver les paramètres extérieurs de la caméra (i.e. sa po-sition et son orientation) par rapport à la scène observée et ses caractéristiques. Dans ce mémoire, des méthodes d'estimation de la pose de la caméra (position et orientation) par rapport à la scène utilisant des correspondances cercle-ellipse et lignes droites-lignes droites sont explorées. Les cercles et les lignes sont deux des caractéristiques géométriques qui sont principalement présentes dans les structures et les bâtiments. En fonction de la rela-tion entre les caractéristiques 3D et leurs images 2D correspondantes détectées dans l'image, la position et l'orientation de la caméra sont estimées.
Augmented reality (AR) had recently made a huge impact on field engineers and workers in construction industry, as well as the way they interact with architectural plans. AR brings in a superimposition of the 3D model of a building onto the 2D image not only as the big picture, but also as an intricate representation of what is going to be built. In order to insert a 3D model, the camera has to be localized regarding its surroundings. Camera localization con-sists of finding the exterior parameters (i.e. its position and orientation) of the camera with respect to the viewed scene and its characteristics. In this thesis, camera pose estimation methods using circle-ellipse and straight line corre-spondences has been investigated. Circles and lines are two of the geometrical features that are mostly present in structures and buildings. Based on the relationship between the 3D features and their corresponding 2D data detected in the image, the position and orientation of the camera is estimated.

Dans le cadre de la rééducation orthophonique des troubles de la parole associés à un mauvais positionnement de la langue, il peut être utile au patient et à l’orthophoniste de visualiser la position et les mouvements de cet articulateur naturellement très peu visible. L’imagerie échographique peut pallier ce manque, comme en témoignent de nombreuses études de cas menées depuis plusieurs années dans les pays anglo-saxons. Appuyés par de nombreux travaux sur les liens entre production et perception de la parole, ces études font l’hypothèse que ce retour articulatoire visuel faciliterait la rééducation du patient. Lors des séances orthophoniques, le patient semble, en effet, mieux appréhender les déplacements de sa langue, malgré la difficulté d’interprétation sous-jacente de l’image échographique liée au bruit inhérent à l’image et à l’absence de vision des autres articulateurs. Nous développons dans cette thèse le concept d’échographie linguale augmentée. Nous proposons deux approches afin d’améliorer l’image échographique brute, et présentons une première application clinique de ce dispositif. La première approche porte sur le suivi du contour de la langue sur des images échographiques. Nous proposons une méthode basée sur une modélisation par apprentissage supervisé des relations entre l’intensité de l’ensemble des pixels de l’image et les coordonnées du contour de langue. Une étape de réduction de la dimension des images et des contours par analyse en composantes principales est suivie d’une étape de modélisation par réseaux de neurones. Nous déclinons des implémentations mono-locuteur et multi-locuteur de cette approche dont les performances sont évaluées en fonction de la quantité de contours manuellement annotés (données d’apprentissage). Nous obtenons pour des modèles mono-locuteur une erreur de 1,29 mm avec seulement 80 images, performance meilleure que celle de la méthode de référence EdgeTrak utilisant les contours actifs. La deuxième approche vise l’animation automatique, à partir des images échographiques, d’une tête parlante articulatoire, c’est-à-dire l’avatar d’un locuteur de référence qui révèle les structures externes comme internes de l’appareil vocal (palais, pharynx, dent, etc.). Nous construisons tout d’abord un modèle d’association entre les images échographiques et les paramètres de contrôle de la langue acquis sur ce locuteur de référence. Nous adaptons ensuite ce modèle à de nouveaux locuteurs dits locuteurs source. Pour cette adaptation, nous évaluons la technique Cascaded Gaussian Mixture Regression (C-GMR), qui s’appuie sur une modélisation conjointe des données échographiques du locuteur de référence, des paramètres de contrôle de la tête parlante, et des données échographique d’adaptation du locuteur source. Nous comparons cette approche avec une régression directe par GMR entre données du locuteur source et paramètre de contrôle de la tête parlante. Nous montrons que l’approche par C-GMR réalise le meilleur compromis entre quantité de données d’adaptation d’une part, et qualité de la prédiction d’autre part. Enfin, nous évaluons la capacité de généralisation de l’approche C-GMR et montrons que l’information a priori sur le locuteur de référence exploitée par ce modèle permet de généraliser à des configurations articulatoires du locuteur source non vues pendant la phase d’adaptation. Enfin, nous présentons les premiers résultats d’une application clinique de l’échographie augmentée à une population de patients ayant subi une ablation du plancher de la bouche ou d’une partie de la langue. Nous évaluons l’usage du retour visuel en temps réel de la langue du patient et l’usage de séquences enregistrées préalablement sur un orthophoniste pour illustrer les articulations cibles, par des bilans orthophoniques classiques pratiqués entre chaque série de séances. Les premiers résultats montrent une amélioration des performances des patients, notamment sur le placement de la langue
In the framework of speech therapy for articulatory troubles associated with tongue misplacement, providing a visual feedback might be very useful for both the therapist and the patient, as the tongue is not a naturally visible articulator. In the last years, ultrasound imaging has been successfully applied to speech therapy in English speaking countries, as reported in several case studies. The assumption that visual articulatory biofeedback may facilitate the rehabilitation of the patient is supported by studies on the links between speech production and perception. During speech therapy sessions, the patient seems to better understand his/her tongue movements, despite the poor quality of the image due to inherent noise and the lack of information about other speech articulators. We develop in this thesis the concept of augmented lingual ultrasound. We propose two approaches to improve the raw ultrasound image, and describe a first clinical application of this device.The first approach focuses on tongue tracking in ultrasound images. We propose a method based on supervised machine learning, where we model the relationship between the intensity of all the pixels of the image and the contour coordinates. The size of the images and of the contours is reduced using a principal component analysis, and a neural network models their relationship. We developed speaker-dependent and speaker-independent implementations and evaluated the performances as a function of the amount of manually annotated contours used as training data. We obtained an error of 1.29 mm for the speaker-dependent model with only 80 annotated images, which is better than the performance of the EdgeTrak reference method based on active contours.The second approach intends to automatically animate an articulatory talking head from the ultrasound images. This talking head is the avatar of a reference speaker that reveals the external and internal structures of the vocal tract (palate, pharynx, teeth, etc.). First, we build a mapping model between ultrasound images and tongue control parameters acquired on the reference speaker. We then adapt this model to new speakers referred to as source speakers. This adaptation is performed by the Cascaded Gaussian Mixture Regression (C-GMR) technique based on a joint model of the ultrasound data of the reference speaker, control parameters of the talking head, and adaptation ultrasound data of the source speaker. This approach is compared to a direct GMR regression between the source speaker data and the control parameters of the talking head. We show that C-GMR approach achieves the best compromise between amount of adaptation data and prediction quality. We also evaluate the generalization capability of the C-GMR approach and show that prior information of the reference speaker helps the model generalize to articulatory configurations of the source speaker unseen during the adaptation phase.Finally, we present preliminary results of a clinical application of augmented ultrasound imaging to a population of patients after partial glossectomy. We evaluate the use of visual feedback of the patient’s tongue in real time and the use of sequences recorded with a speech therapist to illustrate the targeted articulation. Classical speech therapy probes are led after each series of sessions. The first results show an improvement of the patients’ performance, especially for tongue placement

La chirurgie laparoscopique reproduit fidèlement les principes de la chirurgie conventionnelle avec une agressioncorporelle minimale. Si cette chirurgie apparaît comme étant très avantageuse pour le patient, il s’agit d’une interventionchirurgicale difficile où la complexité du geste chirurgical est accrue, en comparaison avec la chirurgie conventionnelle.Cette complexité réside en partie dans la manipulation des instruments chirurgicaux et la visualisation dela scène chirurgicale (notamment le champ de visualisation restreint d’un endoscope classique). La prise de décisionsdu chirurgien pourrait être améliorée en identifiant des zones critiques ou d’intérêts non visibles dans la scènechirurgicale.Mes travaux de recherche visent à combiner la robotique, la vision par ordinateur et la fluorescence pour apporterune réponse à ces difficultés : l’imagerie de fluorescence fournira une information visuelle supplémentaire pour aiderle chirurgien dans la détermination des zones à opérer ou à éviter (par exemple, visualisation du canal cystique lorsd’une cholécystectomie). La robotique assurera la précision et l’efficience du geste du chirurgien ainsi qu’une visualisationet un suivi "plus intuitif" de la scène chirurgicale. L’association de ces deux technologies permettra de guideret sécuriser le geste chirurgical.Une première partie de ce travail a consisté en l’extraction d’informations visuelles dans les deux modalités d’imagerie(laparoscopie/fluorescence). Des méthodes de localisation 2D/3D en temps réel d’instruments chirurgicaux dansl’image laparoscopique et de cibles anatomiques dans l’image de fluorescence ont été conçues et développées.Une seconde partie a consisté en l’exploitation de l’information visuelle bimodale pour l’élaboration de lois de commandepour des robots porte-endoscope et porte-instrument. Des commandes par asservissement visuel d’un robotporte-endoscope pour suivre un ou plusieurs instruments dans l’image laparoscopique ou une cible d’intérêt dansl’image de fluorescence ont été mises en oeuvre.Dans l’objectif de pouvoir commander un robot porte-instrument, enfonction des informations visuelles fournies par le système d’imagerie, une méthode de calibrage basée sur l’exploitationde l’information 3D de la localisation d’instruments chirurgicaux a également été élaborée. Cet environnementmultimodal a été évalué quantitativement sur banc d’essai puis sur spécimens anatomiques.À terme ce travail pourra s’intégrer au sein d’architectures robotisées légères, non-rigidement liées, utilisant des robotsde comanipulation avec des commandes plus élaborées tel que le retour d’effort. Une telle "augmentation" descapacités de visualisation et d’action du chirurgien pourraient l’aider à optimiser la prise en charge de son patient
Laparoscopic surgery faithfully reproduce the principles of conventional surgery with minimal physical aggression.If this surgery appears to be very beneficial for the patient, it is a difficult surgery where the complexity of surgicalact is increased, compared with conventional surgery. This complexity is partly due to the manipulation of surgicalinstruments and viewing the surgical scene (including the restricted field of view of a conventional endoscope). Thedecisions of the surgeon could be improved by identifying critical or not visible areas of interest in the surgical scene.My research aimed to combine robotics, computer vision and fluorescence to provide an answer to these problems :fluorescence imaging provides additional visual information to assist the surgeon in determining areas to operate or tobe avoided (for example, visualization of the cystic duct during cholecystectomy). Robotics will provide the accuracyand efficiency of the surgeon’s gesture as well as a visualization and a "more intuitive" tracking of the surgical scene.The combination of these two technologies will help guide and secure the surgical gesture.A first part of this work consisted in extracting visual information in both imagingmodalities (laparoscopy/fluorescence).Localization methods for 2D/3D real-time of laparoscopic surgical instruments in the laparoscopic image and anatomicaltargets in the fluorescence image have been designed and developed. A second part consisted in the exploitationof the bimodal visual information for developing control laws for robotics endoscope holder and the instrument holder.Visual servoing controls of a robotic endoscope holder to track one or more instruments in laparoscopic image ora target of interest in the fluorescence image were implemented. In order to control a robotic instrument holder withthe visual information provided by the imaging system, a calibration method based on the use of 3D information of thelocalization of surgical instruments was also developed. This multimodal environment was evaluated quantitativelyon the test bench and on anatomical specimens.Ultimately this work will be integrated within lightweight robotic architectures, not rigidly linked, using comanipulationrobots with more sophisticated controls such as force feedback. Such an "increase" viewing capabilities andsurgeon’s action could help to optimize the management of the patient

Depuis leur introduction, les téléphones intelligents n’ont cessé d’évoluer. Ceux-ci intègrent généralement plusieurs composantes utiles (i.e. caméra numérique, récepteur GPS, accéléromètres, boussole numérique et plus récemment le gyroscope) pour des applications de Réalité Augmentée Mobile (RAM). Ce type d’application génère beaucoup d’intérêt auprès du grand public qui se voit offrir une nouvelle manière d’explorer son environnement. Afin d’obtenir une forte augmentation de la réalité en termes d’immersion de l’utilisateur et des interactions qui lui sont proposées, ces applications de RAM requièrent généralement un modèle 3D de l’environnement. Ce modèle 3D peut alors être exploité selon trois finalités différentes au sein de l’application de RAM qui sont : 1) gérer les occlusions; 2) aider au calcul de la pose (position/orientation) de la caméra de l’utilisateur; 3) supporter les interactions et l’augmentation de la réalité. Cependant, ces modèles 3D ne sont pas toujours disponibles à l’endroit où l’on souhaite augmenter la réalité ce qui nuit au déploiement des applications de RAM n’importe où et n’importe quand. Afin de surmonter cette contrainte, le présent projet de maîtrise a consisté à concevoir une chaîne de production de modèles 3D adaptée au contexte des applications de RAM dites fortement augmentées et facilement exploitable directement sur les lieux ciblés pour l’augmentation. La chaîne de production élaborée a été implantée sur la plateforme de l’iPhone 3G puis évaluée selon des critères d’exactitude, de rapidité, d’intuitivité et d’efficacité de l’augmentation résultante. Les résultats de cette évaluation ont permis de mettre en évidence la possibilité de modéliser en 3D un bâtiment simplement tout en atteignant une exactitude sous les 5 mètres en environ 3 minutes à l’aide d’un appareil de type téléphone intelligent.
Recently, a new genre of software applications has emerged allowing the general public to browse their immediate environment using their smartphone: Mobile Augmented Reality (MAR) applications. The growing popularity of this type of application is triggered by the fast evolution of smartphones. These ergonomic mobile platforms embed several pieces of equipment useful to deploy MAR (i.e. digital camera, GPS receiver, accelerometers, digital compass and now gyroscope). In order to achieve a strong augmentation of the reality in terms of user’s immersion and interactions, a 3D model of the real environment is generally required. The 3D model can be used for three different purposes in these MAR applications: 1) to manage the occlusions between real and virtual objects; 2) to provide accurate camera pose (position/orientation) calculation; 3) to support the augmentation and interactions. However, the availability of such 3D models is limited and therefore preventing MAR application to be used anywhere at anytime. In order to overcome such constraints, this proposed research thesis is aimed at devising a new approach adapted to the specific context of MAR applications and dedicated to the simple and fast production of 3D models. This approach was implemented on the iPhone 3G platform and evaluated according to precision, rapidity, simplicity and efficiency criteria. Results of the evaluation underlined the capacity of the proposed approach to provide, in about 3 minutes, a simple 3D model of a building using smartphone while achieving accuracy of 5 meters and higher.

La fistule anastomotique (FA) est une complication grave de la chirurgie. Une perfusion locale adéquate est fondamentale pour réduire le risque de FA. Cependant, les critères cliniques ne sont pas fiables pour évaluer la perfusion intestinale. À cet égard, l'angiographie par fluorescence (AF) a été explorée. Malgré des résultats prometteurs dans les essais cliniques, l'évaluation de l'AF est subjective, d'où l'incertitude quant à son efficacité. L'AF quantitative a déjà été introduite. Cependant, elle est limitée par la nécessité d'injecter un fluorophore. L'imagerie hyperspectrale (HSI) est une technique d'imagerie optique prometteuse couplant un spectroscope à une caméra photo, permettant une analyse quantitative des tissus en temps réel et sans contraste. L'utilisation intraopératoire de l'HSI est limitée par la présence d'images statiques. Nous avons développé la hyperspectral-based enhanced reality (HYPER), pour permettre une évaluation précise de la perfusion intraopératoire. Cette thèse décrit les étapes du développement et de la validation d'HYPER
Anastomotic leak (AL) is a severe complication in surgery. Adequate local perfusion is fundamental to promote anastomotic healing, reducing the risk of AL. However, clinical criteria are unreliable to evaluate bowel perfusion. Consequently, a tool allowing to objectively detect intestinal viability intraoperatively is desirable. In this regard, fluorescence angiography (FA) has been explored. In spite of promising results in clinical trials, FA assessment is subjective, hence the efficacy of FA is unclear. Quantitative FA has been previously introduced. However, it is limited by the need of injecting a fluorophore. Hyperspectral imaging (HSI) is a promising optical imaging technique coupling a spectroscope with a photo camera, allowing for a contrast-free, real-time, and quantitative tissue analysis. The intraoperative usability of HSI is limited by the presence of static images. We developed hyperspectral-based enhanced reality (HYPER), to allow for precise intraoperative perfusion assessment. This thesis describes the steps of the development and validation of HYPER

La radioembolisation est une intervention mini-invasive réalisée pour traiter le cancer du foie en administrant des microsphères radioactives. Afin d'optimiser les résultats du traitement, la procédure est réalisée en deux sessions : une intervention de prétraitement, principalement réalisée pour localiser le site d'injection, évaluer la distribution et effectuer une évaluation dosimétrique, et une intervention de traitement réalisée pour injecter la dose appropriée de microsphères radioactives dans le site d'injection localisé. En raison la complexité de la vascularisation hépatique, les radiologues interventionnels manipulent soigneusement le cathéter, lors des deux interventions, sous guidage radiographique et recourent à l'injection de produit de contraste afin de visualiser les vaisseaux. Dans cette thèse, nous proposons une nouvelle stratégie de guidage qui promet une simplification et une précision de la navigation du cathéter lors des deux interventions. Le système de navigation proposé traite les images préopératoires et peropératoires pour réaliser une fusion d'images grâce à une technique de recalage rigide. Cette approche est conçue pour 1) aider l'accès au tronc cœliaque, 2) aider l'accès au site d'injection et 3) reproduire le site d'injection lors de l'intervention de traitement. Sachant que le foie subit un déplacement lié au mouvement respiratoire, nous proposons également une approche qui permet d'obtenir une superposition dynamique des vaisseaux 3D projetés sur la fluoroscopie
Radioembolization is a minimally-invasive intervention performed to treat liver cancer by administering radioactive microspheres. In order to optimize radioembolization outcomes, the procedure is carried out in two sessions: pretreatment assessment intervention, mainly performed to locate the injection site, assess microspheres distribution and perform dosimetry evaluation, and treatment intervention performed to inject the estimated proper dose of radioactive microspheres in the located injection site. Due to the hepatic vasculature complexity, interventional radiologists carefully manipulate the catheter, during the two interventions, under X-Ray image guidance and resort to contrast media injection in order to highlight vessels. In this thesis, we propose a novel guidance strategy that promises a simplification and accuracy of the catheter navigation during the pretreatment assessment, as well as during the treatment interventions. The proposed navigation system processes pre- and intraoperative images to achieve intraoperative image fusion through a rigid registration technique. This approach is designed to 1) assist the celiac trunk access, 2) assist the injection site access and 3) automatically reproduce the injection site during the proper intervention. Knowing that the liver undergoes a motion induced by the breathing, we also propose an approach that allows obtaining a dynamic overlay of the projected 3D vessels onto fluoroscopy

Ce travail de thèse s'inscrit dans le domaine de la perception multicapteur pour la robotique mobile en milieu intérieur et, plus précisément, traite de l'exploitation des caméras 3D à bas coût en complément du système de perception d'un robot équipé d'un télémètre laser à balayage et de caméras conventionnelles. En effet, chacun de ces capteurs seuls souffre de défauts importants : limitation du champ de vision pour les caméras à bas coût et détection sur un unique plan pour le télémètre. L'utilisation de la caméra 3D en complément du télémètre doit permettre de percevoir les obstacles invisibles par le télémètre tout en conservant un large champ de vision. La caméra 3D apporte également des données très utiles pour augmenter les informations visuelles dans le cadre d'une interface homme-robot. La perception multicapteur basée sur le télémètre laser, la caméra 3D et la caméra conventionnelle nécessitent un étalonnage extrinsèque suffisamment précis pour l'application considérée. Au-delà de la précision, le processus lui-même se doit d'être pratique et facilement répétable puisque, notamment lorsque les capteurs sont mobiles mais pas seulement, l'étalonnage doit être renouvelé régulièrement. L'interrogation de la communauté utilisant les caméras 3D à bas coût montre que la moitié des chercheurs se contente d'un étalonnage approximatif du fait du caractère fastidieux des processus d'étalonnage. Nous proposons donc dans cette thèse quatre méthodes d'étalonnage extrinsèque dont deux en particulier pour lesquelles l'objectif est d'améliorer significativement la praticité du processus d'étalonnage
This work concerns multisensor perception field of study for indoor mobile robotics and especially treats the use of low cost 3D cameras together with inboard perception system of the robot (usually laser telemeter and conventionnal cameras). Each independent sensor is suffering from important weaknesses as limited field of view for low cost camears or only planar detection for laser telemeter. Using 3D camera in addition to laser telemeter allows tod etect obstacles not detected by laser telemeter but keeps the advantage of the wise field of view of common laser telemeters. 3D camears are also very useful to add visual augmentations on visual data in teleoperation control interfaces.Multisensor perception based on laser telemeter, 3D camera and conventionnal camera is only possible when extrinsic parameters are accuratly (depending on application) known. But not only accurate, the calibration process has to be simple enough to be repeatable particularly whens sensors are fixed. Calibration processes have to be executed regularly because of menanical slack. The robotic community is usually using approximative calibration because calibration is boring. In this work, we propose four new methods for extrinsic calibration. Two of these methods have been conducted to improve significantly teh simplicity and usability of calibration processes

Le monde médical dispose de plus en plus de sources d'images différentes, non seulement pour réaliser un diagnostic mais aussi pour évaluer l'efficacité d'un traitement et pour être guidé dans les interventions chirurgicales. Parallèlement, le développement des techniques opératoires s'oriente vers la chirurgie non " à ciel ouvert ", notamment la coelioscopie, qui permet de diminuer les risques liés à l'intervention ainsi que le temps d'hospitalisation du patient. En revanche, elle rend moins intuitive la réalisation de l'acte chirurgical, notamment du fait de la vision réduite à l'utilisation d'une ou plusieurs caméras dans la région d'intérêt. Durant ma thèse, j'ai conçu et mis en oeuvre des nouvelles méthodes informatiques de traitement 3D d'images radiologiques ainsi que de nouvelles utilisations médicales de ces images. Les contributions présentées concernent la visualisation et le traitement des données, la segmentation de structures 3D, la fusion mono et multimodale et l'aide à la réalisation d'interventions. Les applications présentées concernent notamment la planification et la réalisation d'interventions sous coelioscopie et de ponctions mais aussi l'imagerie industrielle. L'utilisation conjointe de différentes modalités d'images permet d'améliorer la visualisation, la manipulation et la compréhension de scènes tridimensionnelles, conduisant à une plus grande compréhension des observations et à une meilleure prise de décision.

L'un des plus grands défis de la réalité augmentée consiste à aligner parfaitement les informations réelles et virtuelles pour donner l'illusion que ces informations virtuelles font partie intégrante du monde réel. Pour ce faire, il faut estimer avec précision la position et l'orientation de l'utilisateur, et ce, en temps réel. L'augmentation de scènes extérieures est particulièrement problématique, car il n'existe pas de technologie suffisamment précise pour permettre d'assurer un suivi de la position de l'utilisateur au niveau de qualité requis pour des applications en ingénierie. Pour éviter ce problème, nous nous sommes attardés à l'augmentation de panoramas omnidirectionnels pris à une position fixe. L'objectif de ce projet est de proposer une méthode robuste et automatique d'initialisation permettant de calculer la pose de panoramas omnidirectionnels urbains pour ainsi obtenir un alignement parfait des panoramas et des informations virtuelles.
One of the greatest challenges of augmented reality is to perfectly synchronize real and virtual information to give the illusion that virtual information are an integral part of real world. To do so, we have to precisely estimate the user position and orientation and, even more dificult, it has to be done in real time. Augmentation of outdoor scenes is particularly problematic because there are no technologies accurate enough to get user position with the level of accuracy required for application in engineering. To avoid this problem, we focused on augmenting panoramic images taken at a fixed position. The goal of this project is to propose a robust and automatic initialization method to calculate the pose of urban omnidirectional panoramas to get a perfect alignment between panoramas and virtual information.

La visualisation exploratoire des données 3D est fondamentale dans des domaines scientifiques. Traditionnellement, les experts utilisent un PC et s'appuient sur la souris pour ajuster la vue. Cette configuration permet l'immersion par interaction---l'utilisateur peut contrôler précisément la vue, mais elle ne fournit pas de profondeur, qui limite la compréhension de données complexes. La réalité virtuelle ou augmentée (RV/A), en revanche, offre une immersion visuelle avec des vues stéréoscopiques. Bien que leurs avantages aient été prouvés, plusieurs points limitent leur application, notamment les besoins élevés de configuration/maintenance, les difficultés de contrôle précis et, plus important, la séparation des outils d'analyse traditionnels. Pour bénéficier des deux côtés, nous avons donc étudié un système hybride combinant l'environnement RA avec un PC pour fournir des immersions interactives et visuelles. Nous avons collaboré étroitement avec des physiciens des particules afin de comprendre leur processus de travail et leurs besoins de visualisation pour motiver notre conception. D'abord, basé sur nos discussions avec les physiciens, nous avons construit un prototype qui permet d'accomplir des tâches pour l'exploration de leurs données. Ce prototype traitait l'espace RA comme une extension de l'écran du PC et permettait aux utilisateurs d'interagir librement avec chacun d'eux avec la souris. Ainsi, les experts pouvaient bénéficier de l'immersion visuelle et utilisent les outils d'analyse sur PC. Une étude observationnelle menée avec 7 physiciens au CERN a validé la faisabilité et confirmé les avantages. Nous avons également constaté que la grande toile du RA et le fait de se déplacer pour observer les données dans le RA présentaient un grand potentiel. Cependant, la conception de l'interaction de la souris et l’utilisation de widgets dans la RA devaient être améliorés. Ensuite, nous avons décidé de ne pas utiliser intensivement les widgets plats dans la RA. Mais nous nous sommes demandé si l'utilisation de la souris pour naviguer dans la RA est problématique, et nous avons ensuite tenté d'étudier si la correspondance de la dimensionnalité entre les dispositifs d'entrée et de sortie joue un rôle important. Les résultats des études (qui ont comparé la performance de l'utilisation de la souris, de la souris spatiale et de la tablette tangible couplée à l'écran ou à l'espace de RA) n'ont pas montré que la correspondance était importante. Nous avons donc conclu que la dimensionnalité n'était pas un point critique à considérer, ce qui suggère que les utilisateurs sont libres de choisir toute entrée qui convient à une tâche spécifique. De plus, nos résultats ont montré que la souris restait un outil efficace. Nous pouvons donc valider notre conception et conserver la souris comme entrée principale, tandis que les autres modalités ne devraient servir que comme complément pour des cas spécifiques. Ensuite, pour favoriser l'interaction et conserver les informations pendant que les utilisateurs se déplacent en RA, nous avons proposé d'ajouter un appareil mobile. Nous avons introduit une nouvelle approche qui augmente l'interaction tactile avec la détection de pression pour la navigation 3D. Les résultats ont montré que cette méthode pouvait améliorer efficacement la précision, avec une influence limitée sur le temps. Nous pensons donc qu'elle est utile à des tâches de vis où une précision est exigée. Enfin, nous avons résumé tous les résultats obtenus et imaginé un scénario réaliste qui utilise un poste de travail PC, un casque RA et un appareil mobile. Les travaux présentés dans cette thèse montrent le potentiel de la combinaison d'un PC avec des environnements de RA pour améliorer le processus d'exploration de données 3D et confirment sa faisabilité, ce qui, nous l'espérons, inspirera la future conception qui apportera une visualisation immersive aux flux de travail scientifiques existants
Exploratory visualization of 3D data is fundamental in many scientific domains. Traditionally, experts use a PC workstation and rely on mouse and keyboard to interactively adjust the view to observe the data. This setup provides immersion through interaction---users can precisely control the view and the parameters, but it does not provide any depth clues which can limit the comprehension of large and complex 3D data. Virtual or augmented reality (V/AR) setups, in contrast, provide visual immersion with stereoscopic views. Although their benefits have been proven, several limitations restrict their application to existing workflows, including high setup/maintenance needs, difficulties of precise control, and, more importantly, the separation from traditional analysis tools. To benefit from both sides, we thus investigated a hybrid setting combining an AR environment with a traditional PC to provide both interactive and visual immersions for 3D data exploration. We closely collaborated with particle physicists to understand their general working process and visualization requirements to motivate our design. First, building on our observations and discussions with physicists, we built up a prototype that supports fundamental tasks for exploring their datasets. This prototype treated the AR space as an extension to the PC screen and allowed users to freely interact with each using the mouse. Thus, experts could benefit from the visual immersion while using analysis tools on the PC. An observational study with 7 physicists in CERN validated the feasibility of such a hybrid setting, and confirmed the benefits. We also found that the large canvas of the AR and walking around to observe the data in AR had a great potential for data exploration. However, the design of mouse interaction in AR and the use of PC widgets in AR needed improvements. Second, based on the results of the first study, we decided against intensively using flat widgets in AR. But we wondered if using the mouse for navigating in AR is problematic compared to high degrees of freedom (DOFs) input, and then attempted to investigate if the match or mismatch of dimensionality between input and output devices play an important role in users’ performance. Results of user studies (that compared the performance of using mouse, space mouse, and tangible tablet paired with the screen or the AR space) did not show that the (mis-)match was important. We thus concluded that the dimensionality was not a critical point to consider, which suggested that users are free to choose any input that is suitable for a specific task. Moreover, our results suggested that the mouse was still an efficient tool compared to high DOFs input. We can therefore validate our design of keeping the mouse as the primary input for the hybrid setting, while other modalities should only serve as an addition for specific use cases. Next, to support the interaction and to keep the background information while users are walking around to observe the data in AR, we proposed to add a mobile device. We introduced a novel approach that augments tactile interaction with pressure sensing for 3D object manipulation/view navigation. Results showed that this method could efficiently improve the accuracy, with limited influence on completion time. We thus believe that it is useful for visualization purposes where a high accuracy is usually demanded. Finally, we summed up in this thesis all the findings we have and came up with an envisioned setup for a realistic data exploration scenario that makes use of a PC workstation, an AR headset, and a mobile device. The work presented in this thesis shows the potential of combining a PC workstation with AR environments to improve the process of 3D data exploration and confirms its feasibility, all of which will hopefully inspire future designs that seamlessly bring immersive visualization to existing scientific workflows

La technique de réalité augmentée basée sur la fluorescence permet de quantifier la dynamique d’un signal fluorescent et de superposer une cartographie de perfusion aux images laparoscopiques en temps réel. Un modèle d’ischémie colique a été choisi afin de différencier différents types d’ischémie et l’extension d’une zone ischémique dans les différentes couches de la paroi. L’évaluation de la dynamique de fluorescence assistée par logiciel et couplée à une approche d’apprentissage automatique a permis de faire la distinction entre une ischémie d’origine artérielle et d’origine veineuse avec un bon taux de prédiction. Dans la seconde étude colique, les cartographies de perfusion ont clairement mis en évidence que l’étendue d’ischémie était significativement plus large du côté muqueux et risquait d’être sous-estimée avec une analyse exclusive du côté séreux. Deux études ont démontré que la technique d’imagerie par fluorescence permet de guider le chirurgien en temps réel au cours d’une chirurgie mini-invasive des glandes surrénales et que l’analyse quantitative effectuée avec le logiciel facilite la distinction entre les segments vascularisés et ischémiques
The fluorescence-based enhanced reality approach is used to quantify fluorescent signal dynamics and superimpose the perfusion cartography onto laparoscopic images in real time. A colonic ischemia model was chosen to differentiate between different types of ischemia and determine the extension of an ischemic zone in the different layers of the colonic wall. The evaluation of fluorescence dynamics associated with a machine learning approach made it possible to distinguish between arterial and venous ischemia with a good prediction rate. In the second study, quantitative perfusion assessment showed that the extent of ischemia was significantly larger on the mucosal side, and may be underestimated with an exclusive analysis of the serosal side. Two further studies have revealed that fluorescence imaging can guide the surgeon in real time during minimally invasive adrenal surgery, and that quantitative software fluorescence analysis facilitates the distinction between vascularized and ischemic segments

La réalité augmentée permet d'aider les chirurgiens à localiser pendant l'opération la position des structures d'intérêt, comme les vaisseaux sanguins. Dans le cadre de la chirurgie laparoscopique, les modèles 3D affichés durant l'intervention ne correspondent pas à la réalité à cause des déformations dues au pneumopéritoine. Cette thèse a pour objectif de corriger ces déformations afin de fournir un modèle du foie réaliste. Nous proposons de déformer le modèle préopératoire du foie à partir d'une acquisition intraopératoire de la surface antérieure du foie. Un champ de déformations entre les modèles préopératoire et intraopératoire est calculé à partir de la distance géodésique à des repères anatomiques. De plus, une simulation biomécanique du pneumopéritoine est réalisée pour prédire la position de la cavité abdomino-thoracique qui est utilisée comme condition limite. L'évaluation de cette méthode montre que l'erreur de position du foie et de ses structures internes est réduite à 1cm
Augmented reality can provide to surgeons during intervention the positions of critical structures like vessels. The 3D models displayed during a laparoscopic surgery intervention do not fit to reality due to pneumperitoneum deformations. This thesis aim is to correct these deformations to provide a realistic liver model during intervention. We propose to deform the preoperative liver model according to an intraoperative acquisition of the liver anterior surface. A deformation field between the preoperative and intraoperative models is computed according to the geodesic distance to anatomical landmarks. Moreover, a biomechanical simulation is realised to predict the position of the abdomino-thoracic cavity which is used as boundary conditions. This method evaluation shows that the position error of the liver and its vessels is reduced to 1cm

La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3d. Il est néanmoins difficile d’appréhenderla dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; connaissance qui est pourtant essentielle à la formation des médecins. A travers ces travaux de thèse nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3d (peau, squelette, muscles et viscères) et del’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps-réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.Le premier défi à relever est l’identification de caractéristiques morphologiques qui nous permettront de recaler notre maquette anatomique 3d sur l’utilisateur. Nous proposons ici deux technologies interchangeables en fonction des besoins. La première méthode, temps-réel, est basée sur l’utilisation de transformations affines attachées entre les repères positionnés à chaque articulation du squelette donné par la Kinect pour déformer la maquette 3d à l’aide de poids de skinning prédéfinis. La seconde méthode, plus couteuse en temps (de l’ordre de quelques minutes), se découpe en trois parties : dans un premier temps nous déformons la peau à l’aide de la position des articulations du squelette d’animation Kinect et du nuage de pointpartiel de l’utilisateur ; à partir de cela et de règles anatomiques strictes nous déformons le squelette ; pour finir nous déformons les tissus mous pour qu’ils comblent l’espace entre le squelette et la peau. Le second défi concerne la capture réaliste et temps-réel des mouvements utilisateurs. Reproduire le comportement des structures anatomiques est une tâche complexe due aux informations Kinect souvent partielles et très bruitées. Nous proposons ici l’utilisation de règles anatomiques concernant les articulations du corps (axes de rotation et butées articulaires) pour contraindre les mouvements donnés par la Kinect et obtenir des mouvements réalistes. Pour obtenir des mouvements fluides nous nous proposons d’utiliser des filtrages, notamment le filtre de Kalman. Le dernier défi concerne la dominante de retour visuel et d’interaction.Lors de ces travaux nous nous sommes tout particulièrement intéressés à un renducorps complet pour montrer le fonctionnement général du corps humain et de ces différentes articulations. Nous avons également choisi le membre inférieur comme structure anatomique d’intérêt avec pour but la mise en avant de phénomènes anatomiques spécifiques, comme l’activité musculaire.Les différents éléments ont été intégrés dans un système opérationnel présenté en détails dans ce manuscrit de thèse. Grâce à des expérimentations - avec des étudiants et des professionnels de différents domaines - et la présentation de ces travaux sous forme de démonstrations lors de différents congrès, nous avons validé cet outil
To ease the complex task of anatomy learning, there exist many ways to represent and structure anatomy : illustrations, books, cadaver dissections and 3d models. However, it is difficult to understand and analyse anatomy motion, which is essential for medicine students. We present the "Living Book of Anatomy" (LBA), an original and innovative tool to learn anatomy. For a specific user, we superimpose a 3d anatomical model (skin, skeleton, muscles and visceras) onto the user’s color map and we animate it following the user’s movements. We present a real-time mirror-like augmented reality (AR) system. A Kinect is used to capturebody motions.The first innovation of our work is the identification of the user’s body measurements to register our 3d anatomical model. We propose two different methods to register anatomy.The first one is real-time and use affine transformations attached to rigid positioned on each joint given by the Kinect body tracking skeleton in order to deform the 3d anatomical model using skinning to fit the user’s measurements.The second method needs a few minutes to register the anatomy and is divided in 3 parts : skin deformation (using Kinect body tracking skeleton and the Kinect partial point cloud), with it and strict anatomical rules we register the skeleton. Lastly we deformm the soft tissues to completly fill the space inbetween the registered skeleton and skin.Secondly, we want to capture realistically and in real-time the user’s motion. To do that we need to reproduce anatomical structure motion but it is a complex task due to the noisy and often partial Kinect data. We propose here the use of anatomical rules concerning body articulations (angular limits and degrees of freedom) to constraint Kinect captured motion in order to obtain/gain plausible motions. a kalman filter is used to smooth the obtaiined motion capture.Lastly, to embed visual style and interaction, we use a full body reproduction to show general knowledge on human anatomy and its differents joints. We also use a lower-limb as structure of interest to higlight specific anatomical phenomenon, as muscular activity.All these tools have been integrated in a working system detailed in this thesis.We validated our tool/system by presenting it as a live demo during different conferences and through user studies done with students and professionnals from different backgrounds

Deux méthodes d’assistance opératoire, pour le positionnement du composant glénoïdien d’une prothèse d’épaule, sont explorées. Elles ont pour dénominateur commun une reconstruction 3D première de la glène pathologique à implanter. Une approche essentiellement clinique, avec des travaux d’application pratique, est proposée pour la technologie des Patients Specific Implants (PSI), dont l’utilisation en orthopédie est croissante. Une approche davantage technologique est ensuite proposée, de type Réalité Augmentée, jusqu’à maintenant encore inexploitée dans le champ de la chirurgie orthopédique. La faisabilité de cette approche, les conditions d’emploi des technologies inhérentes, ont été étudiées. En amont, un nouveau type d’information pour implémenter, sur le support connecté (lunettes électroniques), l’application de réalité, est proposé, avec la modélisation mathématique par régression linéaire multiple d’une glène normale. L’objectif secondaire est d’obtenir une banque de données dites de glènes génériques normales, pouvant servir de référence à la reconstitution d’une glène pathologique à traiter, après un processus de morphing
In this thesis, two methods of operating assistance for the positioning of the glenoid component of a shoulder prosthesis, are addressed. They have in common a preliminary 3D reconstruction of the pathological glenoid to implant. A main clinical approach, with practice studies, is proposed for the Patient Specific Implants technology, which is currently used in orthopaedics. Then a main prospective and technological approach is proposed with the Augmented Reality, while it is so far untapped in the field of orthopaedic surgery. The feasibility of this last technology, as well as the tools and the manual for its use, were studied. Upstream, a new type of information to implement the augmented reality connected application support is offered, with mathematical modeling by multiple linear regression of a normal glenoid. The second goal is to build a normal generic glenoids database. It can be used as reference to the reconstruction of a pathological glenoid to treat, after a morphing process step

Dans ce travail, méthodes d'estimation basées sur des images, également connu sous le nom de méthodes directes, sont étudiées qui permettent d'éviter l'extraction de caractéristiques et l'appariement complètement. L'objectif est de produire pose 3D précis et des estimations de la structure. Les fonctions de coût présenté minimiser l'erreur du capteur, car les mesures ne sont pas transformés ou modifiés. Dans la caméra photométrique estimation de la pose, rotation 3D et les paramètres de traduction sont estimées en minimisant une séquence de fonctions de coûts à base d'image, qui sont des non-linéaires en raison de la perspective projection et la distorsion de l'objectif. Dans l'image la structure basée sur le raffinement, d'autre part, de la structure 3D est affinée en utilisant un certain nombre de vues supplémentaires et un coût basé sur l'image métrique. Les principaux domaines d'application dans ce travail sont des reconstitutions d'intérieur, la robotique et la réalité augmentée. L'objectif global du projet est d'améliorer l'image des méthodes d'estimation fondées, et pour produire des méthodes de calcul efficaces qui peuvent être accueillis dans des applications réelles. Les principales questions pour ce travail sont : Qu'est-ce qu'une formulation efficace pour une image 3D basé estimation de la pose et de la structure tâche de raffinement ? Comment organiser calcul afin de permettre une mise en œuvre efficace en temps réel ? Quelles sont les considérations pratiques utilisant l'image des méthodes d'estimation basées sur des applications telles que la réalité augmentée et la reconstruction 3D ?

L'objectif poursuivi dans ce travail de thèse est la réalisation d'un dispositif capable d'interpréter une parole normalement articulée mais non vocalisée, permettant ainsi la " communication parlée silencieuse ". Destiné, à terme, à être léger et portatif, ce dispositif pourrait être utilisé d'une part, par une personne ayant subi une laryngectomie (ablation du larynx suite à un cancer), et d'autre part, pour toute communication, soit dans un milieu où le silence est requis (transport en commun, opération militaire, etc.), soit dans un environnement extrêmement bruité. Le dispositif proposé combine deux systèmes d'imagerie pour capturer l'activité de l'appareil vocal pendant " l'articulation silencieuse " : l'imagerie ultrasonore, qui donne accès aux articulateurs internes de la cavité buccale (comme la langue), et la vidéo, utilisée pour capturer le mouvement des lèvres. Le problème traité dans cette étude est celui de la synthèse d'un signal de parole " acoustique ", uniquement à partir d'un flux de données " visuelles " (images ultrasonores et vidéo). Cette conversion qualifiée ici de " visuo-acoustique ", s'effectue par apprentissage artificiel et fait intervenir quatre étapes principales : l'acquisition des données audiovisuelles, leur caractérisation, l'inférence d'une cible acoustique à partir de l'observation du geste articulatoire et la synthèse du signal. Dans le cadre de la réalisation du dispositif expérimental d'acquisition des données, un système de positionnement de la sonde ultrasonore par rapport à la tête du locuteur, basé sur l'utilisation combinée de deux capteurs inertiaux a tout d'abord été conçu. Un système permettant l'enregistrement simultané des flux visuels et du flux acoustique, basé sur la synchronisation des capteurs ultrasonore, vidéo et audio par voie logicielle, a ensuite été développé. Deux bases de données associant observations articulatoires et réalisations acoustiques, contenant chacune environ une heure de parole (continue), en langue anglaise, ont été construites. Pour la caractérisation des images ultrasonores et vidéo, deux approches ont été mises en œuvre. La première est basée sur l'utilisation de la transformée en cosinus discrète, la seconde, sur l'analyse en composantes principales (approche EigenTongues/EigenLips). La première approche proposée pour l'inférence des paramètres acoustiques, qualifiée de " directe ", est basée sur la construction d'une " fonction de conversion " à l'aide d'un réseau de neurones et d'un modèle par mélange de gaussiennes. Dans une seconde approche, qualifiée cette fois " d'indirecte ", une étape de décodage des flux visuels au niveau phonétique est introduite en amont du processus de synthèse. Cette étape intermédiaire permet notamment l'introduction de connaissances linguistiques a priori sur la séquence observée. Elle s'appuie sur la modélisation des gestes articulatoires par des modèles de Markov cachés (MMC). Deux méthodes sont enfin proposées pour la synthèse du signal à partir de la suite phonétique décodée. La première est basée sur une approche par concaténation d'unités ; la seconde utilise la technique dite de " synthèse par MMC ". Pour permettre notamment la réalisation d'adaptations prosodiques, ces deux méthodes de synthèse s'appuient sur une description paramétrique du signal de parole du type "Harmonique plus Bruit" (HNM).

Les progrès technologiques ont permis d'abaisser la frontière entre image réelle et image virtuelle à tel point que les différencier devient difficile. Si la réalité virtuelle évolue au rythme des progrès technologiques, la réalité augmentée, passage du virtuel vers le réel, n'en est qu'à ses débuts. Le but de cette thèse est d'assurer la transition entre le monde virtuel et réel grâce à un système procam (projecteur caméra) pour améliorer l'apparence visuelle d'un objet. La position de l'objet est estimée en projetant une mire codée pour déterminer des points de correspondance entre les caméras et le projecteur sur un objet sans texture (les détecteurs classiques de points d'intérêt sont inefficaces sur de tels objets). Nous combinons l'étalonnage du système et ces points pour estimer la position 3D de l'objet, et ensuite le recalons avec un modèle de points plus fin, issu d'un scanner ou d'un modèle de CAO. La synthèse de vue est réalisée et l'image synthétisée est projetée sur l'objet. De tels outils permettent de générer des textures virtuelles, temporaires (il suffit d'éteindre le projecteur pour enlever la texture de l'objet), qui peuvent décrire l'usure de la texture ou l'objet sous son apparence d'origine.

Die Technik der Erweiterten Realität (ER) kann dazu eingesetzt werden, künstliche und natürliche Sinneseindrücke zu einer konsistenten Gesamtwahrnehmung zu verschmelzen. Dabei soll der Nutzer den Eindruck haben, dass die physikalische Welt mit virtuellen Objekten zu einer erweiterten Welt ergänzt wurde. In dieser Erweiterten Welt kann der Nutzer sinnvoll mit den wahrgenommenen Objekten interagieren. In dieser Arbeit wird eine Methode vorgeschlagen, mit der durch den Einsatz der ER-Technik virtuelle Skizzen direkt in die physikalische Welt gezeichnet werden können. Hierzu wird in dieser Abhandlung der Begriff ” dreidimensionale Skizze“ verwendet. Die skizzierte Information soll aber nicht nur zweidimensional, sondern auch dreidimensional repräsentiert werden und somit aus verschiedenen Perspektiven darstellbar sein. Damit man das Objekt aus verschiedenen Perspektiven betrachten kann, braucht man eine dreidimensionale Repräsentation des Objektes. Es handelt sich also nicht um eine zweidimensionale räumliche Skizze eines dreidimensionalen Objektes, sondern um eine dreidimensional repräsentierte Skizze eines räumlichen Objektes. Ein Anwendungsbereich für dreidimensionale Skizzen ist die Erfassung von Lageinformation nach Katastrophen. Die dreidimensionale Skizze soll die zweidimensionale Zeichnung als Lagekarte bzw. Lageskizze ergänzen. Mit Hilfe von Kartenmaterial lassen sich eingesetzte Kräfte, Infrastruktur, gefährdete Objekte, Gefahrenentwicklung, Schäden und Sonstiges in Beziehung bringen. Die bisherigen Verfahren zur Generierung von Skizzen in einer ER-Umgebung sind nicht für den Einsatz beim Katastrophenmanagement geeignet. Es wird deshalb eine neue Methode vorgestellt, mit der Geometrien in die physikalische Welt skizziert werden können und damit während des Einsatzes vor Ort Lageskizzen angefertigt werden können. Es wird gezeigt, wie diese dreidimensionalen Daten mit anderen Informationen in ein Gesamtkonzept zum Wissensmanagement bei Katastrophen integriert werden können. Ein ER-System für ausgedehnte Einsatzgebiete benötigt Sensoren, die für den gesamten Einsatzbereich Position und Orientierung liefern. Für diese Arbeit wird die Position durch ein GPS erfasst und die Orientierung mit einem Inertialnavigationssystem (INS) bestimmt. Die Verschmelzung der Bilder von physikalischer und virtueller Welt erfolgt mithilfe einer Durchsichtdatenbrille oder mithilfe von Bildern einer Videokamera, die mit computergenerierten Bildern überlagert werden. Neben dem mathematischen Modell ist es notwendig die stochastischen Eigenschaften der Komponenten zu kennen. Zur Bestimmung der Genauigkeit des INS wurde eine Methode entwickelt, die das Fehlerverhalten des INS abschätzen kann, ohne dass zusätzliche Geräte zur Bestimmung notwendig sind. Zur Abschätzung der Fehler wird ausgenutzt, dass sich der Sensor um eine feste Achse drehen muss, wenn er auf einer ebenen Oberfläche aufgesetzt und gedreht wird.Die Herausforderung der Kalibrierung der verwendeten Konfiguration besteht darin, dass das mathematische Modell durch nicht-lineare Gleichungssysteme beschrieben wird, die nicht in einem Schritt lösbar sind. Das Gleichungssystem des mathematischen Modells ist eine Erweiterung des Gleichungssystems einer Bündelblockausgleichung. Die Bündelblockausgleichung ist für den Fall der perspektiven Abbildung ein nicht-lineares Gleichungssystem. Da die Konvergenz von Lösungsverfahren für dieses Gleichungssystem von verschiedenen Faktoren abhängen, wie z. B. der Zahl der Unbekannten, der Konfiguration der Aufnahmen, der Wahl der Näherungswerte, werden in der Literatur mehrere verschiedene Lösungsstrategien für die Bündelblockausgleichung vorgeschlagen. Die in dieser Arbeit beschriebene Methode nutzt aus, dass die Konvergenz von der Struktur des mathematischen Modells abhängt. Zur Beschreibung von Strukturübergängen von einem mathematischen Modell in ein anderes wird eine neue Notation vorgeschlagen, die geeignet ist den gesamten Kalibriervorgang formal vollständig darzustellen. Es werden für alle Teilschritte und geschätzten Parameter die erreichbaren Genauigkeiten, die empirisch ermittelt wurden, angegeben. Damit das Gezeichnete in der bewegten Anzeige sichtbar gemacht werden kann, müssen die gemessenen Bildpunkte ständig der Bewegung nachgeführt und in neue Anzeigekoordinatensysteme transformiert werden. Gäbe es für die gemessenen Bildpunkte dreidimensionale Objektkoordinaten, dann wäre die Transformation leicht zu berechnen. Doch anfangs verfügt man lediglich über zweidimensionale Bildkoordinaten. In der Literatur findet man für diese Problemstellung keine Lösungen. Für diese Arbeit wurde deshalb eine Näherungsmethode entwickelt, mit der die Bildpunkte des gezeichneten Gesamtbildes der Bewegung des Benutzers nachgeführt werden können, ohne dass dreidimensionale Koordinaten bekannt sind. Zur Berechnung der dreidimensionalen Koordinaten des Gezeichneten muss die Skizze aus mehreren Perspektiven gezeichnet werden. Im Gegensatz zu vorhandenen Ansätzen können mit der Methode dieser Arbeit polygonale Skizzenelemente berührungsfrei aus der Distanz konstruiert werden. Beim Konstruieren von dreidimensionalen Skizzen werden Polygone im Objektraum beobachtet. Die gemessenen Punkte, die die Polygone beschreiben, liegen nicht mehr in einer Bildebene, da sich der Betrachter während des Skizzierens frei im Raum bewegen können soll. Von mindestens zwei verschiedenen Orten aus zeichnet man mit der Maus Polygonpunkte in die Anzeige. Jede im Bildraum abgetastete Kurve beschreibt eine andere räumliche Kurve im Objektraum. Dabei entsteht ein erster Fehler bei der Diskretisierung der Raumkurve durch die Wahl bestimmter Stützpunkte, die diese Kurve repräsentieren. Eine weitere Art von Fehlern entsteht durch fehlerbehaftete Sensormessungen und Fehler in den Bildpunktkoordinaten. Darüber hinaus wird jedoch ein weit größerer Fehler dadurch verursacht, dass der Zeichner sich nicht mehr genau an die Punkte erinnert, entlang derer er die Kurve skizziert hat, da kein Polygon, das in den physikalischen Raum gezeichnet wird, sich auf den gleichen physikalischen Ort bezieht. Es entstehen also mindestens zwei Bündel von Strahlen und jedes Strahlenbündel beschreibt eine Fläche, auf der eine Vielzahl von Polygonen liegen kann. Durch Minimierung von Polygondistanzen wird der Verlauf der beobachteten Polygone im physikalischen Raum festgelegt. Die vorgeschlagenen Verfahren werden an verschiedenen Beispielen geprüft. Die Ergebnisse der Tests werden diskutiert. Abschließend wird der weitere Entwicklungsbedarf aufgezeigt.

La réalité augmentée consiste en l'insertion d'éléments virtuels dans une scène réelle, observée à travers un écran. Les systèmes de réalité augmentée peuvent prendre des formes différentes pour obtenir l'équilibre désiré entre trois critères : précision, latence et robustesse. On identifie trois composants principaux : localisation, reconstruction et affichage. Nous nous concentrons sur l'affichage et la reconstruction. Pour certaines applications, l'utilisateur ne peut être isolé de la réalité. Nous proposons un système sous forme de "tablette augmentée" avec un écran semi transparent, au prix d'un étalonnage adapté. Pour assurer l'alignement entre augmentations et réalité, il faut connaître les poses relatives de l'utilisateur et de la scène observée par rapport à l'écran. Deux dispositifs de localisation sont nécessaires et l'étalonnage consiste à calculer la pose de ces dispositifs par rapport à l'écran. Le protocole d'étalonnage est le suivant : l'utilisateur renseigne les projections apparentes dans l'écran de points de référence d'un objet 3D connu ; les poses recherchées minimisent la distance 2D entre ces projections et celles calculées par le système. Ce problème est non convexe et difficile à optimiser. Pour obtenir une estimation initiale, nous développons une méthode directe par l'étalonnage intrinsèque et extrinsèque de caméras virtuelles. Ces dernières sont définies par leurs centres optiques, confondus avec les positions de l'utilisateur, ainsi que leur plan focal, constitué par l'écran. Les projections saisies par l'utilisateur constituent alors les observations 2D des points de référence dans ces caméras virtuelles. Un raisonnement symétrique permet de considérer des caméras virtuelles centrées sur les points de référence de l'objet, "observant" les positions de l'utilisateur. Ces estimations initiales sont ensuite raffinées par ajustement de faisceaux. La reconstruction 3D est basée sur la triangulation de correspondances entre images. Ces correspondances peuvent être éparses lorsqu'elles sont établies par détection, description et association de primitives géométriques ou denses lorsqu'elles sont établies par minimisation d'une fonction de coût sur toute l'image. Un champ dense de correspondance est préférable car il permet une reconstruction de surface, utile notamment pour une gestion réaliste des occultations en réalité augmentée. Les méthodes d'estimation d'un tel champ sont basées sur une optimisation variationnelle, précise mais sensible aux minimums locaux et limitée à des images peu différentes. A l'opposé, l'emploi de descripteurs discriminants peut rendre les correspondances éparses très robustes. Nous proposons de combiner les avantages des deux approches par l'intégration d'un coût basé sur des correspondances éparses de primitives à une méthode d'estimation variationnelle dense. Cela permet d'empêcher l'optimisation de tomber dans un minimum local sans dégrader la précision. Notre terme basé correspondances éparses est adapté aux primitives à coordonnées non entières, et peut exploiter des correspondances de points ou de segments tout en filtrant implicitement les correspondances erronées. Nous proposons aussi une détection et gestion complète des occultations pour pouvoir mettre en correspondance des images éloignées. Nous avons adapté et généralisé une méthode locale de détection des auto-occultations. Notre méthode produit des résultats compétitifs avec l'état de l'art, tout en étant plus simple et plus rapide, pour les applications de flot optique 2D et de stéréo à large parallaxe. Nos contributions permettent d'appliquer les méthodes variationnelles à de nouvelles applications sans dégrader leur performance. Le faible couplage des modules permet une grande flexibilité et généricité. Cela nous permet de transposer notre méthode pour le recalage de surfaces déformables avec des résultats surpassant l'état de l'art, ouvrant de nouvelles perspectives
Augmented reality is the process of inserting virtual elements into a real scene, observed through a screen. Augmented Reality systems can take different forms to get the desired balance between three criteria: accuracy, latency and robustness. Three main components can be identified: localization, reconstruction and display. The contributions of this thesis are focused on display and reconstruction. Most augmented reality systems use non-transparent screens as they are widely available. However, for critical applications such as surgery or driving assistance, the user cannot be ever isolated from reality. We answer this problem by proposing a new “augmented tablet” system with a semi-transparent screen. Such a system needs a suitable calibration scheme:to correctly align the displayed augmentations and reality, one need to know at every moment the poses of the user and the observed scene with regard to the screen. Two tracking devices (user and scene) are thus necessary, and the system calibration aims to compute the pose of those devices with regard to the screen. The calibration process set up in this thesis is as follows: the user indicates the apparent projections in the screen of reference points from a known 3D object ; then the poses to estimate should minimize the 2D on-screen distance between those projections and the ones computed by the system. This is a non-convex problem difficult to solve without a sane initialization. We develop a direct estimation method by computing the extrinsic parameters of virtual cameras. Those are defined by their optical centers which coincide with user positions, and their common focal plane consisting of the screen plane. The user-entered projections are then the 2D observations of the reference points in those virtual cameras. A symmetrical thinking allows one to define virtual cameras centered on the reference points, and “looking at” the user positions. Those initial estimations can then be refined with a bundle adjustment. Meanwhile, 3D reconstruction is based on the triangulation of matches between images. Those matches can be sparse when computed by detection and description of image features or dense when computed through the minimization of a cost function of the whole image. A dense correspondence field is better because it makes it possible to reconstruct a 3D surface, useful especially for realistic handling of occlusions for augmented reality. However, such a field is usually estimated thanks to variational methods, minimizing a convex cost function using local information. Those methods are accurate but subject to local minima, thus limited to small deformations. In contrast, sparse matches can be made very robust by using adequately discriminative descriptors. We propose to combine the advantages of those two approaches by adding a feature-based term into a dense variational method. It helps prevent the optimization from falling into local minima without degrading the end accuracy. Our feature-based term is suited to feature with non-integer coordinates and can handle point or line segment matches while implicitly filtering false matches. We also introduce comprehensive handling of occlusions so as to support large deformations. In particular, we have adapted and generalized a local method for detecting selfocclusions. Results on 2D optical flow and wide-baseline stereo disparity estimation are competitive with the state of the art, with a simpler and most of the time faster method. This proves that our contributions enables new applications of variational methods without degrading their accuracy. Moreover, the weak coupling between the components allows great flexibility and genericness. This is the reason we were able to also transpose the proposed method to the problem of non-rigid surface registration and outperforms the state of the art methods

Les travaux réalisés au cours de cette thèse s'inscrivent dans la problématique de localisation en temps réel d'une caméra par vision monoculaire. Dans la littérature, il existe différentes méthodes qui peuvent être classées en trois catégories. La première catégorie de méthodes considère une caméra évoluant dans un environnement complètement inconnu (SLAM). Cette méthode réalise une reconstruction enligne de primitives observées dans des images d'une séquence vidéo et utilise cette reconstruction pour localiser la caméra. Les deux autres permettent une localisation par rapport à un objet 3D de la scène en s'appuyant sur la connaissance, a priori, d'un modèle de cet objet (suivi basé modèle). L'une utilise uniquement l'information du modèle 3D de l'objet pour localiser la caméra, l'autre peut être considérée comme l'intermédiaire entre le SLAM et le suivi basé modèle. Cette dernière méthode consiste à localiser une caméra par rapport à un objet en utilisant, d'une part, le modèle de ce dernier et d'autre part, une reconstruction en ligne des primitives de l'objet d'intérêt. Cette reconstruction peut être assimilée à une mise à jour du modèle initial (suivi basé modèle avec mise à jour). Chacune de ces méthodes possède des avantages et des inconvénients. Dans le cadre de ces travaux de thèse, nous proposons une solution unifiant l'ensemble de ces méthodes de localisation dans un unique cadre désigné sous le terme de SLAM contraint. Cette solution, qui unifie ces différentes méthodes, permet de tirer profit de leurs avantages tout en limitant leurs inconvénients respectifs. En particulier, nous considérons que la caméra évolue dans un environnement partiellement connu, c'est-à-dire pour lequel un modèle (géométrique ou photométrique) 3D d'un objet statique de la scène est disponible. L'objectif est alors d'estimer de manière précise la pose de la caméra par rapport à cet objet 3D. L'information absolue issue du modèle 3D de l'objet d'intérêt est utilisée pour améliorer la localisation de type SLAM en incluant cette information additionnelle directement dans le processus d'ajustement de faisceaux. Afin de pouvoir gérer un large panel d'objets 3D et de scènes, plusieurs types de contraintes sont proposées dans ce mémoire. Ces différentes contraintes sont regroupées en deux approches. La première permet d'unifier les méthodes SLAM et de suivi basé modèle, en contraignant le déplacement de la caméra via la projection de primitives existantes extraites du modèle 3D dans les images. La seconde unifie les méthodes SLAM et de suivi basé modèle avec mise à jour en contraignant les primitives reconstruites par le SLAM à appartenir à la surface du modèle (unification SLAM et mise à jour du modèle). Les avantages de ces différents ajustements de faisceaux contraints, en terme de précision, de stabilité de recalage et de robustesse aux occultations, sont démontrés sur un grand nombre de données de synthèse et de données réelles. Des applications temps réel de réalité augmentée sont également présentées sur différents types d'objets 3D. Ces travaux ont fait l'objet de 4 publications internationales, de 2 publications nationales et d'un dépôt de brevet.

Cette thèse s'intéresse à la plasticité des interfaces de Réalité Mixte (RM), c'est-à-dire les applications de Réalité Virtuelle (RV), Réalité Augmentée (RA) et de Virtualité Augmentée (AV). Il y a un réel engouement aujourd’hui pour ce type d’applications notamment grâce à la démocratisation des périphériques tels les lunettes et casques immersifs, les caméras de profondeur et les capteurs de mouvement. La Réalité Mixte trouve notamment ses usages dans le divertissement, la visualisation de données, la formation et la conception en ingénierie. La plasticité d'un système interactif est sa capacité à s'adapter aux contraintes matérielles et environnementales dans le respect de son utilisabilité. La continuité de l'utilisabilité d'une interface plastique est assurée quel que soit le contexte d'usage. Nous proposons ainsi des modèles et une solution logicielle nommée 3DPlasticToolkit afin de permettre aux développeurs de créer des interfaces de Réalité Mixtes plastiques. Tout d'abord, nous proposons trois modèles pour modéliser les sources d'adaptation : un modèle pour représenter les dispositifs d'interaction et les dispositifs d'affichage, un modèle pour représenter les utilisateurs et leurs préférences et un modèle pour représenter la structure et la sémantique des données. Ces sources d'adaptation vont être prises en compte par un processus d'adaptation qui va déployer dans une application les composants applicatifs adaptés au contexte d'usage grâce à des mécanismes de notation. Le déploiement de ces composants va permettre d'adapter à la fois les techniques d'interaction de l'application et également la présentation de son contenu. Nous proposons également un processus de redistribution qui va permettre à l'utilisateur final de changer la distribution des composants de son système sur différentes dimensions : affichage, utilisateur et plateforme. Ce processus va ainsi permettre à l'utilisateur de changer de plateforme dynamiquement ou encore de combiner plusieurs plateformes. L'implémentation de ces modèles dans 3DPlasticToolkit permet de fournir aux développeurs une solution prête à l'usage qui peut gérer les périphériques actuels de Réalité Mixte et qui inclut un certain nombre de techniques d'interaction, d'effets visuels et de métaphores de visualisation de données
This PhD thesis focuses on plasticity for Mixed Reality (MR) User interfaces, which includes Virtual Reality (VR), Augmented Reality (AR) and Augmented Virtuality (AV) applications. Today, there is a growing interest for this kind of applications thanks to the generalization of devices such as Head Mounted Displays, Depth sensors and tracking systems. Mixed Reality application can be used in a wide variety of domains such as entertainment, data visualization, education and training, and engineering. Plasticity refers to the capacity of an interactive system to withstand variations of both the system physical characteristics and the environment while preserving its usability. Usability continuity of a plastic interface is ensured whatever the context of use. Therefore, we propose a set of software models, integrated in a software solution named 3DPlasticToolkit, which allow any developer to create plastic MR user interfaces. First, we propose three models for modeling adaptation sources: a model for the description of display devices and interaction devices, a model for the description of the users and their preferences, a model for the description of data structure and semantic. These adaptation sources are taken into account by an adaptation process that deploys application components adapted to the context of use thanks to a scoring system. The deployment of these application components lets the system adapt the interaction techniques of the application of its content presentation. We also propose a redistribution process that allows the end-user to change the distribution of his/her application components across multiple dimensions: display, user and platform. Thus, it allows the end-user to switch dynamically of platform or to combine multiple platforms. The implementation of these models in 3DPlasticToolkit provides developers with a ready to use solution for the development of plastic MR user interfaces. Indeed, the solution already integrates different display devices and interaction devices and also includes multiple interaction techniques, visual effects and data visualization metaphors

L’utilisation de systèmes d’imagerie à rayons X lors de chirurgies mini-invasives expose patients et staff médical à des radiations ionisantes. Même si les doses absorbées peuvent être faibles, l’exposition chronique peut causer des effets nocifs (e.g. cancer). Dans cette thèse, nous proposons des nouvelles méthodes pour améliorer la sécurité vis-à-vis des radiations ionisantes en salle opératoire hybride dans deux directions complémentaires. Premièrement, nous présentons des approches pour rendre les cliniciens plus conscients des irradiations grâce à des visualisations par réalité augmentée. Deuxièmement, nous proposons une méthode d'optimisation pour suggérer une pose de l’imageur réduisant la dose au personnel et patient, tout en conservant la qualité de l’image. Pour rendre ces applications possibles, des nouvelles approches pour la perception de la salle grâce à des caméras RGBD et pour la simulation en temps-réel de la propagation et doses de radiation ont aussi été proposées
The use of X-ray imaging technologies during minimally-invasive procedures exposes both patients and medical staff to ionizing radiation. Even if the dose absorbed during a single procedure can be low, long-term exposure can lead to noxious effects (e.g. cancer). In this thesis, we therefore propose methods to improve the overall radiation safety in the hybrid operating room by acting in two complementary directions. First, we propose approaches to make clinicians more aware of exposure by providing in-situ visual feedback of the ongoing radiation dose by means of augmented reality. Second, we propose to act on the X-ray device positioning with an optimization approach for recommending an angulation reducing the dose deposited to both patient and staff, while maintaining the clinical quality of the outcome image. Both applications rely on approaches proposed to perceive the room using RGBD cameras and to simulate in real-time the propagation of radiation and the deposited dose

La détection rapide de bactéries est un enjeu majeur dans différentes domaines que ce soit l’agroalimentaire, la santé ou le secteur militaire dans sa lutte contre le bioterrorisme. Les biopuces sont des outils d’analyse prometteurs pour remplacer les méthodes classiques de détection qui sont longues et coûteuses. Dans cette thèse, nous avons développé des biopuces à base de silicium amorphe hydrogéné pour le greffage covalent de sondes (anticorps ou sucres) qui interagissent spécifiquement avec les bactéries, et l’identification spectroscopique des bactéries détectées par spectroscopie Raman exaltée de surface (SERS). Dans une première approche, la production de substrats SERS stables à base de couches minces métalliques est décrite. L’étude de la réponse SERS de bactéries déposées sur ces substrats a démontré la discrimination aisée de trois différentes souches de la même bactérie, résultat confirmé par l’analyse de composante principale (PCA). Dans une seconde approche, l’effet SERS a été obtenu en utilisant des nanoparticules métalliques en solution et la meilleure réponse a été obtenue en utilisant des nanobâtonnets d’or chargés positivement. En parallèle, l’optimisation du greffage des sondes sur la surface de silicium amorphe hydrogéné et du blocage pour limiter l’adhésion non-spécifique de bactéries a été réalisée. En utilisant une cellule fluidique, la détection de bactéries a été suivie in situ et leur identification SERS a été effectuée après contact avec nanobâtonnets d’or. Une limite de détection de 10 cfu/mL a été obtenue en moins de 3 h
Rapid detection of bacterial pathogens is an important challenge nowadays in multiple fields like in food industry, health and military biodefense. Biosensors are promising candidates for replacing time consuming and expensive classical tools. In this work, we developed biosensors based on hydrogenated amorphous silicon layer for the covalent grafting of probes (antibodies or sugars) interacting specifically with bacteria, and noble metal nanoparticles for spectroscopic identification of trapped bacteria by surface enhanced Raman spectroscopy (SERS). In a first approach, the production of stable and cost-effective SERS-active substrates based on metallic thin films was proposed for the study of various bacteria. Different SERS fingerprints of three different strains of the same bacteria were obtained allowing their discrimination, result confirmed by principal component analysis (PCA). In a second approach, SERS study of bacteria was performed using nanoparticles colloids, positively charged gold nanorods showing the best reproducibility. In parallel, the optimization of probes grafting on the amorphous silicon surface and of the blocking step for minimization of non-specific adhesion of bacteria were performed. Finally, tests with the entire architecture of the biosensor were performed and by using a fluidic cell the attachment of bacteria was monitored in situ. After contact with gold nanorods the specific identification of bacteria by SERS was possible. Using this strategy limits of detection up to 10 cfu/mL were achieved in a total time of detection of 3 h

Dans la plupart des systèmes de communications sans fils, les turbos codes sont très puissants et particulièrement utiles pour la transmission sur les canaux à puissances limitées. Ce code correcteur d'erreur est très efficace pour vaincre les distorsions de transmissions. Les travaux de cette thèse consistent à intégrer le domaine du codage canal, et précisément le turbo code, au tatouage des images médicales. En effet, l'approche de tatouage d'image consiste à insérer un message dans l'image et à essayer de retrouver ce message avec le maximum de fidélité possible. Le message à insérer sera codé par le turbo code avant insertion dans l'image. Ceci a pour but de minimiser les erreurs sur le message inséré dans les images après leurs transmissions à travers les réseaux. Le premier but de cette thèse est d'élaborer de nouveaux schémas de tatouage, basés sur le turbo code, robustes contre les attaques les plus usuelles: les bruits, la compression JPEG le filtrage des images et les transformations géométriques comme le cropping. Dans ce premier but, le message inséré est considéré, comme une signature binaire qui identifie le propriétaire de l'image. Le deuxième but de la thèse est d'appliquer à la télémédecine les nouveaux schémas élaborés et ceci dans le cadre du projet PocketNeuro. Le message à insérer dans les images dans ce cas est considéré comme une information médicale relative au patient. Cette information sera codée par le turbo code puis insérée dans les images des diagnostics des patients. Deux mécanismes importants de notre contribution, la prise en charge de la confidentialité des informations médicales transmises entre les différents participants et la réalisation de l'adaptation des images aux terminaux
For the most communicating systems, the turbo code is used for the transmission in the power limited canal. This Error Correcting Code (ECC) is very efficient against distortions on the network transmissions. The main goal of this Ph. D work is to integrate the canal coding field or more precisely the turbo code in medical image watermarking. The image watermarking approach consists in embedding a message in image, and we will try to extract it with the maximum of possible fidelity. The message embedded will be coded with the turbo code before embedding it in image. This is for the aim to decrease errors in the message embedded after image transmission on networks. First we elaborate a new watermarking scheme, based on turbo code; robust against the most usually attacks on images: noises, JPEG compression image filtering and geometric transformations like the cropping. In this case, the message embedded is a binary mark that identify image own. Secondly we use these new schemes on telemedicine and more precisely on the PocketNeuro project. In this case, the message embedded into image is medical information about patient. This information will be coded with turbo code, and after that it will be embedded into patient diagnosis image. Two important studies on the PocketNeuro contribution, the confidentiality of the medical information transmitted between the different participants, and the image adaptation at the terminals

Les techniques de description des éléments caractéristiques d'une image sont omniprésentes dans de nombreuses applications de vision par ordinateur. Nous proposons à travers ce manuscrit une extension, pour décrire (représenter) et apparier les éléments caractéristiques des images. L'extension proposée consiste en une approche originale pour apprendre, ou estimer, la présence sémantique des éléments caractéristiques locaux dans les images. L'information sémantique obtenue est ensuite exploitée, en conjonction avec le paradigme de sac-de-mots, pour construire un descripteur d'image performant. Le descripteur résultant, est la combinaison de deux types d'informations, locale et contextuelle-sémantique. L'approche proposée peut être généralisée et adaptée à n'importe quel descripteur local d'image, pour améliorer fortement ses performances spécialement quand l'image est soumise à des conditions d'imagerie contraintes. La performance de l'approche proposée est évaluée avec des images réelles aussi bien dans les deux domaines, 2D que 3D. Nous avons abordé dans le domaine 2D, un problème lié à l'appariement des éléments caractéristiques dans des images. Dans le domaine 3D, nous avons résolu les problèmes d'appariement et alignement des vues partielles tridimensionnelles. Les résultats obtenus ont montré qu'avec notre approche, les performances sont nettement meilleures par rapport aux autres méthodes existantes.

Dans une première partie, nous proposons une méthodologie innovante pour la comparaison d'images en ingénierie de réservoir. L'objectif est de pouvoir comparer des cubes sismiques obtenus par simulation avec ceux observés sur un champ pétrolier, dans le but de construire un modèle représentatif de la réalité. Nous développons une formulation fondée sur du filtrage, de la classification statistique et de la segmentation d'images. Ses performances sont mises en avant sur des cas réalistes. Dans une seconde partie, nous nous intéressons aux méthodes de recalage d'images utilisées en imagerie médicale pour mettre en correspondance des images. Nous introduisons deux nouveaux modèles de recalage fondés sur l'élasticité non linéaire, où les formes sont appréhendées comme des matériaux de type Saint Venant-Kirchhoff et Ciarlet-Geymonat. Nous justifions théoriquement l'existence de solutions ainsi que la résolution numérique. Le potentiel de ces méthodes est illustré sur des images médicales.

Dans cette thèse, nous décrivons sommairement les techniques utilisées qui sont l’imagerie parrésonance plasmon de surface (SPRi) et la diffusion Raman exaltée de surface (SERS). Le butprincipal du projet Piranex dans lequel la thèse s’inscrit consiste au développement d’une biopucenanostructurée bimodale permettant le couplage des deux techniques SPRi et SERS. Cettebiopuce est constituée d’un film d’or par-dessus lequel nous avons déposé un réseau carré denanocylindres en or. Un ensemble d’études ont été effectuées pour caractériser ses propriétésplasmoniques du biocapteur afin d’en optimiser le signal SERS. Nous avons ainsi constaté quel’émission du signal était fortement anisotrope, dus à l’excitation du Mode de Bragg et que lechamp proche était principalement exalté sur les bords de la nanostructure. Les propriétés furentégalement comparées avec celles de réseaux identiques déposés directement sur un substrat diélectrique.Par la suite un ensemble d’études plasmoniques et SERS ont été effectuées pourl’aluminium, autre matériaux plasmonique d’intérêt. Enfin, un protocole de détection par SERSde l’ochratoxine basé sur un aptamère fut développé et a permis la détection de l’ochratoxine dès10 pM, bien en dessous de la limite autorisée par les organismes de régulation en agroalimentaire
In this thesis, we briefly describe the techniques used, which are surface plasmon resonanceimaging (SPRi) and surface enhanced Raman scattering (SERS). The main goal of the Piranexproject in which the thesis is based is the development of a bimodal nanostructured biochipallowing the coupling of the two techniques SPRi and SERS. This bio-chip consists of a goldfilm over which we have deposited a square array of gold nanocylinders. A set of studies hasbeen carried out to characterize plasmonic properties of the biosensor in order to optimize theSERS signal. We have thus found that the emission of the signal was strongly anisotropic, due tothe excitation of the Bragg Mode and that the near field was mainly enhanced on the edges of thenanostructure. The properties were also compared with those of identical gratings depositeddirectly on a dielectric substrate. Subsequently a set of plasmonic and SERS studies were carriedout for aluminum, other plasmonic materials of interest. Finally, a detection protocol by SERS ofochratoxin based on an aptamer was developed and allowed the detection of ochratoxin with adetection threshold of 10 pM, well below the limit allowed by food regulatory agencies

L’imagerie par spectrométrie de masse (IMS) est une technique en pleine expansion et utilisée dans beaucoup d’études effectuées sur des systèmes biologiques tels que la corrélation entre l’expression moléculaire et l’état de santé d’un tissu et pour étudier la biologie du développement. Cependant, plus particulièrement lors de l’analyse de protéines, seulement les molécules les plus abondantes et/ou les plus facilement ionisables seront détectées. L’une des approches utilisées pour éviter cette limitation est de transférer les protéines de manière sélective à partir d’une section tissulaire mince vers une surface fonctionnalisée tout en maintenant leur organisation spatiale. Dans ce cas, seulement les protéines possédant une affinité pour la surface seront alors retenues alors que les autres seront éliminées. Donc, la nature chimique de cette surface est critique. Les travaux de recherches présentés dans ce mémoire portent sur le développement d’une méthode de transfert des protéines d’une section tissulaire vers une surface composée de nitrocellulose. Cette méthode utilise un système permettant d’effectuer le transfert sans contact physique direct entre les surfaces. De plus, lors du transfert, une pression physique est appliquée. Dans une première approche, la méthode développée a été appliquée en utilisant une section de rein de souris comme échantillon modèle. Des sections sérielles ont été collectées, soit pour être colorées à l’aide d’hématoxyline et d’éosine (H&E) afin de démontrer la régiospécificité du transfert, soit pour être analysées directement par IMS afin de déterminer si les protéines détectées après transfert sont également détecter dans les sections analysées directement. Les résultats obtenus ont démontré qu’un sous-ensemble de protéines a été transféré tout en conservant leur position spatiale initiale dans les sections. Certains signaux observés pour les protéines transférées sont uniques et/ou sont nettement mieux détectés que lors de l’analyse directe d’une section.
Imaging mass spectrometry (IMS) is a technique in full expansion that is used in a large range of studies such as the correlation between molecular expression and the health status of a tissue and developmental biology. A common limitation of the technology is that only the more abundant and/or more easily ionisable molecules are usually detected, in particular in protein analysis. One of the methods used to alleviate this limitation is the direct specific transfer of proteins from a tissue section to a functionalized surface with high spatial fidelity. In this case, only proteins with an affinity for the surface will be retained whereas others will be removed. The chemical nature of the surface is therefore critical. The research work presented in this document proposes a high spatial fidelity transfer method for proteins from a tissue section onto a nitrocellulose surface. The method uses a homebuilt apparatus that allows the transfer process to be done without any direct physical contact between the tissue section and the transfer surface while still using physical pressure to help protein migration. In subsequent work, the developed method was used to transfer proteins from a mouse kidney section onto the nitrocellulose surface. Serials sections were also collected either to be colored with hematoxylin and eosin (H&E) to assess the high spatial fidelity of the transfer process, or to be directly analyzed as a control sample to access the different signals detected after transfer. Results showed a high spatial fidelity transfer of a subset of proteins. Some of the detected transferred proteins were not observed after direct tissue analysis and/or showed an increase in sensitivity.

Text in English, with abstracts and keywords in English, Zulu and Xhosa
Link to the dataset (catalogue): https://doi.org/10.25399/UnisaData.14101913.v1
Digital image editing is rooted in the analog practices of photographic retouching from the late nineteenth century. This study interrogated how novel contributions of new media practice can inform understanding of the relationship between digital and analog media. The study also sought to explore new conceptual avenues in the creation of digital art that incorporates key aspects of both new and traditional media. This study employed a literature review of selected discourses related to new media studies. Specifically, the work of scholars Lev Manovich, Jay David Bolter, Richard Grusin, and Filipe Pais on the interplay between traditional and new media formed the cornerstone of the analysis. These discourses contextualise an analysis of several contemporary case studies of digital artists, with a particular focus on John Craig Freeman and the Oddviz collective. These works were selected for the way in which they destabilise conventional notions of digital photography in new media and the way digital content can be ‘displaced’ into a physical space. From this analysis several concepts arise that serve as distinguishing markers for media displacement. These themes include embodiment, memory, identity formation, autotopography, and intermediality. The dissertation concludes with an overview of my work that incorporates the concepts derived from my analysis of the case studies. It discusses how my exhibition Digital Tourist, a mixed media installation, makes use of photogrammetry and AR to displace the private connections of an individual life into the public space of the gallery.
Ukuhlelwa kwezithombe zezindaba zedijithali kususelwe emikhubeni ye-analokhu yokuthwebula kabusha izithombe kusukela ngasekupheleni kwekhulu leshumi nesishiyagalolunye leminyaka.. Lolu cwaningo luphenye ukuthi iminikelo yenoveli emisha yokwenziwa kwezezindaba ezintsha zingakwazisa kanjani ukuqonda kobudlelwano phakathi kwezindaba zedijithali ne-analokhu. Ucwaningo luphinde lwafuna ukubheka izindlela ezintsha zomqondo ekwakhiweni kobuciko bedijithali obufaka izinndaba ezibalulekile kokubili kwezokuxhumana nezendabuko ezintsha. Izinkulumo ezikhethiwe ezihlobene nezifundo zezindaba ezintsha zibuyekeziwe. Ngokuqondile, umsebenzi wezazi uLev Manovich, Jay David Bolter, Richard Grusin noFilipe Pais ekusebenzisaneni phakathi kwabezindaba bendabuko nabasha kwakha okuzobhekwa ngqo uma kuhlaziywa. Lezi zinkulumo zigxila ekuhlaziyweni kwezifundo zamanje zamaciko edijithali, kugxilwe kakhulu kuJohn Craig Freeman kanye neqoqo le-Oddviz. Le misebenzi yakhethwa ngendlela yokuthi ingazinzisi imiqondo ejwayelekile yokuthwebula izithombe zedijithali emithonjeni emisha kanye nokuthi okuqukethwe kwedijithali "kungahanjiswa kanjani" endaweni ebonakalayo. Ukusuka kulokhu kuhlaziywa kuvela imiqondo eminingana esebenza njengezimpawu ezihlukanisayo zokufuduswa kwabezindaba. Lezi zingqikithi zifaka phakathi ukwakheka, inkumbulo, ukwakheka kobunikazi, ukuziphendulela kanye nokuzibandakanya. Idezetheyishini iphetha ngokubuka konke ngomsebenzi wami ohlanganisa imiqondo esuselwe ekuhlaziyweni kwami kwezifundo zocwaningo. Ingxoxo ihlanganisa ukuthi umbukiso wami we-Zivakashi zeDijithali, ukufakwa kwabezindaba okuxubile, isebenzisa uhlelo lokuthwebula olusebenzisa ulimi noma ifothogrametri ne-AR ukukhipha ukuxhumana kwangasese kwempilo yomuntu ngamunye endaweni yomphakathi yegalari.
Ukuhlela imifanekiso yedijithali yinkqubo eyendeleyo, nowaqalwa kwiminyaka yokugqibela yenkulungwane yeshumi elinethoba, kwimisebenzi yezifaniso/yeanalogu ekuhlaziyweni kweefoto. Esi sifundo siphonononga ukuba igalelo elikhethekileyo leendlela ezintsha zonxibelelwano lwemiboniso/imidiya lingenza njani ukuqinisa ukuqonda unxulumano phakathi kwemiboniso yedijithali neyeanalogu. Kwakhona, esi sifundo sizama ukuphanda iindlela ezintsha ezisetyenziswa kubugcisa bedijithali neziquka imiba ephambili yemiboniso yale mihla neyakudala. From this analysis several concepts arise that serve as distinguishing markers for media displacement. These themes include embodiment, memory, identity formation, autotopography and intermediality. Kuphononongwe iingxoxo ezithile ezimalunga nezifundo zemiboniso yale mihla. Kuqwalaselwe ngakumbi imisebenzi yeengcali ooLev Manovich, Jay David Bolter, Richard Grusin kunye noFilipe Pais malunga nonxulumano phakathi kwemiboniso yakudala neyale mihla njengesiseko solu hlalutyo. Ezi ngxoxo zifaka emxholweni uhlalutyo lwezifundo zokuzekelisa zale mihla malunga nabazobi bale mihla, kugxininiswa kwindibanisela ka John Craig Freeman nekaOddviz. Le misebenzi ikhethwe ngenxa yokuba iyazichitha iingcinga eziqhelekileyo malunga nokufota ngedijithali kwimiboniso yale mihla nangendlela iziqulatho zedijithali “zinokushenxiswa” zisiwe kwindawo ebambekayo. Olu hlalutyo luveze iingcinga eziliqela nezisebenza njengeempawu zoshenxiso lwemiboniso. Imixholo iquka imifuziselo, ukukhumbula, ukwenziwa kwesazisi, ukuzazisa ngezinto onazo, unxulumano phakathi kwemiboniso eyahlukeneyo Le ngxelo yophando igqibela ngokushwankathela umsebenzi wam ohlanganisa iingcinga ezivele ekuhlalutyeni kwam izifundo ezingumzekelo. Ingxoxo ibonisa ukuba umboniso wengqokelela yemisebenzi yam owaziwa ngokuba yiDigital Tourist, ubusebenzise njani ubuchwepheshe ekuthiwa yifotogrametri (obokufumana ulwazi ngokuhlalutya imifanekiso) ekushenxiseni unxulumano lwabucala lobomi bomntu ibubeke kwindawo ebonwa nguwonkewonke apho kubukwa imifanekiso neefoto (igalari).
https://doi.org/10.25399/UnisaData.14101913.v1
Arts and Music
M.A. (Visual Arts)