Tesis sobre el tema "Caméras de profondeur"

Alors qu’une caméra standard enregistre deux dimensions d’un champ lumineux, une caméra plénoptique est conçue pour capturer localement quatre de ses dimensions. La richesse des données issues de ce capteur ouvre alors la porte à de nombreuses applications : il est possible, par post-traitement, de synthétiser des images prises de différents points de vue virtuels, de faire une mise au point dans différents plans de la scène, ou encore de calculer des cartes de profondeur d’une scène à partir d’une seule acquisition et ainsi obtenir des reconstructions 3D de l’environnement. La capture passive d’une information de profondeur via un système optique compact rend également ce capteur attractif pour des applications en robotique. Cependant, l’estimation de profondeur à partir d’un tel capteur nécessite son étalonnage précis. Cette caméra est composée d’un nombre conséquent d’éléments, dont une matrice de micro-lentilles placée devant le capteur, et les données brutes sont complexes. Ainsi la plupart des travaux de l’état de l’art consistent à étalonner des modèles de projection simplifiés en exploitant des données interprétées, telles que des images synthétisées et les cartes de profondeur associées. Au cours de nos premiers travaux réalisés en collaboration avec le laboratoire TUM, nous alors avons proposé une méthode d’étalonnage à partir d’une mire 3D en exploitant des données interprétées. Nous avons par la suite proposé une nouvelle approche d’étalonnage basée sur les données brutes du capteur. Nous avons formalisé un modèle proche des caractéristiques physiques de la caméra et proposé une minimisation exprimée directement dans l’espace des données du capteur. Enfin, nous avons proposé une nouvelle méthode d’estimation de profondeur à échelle métrique utilisant le modèle de projection de la caméra. Cette approche directe utilise une minimisation de l’erreur entre le contenu de chaque micro-image et la reprojection de la texture des micro-images qui l’entourent. Les performances de nos algorithmes ont été évaluées à la fois sur un simulateur développé dans le cadre de cette thèse et sur des scènes réelles. Nous avons montré que l’étalonnage est robuste aux mauvaises initialisations du modèle et la précision des estimations de profondeur concurrence celle de l’état de l’art
Unlike a standard camera that records two dimensions of a light field, a plenoptic camera is designed to locally capture four of its dimensions. The richness of data from this sensor can be use for many applications : it is possible to post-process new points of view, to refocus on different scene’s planes, or to compute depth maps of a scene from a single acquisition and thus obtain 3D reconstructions of the environment. This passive sensor allows the capture of depth using a compact optical system, which makes it attractive for robotics applications. However, depth estimations from such a sensor requires its precise calibration. This camera is composed of a substantial number of elements, including a micro-lens array placed in front of the sensor, and its raw data is complex. Most of the state-of-the-art calibration approaches then consist in formulating simplified projection models and exploiting interpreted data such as synthesized images and associated depth maps. Hence, in our first contribution, carried out in collaboration with the TUM laboratory, we proposed a calibration method from a 3D test pattern using interpreted data. Then we proposed a new calibration approach based on raw data. We formalized a physical-based model of the camera and proposed a minimization expressed directly in the sensor data space to estimate its parameters. Finally, we proposed a new metric scaled depth estimation method using the camera projection model. This direct approach uses an error minimization between each micro-image content and the texture reprojection of the micro-images that surround it. Our algorithms performance was evaluated both on a simulator developed during this thesis and on real scenes. We have shown that the calibration is robust to bad model initialization and the depth estimation accuracy competes with the state-of-the-art

Avec l'apparition récente des caméras 3D, des perspectives nouvelles pour différentes applications de l'interprétation de scène se sont ouvertes. Cependant, ces caméras ont des limites qui affectent la précision de leurs mesures. En particulier pour les caméras Temps-de-Vol, deux types d'erreur peuvent être distingués : le bruit statistique de la caméra et la distorsion de la mesure de profondeur. Dans les travaux de la littérature des caméras Temps-de-Vol, le bruit est peu étudié et les modèles de distorsion de la mesure de profondeur sont généralement difficiles à mettre en œuvre et ne garantissent pas la précision requise pour certaines applications. L'objectif de cette thèse est donc d'étudier, modéliser et proposer un étalonnage précis et facile à mettre en œuvre de ces 2 types d'erreur des caméras Temps-de-Vol. Pour la modélisation du bruit comme pour la distorsion de la mesure de profondeur, deux solutions sont proposées présentant chacune une solution à un problème différent. La première vise à fournir un modèle précis alors que le second favorise la simplicité de la mise en œuvre. Ainsi, pour le bruit, alors que la majorité des modèles reposent uniquement sur l'information d'amplitude, nous proposons un premier modèle qui intègre aussi la position du pixel dans l'image. Pour encore une meilleure précision, nous proposons un modèle où l'amplitude est remplacée par la profondeur de l'objet et le temps d'intégration. S'agissant de la distorsion de la mesure de profondeur, nous proposons une première solution basée sur un modèle non-paramétrique garantissant une meilleure précision. Ensuite, pour fournir une solution plus facile à mettre en œuvre que la précédente et que celles de l'état de l'art, nous nous basons sur la connaissance à priori de la géométrie planaire de la scène observée
3D cameras open new possibilities in different fields such as 3D reconstruction, Augmented Reality and video-surveillance since they provide depth information at high frame-rates. However, they have limitations that affect the accuracy of their measures. In particular for TOF cameras, two types of error can be distinguished : the stochastic camera noise and the depth distortion. In state of the art of TOF cameras, the noise is not well studied and the depth distortion models are difficult to use and don't guarantee the accuracy required for some applications. The objective of this thesis is to study, to model and to propose a calibration method of these two errors of TOF cameras which is accurate and easy to set up. Both for the noise and for the depth distortion, two solutions are proposed. Each of them gives a solution for a different problem. The former aims to obtain an accurate model. The latter, promotes the simplicity of the set up. Thereby, for the noise, while the majority of the proposed models are only based on the amplitude information, we propose a first model which integrate also the pixel position in the image. For a better accuracy, we propose a second model where we replace the amplitude by the depth and the integration time. Regarding the depth distortion, we propose a first solution based on a non-parametric model which guarantee a better accuracy. Then, we use the prior knowledge of the planar geometry of the observed scene to provide a solution which is easier to use compared to the previous one and to those of the litterature

Ce manuscrit présente les différentes contributions scientifiques au cours de cette thèse, dans le but de résoudre le problème de la reconstruction 3D structure from motion (SfM) à travers la synthèse de modèles dynamiques et d'algorithmes d'observation pour la reconstruction de variables non mesurées. Il ne fait aucun doute que les capteursde vision sont la source la plus importante fournissant des informations riches surl'environnement et c'est là que l'estimation de la structure de la scène commence à trouver des usages professionnels. Il y a eu un intérêt significatif pour récupérerla structure 3D d'une scène à partir de pixels en 2D en considérant une séquence d'images. Plusieurs solutions à ce problème ont été proposées dans la littérature. L'objectif du problème classique de la « structure from mouvement (SfM) » est d'estimer les coordonnées euclidiennes des points caractéristiques suivis, attachés à un objet (c'est-à-dire la structure 3D) à condition que le mouvement relatif entre la caméra et l'objet soit connu. Il est largement traité dans la littérature que le mouvement translationnel de la caméra a un effet important sur la performance de l'estimation de la structure 3D. Pour les caméras embarquées (eye-in-hand) portées par un robot manipulateurs fixés au sol, il est simple de mesurer la vitesse linéaire. Cependant, en ce qui concerne les caméras montées sur des robots mobiles, certains problèmes pratiques peuvent survenir. Par conséquent, un autre objectif de cette thèse est de trouver des stratégies pour développer des observateurs non linéaires déterministes pour résoudre le problème de SfM et obtenir une estimation fiable des vitesses linéaires variables dans le temps, utilisées comme entrées du schéma d'estimation, ce qui est une exigence implicite pour la plupart des visions actives. Les techniques utilisées sont basées sur les modèles de Takagi-Sugeno et de la théorie de Lyapunov. Dans la première partie, une solution pour le problème SfM est présentée, où le but principal est d'identifier la structure 3D d'un point caractéristique observé par une caméra calibrée en supposant une connaissance précise des vitesses linéaires et angulaires de la caméra. Ensuite, ce travail est étendu à l'étude de la reconstruction 3D d'un point en considérant une caméra partiellement calibrée. Dans la deuxième partie, la thèse se focalise sur l'identification de la structure 3D d'un point caractéristique suivi et de la vitesse linéaire de la caméra. Dans un premier temps, la stratégie présentée vise à récupérer les informations 3D et l'estimation de la vitesse linéaire partielle de la caméra. Ensuite, la thèse introduit l'estimation de la structure et l'estimation complète de la vitesse linéaire de la caméra, où l'observateur proposé n'a besoin que de la vitesse angulaire de la caméra et des accélérations linéaires et angulaires correspondantes. Les performances de chaque observateur sont mises en évidence à l'aide d'une série de simulations avec plusieurs scénarios
This manuscript outlines the various scientific contributions during this thesis, with the objective of solving the problem of the 3D reconstructure Structure from Motion (SfM) through the synthesis of dynamic models and observation algorithms for thereconstruction of unmeasured variables. Undoubtedly, vision sensors are the most important source providing rich information about the environment and that's where the scene structure estimation begins to find professional uses. There has been significant interest in recovering the 3D structure of a scene from 2D pixels considering a sequence of images. Several solutions have been proposed in the literature for this issue. The objective of the classic “structure from motion (SfM)” problem is to estimate the Euclidean coordinates of tracked feature points attached to an object (i.e., 3-D structure) provided the relative motion between the camera and the object is known. It isthoroughly addressed in literature that the camera translational motion has a strong effect on the performance of 3D structure estimation. For eye-in-hand cameras carried by robot manipulators fixed to the ground, it is straightforward to measure linear velocity. However when dealing with cameras riding on mobile robots, some practical issues may occur. In this context, particular attention has been devoted to estimating the camera linear velocities. Hence another objective of this thesis is to find strategies to develop deterministic nonlinear observers to address the SfM problem and obtain a reliable estimation of the unknown time-varying linear velocities used as input of the estimator scheme which is an implicit requirement for most of active vision. The techniques used are based on Takagi-Sugeno models and Lyapunov-based analysis. In the first part, a solution for the SfM problem is presented, where the main purpose is to identify the 3D structure of a tracked feature point observed by a moving calibrated camera assuming a precise knowledge of the camera linear and angular velocities. Then this work is extended to investigate the depth reconstruction considering a partially calibratedcamera. In the second part, the thesis focuses on identifying the 3D structure of a tracked feature point and the camera linear velocity. At first, the strategy presented aims to recover the 3D information and partial estimate of the camera linear velocity. Then, the thesis introduces the structure estimation and full estimation of the camera linear velocity, where the proposed observer only requires the camera angular velocity and the corresponding linear and angular accelerations. The performance of eachobserver is highlighted using a series of simulations with several scenarios and experimental tests

Les travaux proposés dans cette thèse s’inscrivent dans le cadre des projets ANR-Cam-Relief et du CPER-CREATIS soutenus par l’Agence Nationale de la Recherche, la région Champagne-Ardenne et le FEDER. Ces études s'inscrivent également dans le cadre d’une collaboration avec la société 3DTV-Solutions et deux groupes du CReSTIC (AUTO et SIC). L’objectif de ce projet est ,entre autre, de concevoir par analogie aux systèmes 2D grands publics actuels, des systèmes de prise de vue 3D permettant de restituer sur écrans reliefs (auto-stéréoscopiques) visibles sans lunettes, des images 3D de qualité. Notre intérêt s’est porté particulièrement sur les systèmes de prise de vue à configuration parallèle et décentrée. Les travaux de recherche menés dans cette thèse sont motivés par l’incapacité des configurations statiques de ces systèmes de prise de vue de capturer correctement des scènes dynamiques réelles pour une restitution autostéréoscopique correcte. Pour surmonter cet obstacle, un schéma d’adaptation de laconfiguration géométrique du système de prise de vue est proposé. Afin de déterminer les paramètres devant être concernés par cette adaptation, une étude de l’effet de la constance de chaque paramètre sur la qualité du rendu relief est menée. Les répercussions des contraintes dynamiques et mécaniques sur le relief restitué sont ensuite examinées. La précision de positionnement des paramètres structurels est abordée à travers la proposition de deux méthodes d’évaluation de la qualité du rendu relief, pour déterminer les seuils d’erreur de positionnement des paramètres structurels du système de prise de vue. Enfin, le problème de la calibration est abordée, où l’on propose une méthode basée sur la méthode de transformation linéaire directe DLT, et des perspectives sont envisagées pour l’asservissement de ces systèmes de prise de vue par asservissement classique ou par asservissement visuel
The works proposed in this thesis are part of the projects ANR-Cam-Relief and CPER-CREATIS supported by the National Agency of Research, the Champagne-Ardenne region and the FEDER.These studies also join within the framework of a collaboration with the 3DTV-Solutions society and two groups of the CReSTIC (AUTO and SIC).The objective of this project is, among others, to design by analogy to the current 2D popularized systems, 3D shooting systems allowing to display on 3D screens (auto-stereoscopic) visible without glasses, 3D quality images. Our interest has focused particularly on shooting systems with parallel and decentred configuration. There search works led in this thesis are motivated by the inability of the static configurations of these shooting systems to capture correctly real dynamic scenes for a correct auto-stereoscopic endering. To overcome this drawback, an adaptation scheme of the geometrical configuration of the shooting system is proposed. To determine the parameters to be affected by this adaptation,the effect of the constancy of each parameter on the rendering quality is studied. The repercussions of the dynamic and mechanical constraints on the 3D rendering are then examined. Positioning accuracy of the structural parameters is approached through two methods proposed for the rendering quality assessment, to determine the thresholds of positioning error of the structural parameters of the shooting system. Finally, the problem of calibration is discussed where we propose an approach based on the DLT method, and perspectives are envisaged to automatic control of these shooting systems by classical approaches or by visual servoing

Cette thèse s’intéresse à définir de nouvelles méthodes cliniques d’investigation permettant de juger de l’impact de l’avance en âge sur la motricité. En particulier, cette thèse se focalise sur deux principales perturbations possibles lors de l’avance en âge : la chute et l’altération de la marche.Ces deux perturbations motrices restent encore mal connues et leur analyse en clinique pose de véritables défis technologiques et scientifiques. Dans cette thèse, nous proposons des méthodes originales de détection qui peuvent être utilisées dans la vie courante ou en clinique, avec un minimum de contraintes techniques. Dans une première partie, nous abordons le problème de la détection de la chute à domicile, qui a été largement traité dans les années précédentes. En particulier, nous proposons une approche permettant d’exploiter le volume du sujet, reconstruit à partir de plusieurs caméras calibrées. Ces méthodes sont généralement très sensibles aux occultations qui interviennent inévitablement dans le domicile et nous proposons donc une approche originale beaucoup plus robuste à ces occultations. L’efficacité et le fonctionnement en temps réel ont été validés sur plus d’une vingtaine de vidéos de chutes et de leurres, avec des résultats approchant les 100% de sensibilité et de spécificité en utilisant 4 caméras ou plus. Dans une deuxième partie, nous allons un peu plus loin dans l’exploitation des volumes reconstruits d’une personne, lors d’une tâche motrice particulière : la marche sur tapis roulant, dans un cadre de diagnostic clinique. Dans cette partie, nous analysons plus particulièrement la qualité de la marche. Pour cela nous développons le concept d’utilisation de caméras de profondeur pour la quantification de l’asymétrie spatiale au cours du mouvement des membres inférieurs pendant la marche. Après avoir détecté chaque pas dans le temps, cette méthode réalise une comparaison de surfaces de chaque jambe avec sa correspondante symétrique du pas opposé. La validation effectuée sur une cohorte de 20 sujets montre la viabilité de la démarche.
This thesis is concerned with defining new clinical investigation method to assess the impact of ageing on motricity. In particular, this thesis focuses on two main possible disturbance during ageing : the fall and walk impairment. This two motricity disturbances still remain unclear and their clinical analysis presents real scientist and technological challenges. In this thesis, we propose novel measuring methods usable in everyday life or in the walking clinic, with a minimum of technical constraints. In the first part, we address the problem of fall detection at home, which was widely discussed in previous years. In particular, we propose an approach to exploit the subject’s volume, reconstructed from multiple calibrated cameras. These methods are generally very sensitive to occlusions that inevitably occur in the home and we therefore propose an original approach much more robust to these occultations. The efficiency and real-time operation has been validated on more than two dozen videos of falls and lures, with results approaching 100 % sensitivity and specificity with at least four or more cameras. In the second part, we go a little further in the exploitation of reconstructed volumes of a person at a particular motor task : the treadmill, in a clinical diagnostic. In this section we analyze more specifically the quality of walking. For this we develop the concept of using depth camera for the quantification of the spatial and temporal asymmetry of lower limb movement during walking. After detecting each step in time, this method makes a comparison of surfaces of each leg with its corresponding symmetric leg in the opposite step. The validation performed on a cohort of 20 subjects showed the viability of the approach.
Réalisé en cotutelle avec le laboratoire M2S de Rennes 2

Cette étude recense les différents outils mathématiques utilisables pour réaliser la mise au point des systèmes optiques. Ces outils mathématiques que nous appelons descripteurs sont rangés en deux familles: descripteurs primaires/descripteurs secondaires. Dans un premier temps nous proposons l'amélioration d'un descripteur primaire par la détermination automatique de ses paramètres. Dans un deuxième temps nous proposons, après en avoir étudié ses propriétés, un nouvel outil comme descripteur: «le critère de Cramer Von Mises». Ce critère a un excellent comportement vis-à-vis d'images globalement nettes ou globalement floues. Grâce à une simplification du calcul de cet outil sans altération notable de son comportement vis-à-vis du flou, nous avons pu obtenir des temps de calcul très courts. La méthode que nous proposons est basée sur l'utilisation répétée de cet outil sur des portions d'images après segmentation de celles-ci. Il permet ainsi la mise en évidence de différents plans de netteté éventuels.

Cette thèse s'intéresse à définir de nouvelles méthodes cliniques d'investigation permettant de juger de l'impact de l'avance en âge sur la motricité. En particulier, cette thèse se focalise sur deux principales perturbations possibles lors de l'avance en âge : la chute et l'altération de la marche.Ces deux perturbations motrices restent encore mal connues et leur analyse en clinique pose de véritables défis technologiques et scientifiques. Dans cette thèse, nous proposons des méthodes originales de détection qui peuvent être utilisées dans la vie courante ou en clinique, avec un minimum de contraintes techniques.Dans une première partie, nous abordons le problème de la détection de la chute à domicile, qui a été largement traité dans les années précédentes. En particulier, nous proposons une approche permettant d'exploiter le volume du sujet, reconstruit à partir de plusieurs caméras calibrées. Ces méthodes sont généralement très sensibles aux occultationsqui interviennent inévitablement dans le domicile et nous proposons donc une approche originale beaucoup plus robuste à ces occultations. L'efficacité et le fonctionnement en temps réel ont été validés sur plus d'une vingtaine de vidéos de chutes et de leurres, avec des résultats approchant les 100% de sensibilité et de spécificité en utilisant 4 caméras ou plus.Dans une deuxième partie, nous allons un peu plus loin dans l'exploitation des volumes reconstruits d'une personne, lors d'une tâche motrice particulière : la marche sur tapis roulant, dans un cadre de diagnostic clinique. Dans cette partie, nous analysons plus particulièrement la qualité de la marche. Pour cela nous développons le concept d'utilisation de caméras de profondeur pour la quantification de l'asymétrie spatiale au cours du mouvement des membres inférieurs pendant la marche. Après avoir détecté chaque pas dans le temps, cette méthode réalise une comparaison de surfaces de chaque jambe avec sa correspondante symétrique du pas opposé. La validation effectuée sur une cohorte de 20 sujets montre la viabilité de la démarche

Cette thèse explore le développement et la validation des systèmes de navigation autonome dans un environnement de réalité mixte (RM), avec pour objectif de combler l’écart entre la simulation virtuelle et les tests en conditions réelles. Les travaux mettent l’accent sur le potentiel des environnements en réalité mixte pour tester les systèmes autonomes de manière sûre, efficace et économique. La thèse est structurée en plusieurs parties, et commence par une revue des technologies de pointe dans la navigation autonome et les applications en réalité mixte. En utilisant des modèles à base de règles et des modèles d’apprentissage, des expérimentations visent à évaluer les performances des robots autonomes dans des environnements simulés, réels et de RM. Un des objectifs principaux est de réduire le « reality gap »—c’est-à-dire la différence entre les comportements observés en simulation et ceux observés dans des applications réelles—en intégrant des éléments réels avec des composants virtuels dans des environnements de RM. Cette approche permet des tests et une validation plus proche des contraintes réelles sans les risques associés aux essais physiques. Une partie importante du travail est consacrée à la mise en œuvre et au test d’une stratégie d’augmentation hors ligne visant à améliorer les capacités de perception des systèmes autonomes à l’aide des informations de profondeur. De plus, l’apprentissage par renforcement est appliqué pour évaluer son potentiel dans les environnements de RM. La thèse démontre que ces modèles peuvent apprendre efficacement à naviguer et à éviter les obstacles dans des simulations virtuelles et obtenir des résultats similaires lorsqu’ils sont transférés dans des environnements de RM, soulignant la flexibilité du cadre pour différents modèles de systèmes autonomes. À travers ces expériences, la thèse montre le potentiel des environnements de réalité mixte comme une plateforme polyvalente et robuste pour faciliter le développement des technologies de navigation autonome, offrant une approche plus sûre et plus évolutive pour la validation des modèles avant leur déploiement dans le monde réel
This thesis explores the development and validation of autonomous navigation systems within a mixed-reality (MR) framework, aiming to bridge the gap between virtual simulation and real-world testing. The research emphasizes the potential of MR environments for safely, efficiently, and cost-effectively testing autonomous systems. The thesis is structured around several chapters, beginning with a review of state-of-the-art technologies in autonomous navigation and mixed-reality applications. Through both rule-based and learning-based models, the research investigates the performance of autonomous robots within simulated, real, and MR environments. One of the core objectives is to reduce the "reality gap"—the discrepancy between behaviors observed in simulations versus real-world applications—by integrating real- world elements with virtual components in MR environments. This approach allows for more accurate testing and validation of algorithms without the risks associated with physical trials. A significant part of the work is dedicated to implementing and testing an offline augmentation strategy aimed at enhancing the perception capabilities of autonomous systems using depth information. Furthermore, reinforcement learning (RL) is applied to evaluate its potential within MR environments. The thesis demonstrates that RL models can effectively learn to navigate and avoid obstacles in virtual simulations and perform similarly well when transferred to MR environments, highlighting the framework’s flexibility for different autonomous system models. Through these experiments, the thesis establishes MR environments as a versatile and robust platform for advancing autonomous navigation technologies, offering a safer, more scalable approach to model validation before real-world deployment

Cette these aborde le probleme de l'estimation de la profondeur d'une scene rigide a partir d'une camera en mouvement dont les parametres sont connus. Nous avons axe notre recherche sur une approche directe qui permet de determiner la profondeur directement a partir des variations spatio-temporelles de la fonction d'intensite, evitant ainsi le calcul du flot optique utilise dans les approches classiques. L'application directe de cette approche s'avere inexploitable. Il est necessaire de determiner un domaine de validite permettant de selectionner l'ensemble des points de l'image susceptibles de fournir une valeur de profondeur correcte ; et d'utiliser une analyse multiechelle pour ameliorer l'estimation des derivees. L'estimation de la profondeur a une resolution donnee est faite par la minimisation d'une fonction d'energie etablie dans le cadre d'une regularisation statistique. Un module de fusion des differentes echelles spatiales et temporelles analysees conduit a l'obtention d'une carte de profondeur finale. Un schema de correction-prediction integre l'information temporelle d'une sequence d'images. La carte predite est consideree comme une observation supplementaire prise en compte par le processus de fusion. Une gestion explicite de la confiance sur l'estimation obtenue permet a tout moment d'obtenir une carte de confiance associee a la carte de profondeur predite

Le travail présenté dans cette thèse s'intéresse à l'extraction de points homologues entre images acquises de points de vue différents qui est une étape préliminaire indispensable dans de nombreuses applications, particulièrement la reconstruction 3D. Les algorithmes existants sont très efficaces sur des images lorsque les points de vue sont suffisamment proches mais, au-delà d'un certain seuil, leurs performances peuvent baisser de manière drastique. Nous nous intéressons aux cas où, en plus de la radiométrie, on peut associer à chaque pixel une information de profondeur, celle-ci peut venir de différents systèmes (LIDAR, caméra RGB-D, appareil photographique plénoptique). Notre démarche est d'utiliser cette information pour résoudre les problèmes de distorsion entre points de vue qui rendent inopérantes les méthodes n'utilisant que la radiométrie. Une première approche traite les scènes de surface plane (environnements urbains, architectures modernes) en redressant ladite surface orthogonalement. Une seconde approche s'applique aux scènes 3D plus complexes (collections de musées, sculptures) ; nous nous appuyons sur les projections cartographiques conformes. Pour ces deux schémas, notre contribution permet d'améliorer sensiblement la détection des points homologues, aussi bien au niveau de leur quantité que de leur répartition (en comparant avec les algorithmes: SIFT, MSER et ASIFT). Les résultats de comparaison montrent que les points homologues obtenus avec nos approches sont nombreux et bien répartis dans les images
The work presented in this thesis focuses on extraction of homologous points (point matches) between images acquired from different viewpoints. This is a first essential step in many applications, particularly 3D reconstruction. Existing algorithms are very efficient for the images closed viewpoints but the performance can drop drastically for wide baseline images. We are interested in case that, in addition of radiometry, we have a depth information associated each pixel. The information can be obtained from different systems (LIDAR, RGB-D camera, light field camera). Our approach uses this information to solve the problem of distortion between the viewpoints, which is not efficient by the methods using only the radiometry. The first approach deals with planar surface scenes (urban environment, modern building). Each planar region is rectified to orthogonal view. The second approach is applied for more complex scenes (museum collections, sculptures). We rely on projection of conformal mapping. For two schemes, our contributions have efficiently improved the detection of point matches, both in terms of their quantity and their distribution (comparing with the algorithms: SIFT, MSER and ASIFT). Comparative results show that the homologous points obtained by our approach are numerous and efficiently distributed on the images

Les détecteurs à base de semi-conducteurs CdZnTe / CdTe sont de bons candidats pour remplacer les détecteurs à base de scintillateur NaI(Tl) en imagerie médicale, et notamment en imagerie nucléaire. Outre leur compacité, ils présentent de très bonnes performances en terme de résolution en énergie, d’efficacité de détection et de résolution spatiale intrinsèque. Ils permettent également de disposer d’une nouvelle information, celle de profondeur d’interaction des photons dans le détecteur. C’est dans ce contexte que le LETI travaille sur le développement et la réalisation d’une nouvelle architecture de gamma caméra, à base de semi-conducteurs CdZnTe / CdTe en profitant au mieux de leurs performances. Au cours de ce travail de thèse, nous avons proposé une nouvelle architecture, baptisée HiSens (pour High Sensitivity), permettant d’améliorer l’efficacité des gamma caméras (environ d’un facteur 5), tout en maintenant leur résolution spatiale. Cette architecture associe aux semi-conducteurs CdZnTe / CdTe, disposant de la profondeur d’interaction, une collimation à larges trous parallèles carrés et utilise des méthodes de reconstruction spécifiques. Nous avons évalué les performances de ’architecture HiSens par simulation, en développant des outils de simulation et des méthodes de reconstruction d’images tenant compte de la profondeur d’interaction des photons dans le détecteur. Nous avons poursuivi ces travaux par une première validation expérimentale au sein du laboratoire
CdZnTe / CdTe semiconductor gamma ray detectors are good candidates to replace NaI(Tl) scintillation detectors for medical applications, notably for nuclear imaging. In addition to compactness, they present very good performances, in terms of energy resolution, detection efficiency and intrinsic spatial resolution. These detectors provide also an important additional information: the depth of interaction of the gamma ray into the detector. This context led LETI into developing and realizing new gamma camera architecture, based on CdZnTe / CdTe semiconductor, in order to benefit from these recent performances. During this work, we have proposed a new architecture, named HiSens (High Sensitivity), allowing to improve sensitivity (about factor 5) while preserving spatial resolution. This architecture associates CdZnTe detectors, providing depth of interaction information, with a new parallel square hole collimator geometry and uses an adapted image reconstruction method. We have evaluated HiSens architecture performances with simulation, after development of simulations software and an adapted method of iterative reconstruction, using photon depth of interaction information. A preliminary experimental validation is currently investigated at CEA-LETI in order to confirm simulations results

Le drone orienté grand public est principalement une caméra volante, stabilisée et de bonne qualité. Ceux-ci ont démocratisé la prise de vue aérienne, mais avec leur succès grandissant, la notion de sécurité est devenue prépondérante.Ce travail s'intéresse à l'évitement d'obstacle, tout en conservant un vol fluide pour l'utilisateur.Dans ce contexte technologique, nous utilisons seulement une camera stabilisée, par contrainte de poids et de coût.Pour leur efficacité connue en vision par ordinateur et leur performance avérée dans la résolution de tâches complexes, nous utilisons des réseaux de neurones convolutionnels (CNN). Notre stratégie repose sur un systeme de plusieurs niveaux de complexité dont les premieres étapes sont de mesurer une carte de profondeur depuis la caméra. Cette thèse étudie les capacités d'un CNN à effectuer cette tâche.La carte de profondeur, étant particulièrement liée au flot optique dans le cas d'images stabilisées, nous adaptons un réseau connu pour cette tâche, FlowNet, afin qu'il calcule directement la carte de profondeur à partir de deux images stabilisées. Ce réseau est appelé DepthNet.Cette méthode fonctionne en simulateur avec un entraînement supervisé, mais n'est pas assez robuste pour des vidéos réelles. Nous étudions alors les possibilites d'auto-apprentissage basées sur la reprojection différentiable d'images. Cette technique est particulièrement nouvelle sur les CNNs et nécessite une étude détaillée afin de ne pas dépendre de paramètres heuristiques.Finalement, nous développons un algorithme de fusion de cartes de profondeurs pour utiliser DepthNet sur des vidéos réelles. Plusieurs paires différentes sont données à DepthNet afin d'avoir une grande plage de profondeurs mesurées
Customer unmanned aerial vehicles (UAVs) are mainly flying cameras. They democratized aerial footage, but with thei success came security concerns.This works aims at improving UAVs security with obstacle avoidance, while keeping a smooth flight. In this context, we use only one stabilized camera, because of weight and cost incentives.For their robustness in computer vision and thei capacity to solve complex tasks, we chose to use convolutional neural networks (CNN). Our strategy is based on incrementally learning tasks with increasing complexity which first steps are to construct a depth map from the stabilized camera. This thesis is focused on studying ability of CNNs to train for this task.In the case of stabilized footage, the depth map is closely linked to optical flow. We thus adapt FlowNet, a CNN known for optical flow, to output directly depth from two stabilized frames. This network is called DepthNet.This experiment succeeded with synthetic footage, but is not robust enough to be used directly on real videos. Consequently, we consider self supervised training with real videos, based on differentiably reproject images. This training method for CNNs being rather novel in literature, a thorough study is needed in order not to depend too moch on heuristics.Finally, we developed a depth fusion algorithm to use DepthNet efficiently on real videos. Multiple frame pairs are fed to DepthNet to get a great depth sensing range

Le drone orienté grand public est principalement une caméra volante, stabilisée et de bonne qualité. Ceux-ci ont démocratisé la prise de vue aérienne, mais avec leur succès grandissant, la notion de sécurité est devenue prépondérante.Ce travail s'intéresse à l'évitement d'obstacle, tout en conservant un vol fluide pour l'utilisateur.Dans ce contexte technologique, nous utilisons seulement une camera stabilisée, par contrainte de poids et de coût.Pour leur efficacité connue en vision par ordinateur et leur performance avérée dans la résolution de tâches complexes, nous utilisons des réseaux de neurones convolutionnels (CNN). Notre stratégie repose sur un systeme de plusieurs niveaux de complexité dont les premieres étapes sont de mesurer une carte de profondeur depuis la caméra. Cette thèse étudie les capacités d'un CNN à effectuer cette tâche.La carte de profondeur, étant particulièrement liée au flot optique dans le cas d'images stabilisées, nous adaptons un réseau connu pour cette tâche, FlowNet, afin qu'il calcule directement la carte de profondeur à partir de deux images stabilisées. Ce réseau est appelé DepthNet.Cette méthode fonctionne en simulateur avec un entraînement supervisé, mais n'est pas assez robuste pour des vidéos réelles. Nous étudions alors les possibilites d'auto-apprentissage basées sur la reprojection différentiable d'images. Cette technique est particulièrement nouvelle sur les CNNs et nécessite une étude détaillée afin de ne pas dépendre de paramètres heuristiques.Finalement, nous développons un algorithme de fusion de cartes de profondeurs pour utiliser DepthNet sur des vidéos réelles. Plusieurs paires différentes sont données à DepthNet afin d'avoir une grande plage de profondeurs mesurées
Customer unmanned aerial vehicles (UAVs) are mainly flying cameras. They democratized aerial footage, but with thei success came security concerns.This works aims at improving UAVs security with obstacle avoidance, while keeping a smooth flight. In this context, we use only one stabilized camera, because of weight and cost incentives.For their robustness in computer vision and thei capacity to solve complex tasks, we chose to use convolutional neural networks (CNN). Our strategy is based on incrementally learning tasks with increasing complexity which first steps are to construct a depth map from the stabilized camera. This thesis is focused on studying ability of CNNs to train for this task.In the case of stabilized footage, the depth map is closely linked to optical flow. We thus adapt FlowNet, a CNN known for optical flow, to output directly depth from two stabilized frames. This network is called DepthNet.This experiment succeeded with synthetic footage, but is not robust enough to be used directly on real videos. Consequently, we consider self supervised training with real videos, based on differentiably reproject images. This training method for CNNs being rather novel in literature, a thorough study is needed in order not to depend too moch on heuristics.Finally, we developed a depth fusion algorithm to use DepthNet efficiently on real videos. Multiple frame pairs are fed to DepthNet to get a great depth sensing range

Cette thèse traite de la conception d'une caméra 3D capable de produire la carte de profondeur complète d'une scène dans le cadre de l'inspection de surface. Ce domaine d'application implique généralement des objets peu texturés et un cahier des charges stricte concernant la compacité du système d'inspection et la précision requise. Dans cette thèse, nous proposons d'utiliser une caméra associée à un projecteur permettant d'ajouter une texture artificielle à la scène. L'extraction de 3D repose sur le principe de « Depth-From-Defocus » (DFD) qui consiste à estimer la profondeur en exploitant le flou de défocalisation. Nous avons développé dans un premier temps un algorithme mono-image d'estimation locale de profondeur basé sur l'apprentissage de la scène et du flou. Cet algorithme fonctionne pour tout type de système DFD mais il est particulièrement adapté pour le DFD actif pour lequel on maîtrise la scène qui est une texture projetée. Puis nous avons mise en œuvre un prototype expérimental de DFD actif pour un cadre d'inspection de surface. Il est composé d'une caméra chromatique dont l'objectif présente des aberrations chromatiques longitudinales permettant d'étendre la plage de profondeur estimable et la précision d'estimation, et d'un projecteur spécialisé dont la forme et l'échelle du motif ont été particulièrement optimisés par simulation du prototype. Nous avons également mené une validation expérimentale du prototype qui atteint une précision de 0.45 mm sur une plage de travail de 310 à 340 mm. Nous avons ensuite développé un modèle de performance qui permet de prédire la précision de n'importe quel système DFD actif en fonction des paramètres des optiques, du capteur, du projecteur et des traitements. Ce modèle ouvre la voie à une étude de conception conjointe optique/traitement d'une caméra 3D active par DFD
This thesis is dedicated to the design of a 3D camera capable of producing the complete depth map of a scene within the framework of surface inspection. This field of application generally involves objects with little texture and strict specifications concerning the compactness of the inspection system and the precision required. In this thesis, we propose to use a camera combined with a projector to add an artificial texture to the scene. 3D extraction is based on the principle of “Depth-From-Defocus” which consists in estimating the depth by exploiting the defocus blur. We first developed a single-image local depth estimation algorithm based on scene and blur learning. This algorithm works for any type of DFD system but it is particularly suitable for active DFD for which we control the scene which is a projected texture. Then we implemented an experimental active DFD prototype for surface inspection. It is composed of a chromatic camera whose lens has longitudinal chromatic aberrations to extend the estimable depth range and estimation accuracy, and a specialized projector whose pattern shape and scale have been particularly optimized by the simulation of the prototype. We also carried out an experimental an experimental validation of the prototype which achieved an accuracy of 0.45 mm over a working range of 310 to 340 mm. We then developed a performance model that predicts the accuracy of any active DFD system depending on the parameters of the optics, sensor, projector and treatments. This model paves the way for a joint optical/processing design study of an active 3D camera by DFD

La previz on-set est une étape de prévisualisation qui a lieu directement pendant la phase de tournage d’un film à effets spéciaux. Cette proposition de prévisualisation consiste à montrer au réalisateur une vue assemblée du plan final en temps réel. Le travail présenté dans cette thèse s’intéresse à une étape spécifique de la prévisualisation : le compositing. Cette étape consiste à mélanger plusieurs sources d’images pour composer un plan unique et cohérent. Dans notre cas, il s’agit de mélanger une image de synthèse avec une image issue de la caméra présente sur le plateau de tournage. Les effets spéciaux numériques sont ainsi ajoutés à la prise de vue réelle. L’objectif de cette thèse consiste donc à proposer un système permettant l’ajustement automatique du mélange entre les deux images. La méthode proposée nécessite la mesure de la géométrie de la scène filmée. Pour cette raison, un capteur de profondeur est ajouté à la caméra de tournage. Les données sont relayées à l’ordinateur qui exécute un algorithme permettant de fusionner les données du capteur de profondeur et de la caméra de tournage. Par le biais d’un démonstrateur matériel, nous avons formalisé une solution intégrée dans un moteur de jeux vidéo. Les expérimentations menées montrent dans un premier temps des résultats encourageants pour le compositing en temps réel. Nous avons observé une amélioration des résultats suite à l’introduction de la méthode de segmentation conjointe. La principale force de ce travail réside dans la mise en place du démonstrateur qui nous a permis d’obtenir des algorithmes efficaces dans le domaine de la previz on-set
Previz on-set is a preview step that takes place directly during the shootingphase of a film with special effects. The aim of previz on-set is to show to the film director anassembled view of the final plan in realtime. The work presented in this thesis focuses on aspecific step of the previz : the compositing. This step consists in mixing multiple images tocompose a single and coherent one. In our case, it is to mix computer graphics with an imagefrom the main camera. The objective of this thesis is to propose a system for automaticadjustment of the compositing. The method requires the measurement of the geometry ofthe scene filmed. For this reason, a depth sensor is added to the main camera. The data issent to the computer that executes an algorithm to merge data from depth sensor and themain camera. Through a hardware demonstrator, we formalized an integrated solution in avideo game engine. The experiments gives encouraging results for compositing in real time.Improved results were observed with the introduction of a joint segmentation method usingdepth and color information. The main strength of this work lies in the development of ademonstrator that allowed us to obtain effective algorithms in the field of previz on-set

Le vieillissement de la population est un enjeu majeur pour les prochaines années en raison, notamment, de l'augmentation du nombre de personnes dépendantes. La question du maintien à domicile de ces personnes se pose alors, du fait de l'impossibilité pour les instituts spécialisés de les accueillir toutes et, surtout, de la volonté des personnes âgées de rester chez elles le plus longtemps possible. Or, le développement de systèmes technologiques peut aider à résoudre certains problèmes comme celui de la sécurisation en détectant les chutes, et de l'évaluation du degré d'autonomie pour prévenir les accidents. Plus particulièrement, nous nous intéressons au développement des systèmes ambiants, peu coûteux, pour l'équipement du domicile. Les caméras de profondeur permettent d'analyser en temps réel les déplacements de la personne. Nous montrons dans cette thèse qu'il est possible de reconnaître l'activité de la personne et de mesurer des paramètres de sa marche à partir de l'analyse de caractéristiques simples extraites des images de profondeur. La reconnaissance d'activité est réalisée à partir des modèles de Markov cachés, et permet en particulier de détecter les chutes et des activités à risque. Lorsque la personne marche, l'analyse de la trajectoire du centre de masse nous permet de mesurer les paramètres spatio-temporels pertinents pour l'évaluation de la fragilité de la personne. Ce travail a été réalisé sur la base d'expérimentations menées en laboratoire, d'une part, pour la construction des modèles par apprentissage automatique et, d'autre part, pour évaluer la validité des résultats. Les expérimentations ont montré que certains modèles de Markov cachés, développés pour ce travail, sont assez robustes pour classifier les différentes activités. Nous donnons, également dans cette thèse, la précision, obtenue avec notre système, des paramètres de la marche en comparaison avec un tapis actimètrique. Nous pensons qu'un tel système pourrait facilement être installé au domicile de personnes âgées, car il repose sur un traitement local des images. Il fournit, au quotidien, des informations sur l'analyse de l'activité et sur l'évolution des paramètres de la marche qui sont utiles pour sécuriser et évaluer le degré de fragilité de la personne.

Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l'amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques.Tout d'abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d'un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d'écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d'art visuel, plus précisément sur les premières étapes de la création quand l'artiste créer la structure. Nous offrons la possibilité de créer et d'éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c'est-à-dire qu'ils s'ajoutent aux outils existants: toute l'interface utilisateur est sur la table, et l'utilisateur n'utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d'un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes:art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L'acceptabilité de ce genre de système a été très bonne, et "magique" par la plupart des utilisateurs. Ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi.

Le maintien de la mobilité des personnes âgées est un point essentiel pour leur permettre de rester autonome. Cette thèse propose de nouvelles approches et solutions pour trois types d'aides pour les personnes utilisant un déambulateur : l'aide à la prévention des chutes, l'aide au diagnostic et suivi des pathologies associées à la mobilité et l'assistance robotisée aux déplacements. Dans le cadre de la prévention des chutes, cette thèse présente un algorithme de détection des déséquilibres, la majorité des études existantes se portant sur la détection des chutes. Il permet une détection d'un déséquilibre en 600 ms et a été testé avec des sujets sains. Concernant l'aide au diagnostic et au suivi des pathologies associées à la mobilité, cette thèse présente un outil d'analyse de la marche portatif et de prix relativement faible (capteur de type kinect). La précision de notre solution est supérieure à celle des solutions de la littérature n'utilisant pas de marqueurs. Notre algorithme permet une analyse de la marche en temps réel. Des expériences impliquant des sujets jeunes et âgés ont été mises en place pour valider notre solution. L'assistance robotisée aux déplacements a été étudiée à travers le développement du prototype RoAM (Robot d'Assistance à la Mobilité) et de sa commande pour la déambulation. Trois commandes ont été testées avec des sujets sains sur un parcours écologique : une commande basée sur la position (développée dans cette thèse), une commande en admittance et une commande combinant les deux premières. Tous les sujets ont réussi à terminer le parcours avec les trois commandes. La fusion des commandes en effort et en position semble la plus prometteuse
Mobility is a key factor for maintaining the autonomy of the elderly. This thesis proposes new approaches and solutions for three kinds of assistance in the field of smart walkers: fall prevention assistance; diagnosis and medical follow-up assistance; and mobility assistance. Towards preventing falls, this thesis presents an algorithm for detecting when balance is being lost (available literature mainly focuses on detecting falls, after it occured). Experiments involving healthy subjects show that our algorithm detects losses of balance within 600 ms. Towards assisting diagnosis and medical follow-up, this thesis proposes a portative and affordable device (kinect-like sensor) that offers a relevant tradeoff between portativity, affordability and precision (better precision than the existing literature on markerless diagnosis). Our solution achieves better precision than the existing literature on markerless diagnosis. Our algorithm enables real-time walking analysis. This solution is validated through experiences involving healthy and pathological elderly participants. Towards robotic assistance for mobility, this thesis presents a new prototype, which we called RoAM (Robot for Assisting Mobility), and approaches for controlling it. Experiments on an ecological path included three modes of control: one based on user position (developped in this thesis), another one on interaction forces, and the last one combining the two previous modes. All participants could complete the experiments with all the three modes. We also show that the most promising track seems to consist of a fusion of a force-based control with a position-based control

Le vieillissement de la population est un enjeu majeur pour les prochaines années en raison, notamment, de l'augmentation du nombre de personnes dépendantes. La question du maintien à domicile de ces personnes se pose alors, du fait de l'impossibilité pour les instituts spécialisés de les accueillir toutes et, surtout, de la volonté des personnes âgées de rester chez elles le plus longtemps possible. Or, le développement de systèmes technologiques peut aider à résoudre certains problèmes comme celui de la sécurisation en détectant les chutes, et de l'évaluation du degré d'autonomie pour prévenir les accidents. Plus particulièrement, nous nous intéressons au développement des systèmes ambiants, peu coûteux, pour l'équipement du domicile. Les caméras de profondeur permettent d'analyser en temps réel les déplacements de la personne. Nous montrons dans cette thèse qu'il est possible de reconnaître l'activité de la personne et de mesurer des paramètres de sa marche à partir de l'analyse de caractéristiques simples extraites des images de profondeur. La reconnaissance d'activité est réalisée à partir des modèles de Markov cachés, et permet en particulier de détecter les chutes et des activités à risque. Lorsque la personne marche, l'analyse de la trajectoire du centre de masse nous permet de mesurer les paramètres spatio-temporels pertinents pour l'évaluation de la fragilité de la personne. Ce travail a été réalisé sur la base d'expérimentations menées en laboratoire, d'une part, pour la construction des modèles par apprentissage automatique et, d'autre part, pour évaluer la validité des résultats. Les expérimentations ont montré que certains modèles de Markov cachés, développés pour ce travail, sont assez robustes pour classifier les différentes activités. Nous donnons, également dans cette thèse, la précision, obtenue avec notre système, des paramètres de la marche en comparaison avec un tapis actimètrique. Nous pensons qu'un tel système pourrait facilement être installé au domicile de personnes âgées, car il repose sur un traitement local des images. Il fournit, au quotidien, des informations sur l'analyse de l'activité et sur l'évolution des paramètres de la marche qui sont utiles pour sécuriser et évaluer le degré de fragilité de la personne
Population ageing is a major issue for society in the next years, especially because of the increase of dependent people. The limits in specialized institutes capacity and the wish of the elderly to stay at home as long as possible explain a growing need for new specific at home services. Technologies can help securing the person at home by detecting falls. They can also help in the evaluation of the frailty for preventing future accidents. This work concerns the development of low cost ambient systems for helping the stay at home of elderly. Depth cameras allow analysing in real time the displacement of the person. We show that it is possible to recognize the activity of the person and to measure gait parameters from the analysis of simple feature extracted from depth images. Activity recognition is based on Hidden Markov Models and allows detecting at risk behaviours and falls. When the person is walking, the analysis of the trajectory of her centre of mass allows measuring gait parameters that can be used for frailty evaluation. This work is based on laboratory experimentations for the acquisition of data used for models training and for the evaluation of the results. We show that some of the developed Hidden Markov Models are robust enough for classifying the activities. We also evaluate de precision of the gait parameters measurement in comparison to the measures provided by an actimetric carpet. We believe that such a system could be installed in the home of the elderly because it relies on a local processing of the depth images. It would be able to provide daily information on the person activity and on the evolution of her gait parameters that are useful for securing her and evaluating her frailty

Les chutes chez les personnes âgées représentent un problème important de santé publique. Des études montrent qu’environ 30 % des personnes âgées de 65 ans et plus chutent chaque année au Canada, entraînant des conséquences néfastes sur les plans individuel, familiale et sociale. Face à une telle situation la vidéosurveillance est une solution efficace assurant la sécurité de ces personnes. À ce jour de nombreux systèmes d’assistance de services à la personne existent. Ces dispositifs permettent à la personne âgée de vivre chez elle tout en assurant sa sécurité par le port d'un capteur. Cependant le port du capteur en permanence par le sujet est peu confortable et contraignant. C'est pourquoi la recherche s’est récemment intéressée à l’utilisation de caméras au lieu de capteurs portables. Le but de ce projet est de démontrer que l'utilisation d'un dispositif de vidéosurveillance peut contribuer à la réduction de ce fléau. Dans ce document nous présentons une approche de détection automatique de chute, basée sur une méthode de suivi 3D du sujet en utilisant une caméra de profondeur (Kinect de Microsoft) positionnée à la verticale du sol. Ce suivi est réalisé en utilisant la silhouette extraite en temps réel avec une approche robuste d’extraction de fond 3D basée sur la variation de profondeur des pixels dans la scène. Cette méthode se fondera sur une initialisation par une capture de la scène sans aucun sujet. Une fois la silhouette extraite, les 10% de la silhouette correspondant à la zone la plus haute de la silhouette (la plus proche de l'objectif de la Kinect) sera analysée en temps réel selon la vitesse et la position de son centre de gravité. Ces critères permettront donc après analyse de détecter la chute, puis d'émettre un signal (courrier ou texto) vers l'individu ou à l’autorité en charge de la personne âgée. Cette méthode a été validée à l’aide de plusieurs vidéos de chutes simulées par un cascadeur. La position de la caméra et son information de profondeur réduisent de façon considérable les risques de fausses alarmes de chute. Positionnée verticalement au sol, la caméra permet donc d'analyser la scène et surtout de procéder au suivi de la silhouette sans occultation majeure, qui conduisent dans certains cas à des fausses alertes. En outre les différents critères de détection de chute, sont des caractéristiques fiables pour différencier la chute d'une personne, d'un accroupissement ou d'une position assise. Néanmoins l'angle de vue de la caméra demeure un problème car il n'est pas assez grand pour couvrir une surface conséquente. Une solution à ce dilemme serait de fixer une lentille sur l'objectif de la Kinect permettant l’élargissement de la zone surveillée.
Elderly falls are a major public health problem. Studies show that about 30% of people aged 65 and older fall each year in Canada, with negative consequences on individuals, their families and our society. Faced with such a situation a video surveillance system is an effective solution to ensure the safety of these people. To this day many systems support services to the elderly. These devices allow the elderly to live at home while ensuring their safety by wearing a sensor. However the sensor must be worn at all times by the subject which is uncomfortable and restrictive. This is why research has recently been interested in the use of cameras instead of wearable sensors. The goal of this project is to demonstrate that the use of a video surveillance system can help to reduce this problem. In this thesis we present an approach for automatic detection of falls based on a method for tracking 3D subject using a depth camera (Kinect from Microsoft) positioned vertically to the ground. This monitoring is done using the silhouette extracted in real time with a robust approach for extracting 3D depth based on the depth variation of the pixels in the scene. This method is based on an initial capture the scene without any body. Once extracted, 10% of the silhouette corresponding to the uppermost region (nearest to the Kinect) will be analyzed in real time depending on the speed and the position of its center of gravity . These criteria will be analysed to detect the fall, then a signal (email or SMS) will be transmitted to an individual or to the authority in charge of the elderly. This method was validated using several videos of a stunt simulating falls. The camera position and depth information reduce so considerably the risk of false alarms. Positioned vertically above the ground, the camera makes it possible to analyze the scene especially for tracking the silhouette without major occlusion, which in some cases lead to false alarms. In addition, the various criteria for fall detection, are reliable characteristics for distinguishing the fall of a person, from squatting or sitting. Nevertheless, the angle of the camera remains a problem because it is not large enough to cover a large surface. A solution to this dilemma would be to fix a lens on the objective of the Kinect for the enlargement of the field of view and monitored area.

Ce mémoire s’intéresse aux problématiques du calibrage de caméras grand angles et de l’estimation de la profondeur à partir d’une caméra unique, immobile ou en mouvement. Les travaux effectués se situent à l’intersection entre la vision 3D classique et les nouvelles méthodes par apprentissage profond dans le domaine de la navigation autonome. Ils visent à permettre la détection d’obstacles par un drone en mouvement muni d’une seule caméra à très grand angle de vue. D’abord, une nouvelle méthode de calibrage est proposée pour les caméras fisheyes à très grand angle de vue par calibrage planaire à correspondances denses obtenues par lumière structurée qui peuvent être modélisée par un ensemble de caméras génériques virtuelles centrales. Nous démontrons que cette approche permet de modéliser directement des caméras axiales, et validons sur des données synthétiques et réelles. Ensuite, une méthode est proposée pour estimer la profondeur à partir d’une seule image, à partir uniquement des indices de profondeurs forts, les jonctions en T. Nous démontrons que les méthodes par apprentissage profond sont susceptibles d’apprendre les biais de leurs ensembles de données et présentent des lacunes d’invariance. Finalement, nous proposons une méthode pour estimer la profondeur à partir d’une caméra en mouvement libre à 6 degrés de liberté. Ceci passe par le calibrage de la caméra fisheye sur le drone, l’odométrie visuelle et la résolution de la profondeur. Les méthodes proposées permettent la détection d’obstacle pour un drone.
This thesis focuses on the problems of calibrating wide-angle cameras and estimating depth from a single camera, stationary or in motion. The work carried out is at the intersection between traditional 3D vision and new deep learning methods in the field of autonomous navigation. They are designed to allow the detection of obstacles by a moving drone equipped with a single camera with a very wide field of view. First, a new calibration method is proposed for fisheye cameras with very large field of view by planar calibration with dense correspondences obtained by structured light that can be modelled by a set of central virtual generic cameras. We demonstrate that this approach allows direct modeling of axial cameras, and validate it on synthetic and real data. Then, a method is proposed to estimate the depth from a single image, using only the strong depth cues, the T-junctions. We demonstrate that deep learning methods are likely to learn from the biases of their data sets and have weaknesses to invariance. Finally, we propose a method to estimate the depth from a camera in free 6 DoF motion. This involves calibrating the fisheye camera on the drone, visual odometry and depth resolution. The proposed methods allow the detection of obstacles for a drone.

Ce travail présente deux nouveaux systèmes simples d'analyse de la marche humaine grâce à une caméra de profondeur (Microsoft Kinect) placée devant un sujet marchant sur un tapis roulant conventionnel, capables de détecter une marche saine et celle déficiente. Le premier système repose sur le fait qu'une marche normale présente typiquement un signal de profondeur lisse au niveau de chaque pixel avec moins de hautes fréquences, ce qui permet d'estimer une carte indiquant l'emplacement et l'amplitude de l'énergie de haute fréquence (HFSE). Le second système analyse les parties du corps qui ont un motif de mouvement irrégulier, en termes de périodicité, lors de la marche. Nous supposons que la marche d'un sujet sain présente partout dans le corps, pendant les cycles de marche, un signal de profondeur avec un motif périodique sans bruit. Nous estimons, à partir de la séquence vidéo de chaque sujet, une carte montrant les zones d'irrégularités de la marche (également appelées énergie de bruit apériodique). La carte avec HFSE ou celle visualisant l'énergie de bruit apériodique peut être utilisée comme un bon indicateur d'une éventuelle pathologie, dans un outil de diagnostic précoce, rapide et fiable, ou permettre de fournir des informations sur la présence et l'étendue de la maladie ou des problèmes (orthopédiques, musculaires ou neurologiques) du patient. Même si les cartes obtenues sont informatives et très discriminantes pour une classification visuelle directe, même pour un non-spécialiste, les systèmes proposés permettent de détecter automatiquement les individus en bonne santé et ceux avec des problèmes locomoteurs.
This work presents two new and simple human gait analysis systems based on a depth camera (Microsoft Kinect) placed in front of a subject walking on a conventional treadmill, capable of detecting a healthy gait from an impaired one. The first system presented relies on the fact that a normal walk typically exhibits a smooth motion (depth) signal, at each pixel with less high-frequency spectral energy content than an abnormal walk. This permits to estimate a map for that subject, showing the location and the amplitude of the high-frequency spectral energy (HFSE). The second system analyses the patient's body parts that have an irregular movement pattern, in terms of periodicity, during walking. Herein we assume that the gait of a healthy subject exhibits anywhere in the human body, during the walking cycles, a depth signal with a periodic pattern without noise. From each subject’s video sequence, we estimate a saliency color map showing the areas of strong gait irregularities also called aperiodic noise energy. Either the HFSE or aperiodic noise energy shown in the map can be used as a good indicator of possible pathology in an early, fast and reliable diagnostic tool or to provide information about the presence and extent of disease or (orthopedic, muscular or neurological) patient's problems. Even if the maps obtained are informative and highly discriminant for a direct visual classification, even for a non-specialist, the proposed systems allow us to automatically detect maps representing healthy individuals and those representing individuals with locomotor problems.