Literatura académica sobre el tema "Caméras de profondeur"

Les travaux présentés dans cette synthèse portent essentiellement sur l'analyse de scènes à partir de caméras mobiles avec pour application immédiate l'apport d'une vision par ordinateur efficace dans les systèmes autonomes. Ils sont le fruit d'une décennie de recherches menées d'abord à l'INRETS (actuellement IFSTTAR : Institut français des sciences et technologies des transports, de l'aménagement et des réseaux ) puis à l'Université Paris Sud XI (Institut d'Électronique Fondamentale). L'idée initiale est que l'autonomie d'un système implique, ne serait-ce que pour raisons énergétiques, une faible variété d'opérateurs de perception, dont les algorithmes de vision. Les "primitives" extraites des images seront intrinsèquement robustes et stables vis-à-vis de perturbations variées. Elles doivent de plus anticiper, voire faciliter, un processus de décision à divers niveaux voulu systématique. Les lignes de niveaux répondent parfaitement à ces contraintes : on vérifie sans peine leur robustesse et leur abondance dans une image suggère et alimente un processus de décision cumulatif (manipulant un objet de décision unique : l'histogramme généralisé en espace de vote). Nos efforts se sont alors concentrés sur deux aspects : 1) le premier concerne la définition d'une méthodologie cohérente dans laquelle un processus primaire d'extraction de lignes de niveaux est enrichi afin de permettre la construction de primitives plus complexes guidée par un modèle de déformation de l'image. Le nombre de composants donc la forme des primitives est fonction directe du nombre de variables caractérisant le mouvement (déformation) à déterminer. 2) Le second intéresse une méthode de décision cumulative unifiée permettant de traiter des thèmes applicatifs de complexité croissante. Nos travaux se déclinent alors en trois niveaux de cumul, chacun associé de manière à un stade particulier de l'analyse d'images. Les thèmes applicatifs traités pour illustrer notre démarche sont de complexité croissante : détection et estimation du mouvement en caméra fixe, recalage d'images en caméra mobile (type de mouvement connu et profondeur des objets contrainte) puis estimation générale du mouvement propre et de la structure de la scène en caméras embarquées sur un véhicule mobile. Les résultats obtenus montrent comment un choix de primitives robustes associé à un processus de décision cumulatif permet la réutilisation des opérateurs dans plusieurs secteurs. Les systèmes proposés ont la particularité d'être compacts et cohérents, propriété recherchée dans les applications considérées.

Les dernières années ont montré l'intérêt croissant de la télédétection basse altitude (TBA) pour l'étude de zones na-turelles. Mais au-delà de la problématique d'accès au milieu, la cartographie de ces zones à grande échelle pose denombreuses contraintes sur la partie capteurs d'acquisition. En effet, ce sont des milieux difficiles pour les algorithmesclassiques de traitement d'images : intrinsèquement en mouvement (aux échelles d'observations des individus), com-posés d'objets difficilement discernables, ces milieux présentent des conditions météorologiques variables, voir hostiles(éclairage, humidité, température, etc.). Cette cartographie se place généralement dans une étude thématique qui ra-joute ses propres contraintes opérationnelles (besoin d'information 3D comme le relief ou la rugosité, signature spectralespécifique, prises de vues obliques pour simplifier l'identification visuelle par les experts, etc.). Par ailleurs, l'utilisationen télédétection basse altitude de porteurs légers, comme les micro-drones, limite fortement les ressources disponiblespour les capteurs : puissance de calcul embarquée, encombrement, poids, etc.. Nous présenterons dans cet article deuxcapteurs : le capteur tri-caméras et le banc stéréoscopique uEye. Le capteur tri-caméras a été développé en 2009 pour l'ac-quisition d'images stéréoscopiques ou obliques à basse altitude. En analysant l'expérience tirée des campagnes terrainseffectuées, nous soulignerons l'importance cruciale de la synchronisation précise des prises de vues. Nous présenteronsalors notre nouveau banc stéréoscopique amphibie en développement depuis 2013, et qui vise la possibilité d'acquisitionsstéréoscopiques parfaitement synchronisées, ce qui en fait un outil idéal pour l'étude des zones littorales (pour la télédé-tection basse altitude ou in situ à faible profondeur). Nous terminerons par une présentation des premiers résultats obtenusavec ce nouveau banc.

Une série d'images satellitaires Spot couvrant la période 1997-2009 (base Kalideos Littoral) est exploitée dans l'optique de caractériser l'évolution interannuelle du littoral sableux au sud du Bassin d'Arcachon. Un algorithme semi-analytique reposant sur les propriétés optiques des eaux et des petits fonds a été calibré et validé par des données in situ etappliqué à la série d'images pour produire des spatiocartes bathymétriques. Les observations indiquent une très forte connectivité entre les grands bancs de l'embouchure (Banc d'Arguin et Banc du Pineau) et les barres sous-marines des plages de par la relation « amont-aval » induite par la dérive littorale. Une séquence de 5 ans (1999-2004) a étéconstatée débutant par la dislocation du Banc d'Arguin, la migration d'énormes bancs de sable à travers la Passe Sud, conduisant à une alimentation massive du Banc du Pineau et des structures sous-marines des plages. En outre, la fréquence et l'incidence des houles de tempête contrôlent l'intensité et la direction des déplacements des barres sous-marines (migration cross-shore/longshore). Sur la période récente, cette mobilité se traduit notamment par la progression vers le sud de structures sableuses solidaires de la barre externe mais de plus faible profondeur, se déplaçant face à la plage de Biscarrosse actuellement suivie par des caméras vidéo.

Dans notre imaginaire historique, la récente révolution numérique de la photographie a tendance à occulter une révolution antérieure qui fut moins totale mais plus profonde : la révolution analogique, c’est-à-dire la traduction d’images en signaux électriques et en champs magnétiques variant de façon continue. La photographie analogique électronique a pris la forme de la télévision et de la vidéo, mais aussi de techniques d’enregistrement d’images fixes (par exemple le Videofile d’Ampex dans les années 1960 ; le Mavica de Sony dans les années 1980). Les principaux composants de ces nouvelles technologies, notamment ceux utilisés par les procédés d’enregistrement haute-fidélité et les tubes à vide pour les caméras vidéo, ont d’abord été mis au point à des fins militaires. L’électronique analogique partageait ces éléments et beaucoup d’autres – notamment les supports physiques d’enregistrement – avec les technologies numériques. Peter Sachs Collopy nous montre donc que ce n’est pas la numérisation qui a radicalement transformé la photographie au siècle dernier, mais bien le remplacement de la photochimie par des supports électromagnétiques, à la fois analogiques et numériques.

Jean Cocteau adapte à l’écran trois de ses pièces : L’Aigle à deux têtes en 1947, Les Parents terribles en 1948 et Orphée en 1950. À travers la structure de leur intrigue, leur langage, leurs décors et un jeu de mise en abyme, les deux premières adaptations affichent une théâtralité qui les apparente. Mais elles se distinguent en ce que leur degré d’utilisation des techniques cinématographiques, et par conséquent la profondeur de leur pouvoir de théoriser le rapport liant le théâtre et le septième art, diffère significativement. De plus, l’écriture cinématographique se révèle en elles essentiellement par le changement de l’échelle des plans et la variation des angles. Or, Cocteau réussit pleinement sa deuxième pièce filmée, puisque la caméra y joue le rôle d’un spectateur, qui se déplace librement sur une scène de théâtre. Avec Orphée, le poète détourne la source théâtrale de son film en multipliant les intrigues, les actions et les décors extérieurs. Plus encore, il recourt à nombre de trucages fabriqués et d’artifices que permet le montage. Ces astuces cinématographiques témoignent parfaitement du réalisme irréel tant recherché par Cocteau. L’adaptation de pièces en films permet donc à l’auteur d’explorer l’art de l’artifice afin de mettre en scène l’invisibilité et de déjouer son statut de poète inconnu et incompris. C’est ce que nous verrons dans cet article.

De nombreux logiciels du commerce proposent de créer des modélisations en 3D d'objets ou de scènes à partir uniquement de photographies. Cependant les professionnels, notamment les archéologues et les architectes, ont un certain nombre de contraintes qui restreignent fortement le choix du logiciel, telles que des ressources financières limitées, des connaissances peu approfondies en photogrammétrie et en informatique, des impératifs qui limitent le temps d'acquisition et de traitement, et enfin des attentes précises en terme de qualité, de précision et de complétude de la modélisation. Le laboratoire MATIS a développé un ensemble d'outils libres, open source, qui permettent d'effectuer l'ensemble des étapes du traitement d'un chantier photogrammétrique et qui fournissent des modèles 3D très denses et précis grâce à la rigueur de l'approche photogrammétrique ; ils représentent donc une solution intéressante pour ces professionnels du point de vue algorithmique.Cependant ils ont été développés pour des applications de recherche et sont donc peu ergonomiques pour le public non photogrammètre et non informaticien. C'est pourquoi une interface graphique est en cours de développement afin de fournir un accès simplifié et unifié à ces outils, notamment aux architectes et aux archéologues. Grâce à l'interface, l'utilisateur peut manipuler les images d'un même chantier et contrôler chaque étape du traitement qui comprend : le calcul automatique de points homologues entre les images, l'estimation des poses de la caméra et le calcul des modèles 3D. Les résultats peuvent être convertis en cartes de profondeur ombrées ou en nuages denses de points 3D (au format standard ply), et peuvent être affichés directement par l'interface. Pour offrir la possibilité de traiter des chantiers suffisamment variés, tout en masquant la complexité du paramétrage, la démarche retenue est de présenter à l'utilisateur un accès par grande famille de prises de vue, par exemple : chantier convergent, relevé de façades, chantier aérien sub-vertical, modélisation d'intérieur. . . Une attention particulière est apportée à la qualité de la documentation et à la portabilité du produit sur les principaux types d'ordinateur grand public (Linux, Mac et Windows). Cette interface, bien que non finalisée, permet déjà d'effectuer l'intégralité du traitement de chantiers de type convergent et est disponible en ligne. Des utilisateurs issus des différentes communautés de professionnels ciblées (archéologie, architecture, géologie, photogrammétrie architecturale) l'ont déjà testée et l'interface est régulièrement mise à jour afin de l'adapter aux remarques et demandes de ces testeurs.

Cet article aborde le développement d’un procédé automatisé par OMEXOM NDT Engineering & Services en remplacement du ressuage dans le but de contrôler un des principaux composant nucléaire. L’un des défis majeurs du projet a été le développement d’un procédé de contrôle multi-techniques pour réaliser un examen de surface sans ressuage (procédé historique), associé à une mesure de profondeur des indications caractérisées en surface. Le développement de ce procédé multi- techniques innovant, met en oeuvre une méthode de contrôle par Courants de Foucault multiéléments afin de réaliser la détection sur l’ensemble de la zone d’examen. L’utilisation de la méthode par examen visuel via une caméra haute résolution vient compléter le contrôle afin de caractériser en surface les indications détectées par le procédé de Courant de Foucault. Pour conclure, un procédé ultrasonore permet de caractériser en profondeur les indications examinées par la méthode visuelle. Les logiciels END, contrôle du porteur et gestion des données ont été développés en interne, en se basant notamment sur notre savoir-faire et notre expérience. En conclusion, les bénéfices de ce procédé sans ressuage sont : un procédé de détection rapide, une caractérisation en surface et en profondeur performante et l’absence d’utilisation de produits polluants.

L’œuvre de Stanley Kubrick mobilise divers appareils ainsi qu’un savoir éclectique autour d’exigences photographiques toujours plus affirmées. Le film Barry Lyndon (1975) en est l’exemple le plus frappant. Si une part de la critique a considéré la nature rétinienne et contemplative de ce film, cet article met l’accent sur ses constituantes invisibles. Kubrick tisse des relations paradoxales entre les époques et les disciplines par le montage d’un matériel de la NASA sur une caméra ordinaire, devant la lueur des chandeliers du XVIIIe siècle. Le geste ingénieur de Kubrick implique une conscience de l’Histoire, profonde et complexe ‐ impliquant très probablement celle des sciences. La question d’une vitesse de Barry Lyndon doit être reformulée, puisqu’elle ne saurait se limiter au ralentissement de son action au bénéfice de l’extension d’une durée de contemplation.

Depuis 2010 je déploie des dispositifs filmiques pour faire raconter le travail, j’ai récemment entrepris une enquête filmée dans une petite usine de l’industrie mécanique à Vierzon dans laquelle on fabrique des presses hydrauliques. L’objectif était de montrer comment, après la dernière période de désindustrialisation des années 1990, s’est maintenue cette TPE qui, à l’instar de bien d’autres aujourd’hui, reflète en partie le tissu économique industriel français. Implantée depuis 1946, cette usine a connu des reconfigurations profondes jusqu’à sa transformation en SCOP dans les années 1980. Elle est passée de 160 salariés à 7 aujourd’hui. Ces hommes continuent de fabriquer des machines-outils sur mesure pour de grands groupes industriels (Valeo, Dassault, Schneider…). Je suis allée régulièrement filmer seule la fabrication des machines dont une en particulier, la machine 12 256. Pendant deux ans, caméra en main j’ai adopté une posture très immersive qui me semblait la méthode la plus appropriée pour entendre et voir les gestes du travail. Langage et gestes sont articulés dans chaque plan montrant de nouveau comment chaque détail pratique est lié à une culture individuelle et collective.

Alors qu’une caméra standard enregistre deux dimensions d’un champ lumineux, une caméra plénoptique est conçue pour capturer localement quatre de ses dimensions. La richesse des données issues de ce capteur ouvre alors la porte à de nombreuses applications : il est possible, par post-traitement, de synthétiser des images prises de différents points de vue virtuels, de faire une mise au point dans différents plans de la scène, ou encore de calculer des cartes de profondeur d’une scène à partir d’une seule acquisition et ainsi obtenir des reconstructions 3D de l’environnement. La capture passive d’une information de profondeur via un système optique compact rend également ce capteur attractif pour des applications en robotique. Cependant, l’estimation de profondeur à partir d’un tel capteur nécessite son étalonnage précis. Cette caméra est composée d’un nombre conséquent d’éléments, dont une matrice de micro-lentilles placée devant le capteur, et les données brutes sont complexes. Ainsi la plupart des travaux de l’état de l’art consistent à étalonner des modèles de projection simplifiés en exploitant des données interprétées, telles que des images synthétisées et les cartes de profondeur associées. Au cours de nos premiers travaux réalisés en collaboration avec le laboratoire TUM, nous alors avons proposé une méthode d’étalonnage à partir d’une mire 3D en exploitant des données interprétées. Nous avons par la suite proposé une nouvelle approche d’étalonnage basée sur les données brutes du capteur. Nous avons formalisé un modèle proche des caractéristiques physiques de la caméra et proposé une minimisation exprimée directement dans l’espace des données du capteur. Enfin, nous avons proposé une nouvelle méthode d’estimation de profondeur à échelle métrique utilisant le modèle de projection de la caméra. Cette approche directe utilise une minimisation de l’erreur entre le contenu de chaque micro-image et la reprojection de la texture des micro-images qui l’entourent. Les performances de nos algorithmes ont été évaluées à la fois sur un simulateur développé dans le cadre de cette thèse et sur des scènes réelles. Nous avons montré que l’étalonnage est robuste aux mauvaises initialisations du modèle et la précision des estimations de profondeur concurrence celle de l’état de l’art
Unlike a standard camera that records two dimensions of a light field, a plenoptic camera is designed to locally capture four of its dimensions. The richness of data from this sensor can be use for many applications : it is possible to post-process new points of view, to refocus on different scene’s planes, or to compute depth maps of a scene from a single acquisition and thus obtain 3D reconstructions of the environment. This passive sensor allows the capture of depth using a compact optical system, which makes it attractive for robotics applications. However, depth estimations from such a sensor requires its precise calibration. This camera is composed of a substantial number of elements, including a micro-lens array placed in front of the sensor, and its raw data is complex. Most of the state-of-the-art calibration approaches then consist in formulating simplified projection models and exploiting interpreted data such as synthesized images and associated depth maps. Hence, in our first contribution, carried out in collaboration with the TUM laboratory, we proposed a calibration method from a 3D test pattern using interpreted data. Then we proposed a new calibration approach based on raw data. We formalized a physical-based model of the camera and proposed a minimization expressed directly in the sensor data space to estimate its parameters. Finally, we proposed a new metric scaled depth estimation method using the camera projection model. This direct approach uses an error minimization between each micro-image content and the texture reprojection of the micro-images that surround it. Our algorithms performance was evaluated both on a simulator developed during this thesis and on real scenes. We have shown that the calibration is robust to bad model initialization and the depth estimation accuracy competes with the state-of-the-art

Avec l'apparition récente des caméras 3D, des perspectives nouvelles pour différentes applications de l'interprétation de scène se sont ouvertes. Cependant, ces caméras ont des limites qui affectent la précision de leurs mesures. En particulier pour les caméras Temps-de-Vol, deux types d'erreur peuvent être distingués : le bruit statistique de la caméra et la distorsion de la mesure de profondeur. Dans les travaux de la littérature des caméras Temps-de-Vol, le bruit est peu étudié et les modèles de distorsion de la mesure de profondeur sont généralement difficiles à mettre en œuvre et ne garantissent pas la précision requise pour certaines applications. L'objectif de cette thèse est donc d'étudier, modéliser et proposer un étalonnage précis et facile à mettre en œuvre de ces 2 types d'erreur des caméras Temps-de-Vol. Pour la modélisation du bruit comme pour la distorsion de la mesure de profondeur, deux solutions sont proposées présentant chacune une solution à un problème différent. La première vise à fournir un modèle précis alors que le second favorise la simplicité de la mise en œuvre. Ainsi, pour le bruit, alors que la majorité des modèles reposent uniquement sur l'information d'amplitude, nous proposons un premier modèle qui intègre aussi la position du pixel dans l'image. Pour encore une meilleure précision, nous proposons un modèle où l'amplitude est remplacée par la profondeur de l'objet et le temps d'intégration. S'agissant de la distorsion de la mesure de profondeur, nous proposons une première solution basée sur un modèle non-paramétrique garantissant une meilleure précision. Ensuite, pour fournir une solution plus facile à mettre en œuvre que la précédente et que celles de l'état de l'art, nous nous basons sur la connaissance à priori de la géométrie planaire de la scène observée
3D cameras open new possibilities in different fields such as 3D reconstruction, Augmented Reality and video-surveillance since they provide depth information at high frame-rates. However, they have limitations that affect the accuracy of their measures. In particular for TOF cameras, two types of error can be distinguished : the stochastic camera noise and the depth distortion. In state of the art of TOF cameras, the noise is not well studied and the depth distortion models are difficult to use and don't guarantee the accuracy required for some applications. The objective of this thesis is to study, to model and to propose a calibration method of these two errors of TOF cameras which is accurate and easy to set up. Both for the noise and for the depth distortion, two solutions are proposed. Each of them gives a solution for a different problem. The former aims to obtain an accurate model. The latter, promotes the simplicity of the set up. Thereby, for the noise, while the majority of the proposed models are only based on the amplitude information, we propose a first model which integrate also the pixel position in the image. For a better accuracy, we propose a second model where we replace the amplitude by the depth and the integration time. Regarding the depth distortion, we propose a first solution based on a non-parametric model which guarantee a better accuracy. Then, we use the prior knowledge of the planar geometry of the observed scene to provide a solution which is easier to use compared to the previous one and to those of the litterature

Ce manuscrit présente les différentes contributions scientifiques au cours de cette thèse, dans le but de résoudre le problème de la reconstruction 3D structure from motion (SfM) à travers la synthèse de modèles dynamiques et d'algorithmes d'observation pour la reconstruction de variables non mesurées. Il ne fait aucun doute que les capteursde vision sont la source la plus importante fournissant des informations riches surl'environnement et c'est là que l'estimation de la structure de la scène commence à trouver des usages professionnels. Il y a eu un intérêt significatif pour récupérerla structure 3D d'une scène à partir de pixels en 2D en considérant une séquence d'images. Plusieurs solutions à ce problème ont été proposées dans la littérature. L'objectif du problème classique de la « structure from mouvement (SfM) » est d'estimer les coordonnées euclidiennes des points caractéristiques suivis, attachés à un objet (c'est-à-dire la structure 3D) à condition que le mouvement relatif entre la caméra et l'objet soit connu. Il est largement traité dans la littérature que le mouvement translationnel de la caméra a un effet important sur la performance de l'estimation de la structure 3D. Pour les caméras embarquées (eye-in-hand) portées par un robot manipulateurs fixés au sol, il est simple de mesurer la vitesse linéaire. Cependant, en ce qui concerne les caméras montées sur des robots mobiles, certains problèmes pratiques peuvent survenir. Par conséquent, un autre objectif de cette thèse est de trouver des stratégies pour développer des observateurs non linéaires déterministes pour résoudre le problème de SfM et obtenir une estimation fiable des vitesses linéaires variables dans le temps, utilisées comme entrées du schéma d'estimation, ce qui est une exigence implicite pour la plupart des visions actives. Les techniques utilisées sont basées sur les modèles de Takagi-Sugeno et de la théorie de Lyapunov. Dans la première partie, une solution pour le problème SfM est présentée, où le but principal est d'identifier la structure 3D d'un point caractéristique observé par une caméra calibrée en supposant une connaissance précise des vitesses linéaires et angulaires de la caméra. Ensuite, ce travail est étendu à l'étude de la reconstruction 3D d'un point en considérant une caméra partiellement calibrée. Dans la deuxième partie, la thèse se focalise sur l'identification de la structure 3D d'un point caractéristique suivi et de la vitesse linéaire de la caméra. Dans un premier temps, la stratégie présentée vise à récupérer les informations 3D et l'estimation de la vitesse linéaire partielle de la caméra. Ensuite, la thèse introduit l'estimation de la structure et l'estimation complète de la vitesse linéaire de la caméra, où l'observateur proposé n'a besoin que de la vitesse angulaire de la caméra et des accélérations linéaires et angulaires correspondantes. Les performances de chaque observateur sont mises en évidence à l'aide d'une série de simulations avec plusieurs scénarios
This manuscript outlines the various scientific contributions during this thesis, with the objective of solving the problem of the 3D reconstructure Structure from Motion (SfM) through the synthesis of dynamic models and observation algorithms for thereconstruction of unmeasured variables. Undoubtedly, vision sensors are the most important source providing rich information about the environment and that's where the scene structure estimation begins to find professional uses. There has been significant interest in recovering the 3D structure of a scene from 2D pixels considering a sequence of images. Several solutions have been proposed in the literature for this issue. The objective of the classic “structure from motion (SfM)” problem is to estimate the Euclidean coordinates of tracked feature points attached to an object (i.e., 3-D structure) provided the relative motion between the camera and the object is known. It isthoroughly addressed in literature that the camera translational motion has a strong effect on the performance of 3D structure estimation. For eye-in-hand cameras carried by robot manipulators fixed to the ground, it is straightforward to measure linear velocity. However when dealing with cameras riding on mobile robots, some practical issues may occur. In this context, particular attention has been devoted to estimating the camera linear velocities. Hence another objective of this thesis is to find strategies to develop deterministic nonlinear observers to address the SfM problem and obtain a reliable estimation of the unknown time-varying linear velocities used as input of the estimator scheme which is an implicit requirement for most of active vision. The techniques used are based on Takagi-Sugeno models and Lyapunov-based analysis. In the first part, a solution for the SfM problem is presented, where the main purpose is to identify the 3D structure of a tracked feature point observed by a moving calibrated camera assuming a precise knowledge of the camera linear and angular velocities. Then this work is extended to investigate the depth reconstruction considering a partially calibratedcamera. In the second part, the thesis focuses on identifying the 3D structure of a tracked feature point and the camera linear velocity. At first, the strategy presented aims to recover the 3D information and partial estimate of the camera linear velocity. Then, the thesis introduces the structure estimation and full estimation of the camera linear velocity, where the proposed observer only requires the camera angular velocity and the corresponding linear and angular accelerations. The performance of eachobserver is highlighted using a series of simulations with several scenarios and experimental tests

Les travaux proposés dans cette thèse s’inscrivent dans le cadre des projets ANR-Cam-Relief et du CPER-CREATIS soutenus par l’Agence Nationale de la Recherche, la région Champagne-Ardenne et le FEDER. Ces études s'inscrivent également dans le cadre d’une collaboration avec la société 3DTV-Solutions et deux groupes du CReSTIC (AUTO et SIC). L’objectif de ce projet est ,entre autre, de concevoir par analogie aux systèmes 2D grands publics actuels, des systèmes de prise de vue 3D permettant de restituer sur écrans reliefs (auto-stéréoscopiques) visibles sans lunettes, des images 3D de qualité. Notre intérêt s’est porté particulièrement sur les systèmes de prise de vue à configuration parallèle et décentrée. Les travaux de recherche menés dans cette thèse sont motivés par l’incapacité des configurations statiques de ces systèmes de prise de vue de capturer correctement des scènes dynamiques réelles pour une restitution autostéréoscopique correcte. Pour surmonter cet obstacle, un schéma d’adaptation de laconfiguration géométrique du système de prise de vue est proposé. Afin de déterminer les paramètres devant être concernés par cette adaptation, une étude de l’effet de la constance de chaque paramètre sur la qualité du rendu relief est menée. Les répercussions des contraintes dynamiques et mécaniques sur le relief restitué sont ensuite examinées. La précision de positionnement des paramètres structurels est abordée à travers la proposition de deux méthodes d’évaluation de la qualité du rendu relief, pour déterminer les seuils d’erreur de positionnement des paramètres structurels du système de prise de vue. Enfin, le problème de la calibration est abordée, où l’on propose une méthode basée sur la méthode de transformation linéaire directe DLT, et des perspectives sont envisagées pour l’asservissement de ces systèmes de prise de vue par asservissement classique ou par asservissement visuel
The works proposed in this thesis are part of the projects ANR-Cam-Relief and CPER-CREATIS supported by the National Agency of Research, the Champagne-Ardenne region and the FEDER.These studies also join within the framework of a collaboration with the 3DTV-Solutions society and two groups of the CReSTIC (AUTO and SIC).The objective of this project is, among others, to design by analogy to the current 2D popularized systems, 3D shooting systems allowing to display on 3D screens (auto-stereoscopic) visible without glasses, 3D quality images. Our interest has focused particularly on shooting systems with parallel and decentred configuration. There search works led in this thesis are motivated by the inability of the static configurations of these shooting systems to capture correctly real dynamic scenes for a correct auto-stereoscopic endering. To overcome this drawback, an adaptation scheme of the geometrical configuration of the shooting system is proposed. To determine the parameters to be affected by this adaptation,the effect of the constancy of each parameter on the rendering quality is studied. The repercussions of the dynamic and mechanical constraints on the 3D rendering are then examined. Positioning accuracy of the structural parameters is approached through two methods proposed for the rendering quality assessment, to determine the thresholds of positioning error of the structural parameters of the shooting system. Finally, the problem of calibration is discussed where we propose an approach based on the DLT method, and perspectives are envisaged to automatic control of these shooting systems by classical approaches or by visual servoing

Cette thèse s’intéresse à définir de nouvelles méthodes cliniques d’investigation permettant de juger de l’impact de l’avance en âge sur la motricité. En particulier, cette thèse se focalise sur deux principales perturbations possibles lors de l’avance en âge : la chute et l’altération de la marche.Ces deux perturbations motrices restent encore mal connues et leur analyse en clinique pose de véritables défis technologiques et scientifiques. Dans cette thèse, nous proposons des méthodes originales de détection qui peuvent être utilisées dans la vie courante ou en clinique, avec un minimum de contraintes techniques. Dans une première partie, nous abordons le problème de la détection de la chute à domicile, qui a été largement traité dans les années précédentes. En particulier, nous proposons une approche permettant d’exploiter le volume du sujet, reconstruit à partir de plusieurs caméras calibrées. Ces méthodes sont généralement très sensibles aux occultations qui interviennent inévitablement dans le domicile et nous proposons donc une approche originale beaucoup plus robuste à ces occultations. L’efficacité et le fonctionnement en temps réel ont été validés sur plus d’une vingtaine de vidéos de chutes et de leurres, avec des résultats approchant les 100% de sensibilité et de spécificité en utilisant 4 caméras ou plus. Dans une deuxième partie, nous allons un peu plus loin dans l’exploitation des volumes reconstruits d’une personne, lors d’une tâche motrice particulière : la marche sur tapis roulant, dans un cadre de diagnostic clinique. Dans cette partie, nous analysons plus particulièrement la qualité de la marche. Pour cela nous développons le concept d’utilisation de caméras de profondeur pour la quantification de l’asymétrie spatiale au cours du mouvement des membres inférieurs pendant la marche. Après avoir détecté chaque pas dans le temps, cette méthode réalise une comparaison de surfaces de chaque jambe avec sa correspondante symétrique du pas opposé. La validation effectuée sur une cohorte de 20 sujets montre la viabilité de la démarche.
This thesis is concerned with defining new clinical investigation method to assess the impact of ageing on motricity. In particular, this thesis focuses on two main possible disturbance during ageing : the fall and walk impairment. This two motricity disturbances still remain unclear and their clinical analysis presents real scientist and technological challenges. In this thesis, we propose novel measuring methods usable in everyday life or in the walking clinic, with a minimum of technical constraints. In the first part, we address the problem of fall detection at home, which was widely discussed in previous years. In particular, we propose an approach to exploit the subject’s volume, reconstructed from multiple calibrated cameras. These methods are generally very sensitive to occlusions that inevitably occur in the home and we therefore propose an original approach much more robust to these occultations. The efficiency and real-time operation has been validated on more than two dozen videos of falls and lures, with results approaching 100 % sensitivity and specificity with at least four or more cameras. In the second part, we go a little further in the exploitation of reconstructed volumes of a person at a particular motor task : the treadmill, in a clinical diagnostic. In this section we analyze more specifically the quality of walking. For this we develop the concept of using depth camera for the quantification of the spatial and temporal asymmetry of lower limb movement during walking. After detecting each step in time, this method makes a comparison of surfaces of each leg with its corresponding symmetric leg in the opposite step. The validation performed on a cohort of 20 subjects showed the viability of the approach.
Réalisé en cotutelle avec le laboratoire M2S de Rennes 2

Cette étude recense les différents outils mathématiques utilisables pour réaliser la mise au point des systèmes optiques. Ces outils mathématiques que nous appelons descripteurs sont rangés en deux familles: descripteurs primaires/descripteurs secondaires. Dans un premier temps nous proposons l'amélioration d'un descripteur primaire par la détermination automatique de ses paramètres. Dans un deuxième temps nous proposons, après en avoir étudié ses propriétés, un nouvel outil comme descripteur: «le critère de Cramer Von Mises». Ce critère a un excellent comportement vis-à-vis d'images globalement nettes ou globalement floues. Grâce à une simplification du calcul de cet outil sans altération notable de son comportement vis-à-vis du flou, nous avons pu obtenir des temps de calcul très courts. La méthode que nous proposons est basée sur l'utilisation répétée de cet outil sur des portions d'images après segmentation de celles-ci. Il permet ainsi la mise en évidence de différents plans de netteté éventuels.

Cette thèse s'intéresse à définir de nouvelles méthodes cliniques d'investigation permettant de juger de l'impact de l'avance en âge sur la motricité. En particulier, cette thèse se focalise sur deux principales perturbations possibles lors de l'avance en âge : la chute et l'altération de la marche.Ces deux perturbations motrices restent encore mal connues et leur analyse en clinique pose de véritables défis technologiques et scientifiques. Dans cette thèse, nous proposons des méthodes originales de détection qui peuvent être utilisées dans la vie courante ou en clinique, avec un minimum de contraintes techniques.Dans une première partie, nous abordons le problème de la détection de la chute à domicile, qui a été largement traité dans les années précédentes. En particulier, nous proposons une approche permettant d'exploiter le volume du sujet, reconstruit à partir de plusieurs caméras calibrées. Ces méthodes sont généralement très sensibles aux occultationsqui interviennent inévitablement dans le domicile et nous proposons donc une approche originale beaucoup plus robuste à ces occultations. L'efficacité et le fonctionnement en temps réel ont été validés sur plus d'une vingtaine de vidéos de chutes et de leurres, avec des résultats approchant les 100% de sensibilité et de spécificité en utilisant 4 caméras ou plus.Dans une deuxième partie, nous allons un peu plus loin dans l'exploitation des volumes reconstruits d'une personne, lors d'une tâche motrice particulière : la marche sur tapis roulant, dans un cadre de diagnostic clinique. Dans cette partie, nous analysons plus particulièrement la qualité de la marche. Pour cela nous développons le concept d'utilisation de caméras de profondeur pour la quantification de l'asymétrie spatiale au cours du mouvement des membres inférieurs pendant la marche. Après avoir détecté chaque pas dans le temps, cette méthode réalise une comparaison de surfaces de chaque jambe avec sa correspondante symétrique du pas opposé. La validation effectuée sur une cohorte de 20 sujets montre la viabilité de la démarche

Cette thèse explore le développement et la validation des systèmes de navigation autonome dans un environnement de réalité mixte (RM), avec pour objectif de combler l’écart entre la simulation virtuelle et les tests en conditions réelles. Les travaux mettent l’accent sur le potentiel des environnements en réalité mixte pour tester les systèmes autonomes de manière sûre, efficace et économique. La thèse est structurée en plusieurs parties, et commence par une revue des technologies de pointe dans la navigation autonome et les applications en réalité mixte. En utilisant des modèles à base de règles et des modèles d’apprentissage, des expérimentations visent à évaluer les performances des robots autonomes dans des environnements simulés, réels et de RM. Un des objectifs principaux est de réduire le « reality gap »—c’est-à-dire la différence entre les comportements observés en simulation et ceux observés dans des applications réelles—en intégrant des éléments réels avec des composants virtuels dans des environnements de RM. Cette approche permet des tests et une validation plus proche des contraintes réelles sans les risques associés aux essais physiques. Une partie importante du travail est consacrée à la mise en œuvre et au test d’une stratégie d’augmentation hors ligne visant à améliorer les capacités de perception des systèmes autonomes à l’aide des informations de profondeur. De plus, l’apprentissage par renforcement est appliqué pour évaluer son potentiel dans les environnements de RM. La thèse démontre que ces modèles peuvent apprendre efficacement à naviguer et à éviter les obstacles dans des simulations virtuelles et obtenir des résultats similaires lorsqu’ils sont transférés dans des environnements de RM, soulignant la flexibilité du cadre pour différents modèles de systèmes autonomes. À travers ces expériences, la thèse montre le potentiel des environnements de réalité mixte comme une plateforme polyvalente et robuste pour faciliter le développement des technologies de navigation autonome, offrant une approche plus sûre et plus évolutive pour la validation des modèles avant leur déploiement dans le monde réel
This thesis explores the development and validation of autonomous navigation systems within a mixed-reality (MR) framework, aiming to bridge the gap between virtual simulation and real-world testing. The research emphasizes the potential of MR environments for safely, efficiently, and cost-effectively testing autonomous systems. The thesis is structured around several chapters, beginning with a review of state-of-the-art technologies in autonomous navigation and mixed-reality applications. Through both rule-based and learning-based models, the research investigates the performance of autonomous robots within simulated, real, and MR environments. One of the core objectives is to reduce the "reality gap"—the discrepancy between behaviors observed in simulations versus real-world applications—by integrating real- world elements with virtual components in MR environments. This approach allows for more accurate testing and validation of algorithms without the risks associated with physical trials. A significant part of the work is dedicated to implementing and testing an offline augmentation strategy aimed at enhancing the perception capabilities of autonomous systems using depth information. Furthermore, reinforcement learning (RL) is applied to evaluate its potential within MR environments. The thesis demonstrates that RL models can effectively learn to navigate and avoid obstacles in virtual simulations and perform similarly well when transferred to MR environments, highlighting the framework’s flexibility for different autonomous system models. Through these experiments, the thesis establishes MR environments as a versatile and robust platform for advancing autonomous navigation technologies, offering a safer, more scalable approach to model validation before real-world deployment

Cette these aborde le probleme de l'estimation de la profondeur d'une scene rigide a partir d'une camera en mouvement dont les parametres sont connus. Nous avons axe notre recherche sur une approche directe qui permet de determiner la profondeur directement a partir des variations spatio-temporelles de la fonction d'intensite, evitant ainsi le calcul du flot optique utilise dans les approches classiques. L'application directe de cette approche s'avere inexploitable. Il est necessaire de determiner un domaine de validite permettant de selectionner l'ensemble des points de l'image susceptibles de fournir une valeur de profondeur correcte ; et d'utiliser une analyse multiechelle pour ameliorer l'estimation des derivees. L'estimation de la profondeur a une resolution donnee est faite par la minimisation d'une fonction d'energie etablie dans le cadre d'une regularisation statistique. Un module de fusion des differentes echelles spatiales et temporelles analysees conduit a l'obtention d'une carte de profondeur finale. Un schema de correction-prediction integre l'information temporelle d'une sequence d'images. La carte predite est consideree comme une observation supplementaire prise en compte par le processus de fusion. Une gestion explicite de la confiance sur l'estimation obtenue permet a tout moment d'obtenir une carte de confiance associee a la carte de profondeur predite

Le travail présenté dans cette thèse s'intéresse à l'extraction de points homologues entre images acquises de points de vue différents qui est une étape préliminaire indispensable dans de nombreuses applications, particulièrement la reconstruction 3D. Les algorithmes existants sont très efficaces sur des images lorsque les points de vue sont suffisamment proches mais, au-delà d'un certain seuil, leurs performances peuvent baisser de manière drastique. Nous nous intéressons aux cas où, en plus de la radiométrie, on peut associer à chaque pixel une information de profondeur, celle-ci peut venir de différents systèmes (LIDAR, caméra RGB-D, appareil photographique plénoptique). Notre démarche est d'utiliser cette information pour résoudre les problèmes de distorsion entre points de vue qui rendent inopérantes les méthodes n'utilisant que la radiométrie. Une première approche traite les scènes de surface plane (environnements urbains, architectures modernes) en redressant ladite surface orthogonalement. Une seconde approche s'applique aux scènes 3D plus complexes (collections de musées, sculptures) ; nous nous appuyons sur les projections cartographiques conformes. Pour ces deux schémas, notre contribution permet d'améliorer sensiblement la détection des points homologues, aussi bien au niveau de leur quantité que de leur répartition (en comparant avec les algorithmes: SIFT, MSER et ASIFT). Les résultats de comparaison montrent que les points homologues obtenus avec nos approches sont nombreux et bien répartis dans les images
The work presented in this thesis focuses on extraction of homologous points (point matches) between images acquired from different viewpoints. This is a first essential step in many applications, particularly 3D reconstruction. Existing algorithms are very efficient for the images closed viewpoints but the performance can drop drastically for wide baseline images. We are interested in case that, in addition of radiometry, we have a depth information associated each pixel. The information can be obtained from different systems (LIDAR, RGB-D camera, light field camera). Our approach uses this information to solve the problem of distortion between the viewpoints, which is not efficient by the methods using only the radiometry. The first approach deals with planar surface scenes (urban environment, modern building). Each planar region is rectified to orthogonal view. The second approach is applied for more complex scenes (museum collections, sculptures). We rely on projection of conformal mapping. For two schemes, our contributions have efficiently improved the detection of point matches, both in terms of their quantity and their distribution (comparing with the algorithms: SIFT, MSER and ASIFT). Comparative results show that the homologous points obtained by our approach are numerous and efficiently distributed on the images