Dissertations / Theses on the topic 'Saillance 3D'

Le regard de tout être humain est attiré par des régions particulières appartenant aux objets (pouvant être re-présentés par des maillages 3D). Cette attractivité dépend fortement du degré de saillance exposé par ces régions. Le premier objectif de cette thèse est de proposer et de mettre en oeuvre un modèle permettant de détecter automati-quement les zones saillantes sur les maillages 3D non colorés. Nous considérons qu’un noeud du maillage est saillant s’il ressort fortement de son voisinage local et si sa configuration géométrique est différente de celle de ses voisins adjacents. Pour cela nous caractérisons la surface du maillage par un descripteur local sous forme de patch de taille adaptative. Ce dernier est utilisé dans le calcul des similarités et intégré dans le calcul de la carte saillance multi-échelle. Nous proposons également une extension de ce modèle pour la détection de la saillance des maillages colorés. Quatre appli-cations basées sur le modèle de saillance proposé ont été développées après la validation des résultats de notre mo-dèle sur des maillages non colorés issus d’une pseudo vérité terrain. Les premières et deuxièmes applications concer-nent respectivement la sélection automatique des points de vues optimaux et la compression adaptative des maillages 3D non colorés. Les troisièmes et quatrièmes applications s’inscrivent respectivement dans le cadre de l’amélioration de détails et du lissage adapatatif des maillages 3D colorés. Le deuxième objectif de cette thèse consiste à proposer une métrique d’évaluation de la qualité avec référence des maillages 3D. En mettant en entrée de cette métrique un maillage original (supposé parfait sans dégradation) et un deuxième maillage dégradé, le but sera d’évaluer le degré de fidélité du maillage dégradé relativement à sa version de référence en fournissant un score de de fidélité qui soit le plus proche possible des scores fournis par les observateurs humains. Étant donné que la saillance visuelle est une information pertinente pour notre système visuel, son utilisation dans le pipeline de la métrique est naturel. Nous utili-sons deux propriétés des maillages 3D pour évaluer objectivement la qualité : la saillance multi-échelle et la rugosité. En effet, la carte de saillance servira à l’extraction des informations structurelles du maillage 3D et la carte de rugosité à la prise en compte de l’effet de masquage visuel. Nous introduisons quatre fonctions de comparaisons entre deux voisinages locaux correspondants des deux maillages pour estimer les différences structurelles entre eux. Nous combi-nons ces dernières par une somme de Minkowski pondérée pour obtenir le score de qualité final. Le troisième objectif de cette thèse s’inscrit dans la mise en oeuvre d’une métrique d’évaluation de la qualité sans référence d’un maillage 3D. Contrairement à une métrique avec référence, cette catégorie de métriques est considérée comme la plus épi-neuse pour évaluer objectivement la qualité d’un maillage dégradé dans la mesure où la version de référence du mail-lage n’est pas utilisée. Similairement à la métrique avec référence, nous supposons que la qualité visuelle d’un mail-lage 3D est davantage dépréciée lorsque les régions saillantes du maillage sont affectées et vice-versa. Nous commen-çons par segmenter le maillage en un nombre de superfacettes qui joueront le rôle de patchs locaux dans ce contexte. Nous affectons à chaque noeud d’une superfacette ses valeurs de saillance et de rugosité respectives puis nous ex-trayons quatre caractéristiques locales de chaque superfacette (moyenne de la saillance, écart type de la saillance, covariance de la saillance et la moyenne de la rugosité). Les variations de ces quatre caractéristiques quantifient les distorsions que peut subir un maillage. Finalement, nous effectuons un apprentissage basé sur les Séparateurs à Vastes Marges (SVM) en utilisant le vecteur de caractéristiques construit : puis pour passer d’une représentation vectorielle du maillage à un score de qualité final, nous utilisons une régression par SVMs
The glance of each human being is attracted by specific areas into 3D objects (that can be represented by meshes). This attraction depends on the degree of saliency exposed by these areas. The first goal of this thesis is to propose an approach for detecting visual salient areas on 3D non-colored meshes. We consider that a vertex as salient if it strongly stands out from its local neighborhood and if its geometric configuration is different from its adjacent vertices. For this, we characterize the surface of the 3D mesh by the use of a local vertex de-scriptor in the form of an adaptive patch. This descriptor is used as a basis for similarity computation and integrated into a weighted multi-scale saliency computation. We propose also an extension of our visual saliency model to 3D colored meshes. Four saliency-based applications were developed after the validation of the saliency detection results with a pseudo ground truth. The first and the second one concern respectively the optimal viewpoint selection and the adaptive compression of 3D non colored meshes. The third one sharpens the details of a 3D colored mesh, and the fourth smooths adaptively its colors. The second aim is to propose a novel perceptual full reference metric for the quality assessment of 3D meshes. Given a 3D reference mesh (reputed devoid from any distorsions) and a 3D distorted mesh as inputs of this metric, the goal is to assess the perceived quality of the distorted mesh by providing a fidelity score which must be as close as possible to the humans scores. As visual saliency is a perti-nent information for our visual system, its use in the pipeline of the quality metric is natural. We use two properties of 3D meshes for evaluating their perceived quality : the visual saliency and the roughness. The multi-scale saliency map is used for the extraction of the structural informations of the 3D mesh and the roughness map for the account of the visual masking effect. We introduce 4 comparison functions between 2 corresponding local neighborhoods in order to estimate the structural differences between them. We combine these functions with a weighted Minkowski sum so as to obtain a final quality score. The third objectif of this thesis is to provide an approach for the difficult problem of the no reference quality assessment of 3D meshes. On the contrary to full reference metrics, this category is considered as the thorniest since the reference version of the 3D mesh is not used. Similarly to the full reference metric, we suppose that the visual quality of a 3D mesh is more affected when the salient areas of the mesh are affected and vice versa. We begin by segmenting the mesh into a number of Superfacets which represent the local patches in this context. Then we affect to each vertex of a Superfacet its respective values of saliency and roughness. Afterward, we extract four local characteristics of each Superfacet (mean saliency, standard-deviation saliency, covariance saliency and mean roughness). Variations of these 4 characteristics quantify effectively the distorsions that a mesh may undergo. Finally, we perform a learning step based on SVMs (Support Vectors Machines) using the constructed feature vector , To move from a vectorial representation to a final quality score, we use a regression SVM scheme

Le travail de recherche effectué dans le cadre de cette thèse concerne le développement d’un système de perception de la saillance en environnement 3D en tirant l’avantage d’une représentation pseudo-3D. Notre contribution et concept issue de celle-ci part de l'hypothèse que la profondeur de l’objet par rapport au robot est un facteur important dans la détection de la saillance. Sur ce principe, un système de vision saillante de l’environnement 3D a été proposé, conçu et validée sur une plateforme comprenant un robot équipé d’un capteur pseudo-3D. La mise en œuvre du concept précité et sa conception ont été d’abord validés sur le système de vision pseudo-3D KINECT. Puis dans une deuxième étape, le concept et les algorithmes mis aux points ont été étendus à la plateforme précitée. Les principales contributions de la présente thèse peuvent être résumées de la manière suivante : A) Un état de l'art sur les différents capteurs d'acquisition de l’information de la profondeur ainsi que les différentes méthodes de la détection de la saillance 2D et pseudo 3D. B) Etude d’un système basé sur la saillance visuelle pseudo 3D réalisée grâce au développement d’un algorithme robuste permettant la détection d'objets saillants dans l’environnement 3D. C) réalisation d’un système d’estimation de la profondeur en centimètres pour le robot Pepper. D) La mise en œuvre des concepts et des méthodes proposés sur la plateforme précitée. Les études et les validations expérimentales réalisées ont notamment confirmé que les approches proposées permettent d’accroitre l’autonomie des robots dans un environnement 3D réel
The research work, carried out within the framework of this thesis, concerns the development of a system of perception and saliency detection in 3D environment taking advantage from a pseudo-3D representation. Our contribution and the issued concept derive from the hypothesis that the depth of the object with respect to the robot is an important factor in the detection of the saliency. On this basis, a salient vision system of the 3D environment has been proposed, designed and validated on a platform including a robot equipped with a pseudo-3D sensor. The implementation of the aforementioned concept and its design were first validated on the pseudo-3D KINECT vision system. Then, in a second step, the concept and the algorithms have been extended to the aforementioned robotic platform. The main contributions of the present thesis can be summarized as follow: A) A state of the art on the various sensors for acquiring depth information as well as different methods of detecting 2D salience and pseudo 3D. B) Study of pseudo-3D visual saliency system based on benefiting from the development of a robust algorithm allowing the detection of salient objects. C) Implementation of a depth estimation system in centimeters for the Pepper robot. D) Implementation of the concepts and methods proposed on the aforementioned platform. The carried out studies and the experimental validations confirmed that the proposed approaches allow to increase the autonomy of the robots in a real 3D environment

Dans cette thèse, nous traitons le problème de la navigation dans un environnement virtuel 3D. En particulier, les environnements, sous forme d'un nuage de centaines de millions de points, sont difficiles à appréhender par un novice. La complexité et la richesse en détails du nuage de points 3D de la cathédrale d'Amiens peuvent ainsi entraîner une désorientation et une visualisation non pertinente avec les outils (logiciels et interfaces) existants. Les contributions de la thèse portent sur le contrôle de caméra virtuelle, automatique et assisté, en exploitant des informations visuelles 2D de l'image et d'autres informations 3D de l'environnement. Pour garantir la pertinence visuelle, nous proposons deux méthodes de guidage de caméra, l'une basée entropie photométrique et la seconde, représentant la contribution majeure de cette thèse, définit et exploite le mélange de gaussiennes basées saillance visuelle. Le formalisme d'asservissement visuel permet de relier la modélisation de l'image aux degrés de liberté de la caméra. L'évitement d'obstacles, la fluidité du mouvement et l'orientation appropriée de la caméra sont des contraintes supplémentaires, prises en compte pour deux types de navigations : le cadrage local et l'exploration globale. Le but du cadrage visuel est de déplacer la caméra en utilisant la nouvelle primitive photométrique du mélange de gaussiennes basées saillance, afin d'atteindre un point de vue pertinent pour la visualisation d'un objet. L'approche a été testée en simulation, sur un nuage de points dense et aussi dans un environnement réel avec un robot. En ce qui concerne l'exploration, deux méthodes ont été proposées. La première automatique en utilisant l'entropie photométrique et les contraintes de réalisme du mouvement. Le problème est résolu à l'aide d'un algorithme d'optimisation hybride et hiérarchique. Ensuite, une approche d'exploration assistée a été proposée, où, l'utilisateur définit un ensemble de zones à visiter. À ce dernier, s'ajoutent différentes contraintes pour assurer une navigation réaliste et pertinente. La résolution s'appuie sur une loi de contrôle hiérarchique qui utilise le formalisme de redondance. Ces deux méthodes d'exploration ont été testées sur des nuages de points très vastes et complexes, notamment celui de la cathédrale Notre Dame d'Amiens
In this thesis, we address the issue of navigation in virtual 3D environment. In particular, environments made of hundreds of millions of points, which are difficult to bring under control by a novice. The complexity and the wealth of details of the 3D point cloud of the cathedral of Amiens can result in a disorientation and in an irrelevant visualization with existing tools (interfaces). The contributions of the thesis deal with automatic or assisted camera control exploiting 2D visual information from the image and other 3D information from the environment. To ensure the visual relevance, we propose two methods to pilot the camera, one based on the photometric entropy and the second representing the major contribution of this thesis, defines and exploits the saliency-based Gaussian mixture. The visual servoing formalism is used to link the image modelling to the camera degrees of freedom. The obstacle avoidance, the fluidity of motion and appropriate camera orientation are considered as additional constraints taken into account in two navigation modes: the local framing and the global exploration. The goal of visual framing is to move the camera by maximizing the saliency-based Gaussian mixture feature, in order to reach a relevant viewpoint to visualize an object. We test this approach in synthetic model, 3D points cloud model and in a real environment with a robot. Regarding exploration, we present first an automatic camera control exploiting the photometric entropy and some constraints to ensure realistic motion. The problem is solved using an hybrid and hierarchical optimization algorithm. Then, we present a navigation aid system helping the user to explore a part or the whole 3D environment. The system is built using the redundancy formalism taking into account several constraints. These approaches were tested on simple and complex dense 3D points cloud

L’attention visuelle est l’un des mécanismes les plus importants mis en oeuvre par le système visuel humain (SVH) afin de réduire la quantité d’information que le cerveau a besoin de traiter pour appréhender le contenu d’une scène. Un nombre croissant de travaux est consacré à l’étude de l’attention visuelle, et en particulier à sa modélisation computationnelle. Dans cette thèse, nous présentons des études portant sur plusieurs aspects de cette recherche. Nos travaux peuvent être classés globalement en deux parties. La première concerne les questions liées à la vérité de terrain utilisée, la seconde est relative à la modélisation de l’attention visuelle dans des conditions de visualisation 3D. Dans la première partie, nous analysons la fiabilité de cartes de densité de fixation issues de différentes bases de données occulométriques. Ensuite, nous identifions quantitativement les similitudes et les différences entre carte de densité de fixation et carte d’importance visuelle, ces deux types de carte étant les vérités de terrain communément utilisées par les applications relatives à l’attention. Puis, pour faire face au manque de vérité de terrain exploitable pour la modélisation de l’attention visuelle 3D, nous procédons à une expérimentation oculométrique binoculaire qui aboutit à la création d’une nouvelle base de données avec des images stéréoscopiques 3D. Dans la seconde partie, nous commençons par examiner l’impact de la profondeur sur l’attention visuelle dans des conditions de visualisation 3D. Nous quantifions d’abord le " biais de profondeur " lié à la visualisation de contenus synthétiques 3D sur écran plat stéréoscopique. Ensuite, nous étendons notre étude avec l’usage d’images 3D au contenu naturel. Nous proposons un modèle de l’attention visuelle 3D basé saillance de profondeur, modèle qui repose sur le contraste de profondeur de la scène. Deux façons différentes d’exploiter l’information de profondeur par notre modèle sont comparées. Ensuite, nous étudions le biais central et les différences qui existent selon que les conditions de visualisation soient 2D ou 3D. Nous intégrons aussi le biais central à notre modèle de l’attention visuelle 3D. Enfin, considérant que l’attention visuelle combinée à une technique de floutage peut améliorer la qualité d’expérience de la TV-3D, nous étudions l’influence de flou sur la perception de la profondeur, et la relation du flou avec la disparité binoculaire
Visual attention is one of the most important mechanisms deployed in the human visual system to reduce the amount of information that our brain needs to process. An increasing amount of efforts are being dedicated in the studies of visual attention, particularly in computational modeling of visual attention. In this thesis, we present studies focusing on several aspects of the research of visual attention. Our works can be mainly classified into two parts. The first part concerns ground truths used in the studies related to visual attention ; the second part contains studies related to the modeling of visual attention for Stereoscopic 3D (S-3D) viewing condition. In the first part, our work starts with identifying the reliability of FDM from different eye-tracking databases. Then we quantitatively identify the similarities and difference between fixation density maps and visual importance map, which have been two widely used ground truth for attention-related applications. Next, to solve the problem of lacking ground truth in the community of 3D visual attention modeling, we conduct a binocular eye-tracking experiment to create a new eye-tracking database for S-3D images. In the second part, we start with examining the impact of depth on visual attention in S-3D viewing condition. We firstly introduce a so-called “depth-bias” in the viewing of synthetic S-3D content on planar stereoscopic display. Then, we extend our study from synthetic stimuli to natural content S-3D images. We propose a depth-saliency-based model of 3D visual attention, which relies on depth contrast of the scene. Two different ways of applying depth information in S-3D visual attention model are also compared in our study. Next, we study the difference of center-bias between 2D and S-3D viewing conditions, and further integrate the center-bias with S-3D visual attention modeling. At the end, based on the assumption that visual attention can be used for improving Quality of Experience of 3D-TV when collaborating with blur, we study the influence of blur on depth perception and blur’s relationship with binocular disparity

Dans cette thèse, nous traitons le problème de la navigation dans un environnement virtuel 3D. En particulier, les environnements, sous forme d'un nuage de centaines de millions de points, sont difficiles à appréhender par un novice. La complexité et la richesse en détails du nuage de points 3D de la cathédrale d'Amiens peuvent ainsi entraîner une désorientation et une visualisation non pertinente avec les outils (logiciels et interfaces) existants. Les contributions de la thèse portent sur le contrôle de caméra virtuelle, automatique et assisté, en exploitant des informations visuelles 2D de l'image et d'autres informations 3D de l'environnement. Pour garantir la pertinence visuelle, nous proposons deux méthodes de guidage de caméra, l'une basée entropie photométrique et la seconde, représentant la contribution majeure de cette thèse, définit et exploite le mélange de gaussiennes basées saillance visuelle. Le formalisme d'asservissement visuel permet de relier la modélisation de l'image aux degrés de liberté de la caméra. L'évitement d'obstacles, la fluidité du mouvement et l'orientation appropriée de la caméra sont des contraintes supplémentaires, prises en compte pour deux types de navigations : le cadrage local et l'exploration globale. Le but du cadrage visuel est de déplacer la caméra en utilisant la nouvelle primitive photométrique du mélange de gaussiennes basées saillance, afin d'atteindre un point de vue pertinent pour la visualisation d'un objet. L'approche a été testée en simulation, sur un nuage de points dense et aussi dans un environnement réel avec un robot. En ce qui concerne l'exploration, deux méthodes ont été proposées. La première automatique en utilisant l'entropie photométrique et les contraintes de réalisme du mouvement. Le problème est résolu à l'aide d'un algorithme d'optimisation hybride et hiérarchique. Ensuite, une approche d'exploration assistée a été proposée, où, l'utilisateur définit un ensemble de zones à visiter. À ce dernier, s'ajoutent différentes contraintes pour assurer une navigation réaliste et pertinente. La résolution s'appuie sur une loi de contrôle hiérarchique qui utilise le formalisme de redondance. Ces deux méthodes d'exploration ont été testées sur des nuages de points très vastes et complexes, notamment celui de la cathédrale Notre Dame d'Amiens
In this thesis, we address the issue of navigation in virtual 3D environment. In particular, environments made of hundreds of millions of points, which are difficult to bring under control by a novice. The complexity and the wealth of details of the 3D point cloud of the cathedral of Amiens can result in a disorientation and in an irrelevant visualization with existing tools (interfaces). The contributions of the thesis deal with automatic or assisted camera control exploiting 2D visual information from the image and other 3D information from the environment. To ensure the visual relevance, we propose two methods to pilot the camera, one based on the photometric entropy and the second representing the major contribution of this thesis, defines and exploits the saliency-based Gaussian mixture. The visual servoing formalism is used to link the image modelling to the camera degrees of freedom. The obstacle avoidance, the fluidity of motion and appropriate camera orientation are considered as additional constraints taken into account in two navigation modes: the local framing and the global exploration. The goal of visual framing is to move the camera by maximizing the saliency-based Gaussian mixture feature, in order to reach a relevant viewpoint to visualize an object. We test this approach in synthetic model, 3D points cloud model and in a real environment with a robot. Regarding exploration, we present first an automatic camera control exploiting the photometric entropy and some constraints to ensure realistic motion. The problem is solved using an hybrid and hierarchical optimization algorithm. Then, we present a navigation aid system helping the user to explore a part or the whole 3D environment. The system is built using the redundancy formalism taking into account several constraints. These approaches were tested on simple and complex dense 3D points cloud

Ce manuscrit est dédié à la détection et la caractérisation de points d'intérêt dans les maillages. Nous montrons tout d'abord les limitations de la mesure de courbure sur des contours francs, mesure habituellement utilisée dans le domaine de l'analyse de maillages. Nous présentons ensuite une généralisation de l'opérateur SUSAN pour les maillages, nommé SUSAN-3D. La mesure de saillance proposée quantifie les variations locales de la surface et classe directement les points analysés en cinq catégories : saillant, crête, plat, vallée et creux. Les maillages considérés sont à variété uniforme avec ou sans bords et peuvent être réguliers ou irréguliers, denses ou non et bruités ou non. Nous étudions ensuite les performances de SUSAN-3D en les comparant à celles de deux opérateurs de courbure : l'opérateur de Meyer et l'opérateur de Stokely. Deux méthodes de comparaison des mesures de saillance et courbure sont proposées et utilisées sur deux types d'objets : des sphères et des cubes. Les sphères permettent l'étude de la précision sur des surfaces différentiables et les cubes sur deux types de contours non-différentiables : les arêtes et les coins. Nous montrons au travers de ces études les avantages de notre méthode qui sont une forte répétabilité de la mesure, une faible sensibilité au bruit et la capacité d'analyser les surfaces peu denses. Enfin, nous présentons une extension multi-échelle et une automatisation de la détermination des échelles d'analyse qui font de SUSAN-3D un opérateur générique et autonome d'analyse et de caractérisation pour les maillages

Ce projet de thèse est né d'un projet de collaboration entre l'équipe de recherche VORTEX/ Objets visuels: de la réalité à l'expression (maintenant REVA: Réel Expression Vie Artificielle) à l'IRIT : Institut de Recherche en Informatique de Toulouse d'une part et de professionnels de l'éducation, entreprises et entités publiques d'autre part. Le projet de collaboration SCOLA est essentiellement une plate-forme d'apprentissage en ligne basée sur l'utilisation des jeux sérieux dans les écoles. Il aide les utilisateurs à acquérir et à repérer des compétences prédéfinies. Cette plate-forme offre aux enseignants un nouvel outil flexible qui crée des scénarios liés à la pédagogie et personnalise les dossiers des élèves. Plusieurs contributions ont été attribuées à l'IRIT. L'une d'elles consiste à suggérer une solution pour la création automatique d'environnements 3D, à intégrer au scénario du jeu. Cette solution vise à empêcher les infographistes 3D de modéliser manuellement des environnements 3D détaillés et volumineux, ce qui peut être très coûteux et prendre beaucoup de temps. Diverses applications et prototypes ont été développés pour permettre à l'utilisateur de généraliser et de visualiser son propre monde virtuel principalement à partir d'un ensemble de règles. Par conséquent, il n'existe pas de schéma de représentation unique dans le monde virtuel en raison de l'hétérogénéité et de la diversité de la conception de contenus 3D, en particulier des modèles de ville. Cette contrainte nous a amené à nous appuyer largement dans notre projet sur de vraies données urbaines 3D au lieu de données personnalisées prédéfinies par le concepteur de jeu. Les progrès réalisés en infographie, les capacités de calcul élevées et les technologies Web ont largement révolutionné les techniques de reconstruction et de visualisation des données. Ces techniques sont appliquées dans divers domaines, en commençant par les jeux vidéo, les simulations et en terminant par les films qui utilisent des espaces générés de manière procédurale et des animations de personnages. Bien que les jeux informatiques modernes n'aient pas les mêmes restrictions matérielles et de mémoire que les anciens jeux, la génération procédurale est fréquemment utilisée pour créer des jeux, des cartes, des niveaux, des personnages ou d'autres facettes aléatoires uniques sur chaque jeu. Actuellement, la tendance est déplacée vers les SIG: Systèmes d'Information Géographiques pour créer des mondes urbains, en particulier après leur mise en œuvre réussie dans le monde entier afin de prendre en charge de nombreuses domaines d'applications.[...]
This thesis project was born from a collaborative project between the research team VORTEX / Visual objects: from reality to expression (now REVA: Real Expression Artificial Life) at IRIT: Institute of Research in Computer Science Toulouse on the one hand and education professionals, companies and public entities on the other.The SCOLA collaborative project is essentially an online learning platform based on the use of serious games in schools. It helps users to acquire and track predefined skills. This platform provides teachers with a new flexible tool that creates pedagogical scenarios and personalizes student records. Several contributions have been attributed to IRIT. One of these is to suggest a solution for the automatic creation of 3D environments, to integrate into the game scenario. This solution aims to prevent 3D graphic designers from manually modeling detailed and large 3D environments, which can be very expensive and take a lot of time. Various applications and prototypes have been developed to allow the user to generalize and visualize their own virtual world primarily from a set of rules. Therefore, there is no single representation scheme in the virtual world due to the heterogeneity and diversity of 3D content design, especially city models. This constraint has led us to rely heavily on our project on real 3D urban data instead of custom data predefined by the game designer. Advances in computer graphics, high computing capabilities, and Web technologies have revolutionized data reconstruction and visualization techniques. These techniques are applied in a variety of areas, starting with video games, simulations, and ending with movies that use procedurally generated spaces and character animations. Although modern computer games do not have the same hardware and memory restrictions as older games, procedural generation is frequently used to create unique games, cards, levels, characters, or other random facets on each. Currently, the trend is shifting towards GIS : Geographical Information Systems to create urban worlds, especially after their successful implementation around the world to support many areas of applications. GIS are more specifically dedicated to applications such as simulation, disaster management and urban planning, with a great use more or less limited in games, for example the game "Minecraft", the latest version offers a map using real world cities Geodata in Minecraft.[...]

La détection de peau consiste à détecter les pixels correspondant à une peau humaine dans une image couleur. Les visages constituent une catégorie de stimulus importante par la richesse des informations qu’ils véhiculent car avant de reconnaître n’importe quelle personne il est indispensable de localiser et reconnaître son visage. La plupart des applications liées à la sécurité et à la biométrie reposent sur la détection de régions de peau telles que la détection de visages, le filtrage d'objets 3D pour adultes et la reconnaissance de gestes. En outre, la détection de la saillance des mailles 3D est une phase de prétraitement importante pour de nombreuses applications de vision par ordinateur. La segmentation d'objets 3D basée sur des régions saillantes a été largement utilisée dans de nombreuses applications de vision par ordinateur telles que la correspondance de formes 3D, les alignements d'objets, le lissage de nuages de points 3D, la recherche des images sur le web, l’indexation des images par le contenu, la segmentation de la vidéo et la détection et la reconnaissance de visages. La détection de peau est une tâche très difficile pour différentes raisons liées en général à la variabilité de la forme et la couleur à détecter (teintes différentes d’une personne à une autre, orientation et tailles quelconques, conditions d’éclairage) et surtout pour les images issues du web capturées sous différentes conditions de lumière. Il existe plusieurs approches connues pour la détection de peau : les approches basées sur la géométrie et l’extraction de traits caractéristiques, les approches basées sur le mouvement (la soustraction de l’arrière-plan (SAP), différence entre deux images consécutives, calcul du flot optique) et les approches basées sur la couleur. Dans cette thèse, nous proposons des méthodes d'optimisation numérique pour la détection de régions de couleurs de peaux et de régions saillantes sur des maillages 3D et des nuages de points 3D en utilisant un graphe pondéré. En se basant sur ces méthodes, nous proposons des approches de détection de visage 3D à l'aide de la programmation linéaire et de fouille de données (Data Mining). En outre, nous avons adapté nos méthodes proposées pour résoudre le problème de la simplification des nuages de points 3D et de la correspondance des objets 3D. En plus, nous montrons la robustesse et l’efficacité de nos méthodes proposées à travers de différents résultats expérimentaux réalisés. Enfin, nous montrons la stabilité et la robustesse de nos méthodes par rapport au bruit
Skin detection involves detecting pixels corresponding to human skin in a color image. The faces constitute a category of stimulus important by the wealth of information that they convey because before recognizing any person it is essential to locate and recognize his face. Most security and biometrics applications rely on the detection of skin regions such as face detection, 3D adult object filtering, and gesture recognition. In addition, saliency detection of 3D mesh is an important pretreatment phase for many computer vision applications. 3D segmentation based on salient regions has been widely used in many computer vision applications such as 3D shape matching, object alignments, 3D point-point smoothing, searching images on the web, image indexing by content, video segmentation and face detection and recognition. The detection of skin is a very difficult task for various reasons generally related to the variability of the shape and the color to be detected (different hues from one person to another, orientation and different sizes, lighting conditions) and especially for images from the web captured under different light conditions. There are several known approaches to skin detection: approaches based on geometry and feature extraction, motion-based approaches (background subtraction (SAP), difference between two consecutive images, optical flow calculation) and color-based approaches. In this thesis, we propose numerical optimization methods for the detection of skins color and salient regions on 3D meshes and 3D point clouds using a weighted graph. Based on these methods, we provide 3D face detection approaches using Linear Programming and Data Mining. In addition, we adapted our proposed methods to solve the problem of simplifying 3D point clouds and matching 3D objects. In addition, we show the robustness and efficiency of our proposed methods through different experimental results. Finally, we show the stability and robustness of our methods with respect to noise

Les caméras sont devenues de plus en plus communes dans les véhicules, les smartphones et les systèmes d'aide à la conduite ADAS (Advanced Driver Assistance Systèmes). Les domaines d'application de ces caméras dans le monde des systèmes intelligents de transport deviennent de plus en plus variés : la détection des piétons, les avertissements de franchissement de ligne, la navigation... La navigation basée sur la vision a atteint une certaine maturité durant ces dernières années grâce à l'utilisation de technologies avancées. Les systèmes de navigation basée sur la vision ont le considérable avantage de pouvoir utiliser directement les informations visuelles présentes dans l'environnement, sans devoir adapter le moindre élément de l'infrastructure. De plus, contrairement aux systèmes utilisant le GPS, ils peuvent être utilisés à l'extérieur ainsi qu'à l'intérieur des locaux et des bâtiments sans aucune perte de précision. C'est pour ces raisons que les systèmes basés sur la vision sont une bonne option car ils fournissent des informations très riches et précises sur l'environnement, qui peuvent être utilisées pour la navigation. Un axe important de recherche porte actuellement sur la cartographie qui représente une étape indispensable pour la navigation. Cette étape engendre une problématique de la gestion de la mémoire assez conséquente requise par ces systèmes en raison de la quantité d'informations importante collectées par chaque capteur. En effet, l'espace mémoire nécessaire pour accueillir la carte d'une petite ville se mesure en dizaines de GO voire des milliers lorsque l'on souhaite couvrir des espaces de grandes dimensions. Cela rend impossible son intégration dans un système mobile tel que les smartphones, les véhicules, les vélos ou les robots. Le défi serait donc de développer de nouveaux algorithmes permettant de diminuer au maximum la taille de la mémoire nécessaire pour faire fonctionner ce système de localisation par vision. C'est dans ce contexte que se situe notre projet qui consiste à développer un nouveau système capable de résumer une carte 3D qui contient des informations visuelles collectées par plusieurs capteurs. Le résumé sera un ensemble des vues sphériques permettant de garder le même niveau de visibilité dans toutes les directions. Cela permettrait aussi de garantir, à moindre coût, un bon niveau de précision et de rapidité lors de la navigation. La carte résumant l'environnement sera constituée d'un ensemble d'informations géométriques, photométriques et sémantiques
Cameras have become increasingly common in vehicles, smart phones, and advanced driver assistance systems. The areas of application of these cameras in the world of intelligent transportation systems are becoming more and more varied : pedestrian detection, line crossing detection, navigation ... Vision-based navigation has reached a certain maturity in recent years through the use of advanced technologies. Vision-based navigation systems have the considerable advantage of being able to directly use the visual information already existing in the environment without having to adapt any element of the infrastructure. In addition, unlike systems using GPS, they can be used outdoors and indoors without any loss of precision. This guarantees the superiority of these systems based on computer vision. A major area of {research currently focuses on mapping, which represents an essential step for navigation. This step generates a problem of memory management quite substantial required by these systems because of the huge amount of information collected by each sensor. Indeed, the memory space required to accommodate the map of a small city is measured in tens of GB or even thousands when one wants to cover large spaces. This makes impossible to integrate this map into a mobile system such as smartphones , cameras embedded in vehicles or robots. The challenge would be to develop new algorithms to minimize the size of the memory needed to operate this navigation system using only computer vision. It's in this context that our project consists in developing a new system able to summarize a3D map resulting from the visual information collected by several sensors. The summary will be a set of spherical views allow to keep the same level of visibility in all directions. It would also guarantee, at a lower cost, a good level of precision and speed during navigation. The summary map of the environment will contain geometric, photometric and semantic information

Nos travaux portent sur l'interprétation d'une scène dont nous possédons un modèle, représentant l'agencement spatial des objets contenus dans cette scène. Dans le cadre d'une segmentation séquentielle permettant de reconnaître les objets les uns après les autres en fonction des étapes antérieures, nous utilisons la connaissance spatiale du modèle pour optimiser la séquence de segmentation à effectuer à partir d'un objet de référence vers un objectif à segmenter. Nous proposons pour cela d'optimiser un chemin dans un graphe représentant les objets de la scène (noeuds) et leurs relations spatiales (arcs). Deux approches sont proposées. La première approche effectue une optimisation à partir de l'information spatiale du modèle uniquement, en évaluant un critère de pertinence de chaque chemin. L'évaluation est effectuée de manière indépendante sur chaque arc dans un premier temps, puis nous proposons une manière de représenter un chemin entier, permettant d'évaluer la pertinence du chemin à partir de cette représentation. La deuxième approche s'intègre dans un processus de segmentation séquentielle, vu comme l'exploration progressive d'une image à partir d'un objet de référence. Nous utilisons une modélisation d'une technique pré-attentionnelle, une carte de saillance, afin de guider le processus de segmentation séquentielle, en intégrant à l'approche structurelle des informations de saillance extraites de l'image à interpréter. Le domaine d'application de ces approches est la segmentation des structures sous-corticales du cerveau dans des images IRM 3D dont certaines présentent des pathologies.

Un robot compagnon doit comprendre le lieu de vie de l'homme pour satisfaire une requête telle que "Va chercher un verre dans la cuisine" avec un haut niveau d'autonomie. Pour cela, le robot doit acquérir un ensemble de représentations adaptées aux différentes tâches à effectuer. Dans cette thèse, nous proposons d'apprendre en ligne un modèle d'apparence de structures locales qui pourront être nommées par l'utilisateur. Cela permettra ensuite de caractériser un lieu topologique (ex: la cuisine) par un ensemble de structures locales ou d'objets s'y trouvant (réfrigérateur, cafetière, evier, ...). Pour découvrir ces structures locales, nous proposons une approche cognitive, exploitant des processus visuels pré-attentif et attentif, mis en oeuvre à partir d'un système sensoriel multi-focal. Le processus pré-attentif a pour rôle la détection de zones d'intérêt, supposées contenir des informations visuelles discriminantes: basé sur le modèle de 'saillance' de Itti et Koch, il détecte ces zones dans une carte de saillance, construite à partir d'images acquises avec une caméra large champ; une zone détectée est ensuite suivie sur quelques images afin d'estimer grossièrement la taille et la position 3D de la structure locale de l'environnement qui lui correspond. Le processus attentif se focalise sur la zone d'intérêt: le but est de caractériser chaque structure locale, par un modèle d'apparence sous la forme de mémoires associatives vues-patches-aspects. De chaque image sont extraits des points d'intérêt, caractérisés par un descripteur d'apparence local. Après cette phase d'exploration, l'homme peut annoter le modèle en segmentant les structures locales en objets, en nommant ces objets et en les regroupant dans des zones (cuisine&). Ce modèle d'apparence sera ensuite exploité pour la reconnaissance et la localisation grossière des objets et des lieux perçus par le robot

Dans l'objectif d'améliorer et d'automatiser la chaîne de reproductiond'objet qui va de l'acquisition à l'impression 3D. Nous avons cherché à caractériserde la saillance sur les objets 3D modélisés par la structure d'un maillage 3D.Pour cela, nous avons fait un état de l'art des méthodes d'estimation des proprié-tés différentielles, à savoir la normale et la courbure, sur des surfaces discrètes sousla forme de maillage 3D. Pour comparer le comportement des différentes méthodes,nous avons repris un ensemble de critères de comparaison classique dans le domaine,qui sont : la précision, la convergence et la robustesse par rapport aux variations duvoisinage. Pour cela, nous avons établi un protocole de tests mettant en avant cesqualités. De cette première comparaison, il est ressorti que l'ensemble des méthodesexistantes présentent des défauts selon ces différents critères. Afin d'avoir une estimationdes propriétés différentielles plus fiable et précise nous avons élaboré deuxnouveaux estimateurs
With the aim to improve and automate the object reproduction chainfrom acquisition to 3D printing .We sought to characterize the salience on 3D objectsmodeled by a 3D mesh structure. For this, we have a state of the art of estimatingdifferential properties methods, namely normal and curvature on discrete surfaces inthe form of 3D mesh. To compare the behavior of different methods, we took a set ofclassic benchmarks in the domain, which are : accuracy, convergence and robustnesswith respect to variations of the neighbourhood. For this, we have established atest protocol emphasizing these qualities. From this first comparision, it was foundthat all the existing methods have shortcomings as these criteria. In order to havean estimation of the differential properties more reliable and accurate we developedtwo new estimators

Le niveau d'exigence minimum pour tout système 3D (images stéréoscopiques) est de garantir le confort visuel des utilisateurs. Le confort visuel est un des trois axes perceptuels de la qualité d'expérience (QoE) 3D qui peut être directement lié aux paramètres techniques du système 3D. Par conséquent, le but de cette thèse est de caractériser objectivement l'impact de ces paramètres sur la perception humaine afin de contrôler la qualité stéréoscopique. La première partie de la thèse examine l'intérêt de prendre en compte l'attention visuelle des spectateurs dans la conception d'une mesure objective de qualité 3D. Premièrement, l'attention visuelle en 2D et 3D sont comparées en utilisant des stimuli simples. Les conclusions de cette première expérience sont validées en utilisant des scènes complexes avec des disparités croisées et décroisées. De plus, nous explorons l'impact de l'inconfort visuel causé par des disparités excessives sur l'attention visuelle. La seconde partie de la thèse est dédiée à la conception d'un modèle objectif de QoE pour des vidéos 3D, basé sur les seuils perceptuels humains et le niveau d'acceptabilité. De plus nous explorons la possibilité d'utiliser la modèle proposé comme une nouvelle échelle subjective. Pour la validation de ce modèle, des expériences subjectives sont conduites présentant aux sujets des images stéréoscopiques fixes et animées avec différents niveaux d'asymétrie. La performance est évaluée en comparant des prédictions objectives avec des notes subjectives pour différents niveaux d'asymétrie qui pourraient provoquer un inconfort visuel
The minimum requirement for any 3D (stereoscopic images) system is to guarantee visual comfort of viewers. Visual comfort is one of the three primary perceptual attributes of 3D QoE, which can be linked directly with technical parameters of a 3D system. Therefore, the goal of this thesis is to characterize objectively the impact of these parameters on human perception for stereoscopic quality monitoring. The first part of the thesis investigates whether visual attention of the viewers should be considered when designing an objective 3D quality metrics. First, the visual attention in 2D and 3D is compared using simple test patterns. The conclusions of this first experiment are validated using complex stimuli with crossed and uncrossed disparities. In addition, we explore the impact of visual discomfort caused by excessive disparities on visual attention. The second part of the thesis is dedicated to the design of an objective model of 3D video QoE, which is based on human perceptual thresholds and acceptability level. Additionally we explore the possibility to use the proposed model as a new subjective scale. For the validation of proposed model, subjective experiments with fully controlled still and moving stereoscopic images with different types of view asymmetries are conducted. The performance is evaluated by comparing objective predictions with subjective scores for various levels of view discrepancies which might provoke visual discomfort

L’Optimisation Topologique (OT) est un sujet en plein essor qui suscite l’intérêt de nombreux chercheurs depuis ces deux dernières décennies dans le domaine de l’électromagnétisme. L’OT représente une méthode très attrayante et originale car elle permet de trouver des structures innovantes sans aucun a priori. Ce travail de thèse est orienté vers l’OT des dispositifs électromagnétiques en approfondissant plusieurs aspects du sujet. Tout d’abord, un outil d’OT est développé et testé, à partir des outils existant au L2EP. En effet, l’OT requiert un outil d’éléments finis et un outil d’optimisation devant être couplés. Une méthodologie originale d’OT fondée sur les principes de la Méthode de Densité est développée et testée. Un cas test académique est utilisé afin de tester et valider le couplage des outils et la méthodologie. Une approche visant à prendre en compte le comportement non-linéaire des matériaux ferromagnétiques avec nos outils OT est également mise en place. Ensuite, la méthode est appliquée afin d’optimiser un électroaimant en 3 dimensions, représentant un cas test proche de la réalité. Ce cas test permet de comparer les résultats avec un comportement linéaire et non-linéaire des matériaux. Diverses topologies sont présentées, par rapport aux différentes formulations du problème. Par la suite, la méthodologie est appliquée à un dispositif électromagnétique plus complexe : une Génératrice Synchrone à Pôles Saillants. Cet exemple nous permet de voir comment la définition du problème d’optimisation peut grandement affecter les résultats d’OT. Quelques topologies sont présentées, et leur faisabilité est analysée
Topology Optimisation (TO) is a fast growing topic that has been sparking the interest of many researchers for the past two decades in the electromagnetic community. Its attractiveness lies in the originality of finding innovative structures without any layout a priori. This thesis work is oriented towards the TO of electromagnetic devices by elaborating on various aspects of the subject. First of all, a tool for TO is developed and tested, based on the ‘home-made’ tools available at the L2EP. As TO requires a FE and an optimisation tool working together, a coupling is done using both. Furthermore, a TO methodology is developed and tested, based on the Density Method. An academic cubic test case is used to carry out all the tests, and validate the tools and methodology. An approach is also developed to consider the nonlinear behaviour of the ferromagnetic materials with our TO tools. Afterwards, the methodology is applied to a 3D electromagnet, which represents a more real test case. This test case also serves to compare the results with linear and nonlinear behaviour of the materials used. Various topologies are presented, for different problem formulations. Subsequently, the methodology is applied to a more complex electromagnetic device: a Salient Pole Synchronous Generator. This example allows us to see how the problem definition can largely affect TO results. Some topologies are presented and their viability is discussed

L'attention visuelle est l'un des mécanismes les plus importants mis en oeuvre par le système visuel humain (SVH) afin de réduire la quantité d'information que le cerveau a besoin de traiter pour appréhender le contenu d'une scène. Un nombre croissant de travaux est consacré à l'étude de l'attention visuelle, et en particulier à sa modélisation computationnelle. Dans cette thèse, nous présentons des études portant sur plusieurs aspects de cette recherche. Nos travaux peuvent être classés globalement en deux parties. La première concerne les questions liées à la vérité de terrain utilisée, la seconde est relative à la modélisation de l'attention visuelle dans des conditions de visualisation 3D. Dans la première partie, nous analysons la fiabilité de cartes de densité de fixation issues de différentes bases de données occulométriques. Ensuite, nous identifions quantitativement les similitudes et les différences entre carte de densité de fixation et carte d'importance visuelle, ces deux types de carte étant les vérités de terrain communément utilisées par les applications relatives à l'attention. Puis, pour faire face au manque de vérité de terrain exploitable pour la modélisation de l'attention visuelle 3D, nous procédons à une expérimentation oculométrique binoculaire qui aboutit à la création d'une nouvelle base de données avec des images stéréoscopiques 3D. Dans la seconde partie, nous commençons par examiner l'impact de la profondeur sur l'attention visuelle dans des conditions de visualisation 3D. Nous quantifions d'abord le " biais de profondeur " lié à la visualisation de contenus synthétiques 3D sur écran plat stéréoscopique. Ensuite, nous étendons notre étude avec l'usage d'images 3D au contenu naturel. Nous proposons un modèle de l'attention visuelle 3D basé saillance de profondeur, modèle qui repose sur le contraste de profondeur de la scène. Deux façons différentes d'exploiter l'information de profondeur par notre modèle sont comparées. Ensuite, nous étudions le biais central et les différences qui existent selon que les conditions de visualisation soient 2D ou 3D. Nous intégrons aussi le biais central à notre modèle de l'attention visuelle 3D. Enfin, considérant que l'attention visuelle combinée à une technique de floutage peut améliorer la qualité d'expérience de la TV-3D, nous étudions l'influence de flou sur la perception de la profondeur, et la relation du flou avec la disparité binoculaire.