Letteratura scientifica selezionata sul tema "Représentations par nuages de points 3D"

Si les problèmes de colorimétrie dans le mosaïquage d'images ont fait l'objet d'études approfondies par le passé et qu'ils sont maintenant globalement résolus, il n'en est pas de même pour l'égalisation des scènes non planaires et des produits photogrammétriques 3D associés. En effet, certains produits photogrammétriques ne sont pas des images mais des produits purement 3D, de type nuage de points ou surfaces texturées, notamment. Cependant, la cohérence colorimétrique reste d'une grande importance dans ces cas pour une visualisation plus fluide des résultats. Cet article explore donc des algorithmes de correction colorimétrique à appliquer aux nuages de points dont la couleur provient de plusieurs images et leur implémentation dans la librairie MicMac de l'IGN.Deux points sont ici abordés : la correction du vignettage des images d'une part, ce défaut posant des problèmes d'homogénéité intra-image, et l'égalisation inter-images d'autre part.

Pour de nombreuses applications (environnementales, archéologiques, industrielles ou de défense et sécurité par exemple), disposer d'un modèle 3D très haute résolution de zones locales peut être important. Dans cet article, nous nous intéressons à l'obtention de nuages de points 3D dense par reconstruction. Mais les conditions d'acquisition propres au milieu sous-marin (milieu dynamique et hostile, visibilité réduite, localisation et communication sans fil complexes, etc.) rendent la tâche ardue. La plupart des travaux présents dans la littérature s'appuient sur l'expérience issue du monde aérien. Les contributions que nous présentons dans cet article portent sur l'appariement de couples d'images simultanées ou successives : détection automatique des zones d'information fiable en modifiant le détecteur de Harris, génération de germes d'appariement fiabilisée par un filtrage statistique sur le flot local, densification de l'appariement par propagation de l'information autour des germes avec exclusion automatique des zones sans information. Les résultats obtenus sur une base de données diversifiée issue de plusieurs campagnes terrain et la qualité des apports sont ensuite discutés.

De nombreux logiciels du commerce proposent de créer des modélisations en 3D d'objets ou de scènes à partir uniquement de photographies. Cependant les professionnels, notamment les archéologues et les architectes, ont un certain nombre de contraintes qui restreignent fortement le choix du logiciel, telles que des ressources financières limitées, des connaissances peu approfondies en photogrammétrie et en informatique, des impératifs qui limitent le temps d'acquisition et de traitement, et enfin des attentes précises en terme de qualité, de précision et de complétude de la modélisation. Le laboratoire MATIS a développé un ensemble d'outils libres, open source, qui permettent d'effectuer l'ensemble des étapes du traitement d'un chantier photogrammétrique et qui fournissent des modèles 3D très denses et précis grâce à la rigueur de l'approche photogrammétrique ; ils représentent donc une solution intéressante pour ces professionnels du point de vue algorithmique.Cependant ils ont été développés pour des applications de recherche et sont donc peu ergonomiques pour le public non photogrammètre et non informaticien. C'est pourquoi une interface graphique est en cours de développement afin de fournir un accès simplifié et unifié à ces outils, notamment aux architectes et aux archéologues. Grâce à l'interface, l'utilisateur peut manipuler les images d'un même chantier et contrôler chaque étape du traitement qui comprend : le calcul automatique de points homologues entre les images, l'estimation des poses de la caméra et le calcul des modèles 3D. Les résultats peuvent être convertis en cartes de profondeur ombrées ou en nuages denses de points 3D (au format standard ply), et peuvent être affichés directement par l'interface. Pour offrir la possibilité de traiter des chantiers suffisamment variés, tout en masquant la complexité du paramétrage, la démarche retenue est de présenter à l'utilisateur un accès par grande famille de prises de vue, par exemple : chantier convergent, relevé de façades, chantier aérien sub-vertical, modélisation d'intérieur. . . Une attention particulière est apportée à la qualité de la documentation et à la portabilité du produit sur les principaux types d'ordinateur grand public (Linux, Mac et Windows). Cette interface, bien que non finalisée, permet déjà d'effectuer l'intégralité du traitement de chantiers de type convergent et est disponible en ligne. Des utilisateurs issus des différentes communautés de professionnels ciblées (archéologie, architecture, géologie, photogrammétrie architecturale) l'ont déjà testée et l'interface est régulièrement mise à jour afin de l'adapter aux remarques et demandes de ces testeurs.

Nos sociétés occidentales contemporaines sont marquées par la reconnaissance du pluralisme moral et une importante socialisation à la sexualité des jeunes, du fait de leur accès massif à Internet. Ce contexte invite à interroger les pratiques et les enjeux épistémologiques de l’éducation à la sexualité en contexte scolaire afin que les actions éducatives répondent au mieux à l’objectif de développement des compétences psycho-sociales et de l’empowerment, et à celui de construire un monde commun en dépassant les points de vue antagonistes. Cet article propose une analyse factuelle des représentations sous-jacentes du terme sexualité, de la posture éducative et des enjeux épistémologiques. Chacun de ces trois éléments est pensé selon un continuum rendant compte de la diversité des points de vue en présence au cours d’une action éducative, mais aussi de leur labilité pour un même individu selon le contexte. L’analyse de ces trois dimensions permet d’élaborer un modèle théorique en 3D qui constitue un support pour la réflexivité des éducateurs à la sexualité en contexte scolaire. Il contribue aussi à une meilleure efficacité des études comparatives pour de futures recherches dans ce domaine.

Depuis plusieurs années, la photogrammétrie numérique est devenue un outil important dans le domaine de l'archéologie. Les spécialistes de ce domaine reconnaissent que cette technique permet d'enregistrer et de documenter les structures archéologiques ou à plus grande échelle l'intégralité d'un chantier de fouille, de manière rapide, fiable et précise. Pour les sites préhistoriques notamment, il est très important d'enregistrer et de maitriser les différents niveaux de décapage de la fouille. Dans cet article, nous décrivons une méthodologie complète pour effectuer la numérisation photogrammétrique de structures archéologiques par un outil léger et à faible coût.La recherche expérimentale spécifique a eu lieu dans le cadre de la fouille programmée du site du Paléolithique supérieur de plein air "Le Colombier" à Chézy-sur-Marne (Aisne, France) dirigé par un des auteurs (C.M.). L'expérience s'est déroulée sur un foyer aménagé qui a été photographié à neuf étapes différentes du processus de décapage de la fouille. Des orthoimages à chaque étape ont été créées dans le but de produire un modèle 4D (intégrant le temps à la description photogrammétrique). En outre, des images numériques ont été acquises pour créer le modèle 3D complet.Des logiciels open source (Apéro / MicMac) ont été utilisés pour le géoréférencement et la corrélation dense. Ces procédures relativement standards conduisent à des cartes de profondeur, qui peuvent être représentées soit comme nuages de points 3D soit sous forme d'images en relief ombragé.En premier lieu, nous abordons une brève description du site, les outils et méthodes mises en œuvre. Dans un second temps, nous faisons le point sur les résultats obtenus avant de conclure sur les perspectives.

Le recalage se révèle indispensable pour assembler des relevés laser devant servir à l'analyse, à la documentation et à la reconstruction tridimensionnelle d'environnements. Ce problème apparaît lorsqu'une zone d'intérêt est numérisée, au fil du temps, deux ou plusieurs fois, ou quand sa complexité nécessite un accroissement du nombre de stations de scanner laser fixes. Aussi, en raison de la variété des techniques disponibles d'acquisition, l'intégration multi-données devient une question importante puisqu'elle permet de mettre en cohérence des données contenant souvent une information complémentaire. La vaste majorité des algorithmes existants s'appuient sur les éléments ponctuels. C'est pourquoi les méthodes ICP basées-point demeurent actuellement les plus répandues. Cet article propose l'utilisation des segments sous forme d'intersections entre les plans principaux, pour un recalage rigide des nuages de points mobiles avec d'autres données, qu'elles soient 2D ou 3D. Ces primitives peuvent être aisément extraites, même dans les données laser hétérogènes de faible densité. Quelques méthodes de recalage basées-lignes ont été examinées afin de vérifier leur précision et robustesse au bruit. Les erreurs des paramètres estimés ainsi qu'un nouveau critère — distance modifiée de Hausdorff ont été employés pour les besoins d'une analyse quantitative. Au vu de ces éléments, une chaîne complète nommée RLMR-FMII 2 comprenant un recalage grossier suivi par un recalage fin est proposée pour calculer les paramètres de pose à partir de segments appariés.Étant donné que la mise en correspondance automatique d'entités linéaires est ardue et influence l'estimation des paramètres optimaux de transformation, une méthode d'appariement étudiant la similitude relative est avancée. Enfin, l'efficacité de cette méthode de recalage par mise en correspondance préalable des segments est évaluée et discutée.

En milieu montagneux et forestier, la localisation de la route et ses caractéristiques géométriques sont des informations cruciale pour de nombreuses applications écologiques et liées à la gestion forestière. Par ailleurs, le lidar aéroporté topographique est devenu une technique de télédétection reconnue pour la caractérisation fine de la surface terrestre : les Modèles Numériques de Terrain (MNT) en sont le produit standard.Cet article aborde le problème de la détection de routes sur de grandes surfaces (>1000 km2) dans de tels environnements. Pour cela, nous avons proposé une méthode fondée sur l’hypothèse que les routes peuvent être modélisées par des objets planaires suivant une direction privilégiée et avec de fortes variations du relief dans la direction orthogonale. La connaissance seule du MNT lidar à 1 m de résolution est suffisante dans notre processus, qui ne requiert donc pas le traitement supplémentaire des nuages de points 3D lidar ni de données à retour d’onde complète. L’intégralité de l’analyse se fait donc en deux dimensions. Tout d’abord, trois attributs morphologiques sont extraits du MNT et introduits dans une classification supervisée par Forêts Aléatoires des zones potentiellement "routes". Ensuite, un graphe est créé à partir de ce masque de focalisation afin de combler les éventuels manques et occlusions dus principalement à la végétation. En particulier, les noeuds sont sélectionnés avec un Processus Ponctuel, puis le graphe est élagué en suivant le modèle de route initial. Enfin, la largeur et la pente des routes sont estimées grâce au MNT avec une analyse orientée-objet. D’une part, on obtient une qualité de détection convaincante, tant au niveau de l’exhaustivité (>80%) que de la précision géométrique, supérieure à celle des bases de données topographiques 2D existantes. De plus, de nouvelles routes sont détectées grâce à la capacité du lidar à restituer le terrain sous le couvert végétal. Cependant, en présence d’un trop faible nombre de mesures lidar au niveau du sol, des routes peuvent ne pas être restituées. Enfin, nous montrons que notre méthode est adaptée à une analyse sur de grandes surfaces puisqu’elle permet des rendements de moins de 2 minutes par km2.

Avec la croissance rapide du contenu multimédia, les objets 3D deviennent de plus en plus populaires. Ils sont généralement modélisés sous forme de maillages polygonaux complexes ou de nuages de points 3D denses, offrant des expériences immersives dans différentes applications multimédias industrielles et grand public. La représentation par nuages de points, plus facile à acquérir que les maillages, a suscité ces dernières année un intérêt croissant tant dans le monde académique que commercial. Un nuage de points est par définition un ensemble de points définissant la géométrie de l’objet et les attributs associés (couleurs, textures, les propriétés des matériaux, etc.). Le nombre de points dans un nuage de points peut aller d'un millier, pour représenter des objets relativement simples, jusqu'à des milliards pour représenter de manière réaliste des scènes 3D complexes. Ces énormes quantités de données posent de grands défis liés à la transmission, au traitement et au stockage des nuages de points 3D. Ces dernières années, de nombreux travaux ont été dédiés principalement à la compression de maillages, tandis qu’un nombre plus réduit de techniques s’attaquent à la problématique de compression de nuages de points 3D. L’état de l’art fait ressortir deux grandes familles approches principales: une première purement géométrique, fondée sur une décomposition en octree et une seconde hybride, exploitant à la fois la projection multi-vues de la géométrie et le codage vidéo. La première approche permet de préserver une information de géométrie 3D précise mais contient une faible cohérence temporelle. La seconde permet de supprimer efficacement la redondance temporelle mais est pénalisé par une diminution de la précision géométrique, liée au processus de projection 3D/2D. Ainsi, le compromis entre efficacité de compression et précision des objets reconstruit doit être optimisé. Premièrement, une segmentation adaptative par octree a été proposée pour regrouper les points avec différentes amplitudes de mouvement dans des cubes 3D. Ensuite, une estimation de mouvement est appliquée à ces cubes en utilisant une transformation affine. Des gains en termes de performances de distorsion de débit (RD) ont été observés dans des séquences avec des amplitudes de mouvement plus faibles. Cependant, le coût de construction d'un octree pour le nuage de points dense reste élevé tandis que les structures d'octree résultantes contiennent une mauvaise cohérence temporelle pour les séquences avec des amplitudes de mouvement plus élevées. Une structure anatomique a ensuite été proposée pour modéliser le mouvement de manière intrinsèque. À l'aide d'outils d'estimation de pose 2D, le mouvement est estimé à partir de 14 segments anatomiques à l'aide d'une transformation affine. De plus, nous avons proposé une nouvelle solution pour la prédiction des couleurs et discuté du codage des résidus de la prédiction. Il est montré qu'au lieu de coder des informations de texture redondantes, il est plus intéressant de coder les résidus, ce qui a entraîné une meilleure performance RD. Les différentes approches proposées ont permis d’améliorer les performances des modèles de test V-PCC. Toutefois, la compression temporelle de nuages de points 3D dynamiques reste une tâche complexe et difficile. Ainsi, en raison des limites de la technologie d'acquisition actuelle, les nuages acquis peuvent être bruyants à la fois dans les domaines de la géométrie et des attributs, ce qui rend difficile l'obtention d'une estimation précise du mouvement. Dans les études futures, les technologies utilisées pour les maillages 3D pourraient être exploitées et adaptées au cas des nuages de points non-structurés pour fournir des informations de connectivité cohérentes dans le temps
With the rapid growth of multimedia content, 3D objects are becoming more and more popular. Most of the time, they are modeled as complex polygonal meshes or dense point clouds, providing immersive experiences in different industrial and consumer multimedia applications. The point cloud, which is easier to acquire than mesh and is widely applicable, has raised many interests in both the academic and commercial worlds.A point cloud is a set of points with different properties such as their geometrical locations and the associated attributes (e.g., color, material properties, etc.). The number of the points within a point cloud can range from a thousand, to constitute simple 3D objects, up to billions, to realistically represent complex 3D scenes. Such huge amounts of data bring great technological challenges in terms of transmission, processing, and storage of point clouds.In recent years, numerous research works focused their efforts on the compression of meshes, while less was addressed for point clouds. We have identified two main approaches in the literature: a purely geometric one based on octree decomposition, and a hybrid one based on both geometry and video coding. The first approach can provide accurate 3D geometry information but contains weak temporal consistency. The second one can efficiently remove the temporal redundancy yet a decrease of geometrical precision can be observed after the projection. Thus, the tradeoff between compression efficiency and accurate prediction needs to be optimized.We focused on exploring the temporal correlations between dynamic dense point clouds. We proposed different approaches to improve the compression performance of the MPEG (Moving Picture Experts Group) V-PCC (Video-based Point Cloud Compression) test model, which provides state-of-the-art compression on dynamic dense point clouds.First, an octree-based adaptive segmentation is proposed to cluster the points with different motion amplitudes into 3D cubes. Then, motion estimation is applied to these cubes using affine transformation. Gains in terms of rate-distortion (RD) performance have been observed in sequences with relatively low motion amplitudes. However, the cost of building an octree for the dense point cloud remains expensive while the resulting octree structures contain poor temporal consistency for the sequences with higher motion amplitudes.An anatomical structure is then proposed to model the motion of the point clouds representing humanoids more inherently. With the help of 2D pose estimation tools, the motion is estimated from 14 anatomical segments using affine transformation.Moreover, we propose a novel solution for color prediction and discuss the residual coding from prediction. It is shown that instead of encoding redundant texture information, it is more valuable to code the residuals, which leads to a better RD performance.Although our contributions have improved the performances of the V-PCC test models, the temporal compression of dynamic point clouds remains a highly challenging task. Due to the limitations of the current acquisition technology, the acquired point clouds can be noisy in both geometry and attribute domains, which makes it challenging to achieve accurate motion estimation. In future studies, the technologies used for 3D meshes may be exploited and adapted to provide temporal-consistent connectivity information between dynamic 3D point clouds

Aujourd’hui, de nouvelles technologies permettent l’acquisition de scènes 3D volumineuses et précises sous la forme de nuages de points. Les nouvelles applications ouvertes par ces technologies, comme les véhicules autonomes ou la maintenance d'infrastructure, reposent sur un traitement efficace des nuages de points à grande échelle. Les méthodes d'apprentissage profond par convolution ne peuvent pas être utilisées directement avec des nuages de points. Dans le cas des images, les filtres convolutifs ont permis l’apprentissage de nouvelles représentations, jusqu’alors construites « à la main » dans les méthodes de vision par ordinateur plus anciennes. En suivant le même raisonnement, nous présentons dans cette thèse une étude des représentations construites « à la main » utilisées pour le traitement des nuages de points. Nous proposons ainsi plusieurs contributions, qui serviront de base à la conception d’une nouvelle représentation convolutive pour le traitement des nuages de points. Parmi elles, une nouvelle définition de voisinages sphériques multi-échelles, une comparaison avec les k plus proches voisins multi-échelles, une nouvelle stratégie d'apprentissage actif, la segmentation sémantique des nuages de points à grande échelle, et une étude de l'influence de la densité dans les représentations multi-échelles. En se basant sur ces contributions, nous introduisons la « Kernel Point Convolution » (KPConv), qui utilise des voisinages sphériques et un noyau défini par des points. Ces points jouent le même rôle que les pixels du noyau des convolutions en image. Nos réseaux convolutionnels surpassent les approches de segmentation sémantique de l’état de l’art dans presque toutes les situations. En plus de ces résultats probants, nous avons conçu KPConv avec une grande flexibilité et une version déformable. Pour conclure notre réflexion, nous proposons plusieurs éclairages sur les représentations que notre méthode est capable d'apprendre
In the recent years, new technologies have allowed the acquisition of large and precise 3D scenes as point clouds. They have opened up new applications like self-driving vehicles or infrastructure monitoring that rely on efficient large scale point cloud processing. Convolutional deep learning methods cannot be directly used with point clouds. In the case of images, convolutional filters brought the ability to learn new representations, which were previously hand-crafted in older computer vision methods. Following the same line of thought, we present in this thesis a study of hand-crafted representations previously used for point cloud processing. We propose several contributions, to serve as basis for the design of a new convolutional representation for point cloud processing. They include a new definition of multiscale radius neighborhood, a comparison with multiscale k-nearest neighbors, a new active learning strategy, the semantic segmentation of large scale point clouds, and a study of the influence of density in multiscale representations. Following these contributions, we introduce the Kernel Point Convolution (KPConv), which uses radius neighborhoods and a set of kernel points to play the role of the kernel pixels in image convolution. Our convolutional networks outperform state-of-the-art semantic segmentation approaches in almost any situation. In addition to these strong results, we designed KPConv with a great flexibility and a deformable version. To conclude our argumentation, we propose several insights on the representations that our method is able to learn

Cette thèse se trouve à la confluence de deux mondes en pleine explosion : la voiture autonome et l’intelligence artificielle (particulièrement l’apprentissage profond). Le premier tirant profit du deuxième, les véhicules autonomes utilisent de plus en plus de méthodes d’apprentissage profond pour analyser les données produites par ses différents capteurs (dont les LiDARs) et pour prendre des décisions. Alors que les méthodes d’apprentissage profond ont révolutionné l’analyse des images (en classification et segmentation par exemple), elles ne produisent pas des résultats aussi spectaculaires sur les nuages de points 3D, en particulier parce que les jeux de scènes données de nuages de points 3D annotés sont rares et de qualité moyenne. On présente donc dans cette thèse un nouveau jeu de données réalisé par acquisition mobile pour produire suffisamment de données et annoté à la main pour assurer une bonne qualité de segmentation. De plus ces jeux de données sont par nature déséquilibrés en nombre d’échantillon par classe et contiennent beaucoup d’échantillons redondants, on propose donc une méthode d’échantillonnage adaptée à ces jeux de données. Un autre problème rencontré quand on essaye de classifier un point à partir de son voisinage sous forme de grille voxelique est le compromis entre un pas de discrétisation fin (pour décrire précisément la surface voisine du point) et une grille de taille élevée (pour aller chercher du contexte un peu plus loin). On propose donc également des méthodes de réseaux tirant profit de voisinages multi-échelles. Ces méthodes atteignent l’état de l’art des méthodes de classification par point sur des benchmarks publics. Enfin pour respecter les contraintes imposées par les systèmes embarqués (traitement en temps réel et peu de puissance de calcul), on présente une méthode qui permet de n’appliquer les couches convolutionnelles que là où il y a de l’information à traiter
This thesis is at the confluence of two worlds in rapid growth: autonomous cars and artificial intelligence (especially deep learning). As the first takes advantage of the second, autonomous vehicles are increasingly using deep learning methods to analyze the data produced by its various sensors (including LiDARs) and to make decisions. While deep learning methods have revolutionized image analysis (in classification and segmentation for example), they do not produce such spectacular results on 3D point clouds. This is particularly true because the datasets of annotated 3D point clouds are rare and of moderate quality. This thesis therefore presents a new dataset developed by mobile acquisition to produce enough data and annotated by hand to ensure a good quality of segmentation. In addition, these datasets are inherently unbalanced in number of samples per class and contain many redundant samples, so a sampling method adapted to these datasets is proposed. Another problem encountered when trying to classify a point from its neighbourhood as a voxel grid is the compromise between a fine discretization step (for accurately describing the surface adjacent to the point) and a large grid (to look for context a little further away). We therefore also propose network methods that take advantage of multi-scale neighbourhoods. These methods achieve the state of the art of point classification methods on public benchmarks. Finally, to respect the constraints imposed by embedded systems (real-time processing and low computing power), we present a method that allows convolutional layers to be applied only where there is information to be processed

Les travaux menés dans le cadre de cette thèse ont pour principal objectif de développer une architecture neuronale auto-adaptative et non supervisée dévolue à la reconstruction d'ohjets 3D. L'espace d'entrée du réseau de neurones est constitué du nuage de points 3D non-organisés acquis à la surface de l'objet à reconstruire. Nos travaux se sont orientés vers le développement d'une nouvelle architecture neuronale inspirée des cartes auto-organisatrices de Kohonen que nous avons appelée 3D-SOM. Après apprentissage du nuage de points par le réseau, l'architecture du réseau se présente sous la forme d'une architecture neuronale maillée ayant pris la forme de l'objet à reconstruire. Nous avons adjoint au réseau 3D-SOM différentes lois d'apprentissage, permettant la mise en œuvre d'un processus d'auto-organisation efficace. Nous avons également introduit : - un niveau d'adaptation modulable qui pennet l'évolution dynamique du voisinage d'apprentissage. - une loi d'adaptation locale subordonnée à des critères spécifiques pour chaque neurone ou pour chaque triangle (coefficient d'apprentissage local, densité locale des points dans le nuage, orientation des normales aux triangles). - un processus de subdivision d'architecture global ou local qui consiste à accroître le nombre de neurones (donc du nombre de mailles) composant le réseau aux endroits où le réseau rencontre des difficultés à s'adapter à la forme réelle de l'objet.

Le laboratoire de robotique CAOR de Mines ParisTech a mis au point une technique de numérisation 3D d'environnements extérieurs, utilisant un système mobile appelé LARA3D. Il s'agit d'une voiture équipée de capteurs de localisation (GPS, Centrale Inertielle) et de capteurs de modélisation (lidars et caméras). Ce dispositif permet de construire des nuages de points 3D denses et des images géo-référencées de l'environnement traversé. Dans le cadre de cette thèse, nous avons développé une chaîne de traitement de ces nuages de points et de ces images capable de générer des modèles 3D photo-réalistes. Cette chaîne de modélisation est composée d'une succession d'étapes avec dans l'ordre : le calcul des normales, le débruitage des données, la segmentation en zones planes, la triangulation, la simplification et la texturation. Nous avons testé notre méthode de modélisation sur des données simulées et des données réelles acquises dans le cadre du projet TerraNumerica (en environnement urbain) et du projet Divas (en environnement routier)
The Robotics Laboratory CAOR from Mines ParisTech has developed a technique for 3D scanning of outdoor environments, using a mobile system called LARA3D. This is a car with location sensors (GPS, inertial unit) and modeling sensors (lidars and cameras). This device can build 3D point clouds and geo-referenced images of the environment. As part of this thesis, we have developed a processing chain of these point clouds and images for generating photo-realistic 3D models. This modeling chain has many processing steps with in order : normal computation, denoising, planar area segmentation, triangulation, simplification and texturing. We have applied our modeling method on synthetic data and on real data acquired through project TerraNumerica (in urban environment) and project Divas (in road environment)

Le laboratoire de robotique CAOR de Mines ParisTech a mis au point une technique de numérisation 3D d'environnements extérieurs, utilisant un système mobile appelé LARA3D. Il s'agit d'une voiture équipée de capteurs de localisation (GPS, Centrale Inertielle) et de capteurs de modélisation (lidars et caméras). Ce dispositif permet de construire des nuages de points 3D denses et des images géo-référencées de l'environnement traversé. Dans le cadre de cette thèse, nous avons développé une chaîne de traitement de ces nuages de points et de ces images capable de générer des modèles 3D photo-réalistes. Cette chaîne de modélisation est composée d'une succession d'étapes avec dans l'ordre : le calcul des normales, le débruitage des données, la segmentation en zones planes, la triangulation, la simplification et la texturation. Nous avons testé notre méthode de modélisation sur des données simulées et des données réelles acquises dans le cadre du projet TerraNumerica (en environnement urbain) et du projet Divas (en environnement routier).

Cette thèse aborde les problèmes liés à la protection de maillages d'objets 3D. Ces objets peuvent, par exemple, être créés à l'aide d'outil de CAD développés par la société STRATEGIES. Dans un cadre industriel, les créateurs de maillages 3D ont besoin de disposer d'outils leur permettant de vérifier l'intégrité des maillages, ou de vérifier des autorisations pour l'impression 3D par exemple. Dans ce contexte nous étudions l'insertion de données cachées dans des maillages 3D. Cette approche permet d'insérer de façon imperceptible et sécurisée de l'information dans un maillage. Il peut s'agir d'un identifiant, de méta-informations ou d'un contenu tiers, par exemple, pour transmettre de façon secrète une texture. L'insertion de données cachées permet de répondre à ces problèmes en jouant sur le compromis entre la capacité, l'imperceptibilité et la robustesse. Généralement, les méthodes d'insertion de données cachées se composent de deux phases, la synchronisation et l'insertion. La synchronisation consiste à trouver et ordonner les éléments disponibles pour l'insertion. L'un des principaux challenges est de proposer une méthode de synchronisation 3D efficace qui définit un ordre sur les composants des maillages. Dans nos travaux, nous proposons d'utiliser les sommets du maillage, plus précisément leur représentation géométrique dans l'espace comme composants de base pour la synchronisation et l'insertion. Nous présentons donc trois nouvelles méthodes de synchronisation de la géométrie des maillages basées sur la construction d'un chemin hamiltonien dans un nuage de sommets. Deux de ces méthodes permettent de manière conjointe de synchroniser les sommets et de cacher un message. Cela est possible grâce à deux nouvelles méthodes d'insertion haute capacité (de $3$ à $24$ bits par sommet) qui s'appuient sur la quantification des coordonnées. Dans ces travaux nous mettons également en évidence les contraintes propres à ce type de synchronisation. Nous discutons des différentes approches proposées dans plusieurs études expérimentales. Nos travaux sont évalués sur différents critères dont la capacité et l'imperceptibilité de la méthode d'insertion. Nous portons également notre attention aux aspects sécurité des méthodes
This thesis addresses issues relating to the protection of 3D object meshes. For instance, these objects can be created using CAD tool developed by the company STRATEGIES. In an industrial context, 3D meshes creators need to have tools in order to verify meshes integrity, or check permission for 3D printing for example.In this context we study data hiding on 3D meshes. This approach allows us to insert information in a secure and imperceptible way in a mesh. This may be an identifier, a meta-information or a third-party content, for instance, in order to transmit secretly a texture. Data hiding can address these problems by adjusting the trade-off between capacity, imperceptibility and robustness. Generally, data hiding methods consist of two stages, the synchronization and the embedding. The synchronization stage consists of finding and ordering available components for insertion. One of the main challenges is to propose an effective synchronization method that defines an order on mesh components. In our work, we propose to use mesh vertices, specifically their geometric representation in space, as basic components for synchronization and embedding. We present three new synchronisation methods based on the construction of a Hamiltonian path in a vertex cloud. Two of these methods jointly perform the synchronization stage and the embedding stage. This is possible thanks to two new high-capacity embedding methods (from 3 to 24 bits per vertex) that rely on coordinates quantization. In this work we also highlight the constraints of this kind of synchronization. We analyze the different approaches proposed with several experimental studies. Our work is assessed on various criteria including the capacity and imperceptibility of the embedding method. We also pay attention to security aspects of the proposed methods

Regrouper les monnaies selon leur coin est un problème qui a de nombreuses applications en numismatique. Ce regroupement est crucial pour comprendre l'histoire économique de certains peuples, surtout pour les peuples dont peu de traces écrites existent, comme les peuples celtes. C'est une tâche difficile, qui demande beaucoup de temps et d'expertise. Pourtant, les travaux qui se sont penchés sur l'identification automatique de coins monétaires sont très rares. Cette thèse propose un outil automatique pour savoir si deux motifs ont été imprimés avec le même motif, particulièrement savoir si deux monnaies ont été frappées avec le même coin. Basé sur des algorithmes de recalage basées apprentissage profond, la méthode proposée a permis de classer un trésor d'un millier de monnaies Riedones datant du IIème siècle avant notre ère. Ce trésor nous a permis de constituer un jeu de données annotées d'acquisitions 3D de monnaies appelée Riedones3D. Cette base de données est utile pour les spécialistes en monnaies celtiques, mais également à la communauté vision par ordinateur pour développer de nouveaux algorithmes de reconnaissance de coins monétaires. Des évaluations rigoureuses sur Riedones3D et sur d'autres œuvres celtiques montrent l'intérêt de la méthode proposée. En effet, elle peut s'adapter à des motifs inconnus. Finalement, nous proposons un nouvel algorithme de recalage qui peut s'adapter à n'importe quel type de capteur. Grâce à cet algorithme, il est potentiellement possible pour un spécialiste d'utiliser des capteurs plus rapides ou moins onéreux pour faire l'acquisition des monnaies ou des motifs gravés
Clustering coins according to their die is a problem that has many applications in numismatics. This clustering is crucial for understanding the economic history of tribes (especially for tribes for whom few written records exist, such as the Celts). It is a difficult task, requiring a lot of times and expertises. However, there is very little work that has been done on coin die identification.This thesis project aims at proposing an automatic tool to know if two patterns have been impressed with the same tool, especially to know if two coins have been struck with the same die. Based on deep learning-based registration algorithms, the proposed method has allowed us to classify a hoard of a thousand Riedone coins dating from the 2nd century BC. This treasure allowed us to build an annotated dataset of 3D acquisitions called Riedones3D. Riedones3D is useful for Celtic coin specialists, but also for the computer vision community to develop new coin die recognition algorithms. Rigorous evaluations on Riedones3D and on other Celtic works show the interest of the proposed method. Indeed, it can be adapted to unknown patterns. Finally, we propose a new registration algorithm that can be adapted to any type of sensor. Thanks to this algorithm, it is potentially possible for a specialist to use faster or less expensive sensors to acquire coins or engraved patterns

La détection de peau consiste à détecter les pixels correspondant à une peau humaine dans une image couleur. Les visages constituent une catégorie de stimulus importante par la richesse des informations qu’ils véhiculent car avant de reconnaître n’importe quelle personne il est indispensable de localiser et reconnaître son visage. La plupart des applications liées à la sécurité et à la biométrie reposent sur la détection de régions de peau telles que la détection de visages, le filtrage d'objets 3D pour adultes et la reconnaissance de gestes. En outre, la détection de la saillance des mailles 3D est une phase de prétraitement importante pour de nombreuses applications de vision par ordinateur. La segmentation d'objets 3D basée sur des régions saillantes a été largement utilisée dans de nombreuses applications de vision par ordinateur telles que la correspondance de formes 3D, les alignements d'objets, le lissage de nuages de points 3D, la recherche des images sur le web, l’indexation des images par le contenu, la segmentation de la vidéo et la détection et la reconnaissance de visages. La détection de peau est une tâche très difficile pour différentes raisons liées en général à la variabilité de la forme et la couleur à détecter (teintes différentes d’une personne à une autre, orientation et tailles quelconques, conditions d’éclairage) et surtout pour les images issues du web capturées sous différentes conditions de lumière. Il existe plusieurs approches connues pour la détection de peau : les approches basées sur la géométrie et l’extraction de traits caractéristiques, les approches basées sur le mouvement (la soustraction de l’arrière-plan (SAP), différence entre deux images consécutives, calcul du flot optique) et les approches basées sur la couleur. Dans cette thèse, nous proposons des méthodes d'optimisation numérique pour la détection de régions de couleurs de peaux et de régions saillantes sur des maillages 3D et des nuages de points 3D en utilisant un graphe pondéré. En se basant sur ces méthodes, nous proposons des approches de détection de visage 3D à l'aide de la programmation linéaire et de fouille de données (Data Mining). En outre, nous avons adapté nos méthodes proposées pour résoudre le problème de la simplification des nuages de points 3D et de la correspondance des objets 3D. En plus, nous montrons la robustesse et l’efficacité de nos méthodes proposées à travers de différents résultats expérimentaux réalisés. Enfin, nous montrons la stabilité et la robustesse de nos méthodes par rapport au bruit
Skin detection involves detecting pixels corresponding to human skin in a color image. The faces constitute a category of stimulus important by the wealth of information that they convey because before recognizing any person it is essential to locate and recognize his face. Most security and biometrics applications rely on the detection of skin regions such as face detection, 3D adult object filtering, and gesture recognition. In addition, saliency detection of 3D mesh is an important pretreatment phase for many computer vision applications. 3D segmentation based on salient regions has been widely used in many computer vision applications such as 3D shape matching, object alignments, 3D point-point smoothing, searching images on the web, image indexing by content, video segmentation and face detection and recognition. The detection of skin is a very difficult task for various reasons generally related to the variability of the shape and the color to be detected (different hues from one person to another, orientation and different sizes, lighting conditions) and especially for images from the web captured under different light conditions. There are several known approaches to skin detection: approaches based on geometry and feature extraction, motion-based approaches (background subtraction (SAP), difference between two consecutive images, optical flow calculation) and color-based approaches. In this thesis, we propose numerical optimization methods for the detection of skins color and salient regions on 3D meshes and 3D point clouds using a weighted graph. Based on these methods, we provide 3D face detection approaches using Linear Programming and Data Mining. In addition, we adapted our proposed methods to solve the problem of simplifying 3D point clouds and matching 3D objects. In addition, we show the robustness and efficiency of our proposed methods through different experimental results. Finally, we show the stability and robustness of our methods with respect to noise

Les techniques d'acquisition numérique 3D comme la photogrammétrie ou les scanners laser sont couramment utilisées dans de nombreux domaines d'applications tels que l'ingénierie inverse, l'archéologie, la robotique, ou l'urbanisme. Le principal objectif est d'obtenir des versions virtuels d'objets réels afin de les visualiser, analyser et traiter plus facilement. Ces techniques d'acquisition deviennent de plus en plus performantes et accessibles, créant un besoin important de traitement efficace des données 3D variées et massives qui en résultent. Les données sont souvent obtenues sont sous la forme de nuage de points 3D non-structurés qui échantillonnent la surface scannée. Les méthodes traditionnelles de traitement du signal ne peuvent alors s'appliquer directement par manque de paramétrisation spatiale, les points étant explicités par leur coordonnées 3D, sans ordre particulier. Dans cette thèse nous nous focalisons sur la notion d'échelle d'analyse qui est définie par la taille du voisinage utilisé pour caractériser localement la surface échantillonnée. L'analyse à différentes échelles permet de considérer des formes variées et ainsi rendre l'analyse plus pertinente et plus robuste aux imperfections des données acquises. Nous présentons d'abord des résultats théoriques et pratiques sur l'estimation de courbure adaptée à une représentation multi-échelle et multi-résolution de nuage de points. Nous les utilisons pour développer des algorithmes multi-échelle de reconnaissance de formes planaires et anisotropes comme les cylindres et les lignes caractéristiques. Enfin, nous proposons de calculer une paramétrisation 2D globale de la surface sous-jacente directement à partir de son nuage de points 3D non-structurés
3D acquisition techniques like photogrammetry and laser scanning are commonly used in numerous fields such as reverse engineering, archeology, robotics and urban planning. The main objective is to get virtual versions of real objects in order to visualize, analyze and process them easily. Acquisition techniques become more and more powerful and affordable which creates important needs to process efficiently the resulting various and massive 3D data. Data are usually obtained in the form of unstructured 3D point cloud sampling the scanned surface. Traditional signal processing methods cannot be directly applied due to the lack of spatial parametrization. Points are only represented by their 3D coordinates without any particular order. This thesis focuses on the notion of scale of analysis defined by the size of the neighborhood used to locally characterize the point-sampled surface. The analysis at different scales enables to consider various shapes which increases the analysis pertinence and the robustness to acquired data imperfections. We first present some theoretical and practical results on curvature estimation adapted to a multi-scale and multi-resolution representation of point clouds. They are used to develop multi-scale algorithms for the recognition of planar and anisotropic shapes such as cylinders and feature curves. Finally, we propose to compute a global 2D parametrization of the underlying surface directly from the 3D unstructured point cloud