Academic literature on the topic 'Représentations hiérarchiques d'images'

L'objectif de cette thèse est de proposer une solution d'indexation ``scalable'' et basée objet de flux vidéos HD compressés avec Motion JPEG2000. Dans ce contexte, d'une part, nous travaillons dans le domaine transformé hiérachique des ondelettes 9/7 de Daubechies et, d'autre part, la représentation ``scalable'' nécessite des méthodes en multirésolution, de basse résolution vers haute résolution. La première partie de ce manuscrit est dédiée à la définition d'une méthode d'extraction automatique des objets en mouvement. Elle repose sur la combinaison d'une estimation du mouvement global robuste et d'une segmentation morphologique couleur à basse résolution. Le résultat est ensuite affiné en suivant l'ordre des données dans le flux scalable. La deuxième partie est consacrée à la définition d'un descripteur sur les objets précédemment extraits, basé sur les histogrammes en multirésolution des coefficients d'ondelettes. Enfin, les performances de la méthode d'indexation proposée sont évaluées dans le contexte de requêtes scalables de recherche de vidéos par le contenu
This thesis aims at proposing a solution of scalable object-based indexing of HD video flow compressed by MJPEG2000. In this context, on the one hand, we work in the hierarchical transform domain of the 9/7 Daubechies' wavelets and, on the other hand, the scalable representation implies to search for multiscale methods, from low to high resolution. The first part of this manuscript is dedicated to the definition of a method for automatic extraction of objects having their own motion. It is based on a combination of a robust global motion estimation with a morphological color segmentation at low resolution. The obtained result is then refined following the data order of the scalable flow. The second part is the definition of an object descriptor which is based on the multiscale histograms of the wavelet coefficients. Finally, the performances of the proposed method are evaluated in the context of scalable content-based queries

L'analyse automatique de vidéos est un domaine qui a connu un essor fulgurant au cours des dix dernières années. Nous proposons d'aborder le problème de l'analyse des séquences d'images autour de deux thèmes principaux : la lecture de plaques minéralogiques et l'analyse du mouvement humain. La méthode que nous proposons pour la lecture de plaques se décompose autour des étapes suivante : localisation de la plaque, binarisation, extraction des caractères, reconnaissance et moyennage temporel. L'approche que nous proposons pour l'analyse du mouvement humain se situe à un niveau intermédiaire entre les méthodes génératives et les approches discriminantes. Dans les cas où un suivi région peut être assuré sans ambiguïté, une méthode est mise en place pour détecter et étiquetér les différentes parties visibles du corps de chaque personne. Ceci permet à chaque instant de capturer un ensemble de caractéristiques de forme, de couleur et de texture sur chaque membre, conduisant à la mise à jour dynamique d'un modèle d'apparence articulé. Ce dernier sera ensuite utilisé dans des situations difficiles pour effectuer une identification des personnes. En ce qui concerne l'analyse du mouvement humain, nous proposons une approche dédiée à la détection de chutes dont la contribution se décompose en deux points : d'une part, nous proposons une étude de la pertinence d'un détecteur de verticalité calculé à partir d'une caractéristique image pour discriminer les postures couché et debout. Le second point central de la détection de chutes repose sur l'utilisation d'un Modèle de Markov Caché Hiérarchique (HHMM) pour interpréter la séquence angulaire observée
The field of human motion analysis by means of computer vision technologies has known a huge increase over the last decade. We propose here to tackle the problem in the following aspects : Licence Plate Recognition (LPR) and Human Motion Analysis. The proposed approach for LPR decomposes into the following steps: plate detection, binarization, character segmentation, shape classification and temporal averaging. Concerning Human Motion Analysis, our approach can be considered intermediate with respect to the Top Down and Bottom Up classes, When the tracking can be successfully achieved by a simple region association strategy, we analyse the shape silhouette at a finer scale, aiming at detecting and labelling body parts. The body parts labelling makes it possible to update an appearance model for each limb, capturing shape, color and texture properties. The appearance model is used in difficult situations to identify people. Concerning human motion analysis, we propose an approach dedicated to fall detection, whose contribution decomposes into two points. Firstly, we propose to analyse the relevance of a proposed verticality detector, computed from an image feature and that devoted to discriminating standing from lying poses. The second contribution corresponds to the application of a Hierarchical Hidden Markov Model (HHMM) to classify the pose sequences. The different proposed approaches for License Plate recognition or human motion analysis have proved the efficiency of Bottom Up approaches for a real time purpose, and pointed out the importance of generatives back propagations to revolve ambiguous situations

Le contrôle de l'erreur est une nécessité dans un grand nombre d'applications de la simulation de l'éclairage. Il offre la possibilité d'assurer un degré de précision particulier dans la solution calculée, et permet également un compromis entre le temps de calcul et la qualité du résultat. Lors du calcul de l'éclairage par les méthodes hiérarchiques de radiosité, l'évaluation des relations de visibilité représente la majeure partie de l'effort de calcul, et constitue donc la cible désignée de diverses approximations, qui influent ensuite sur la qualité du résultat. Dans ce travail nous étudions tout d'abord l'impact des approximations de la visibilité lors du calcul des facteurs de forme sur la précision d'une simulation de l'éclairage. Associée à un algorithme de contrôle de l'erreur pour le calcul de chaque facteur de forme, cette approche permet de contrôler la précision de la simulation. Nous proposons ensuite un tel algorithme, basé sur le pré-calcul et le stockage d'informations multi-échelles de visibilité. Suivant les applications, la notion de qualité n'est cependant pas la même : alors qu'une borne mathématique sur l'erreur d'approximation d'une solution convient aux applications à caractère quantitatif, la simulation de l'éclairage en synthèse d'images nécessite une mesure de l'erreur adaptée au mode de perception humain. Une telle mesure doit notamment attacher une importance particulière aux artefacts visuels qui conditionnent la qualité des images produites. Dans ce cadre, nous proposons des algorithmes de synthèse des ombres, et décrivons une méthode basée sur l'opération de convolution entre des images d'une source et d'un obstacle, permettant le contrôle de l'erreur dans les ombres produites. Finalement, nous présentons un algorithme hiérarchique de simulation de l'éclairage contrôlant, par des méthodes spécifiques, la précision de l'équilibre global de l'énergie lumineuse et la qualité des détails d'ombre très fins.

Le mémoire présente le développement d'une représentation multi-échelle d'images par une famille de pyramides morphologiques et ses applications à l'analyse et à la fusion d'images en télédétection. La représentation hiérarchique proposée est basée sur une approche pyramidale utilisant les filtres non linéaires de la morphologie mathématique. La partie II propose d'abord un état de l'art des transformations pyramidales puis décrit le principe de la pyramide morphologique. Ses propriétés sont étudiées au travers de différents paramétrages et des familles qui en découlent. La pyramide morphologique permet d'une part, de séparer à chaque niveau de résolution les éléments de détails par leur taille et leur réflectance par rapport à l'environnement, et, d'autre part, de représenter les images aux niveaux de perception inférieurs. La partie III du mémoire est consacrée aux applications des pyramides morphologiques à l'analyse des surfaces observées. La décomposition des éléments imbriqués dans les scènes en signaux séparables à différentes résolutions démontre la capacité de caractérisation multi-échelle. On montre également comment des traitements de reconstruction appliqués aux détails contribuent à cette analyse. Différents exemples de paysages analysés illustrent la méthodologie développée. La partie IV consiste à fusionner des données de résolutions différentes, notamment celles issues de capteurs à haute résolution et à grand champ de vue. L'approche de fusion par pyramide morphologique créé ainsi des données de synthèse à haute résolution spatiale et à haute fréquence temporelle qui permettent une approche nouvelle du suivi des surfaces terrestres. Les résultats de ce principe de fusion sont présentés en fonction de différents jeux de dates d'acquisition des images. La conclusion souligne trois perspectives très prometteuses. Premièrement, la pyramide morphologique peut être utilisée comme un navigateur exploitant les différents niveaux de résolution spatiale permettant l'accès à une information plus ou moins détaillée. Ensuite, la pyramide morphologique ouvre des opportunités intéressantes au recalage d'images de résolutions différentes. Finalement, la pyramide morphologique est un cadre intéressant pour la compression de données par le choix des différents paramètres autorisés.

La segmentation est une tâche cruciale en analyse d’images. L’évolution des capteurs d’acquisition induit de nouvelles images de résolution élevée, contenant des objets hétérogènes. Il est aussi devenu courant d’obtenir des images d’une même scène à partir de plusieurs sources. Ceci rend difficile l’utilisation des méthodes de segmentation classiques. Les approches de segmentation hiérarchiques fournissent des solutions potentielles à ce problème. Ainsi, l’Arbre Binaire de Partitions (BPT) est une structure de données représentant le contenu d’une image à différentes échelles. Sa construction est généralement mono-critère (i.e. une image, une métrique) et fusionne progressivement des régions connexes similaires. Cependant, la métrique doit être définie a priori par l’utilisateur, et la gestion de plusieurs images se fait en regroupant de multiples informations issues de plusieurs bandes spectrales dans une seule métrique. Notre première contribution est une approche pour la construction multicritère d’un BPT. Elle établit un consensus entre plusieurs métriques, permettant d’obtenir un espace de segmentation hiérarchique unifiée. Par ailleurs, peu de travaux se sont intéressés à l’évaluation de ces structures hiérarchiques. Notre seconde contribution est une approche évaluant la qualité des BPTs en se basant sur l’analyse intrinsèque et extrinsèque, suivant des exemples issus de vérités-terrains. Nous discutons de l’utilité de cette approche pour l’évaluation d’un BPT donné mais aussi de la détermination de la combinaison de paramètres adéquats pour une application précise. Des expérimentations sur des images satellitaires mettent en évidence la pertinence de ces approches en segmentation d’images
Segmentation is a crucial task in image analysis. Novel acquisition devices bring new images with higher resolutions, containing more heterogeneous objects. It becomes also easier to get many images of an area from different sources. This phenomenon is encountered in many domains (e.g. remote sensing, medical imaging) making difficult the use of classical image segmentation methods. Hierarchical segmentation approaches provide solutions to such issues. Particularly, the Binary Partition Tree (BPT) is a hierarchical data-structure modeling an image content at different scales. It is built in a mono-feature way (i.e. one image, one metric) by merging progressively similar connected regions. However, the metric has to be carefully thought by the user and the handling of several images is generally dealt with by gathering multiple information provided by various spectral bands into a single metric. Our first contribution is a generalized framework for the BPT construction in a multi-feature way. It relies on a strategy setting up a consensus between many metrics, allowing us to obtain a unified hierarchical segmentation space. Surprisingly, few works were devoted to the evaluation of hierarchical structures. Our second contribution is a framework for evaluating the quality of BPTs relying both on intrinsic and extrinsic quality analysis based on ground-truth examples. We also discuss about the use of this evaluation framework both for evaluating the quality of a given BPT and for determining which BPT should be built for a given application. Experiments using satellite images emphasize the relevance of the proposed frameworks in the context of image segmentation

Cette thèse explore l’utilisation de représentations hiérarchiques des images issues de la morphologie mathématique, les arbres des coupes, pour la recherche et la classification d’images. Différents types de structures arborescentes sont analysés et une nouvelle classification en deux superclasses est proposée, ainsi qu’une contribution à l’indexation et à la représentation de ces structures par des dendogrammes. Deux contributions à la recherche d’images sont proposées, l’une sur la détection de régions d’intérêt et l’autre sur la description de ces régions. Les régions MSER peuvent être détectées par un algorithme s’appuyant sur une représentation des images par arbres min et max. L’utilisation d’autres structures arborescentes sous-jacentes permet de détecter des régions présentant des propriétés de stabilité différentes. Un nouveau détecteur, basé sur les arbres des formes, est proposé et évalué en recherche d’images. Pour la description des régions, le concept de spectres de formes 2D permettant de décrire globalement une image est étendu afin de proposer un descripteur local, au pouvoir discriminant plus puissant. Ce nouveau descripteur présente de bonnes propriétés à la fois de compacité et d’invariance à la rotation et à la translation. Une attention particulière a été portée à la préservation de l’invariance à l’échelle. Le descripteur est évalué à la fois en classification d’images et en recherche d’images satellitaires. Enfin, une technique de simplification des arbres de coupes est présentée, qui permet à l’utilisateur de réévaluer les mesures du niveau d’agrégation des régions imposé par les arbres des coupes
This thesis explores component trees, hierarchical structures from Mathematical Morphology, and their application to image retrieval and related tasks. The distinct component trees are analyzed and a novel classification into two superclasses is proposed, as well as a contribution to indexing and representation of the hierarchies using dendrograms. The first contribution to the field of image retrieval is in developing a novel feature detector, built upon the well-established MSER detection. The tree-based implementation of the MSER detector allows for changing the underlying tree in order to produce features of different stability properties. This resulted in the Tree of Shapes based Maximally Stable Region detector, leading to improvements over MSER in retrieval performance. Focusing on feature description, we extend the concept of 2D pattern spectra and adapt their global variant to more powerful, local schemes. Computed on the components of Min/Max-tree, they are histograms holding the information on distribution of image region attributes. The rotation and translation invariance is preserved from the global descriptor, while special attention is given to achieving scale invariance. We report comparable results to SIFT in image classification, as well as outperforming Morphology-based descriptors in satellite image retrieval, with a descriptor shorter than SIFT. Finally, a preprocessing or simplification technique for component trees is also presented, allowing the user to reevaluate the measures of region level of aggregation imposed on a component tree. The thesis is concluded by outlining the future perspectives based on the content of the thesis

Il y a un intérêt grandissant pour le développement d’outils de traitements adaptés aux images multimodales (plusieurs images de la même scène acquises avec différentes caractéristiques). Permettant une représentation plus complète de la scène, ces images multimodales ont de l'intérêt dans plusieurs domaines du traitement d'images, mais les exploiter et les manipuler de manière optimale soulève plusieurs questions. Cette thèse étend les représentations hiérarchiques, outil puissant pour le traitement et l’analyse d’images classiques, aux images multimodales afin de mieux exploiter l’information additionnelle apportée par la multimodalité et améliorer les techniques classiques de traitement d’images. Cette thèse se concentre sur trois différentes multimodalités fréquemment rencontrées dans le domaine de la télédétection. Nous examinons premièrement l’information spectrale-spatiale des images hyperspectrales. Une construction et un traitement adaptés de la représentation hiérarchique nous permettent de produire une carte de segmentation de l'image optimale vis-à-vis de l'opération de démélange spectrale. Nous nous concentrons ensuite sur la multimodalité temporelle, traitant des séquences d’images hyperspectrales. En utilisant les représentations hiérarchiques des différentes images de la séquence, nous proposons une nouvelle méthode pour effectuer du suivi d’objet et l’appliquons au suivi de nuages de gaz chimique dans des séquences d’images hyperspectrales dans le domaine thermique infrarouge. Finalement, nous étudions la multimodalité sensorielle, c’est-à-dire les images acquises par différents capteurs. Nous appuyant sur le concept des tresses de partitions, nous proposons une nouvelle méthodologie de segmentation se basant sur un cadre de minimisation d’énergie
There is a growing interest in the development of adapted processing tools for multimodal images (several images acquired over the same scene with different characteristics). Allowing a more complete description of the scene, multimodal images are of interest in various image processing fields, but their optimal handling and exploitation raise several issues. This thesis extends hierarchical representations, a powerful tool for classical image analysis and processing, to multimodal images in order to better exploit the additional information brought by the multimodality and improve classical image processing techniques. %when applied to real applications. This thesis focuses on three different multimodalities frequently encountered in the remote sensing field. We first investigate the spectral-spatial information of hyperspectral images. Based on an adapted construction and processing of the hierarchical representation, we derive a segmentation which is optimal with respect to the spectral unmixing operation. We then focus on the temporal multimodality and sequences of hyperspectral images. Using the hierarchical representation of the frames in the sequence, we propose a new method to achieve object tracking and apply it to chemical gas plume tracking in thermal infrared hyperspectral video sequences. Finally, we study the sensorial multimodality, being images acquired with different sensors. Relying on the concept of braids of partitions, we propose a novel methodology of image segmentation, based on an energetic minimization framework

Les bibliothèques de traitement d’images jouent un rôle important dans la boîte à outils du chercheur et devraient respecter trois critères : généricité, performance et interactivité. La généricité favorise la réutilisation du code et la flexibilité des algorithmes pour diverses structures de données en entrée, tandis que la performance accélère les expériences et permet l’utilisation d’algorithmes dans le cas d’applications en temps réel. De plus, l’interactivité dans la chaîne de traitement d’une image permet d’effectuer des expérimentations en échangeant des données avec cette dernière. Ce dernier critère est généralement obtenu en ajoutant du dynamisme à la bibliothèque, et plus particulièrement en interfaçant ses fonctionnalités à un langage dynamique. Les deux premiers critères peuvent être atteints avec des langages statiques tels que C++ ou Rust, qui exigent la connaissance de certaines informations au moment de la compilation pour optimiser le code machine généré en fonction des différents types de données d’entrée et de sortie d’un algorithme. Le dernier critère nécessite généralement d’attendre jusqu’à l’exécution pour obtenir des informations sur le type, et est donc réalisé au détriment de la vitesse d’exécution. Le travail présenté dans cette thèse vise à dépasser cette limitation dans le contexte d’algorithmes de traitement d’images. Pour ce faire, une méthodologie visant à développer des algorithmes génériques dont les informations sur les types d’entrée et de sortie peuvent être connues soit au moment de la compilation, soit à l’exécution, est présentée. Cette méthode est évaluée sur différents schémas algorithmiques de traitement d’images, et il est conclu que l’écart de performance entre les versions où l’information de type est connu à la compilation et à l’exécution de l’algorithme de construction pour les représentations hiérarchiques d’images est négligeable. En tant qu’application, les représentations hiérarchiques sont utilisées pour étendre l’applicabilité de l’estimation du niveau de bruit en niveaux de gris aux images en couleur afin d’améliorer leur caractère générique. Cela soulève l’importance d’étudier l’impact d’une telle altération dans les images à partir desquelles les représentations hiérarchiques sont construites pour améliorer l’efficacité de leurs applications en présence de bruit. Il est démontré que le bruit a un impact sur la structure arborescente, et cet impact est lié à certains types de fonctionnelles dans le cas où les hiérarchies sont contraintes par une énergie
Image processing libraries play an important role in the researcher toolset and should respect three criteria: genericity, performance, and interactivity. In short, genericity boosts code reuse and algorithm flexibility for various data inputs, while performance speeds up experiments and supports real-time applications. Additionally, interactivity allows software evolution and maintenance without full recompilation, often through integration with dynamic languages like Python or Julia. The first two criteria are not straightforward to reach with static languages such as C++ or Rust which require knowing some information at compile time to optimize generated machine code related to the different input and output data types of an algorithm. The latest criterion usually requires waiting until runtime to obtain type information and is thus performed at the cost of runtime efficiency. The work presented in this thesis aims to go beyond this limitation in the context of image processing algorithms. To do so, a methodology to develop generic algorithms whose type information about its input and output data may be known either at compile-time or at runtime is presented. This methodology is evaluated on different image processing algorithmic schemes, and it is concluded that the performance gap between the runtime and compile-time versions of the construction algorithm for hierarchical representations of images is negligible. As an application, hierarchical representations are employed to expand the applicability of grayscale noise level estimation to color images to enhance its genericity. That raises the importance of studying the impact of such corruption in the hierarchies built on noisy images to improve their efficiency in the presence of noise. It is demonstrated that the noise has an impact on the tree structure, and this impact is related to some kinds of functional in the context of energy optimization on hierarchies

La représentation d’image sous une forme hiérarchique a été largement utilisée dans un contexte de classification. Une telle représentation est capable de modéliser le contenu d’une image à travers une structure arborescente. Dans cette thèse, nous étudions les méthodes à noyaux qui permettent de prendre en entrée des données sous une forme structurée et de tenir compte des informations topologiques présentes dans chaque structure en concevant des noyaux structurés. Nous présentons un noyau structuré dédié aux structures telles que des arbres non ordonnés et des chemins (séquences de noeuds) équipés de caractéristiques numériques. Le noyau proposé, appelé Bag of Subpaths Kernel (BoSK), est formé en sommant les noyaux calculés sur les sous-chemins (un sac de tous les chemins et des noeuds simples) entre deux sacs. Le calcul direct de BoSK amène à une complexité quadratique par rapport à la taille de la structure (nombre de noeuds) et la quantité de données (taille de l’ensemble d’apprentissage). Nous proposons également une version rapide de notre algorithme, appelé Scalable BoSK (SBoSK), qui s’appuie sur la technique des Random Fourier Features pour projeter les données structurées dans un espace euclidien, où le produit scalaire du vecteur transformé est une approximation de BoSK. Cet algorithme bénéficie d’une complexité non plus linéaire mais quadratique par rapport aux tailles de la structure et de l’ensemble d’apprentissage, rendant ainsi le noyau adapté aux situations d’apprentissage à grande échelle. Grâce à (S)BoSK, nous sommes en mesure d’effectuer un apprentissage à partir d’informations présentes à plusieurs échelles dans les représentations hiérarchiques d’image. (S)BoSK fonctionne sur des chemins, permettant ainsi de tenir compte du contexte d’un pixel (feuille de la représentation hiérarchique) par l’intermédiaire de ses régions ancêtres à plusieurs échelles. Un tel modèle est utilisé dans la classification des images au niveau pixel. (S)BoSK fonctionne également sur les arbres, ce qui le rend capable de modéliser la composition d’un objet (racine de la représentation hiérarchique) et les relations topologiques entre ses sous-parties. Cette stratégie permet la classification des tuiles ou parties d’image. En poussant plus loin l’utilisation de (S)BoSK, nous introduisons une nouvelle approche de classification multi-source qui effectue la classification directement à partir d’une représentation hiérarchique construite à partir de deux images de la même scène prises à différentes résolutions, éventuellement selon différentes modalités. Les évaluations sur plusieurs jeux de données de télédétection disponibles dans la communauté illustrent la supériorité de (S)BoSK par rapport à l’état de l’art en termes de précision de classification, et les expériences menées sur une tâche de classification urbaine montrent la pertinence de l’approche de classification multi-source proposée
Hierarchical image representations have been widely used in the image classification context. Such representations are capable of modeling the content of an image through a tree structure. In this thesis, we investigate kernel-based strategies that make possible taking input data in a structured form and capturing the topological patterns inside each structure through designing structured kernels. We develop a structured kernel dedicated to unordered tree and path (sequence of nodes) structures equipped with numerical features, called Bag of Subpaths Kernel (BoSK). It is formed by summing up kernels computed on subpaths (a bag of all paths and single nodes) between two bags. The direct computation of BoSK yields a quadratic complexity w.r.t. both structure size (number of nodes) and amount of data (training size). We also propose a scalable version of BoSK (SBoSK for short), using Random Fourier Features technique to map the structured data in a randomized finite-dimensional Euclidean space, where inner product of the transformed feature vector approximates BoSK. It brings down the complexity from quadratic to linear w.r.t. structure size and amount of data, making the kernel compliant with the large-scale machine-learning context. Thanks to (S)BoSK, we are able to learn from cross-scale patterns in hierarchical image representations. (S)BoSK operates on paths, thus allowing modeling the context of a pixel (leaf of the hierarchical representation) through its ancestor regions at multiple scales. Such a model is used within pixel-based image classification. (S)BoSK also works on trees, making the kernel able to capture the composition of an object (top of the hierarchical representation) and the topological relationships among its subparts. This strategy allows tile/sub-image classification. Further relying on (S)BoSK, we introduce a novel multi-source classification approach that performs classification directly from a hierarchical image representation built from two images of the same scene taken at different resolutions, possibly with different modalities. Evaluations on several publicly available remote sensing datasets illustrate the superiority of (S)BoSK compared to state-of-the-art methods in terms of classification accuracy, and experiments on an urban classification task show the effectiveness of proposed multi-source classification approach

Ce mémoire est dedié à l'application de maillages triangulaires à la compression d'images fixes. On cherche à prouver l'efficacité des représentations hiérarchiques pour le codage avec perte. On commence par deux études portant respectivement sur les modèles d'approximation basées sur des éléments finis d'Hermite et sur la subdivison barycentrique. On aborde ensuite le thème principal : la multirésolution offerte dans le cadre des éléments finis hiérarchiques. Les méthodes de codage proposées exploitent l'hétérogénéité de la répartition statistique des coefficients d'amplitude forte. On a ensuite développé des méthodes originales de construction de préondelettes orthogonales à base d'éléments finis linéaires. De manière générale, le travail a permis de montrer les potentialités des schémas de codage par maillages et leurs bonnes performances lorsqu'on les compare aux meilleurs standards de compression actuels.