Дисертації з теми "Algorithme de suivi d'objets"

Nous proposons une méthode pour faire "comprendre" automatiquement à un ordinateur les mouvements d'un être humain filmé par des caméras vidéo, sachant qu'aucun marqueur n'a été placé sur celui-ci. Pour cela, nous avons choisi de nous intéresser à une première étape: l'estimation des variations des paramètres du mouvement d'une personne dans le temps. Nous abordons aussi la deuxième étape qui consiste à interpréter ces variations pour leur donner un sens. Des informations sont extraites des images vidéo et sont comparées à un modèle géométrique de l'objet suivi. Ces informations sont soit une segmentation de la silhouette de l'objet dans le cas où les caméras sont éloignées les unes des autres, soit une reconstruction tridimensionnelle de cet objet dans le cas où les caméras sont rapprochées. Nous expliquons pourquoi cette distinction est faite. Dans chacun des cas nous supposons connue la géométrie de l'objet en construisant un modèle 3D constitué de parties rigides simples articulées entre elles. La minimisation de l'erreur d'estimation des paramètres de position est effectuée en créant des forces et en résolvant les équations de la dynamique pour le modèle 3D articulé. Ces forces sont créées à partir des informations trouvées dans les images. Les différentes étapes de l'algorithme sont abordées: la calibration des caméras, la structure du modèle 3D, l'extraction d'informations des images, l'application de forces au modèle 3D, la dynamique de ce modèle et l'estimation et la prédiction de son mouvement dans la scène grâce à un filtre de Kalman. Enfin nous montrons des résultats encourageants et proposons des idées pour généraliser l'algorithme
We introduce you to a method designed to provide the computer, the ability to automatically understand the motions of a markerless filmed human in a multi-cameras environment. In a first step, we decide to estimate the time extended motions variations. Secondly, these variations are interpreted in order to give them significance. After being retrieved from the video pictures, information are compared to a tracked object geometric model. These information could be a segmentation of the object silhouette in case of far distant cameras from each other, or a three-dimensional reconstruction in case of near distant cameras from each other. We ll explain why this distinction is made. In each case, we assume that the object geometry is known thanks to the build of a 3D model made of simple articulated rigid parts. The position parameters error correction is done by creating forces and by resolving the equations of the 3D articulated model dynamic. Information found in the pictures allow us to create such forces. Different steps of the algorithm are introduced: how to calibrate the cameras, the 3D model structure, the information retrieve process, how to apply forces to the model, its dynamic, the estimation and anticipation of the motion in the scene thanks to a Kalman filter. Finally, we expose encouraging results and try to give ideas in order to generalize the algorithm

Un besoin applicatif existe en terme de localisation 3D d’objets par vision. Cette technologie devient en effet de plus en plus populaire dans le milieu industriel où elle peut être utile lors de contrôle qualité, de robotisation de tâches ou encore d’aide à la maintenance par Réalité Augmentée. Néanmoins, le déploiement de telles applications est actuellement limité en raison de la difficulté à allier qualité de localisation, facilité de mise en oeuvre et généricité de la solution. En effet, la majorité des solutions implique : soit des étapes de mise en oeuvre complexes comme avec l’installation de capteurs de mouvement ou une préparation supervisée du modèle CAO; soit un manque de précision de la localisation dans le cadre de certaines applications nécessitant de prendre en compte des mouvements de fortes amplitudes de la caméra (provoquant du flou de bouger et des tremblements dans le flux vidéo) ainsi que des occultations partielles ou totales de l’objet ; soit enfin une restriction sur la nature de l’objet, celui-ci devant être texturé, de petite taille ou encore polyédrique pour avoir une bonne localisation. La plupart des solutions de localisation existantes correspondent à des approches de suivi basé modèle. Cette méthode consiste à estimer la pose relative entre la caméra et l’objet d’intérêt par mises en correspondance de primitives 3D extraites du modèle avec des primitives 2D extraites d’images d’un flux vidéo. Pour autant, cette approche atteint ses limites lorsque l’objet est difficilement observable dans l’image.Afin d’améliorer la localisation lorsque l’application concerne un objet fixe, de récentes solutions se sont appuyées en complément des primitives du modèle, sur des primitives de l’environnement reconstruites au cours du processus de localisation. Ces approches combinent algorithmes de SLAM (Simultaneous Localization And Mapping) et de suivi d’objet basé contours en utilisant les informations du modèle comme contrainte dans le processus d’optimisation du SLAM. Pour cela, un terme d’erreur est ajouté à la fonction de coût classique.Celui-ci mesure l’erreur de re-projection entre des primitives 3D issues des arêtes franches du modèle et les points de contour 2D dans l’image qui leur sont associés. L’ajout de cette contrainte permet d’exprimer la localisation du SLAM dans le repère de l’objet d’intérêt tout en réduisant sa dérive. Les solutions de SLAM contraint au modèle n’exploitant cependant que les contours francs du modèle, ne sont pas génériques et ne permettent de localiser que des objets polyédriques. De plus, l’ajout de cette contrainte entraîne une forte augmentation de la consommation mémoire, les images de contours nécessaires à l’étape de mise en correspondance devant être conservées.Les travaux présentés dans ce mémoire de thèse visent à fournir une solution répondant simultanément à l’ensemble des besoins concernant la facilité de déploiement, la qualité de localisation et la généricité sur la nature des objets suivis. Aussi, notre solution basée sur un algorithme de SLAM visuel contraint basé images clés, se restreint-elle au seul usage d’une caméra couleur, les caméras RGBD impliquant généralement une limite sur le volume, la nature réflective ou absorbante de l’objet, et sur la luminosité de son environnement. Cette étude est en outre restreinte à la seule exploitation de modèles 3D géométrique non texturés, les textures pouvant difficilement être considérées comme stables dans le temps (usure, taches...) et pouvant varier pour un même objet manufacturé. De plus, les modèles à base de nuages de descripteurs locaux ou les modèles surfaciques texturés sont actuellement des données peu disponibles dans l’industrie. Enfin, nous faisons le choix d’estimer la pose de la caméra de manière géométrique et non par apprentissage. Le suivi d’objets à l’aide d’apprentissage automatique est en effet encore difficilement exploitable en milieu industriel. (...)
In the industry domain, applications such as quality control, automation of complex tasks or maintenance support with Augmented Reality (AR) could greatly benefit from visual tracking of 3D objects. However, this technology is under-exploited due to the difficulty of providing deployment easiness, localization quality and genericity simultaneously. Most existing solutions indeed involve a complex or an expensive deployment of motion capture sensors, or require human supervision to simplify the 3D model. And finally, most tracking solutions are restricted to textured or polyhedral objects to achieved an accurate camera pose estimation.Tracking any object is a challenging task due to the large variety of object forms and appearances. Industrial objects may indeed have sharp edges, or occluding contours that correspond to non-static and view-point dependent edges. They may also be textured or textureless. Moreover, some applications require to take large amplitude motions as well as object occlusions into account, tasks that are not always dealt with common model-based tracking methods. These approaches indeed exploit 3D features extracted from a model, that are matched with 2D features in the image of a video-stream. However the accuracy and robustness of the camera localization depend on the visibility of the object as well as on the motion of the camera. To better constrain the localization when the object is static, recent solutions rely on environment features that are reconstructed online, in addition to the model ones. These approaches combine SLAM (Simultaneous Localization And Mapping) and model-based tracking solutions by using constraints from the 3D model of the object of interest. Constraining SLAM algorithms with a 3D model results in a drift free localization. However, such approaches are not generic since they are only adapted for textured or polyhedral objects. Furthermore, using the 3D model to constrain the optimization process may generate high memory consumption,and limit the optimization to a temporal window of few cameras. In this thesis, we propose a solution that fulfills the requirements concerning deployment easiness, localization quality and genericity. This solution, based on a visual key-frame-based constrained SLAM, only exploits an RGB camera and a geometric CAD model of the static object of interest. An RGB camera is indeed preferred over an RGBD sensor, since the latter imposes limits on the volume, the reflectiveness or the absorptiveness of the object, and the lighting conditions. A geometric CAD model is also preferred over a textured model since textures may hardly be considered as stable in time (deterioration, marks,...) and may vary for one manufactured object. Furthermore, textured CAD models are currently not widely spread. Contrarily to previous methods, the presented approach deals with polyhedral and curved objects by extracting dynamically 3D contour points from a model rendered on GPU. This extraction is integrated as a structure constraint into the constrained bundle adjustment of a SLAM algorithm. Moreover we propose different formalisms of this constraint to reduce the memory consumption of the optimization process. These formalisms correspond to hybrid structure/trajectory constraints, that uses output camera poses of a model-based tracker. These formalisms take into account the structure information given by the 3D model while relying on the formalism of trajectory constraints. The proposed solution is real-time, accurate and robust to occlusion or sudden motion. It has been evaluated on synthetic and real sequences of different kind of objects. The results show that the accuracy achieved on the camera trajectory is sufficient to ensure a solution perfectly adapted for high-quality Augmented Reality experiences for the industry

Le transport de sédiments en rivières et torrents reste un phénomène mal compris en raison de la polydispersité des particules et de la ségrégation résultante. Il a été mené une étude expérimentale sur un canal permettant d’étudier la ségrégation en charriage d’un mélange de deux classes de billes. Le déplacement collectif des billes est enregistré sous la forme de séquences vidéos. Cette thèse traite des méthodes de traitement d’images développées pour analyser les données obtenues. Premièrement, nous avons développé une méthode de segmentation d’images pour étudier l’influence de l’infiltration de particules fines sur l’évolution d’un lit mobile. Avec cette méthode d’analyse, une étude expérimentale a permis de montrer que l’évolution de la pente du lit présente une décroissance exponentielle. Deuxièmement, nous avons optimisé les algorithmes déterministes de suivi de particules pour permettre l’étude des trajectoires sur l’intégralité du phénomène de ségrégation, ce qui n’était pas possible dans les travaux précédemment effectués à Irstea. Nous avons de plus mis en place des mesures d’évaluation et conçu des vérités terrains afin d’apprécier la qualité des résultats. Des gains de temps, cohérence, précision et mémoire ont été quantifiés. Troisièmement, nous avons développé un nouvel algorithme basé sur le filtrage particulaire à modèles multiples pour mieux gérer les dynamiques complexes des particules et gagner en robustesse. Cette approche permet de prendre en compte les erreurs du détecteur, les corriger et ainsi éviter des difficultés lors du suivi de trajectoires que nous rencontrons notamment avec l’algorithme déterministe
Sediment transport in rivers and mountain streams remains poorly understood partly due to the polydispersity of particles and resulting segregation. Experiments in a channel were carried out to study bedload transport of bimodal bead mixtures. The behavior of the beads is recorded through video sequences. This work is about the development of image processing methods to analyse the obtained data. Firstly, we developed a method of image segmentation to study the infiltration of fine particles and its influence on the evolution of bed mobility. Thanks to this method, an experimental study shows that the bed slope evolution follows an exponential decay. Secondly, we optimised deterministic tracking algorithms to enable the study of trajectories on long-duration phenomena of segregation, which was not possible with previous work done at Irstea. Moreover we set up relevant evaluation measures and elaborated ground truth sequences to quantify the results. We observed benefits in execution time, consistency, precision and memory. Thirdly, we developed a new algorithm based on multiple model particle filtering to better deal with complex dynamics of particles and to gain robustness. This approach allows taking unreliable detections into account, correcting them and thus avoiding difficulties in the target tracking as encountered with the deterministic algorithm

Dans cette thèse, nous nous intéressons à la détection d'objets mobiles dans des séquences vidéo. En particulier, nous proposons une nouvelle méthode d'estimation du fond qui peut s'adapter aux différentes variations de la scène (ex. changements d'illumination, du fond). Cette méthode est composée d'un algorithme de soustraction du fond pour détecter les pixels du fond et d'un algorithme de post-traitement pour éliminer les changements d'illumination tels que les ombres des objets mobiles. Pour que cette méthode puisse s'adapter à une scène dynamique, nous proposons un contrôleur avec deux stratégies d'adaptation. La première stratégie supervise l'algorithme de soustraction du fond pour mettre à jour la représentation du fond en fonction du type d'objets détectés et des conditions d'illumination. Cette stratégie permet aux algorithmes de soustraction du fond de résoudre des problèmes concernant des petits bruits, des changements soudains d'illumination, la gestion des objets stationnaires, et aussi la détection des objets d'intérêt quand ils s'arrêtent de bouger. La deuxième stratégie règle les valeurs des paramètres de l'algorithme de soustraction du fond pour qu'il puisse s'adapter aux conditions courantes de la scène telles que le niveau de bruit. Pour atteindre ces objectifs, le contrôleur utilise les résultats des tâches de classification et de suivi, les informations diverses des algorithmes (ex. la sémantique des paramètres), ainsi que la nature de la scène observée (ex. scènes intérieures ou extérieures) . L'algorithme de soustraction du fond proposé est une extension du modèle de Mélange de Gaussiennes et il prend en compte les caractéristiques de la scène tels que les mouvements du fond et les changements dynamiques du fond. Cet algorithme propose également une nouvelle méthode pour mieux estimer la moyenne et l'écart type des distributions gaussiennes dans la représentation du fond. L'étape de post-traitement consiste en un algorithme pour supprimer les changements d'illumination à l'aide d'un nouvel espace de couleurs. Cet espace de couleurs est robuste aux changements d'illumination, ainsi que des irrégularités de caméras (la balance de blanc, la transformation non-linéaire lorsque l'intensité de lumière est faible par exemple). Cette méthode a été validée dans la base de données publiques ETISEO et dans une vidéo d'une heure du projet GERHOME.

En raison de leurs impacts dévastateurs sur les populations et les infrastructures des pays concernés, l'évolution future de l'activité cyclonique tropicale dans le contexte du réchauffement climatique est une question de grande importance. Deux méthodes existent pour évaluer l'activité cyclonique tropicale en changement climatique dans les modèles de climat : l'utilisation d'algorithmes de détection (traqueurs) de cyclones ou l'utilisation d'indices de cyclogénèse qui traduisent des relations statistiques liant l'activité cyclonique observée à des variables atmosphériques de grande échelle. Ces deux méthodes tendent à fournir des projections opposées dans les simulations climatiques. Motivée par ce désaccord, cette thèse propose alors d'explorer ces deux approches dans le but d'apporter des améliorations à chacune d'elles. Dans un premier temps, le traqueur de cyclones tropicaux du CNRM est appliqué à la réanalyse ERA5 du Centre européen pour les prévisions météorologiques à moyen terme, et évalué à l'aide de la base de données d'observations des cyclones IBTrACS. Ses performances sont évaluées en termes de probabilité de détection et de taux de fausses alarmes (POD et FAR), après optimisation des paramètres de détection, et en appliquant un filtre des systèmes de moyennes latitudes adéquat. Plusieurs métriques d'évaluation de la similarité des trajectoires détectées dans ERA5 avec celles observées sont ensuite proposées puis comparées. Ces métriques novatrices sont complémentaires au POD et au FAR et montrent que l'optimisation des paramètres de détection s'accompagne d'une légère amélioration de la similarité des trajectoires. De nouveaux indices de cyclogénèse sont ensuite construits sur ERA5 par régression de Poisson entre des prédicteurs de grande échelle thermiques et dynamiques, et la base de données IBTrACS. Les régressions sont déclinées à différentes résolutions spatiales et temporelles ainsi qu'à l'échelle globale et pour les différents bassins océaniques. La résolution temporelle accrue permet la correction du biais équatorial présent dans les indices les plus communément utilisés. La variabilité interannuelle des indices apparaît cependant robuste aux modifications apportées aux coefficients de pondération des variables de grande échelle. Suite à ce constat, l'apport de l'ajout de prédicteurs dans les régressions est évalué sur ERA5 ainsi que dans le modèle ARPEGE ; d'une part en ajoutant explicitement un diagnostique du mode de variabilité El Niño (ENSO) dans l'indice, et d'autre part en remplaçant l'humidité relative à 600 hPa par le déficit de saturation d'humidité intégré sur la colonne (VPD). L'ajout du diagnostique ENSO permet alors d'améliorer la variabilité interannuelle de l'indice dans la plupart des bassins océaniques. Les corrélations avec les séries observées est rendue statistiquement significative au seuil de 95% dans tous les bassins à l'exception du Nord Atlantique. L'utilisation du VPD permet quant à elle d'annuler les tendances à la hausse dans la période historique observée dans les indices basés sur l'humidité relative. L'indice obtenu présente donc un meilleur accord avec les observations. Lorsqu'appliqué à des simulations climatiques ARPEGE à très haute résolution, sous le scénario RCP8.5, le VPD amplifie également la diminution de l'activité cyclonique
Given their devastating impact on the populations and infrastructures of the countries concerned the future evolution of tropical cyclone activity in the context of global warming is an issue of great importance. Two methods exist for assessing tropical cyclone activity under climate change in climate models: the use of cyclone detection algorithms (trackers) or the use of cyclogenesis indices, which translate statistical relationships linking observed cyclone activity to large-scale atmospheric variables. These two methods tend to provide opposite projections in climate simulations. Motivated by this disagreement, this thesis proposes to explore these two approaches, with the aim of making improvements to each. Firstly, the CNRM tropical cyclone tracker is applied to the ERA5 reanalysis of the European Centre for Medium-Range Weather Forecasts, and evaluated using the IBTrACS database of cyclone observations. Its performance is evaluated in terms of detection probability and false alarm rate (POD and FAR), after optimizing detection parameters and applying an appropriate mid-latitude system filter. Several metrics for assessing the similarity of the tracks detected in ERA5 with those observed are then proposed and compared. These innovative metrics are complementary to POD and FAR, and show that optimizing detection parameters is accompanied by a slight improvement in track similarity. New cyclogenesis indices are then constructed on ERA5 by Poisson regression between large-scale thermal and dynamic predictors, and the IBTrACS database. The regressions are run at different spatial and temporal resolutions, as well as on a global scale and for different ocean basins. The increased temporal resolution enables the equatorial bias present in the most commonly used indices to be corrected. However, the interannual variability of the indices appears to be robust to changes in the weighting coefficients of the large-scale variables. Following this observation, the contribution of adding predictors to the regressions is evaluated on ERA5 as well as in the ARPEGE model; on the one hand by explicitly adding a diagnostic of the El Niño (ENSO) variability mode to the index, and on the other hand by replacing the relative humidity at 600 hPa by the integrated moisture saturation deficit on the column (VPD). The addition of ENSO diagnostics improves the interannual variability of the index in most ocean basins. Correlations with observed series are made statistically significant at the 95% threshold in all basins except the North Atlantic. The use of the VPD cancels out the upward trends in the historical period observed in indices based on relative humidity. The resulting index is therefore in better agreement with observations. When applied to very high-resolution ARPEGE climate simulations, under the RCP8.5 scenario, the VPD also amplifies the decrease in cyclonic activity

L'objectif principal de cette thèse est le développement d'algorithmes événementiels pour la détection et le suivi d'objets. Ces algorithmes sont spécifiquement conçus pour travailler avec une sortie produite par des caméras neuromorphiques. Ce type de caméras sont un nouveau type de capteurs bio inspirés, dont le principe de fonctionnement s'inspire de la rétine: chaque pixel est indépendant et génère des événements de manière asynchrone lorsqu'un changement de luminosité suffisamment important est détecté à la position correspondante du plan focal. Cette nouvelle façon d'encoder l'information visuelle requiert de nouvelles méthodes pour la traiter. D'abord, un suiveur (tracker) plan est décrit. Cet algorithme associe à un objet une série de formes simples reliées par des ressorts. Le système mécanique virtuel résultant est mis à jour pour chaque événement. Le chapitre suivant présente un algorithme de détection de lignes et de segments, pouvant constituer une caractéristique (feature) événementielle de bas niveau. Ensuite, deux méthodes événementielles pour l'estimation de la pose 3D sont présentées. Le premier de ces algorithmes 3D est basé sur l'hypothèse que l'estimation de la pose est toujours proche de la position réelle, et requiert donc une initialisation manuelle. Le deuxième de ces algorithmes 3D est conçu pour surmonter cette limitation. Toutes les méthodes présentées mettent à jour l'estimation de la position (2D ou 3D) pour chaque événement. Cette thèse montre que la vision événementielle permet de reformuler une vaste série de problèmes en vision par ordinateur, souvent donnant lieu à des algorithmes plus simples mais toujours précis
The main goal of this thesis is the development of event-based algorithms for visual detection and tracking. This algorithms are specifically designed to work on the output of neuromorphic event-based cameras. This type of cameras are a new type of bioinspired sensors, whose principle of operation is based on the functioning of the retina: every pixel is independent and generates events asynchronously when a sufficient amount of change is detected in the luminance at the corresponding position on the focal plane. This new way of encoding visual information calls for new processing methods. First, a part-based shape tracking is presented, which represents an object as a set of simple shapes linked by springs. The resulting virtual mechanical system is simulated with every incoming event. Next, a line and segment detection algorithm is introduced, which can be employed as an event-based low level feature. Two event-based methods for 3D pose estimation are then presented. The first of these 3D algorithms is based on the assumption that the current estimation is close to the true pose of the object, and it consequently requires a manual initialization step. The second of the 3D methods is designed to overcome this limitation. All the presented methods update the estimated position (2D or 3D) of the tracked object with every incoming event. This results in a series of trackers capable of estimating the position of the tracked object with microsecond resolution. This thesis shows that event-based vision allows to reformulate a broad set of computer vision problems, often resulting in simpler but accurate algorithms

Nous nous intéressons dans cette thèse à la vision à travers les murs (VTM) par radar ULB, avec comme objectif la mise au point d’une chaîne de traitement de l’information (CTI) complète pouvant être utilisée par différents types de radar imageur VTM. Pour ce faire, nous souhaitons prendre en compte le moins possible d’information a priori, ni sur les cibles, ni sur leur contexte environnemental. De plus, la CTI doit répondre à des critères d’adaptabilité et de modularité pour pouvoir traiter les informations issues de deux types de radar, notamment, le pulsé et le FMCW, développés dans deux projets dans lesquels s’inscrivent les travaux de cette thèse. L’imagerie radar est un point important dans ce contexte, nous l’abordons par la combinaison des algorithmes de rétroprojection et trilatération, et montrons l’amélioration apportée avec l’utilisation d’un détecteur TFAC prenant en compte la forme des signatures des cibles. La mise au point de la CTI est notre principale contribution. Le flux d’images radar obtenu est scindé en deux parties. La première séquence dynamique contient les cibles mobiles qui sont ensuite suivies par une approche multihypothèse. La seconde séquence statique contient les cibles stationnaires ainsi que les murs intérieurs qui sont détectés par une méthode s’appuyant sur la transformée de Radon. Nous avons produit un simulateur VTM fonctionnant dans le domaine temporel et fréquentiel pour mettre au point les algorithmes de la CTI et tester leur robustesse. Plusieurs scénarios de simulation ainsi que de mesures expérimentales, montrent que la CTI construite est pertinente et robuste. Elle est ainsi validée pour les deux systèmes radar
This report is focused on Through-the-wall surveillance (TTS) using UWB radar, with the objective of developing a complete information processing pipeline (IPP) which can be used by different types of imaging radar. To do this, we want to take into account any a priori information, nor on the target, or their environmental context. In addition, the IPP must meet criteria of adaptability and modularity to process information from two types of radar, including pulsed and FMCW developed in two projects that are part of the work of this thesis. Radar imaging is an important point in this context ; we approach it by combining backprojection and trilateration algorithms and show the improvement with the use of a CFAR detector taking into account the shape of the targets signatures.The development of the IPP is our main contribution. The flow of radar images obtained is divided into two parts. The first dynamic sequence contains moving targets are tracked by a multiple hypothesis approach. The second static sequence contains stationary targets and interior walls that are highlighted by Radon transformbases approach. We developed a simulator operating in time and frequency domain to design the algorithms of the IPP and test their robustness. Several simulated scenarios and experimental measurements show that our IPP is relevant and robust. It is thus validated for both radar systems

Cette thèse résulte d'une collaboration CIFRE avec Thalès Optronique, société qui conçoit et développe des systèmes de désignation aéroportés pour des armements guidés laser. Le mode opératoire utilisé par ces systèmes requiert de la part du pilote une charge de travail importante. L'objectif de cette thèse est d'alléger cette charge, en rendant les systèmes de suivi actuels plus robustes face à des effets de perspective.

Le thème principal de cette thèse est donc le suivi d'objets à partir d'images aériennes. Nous souhaitons utiliser la faisabilité d'une extraction d'information 3D à partir de séquences vidéo afin d'améliorer les algorithmes de suivi de matériels aéroportés existants. Pour cela, nous nous plaçons dans un cadre bayésien et formulons le suivi de manière probabiliste, au moyen d'un filtre particulaire. Nous avons mis en place trois algorithmes:

Le premier est basé sur des histogrammes de couleurs, que l'on combine à un filtrage particulaire;
c'est un suivi purement 2D dans le sens où aucune information 3D réelle de la scène est utilisée.

Le second est basé sur des modèles géométriques (qui peuvent être 2D ou 3D), que l'on combine à un filtrage particulaire. Nous ajoutons une étape supplémentaire au filtrage particulaire classique, nous permettant de changer de modèle lorsque l'algorithme le juge nécessaire.

Enfin, le dernier algorithme combine les deux précédents; l'intégration d'histogrammes de couleurs et d'informations de contours dans un filtre particulaire permet non seulement de rendre le suivi d'objets plus robuste, mais aussi de prendre en compte de l'information 3D réelle de la scène observée.

Un protocole d'évaluation a été mis en place pour évaluer les performances de ces algorithmes. Des résultats illustrent les performances de ces algorithmes.

Visual recognition is the problem of learning visual categories from a limited set of samples and identifying new instances of those categories, the problem is often separated into two types: the specific case and the generic category case. In the specific case the objective is to identify instances of a particular object, place or person. Whereas in the generic category case we seek to recognize different instances that belong to the same conceptual class: cars, pedestrians, road signs and mugs. Specific object recognition works by matching and geometric verification. In contrast, generic object categorization often includes a statistical model of their appearance and/or shape.This thesis proposes a computer vision system for detecting and tracking multiple targets in videos. A preliminary work of this thesis consists on the adaptation of color according to lighting variations and relevance of the color. Then, literature shows a wide variety of tracking methods, which have both advantages and limitations, depending on the object to track and the context. Here, a deterministic method is developed to automatically adapt the tracking method to the context through the cooperation of two complementary techniques. A first proposition combines covariance matching for modeling characteristics texture-color information with optical flow (KLT) of a set of points uniformly distributed on the object . A second technique associates covariance and Mean-Shift. In both cases, the cooperation allows a good robustness of the tracking whatever the nature of the target, while reducing the global execution times .The second contribution is the definition of descriptors both discriminative and compact to be included in the target representation. To improve the ability of visual recognition of descriptors two approaches are proposed. The first is an adaptation operators (LBP to Local Binary Patterns ) for inclusion in the covariance matrices . This method is called ELBCM for Enhanced Local Binary Covariance Matrices . The second approach is based on the analysis of different spaces and color invariants to obtain a descriptor which is discriminating and robust to illumination changes.The third contribution addresses the problem of multi-target tracking, the difficulties of which are the matching ambiguities, the occlusions, the merging and division of trajectories.Finally to speed algorithms and provide a usable quick solution in embedded applications this thesis proposes a series of optimizations to accelerate the matching using covariance matrices. Data layout transformations, vectorizing the calculations (using SIMD instructions) and some loop transformations had made possible the real-time execution of the algorithm not only on Intel classic but also on embedded platforms (ARM Cortex A9 and Intel U9300).

Dans cette thèse nous proposons de nouveaux algorithmes d'analyse vidéo. La première contribution de cette thèse concerne le domaine de la segmentation de vidéos avec pour objectif d'obtenir une segmentation dense et spatio-temporellement cohérente. Nous proposons de combiner les aspects spatiaux et temporels d'une vidéo en une seule notion, celle de Fibre. Une fibre est un ensemble de trajectoires qui sont spatialement connectées par un maillage. Les fibres sont construites en évaluant simultanément les aspects spatiaux et temporels. Par rapport a l’état de l'art une segmentation de vidéo a base de fibres présente comme avantages d’accéder naturellement au voisinage grâce au maillage et aux correspondances temporelles pour la plupart des pixels de la vidéo. De plus, cette segmentation à base de fibres a une complexité quasi linéaire par rapport au nombre de pixels. La deuxième contribution de cette thèse concerne le suivi d'objets multiples. Nous proposons une approche de suivi qui utilise des caractéristiques des points suivis, la cinématique des objets suivis et l'apparence globale des détections. L'unification de toutes ces caractéristiques est effectuée avec un champ conditionnel aléatoire. Ensuite ce modèle est optimisé en combinant les techniques de passage de message et une variante de processus ICM (Iterated Conditional Modes) pour inférer les trajectoires d'objet. Une troisième contribution mineure consiste dans le développement d'un descripteur pour la mise en correspondance d'apparences de personne. Toutes les approches proposées obtiennent des résultats compétitifs ou meilleurs (qualitativement et quantitativement) que l’état de l'art sur des base de données
In this thesis we propose novel algorithms for video analysis. The first contribution of this thesis is in the domain of video segmentation wherein the objective is to obtain a dense and coherent spatio-temporal segmentation. We propose joining both spatial and temporal aspects of a video into a single notion Fiber. A fiber is a set of trajectories which are spatially connected by a mesh. Fibers are built by jointly assessing spatial and temporal aspects of the video. Compared to the state-of-the-art, a fiber based video segmentation presents advantages such as a natural spatio-temporal neighborhood accessor by a mesh, and temporal correspondences for most pixels in the video. Furthermore, this fiber-based segmentation is of quasi-linear complexity w.r.t. the number of pixels. The second contribution is in the realm of multiple object tracking. We proposed a tracking approach which utilizes cues from point tracks, kinematics of moving objects and global appearance of detections. Unification of all these cues is performed on a Conditional Random Field. Subsequently this model is optimized by a combination of message passing and an Iterated Conditional Modes (ICM) variant to infer object-trajectories. A third, minor, contribution relates to the development of suitable feature descriptor for appearance matching of persons. All of our proposed approaches achieve competitive and better results (both qualitatively and quantitatively) than state-of-the-art on open source datasets

Dans ce mémoire, nous proposons des améliorations à une méthode existante de dé- tection d'objets de forme inconnue à partir de primitives simples. Premièrement, avec un algorithme adaptatif, nous éliminons les cas où on n'obtenait aucun résultat avec certaines images en retirant la plupart des seuils fixes, ce qui assure un certain nombre de groupes de primitives à chaque étape. Ensuite, l'ajout de certaines optimisations et d'une version parallèle de la méthode permettent de rendre le temps d'exécution raisonnable pour ce nouvel algorithme. Nous abordons ensuite le problème des solutions trop semblables en ajoutant une nouvelle étape de structuration qui réduira leur nombre sans en affecter la variété grâce au regroupement hiérarchique. Finalement, nous ajustons certains paramètres et des résultats sont produits avec trois ensembles de 10 images. Nous réussissons à prouver de manière objective que les résultats obtenus sont meilleurs qu'avec la méthode précédente.
In this thesis, we propose improvements to an existing unknown shape object detection method that uses simple primitives. Firstly, we eliminate cases where no results were obtained with some images using an adaptive algorithm by removing most of the fixed thresholds, assuring a certain number of primitive groups at each step. Secondly, adding some optimizations and a parallel version of the algorithm make the running time of this new algorithm reasonable. Thirdly, we approach the problem of the redundant solutions by adding a new structuring step that will reduce their number without affecting their variety using hierarchical clustering. Finally, we adjust some parameters and results are produced using three sets of 10 images. We prove in an objective manner that the obtained results are better than those of the previous method.

Ce mémoire de thèse a pour sujet le suivi temps réel d'objets en trois dimensions, dans le but de réaliser des applications de réalité augmentée. En effet la réalité augmentée nécessite des algorithmes de suivi stables et précis. Si l'on désire en plus que le suivi soit effectué en temps réel vidéo, il faut alors trouver des compromis entre précision des résultats et vitesse de traitement. Ce mémoire contient la description des trois algorithmes de suivi développés durant cette thèse. Ils illustrent le cheminement suivi par nos travaux durant ces trois années, c'est-à-dire le suivi d'objets de plus en plus complexes, d'abord planaires, puis simples objets 3D, et enfin objets 3D complexes de modèle 3D inconnu. Le premier algorithme permet de suivre des objets planaires peu texturés. Il s'agit d'une extension d'un algorithme de suivi de plans efficace et rapide, basé sur l'utilisation d'informations de texture, auquel nous avons ajouté une composante de suivi de contour afin de pouvoir l'utiliser sur un ensemble plus vaste de motifs. Une fois ce travail sur le suivi planaire effectué, nous avons adapté l'algorithme de suivi de textures au suivi d'objets en trois dimensions. En utilisant de multiples occurrences de cet algorithme, réparties sur la surface de l'objet à suivre, couplées à un algorithme itératif d'estimation de pose, nous sommes parvenus à suivre en temps réel des objets simples effectuant des translations et des rotations à 360 degrés. Cet algorithme étant limité par le fait qu'il nous faut connaître un modèle 3D de l'objet à suivre, nous avons ensuite cherché à réaliser un algorithme permettant, lors d'une phase d'apprentissage, de générer un modèle statistique de l'objet à partir de vues clefs 2D. Basé sur le même algorithme de suivi de texture que précédemment, cet algorithme ne détermine pas la pose 3D de l'objet suivi mais décrit sa position comme étant la déformation d'une grille 2D.

Dans ce memoire, nous avons developpe une nouvelle approche permettant la detection et le suivi de regions en mouvement dans une sequence d'images. Elle est basee sur l'analyse des variations spatio-temporelles de la distribution des intensites. Le principal objectif est de construire le plus fidelement possible les projections, ou masques complets, des objets, ainsi que le masque de leur ombre portee, puis en suivre l'evolution temporelle. L'approche envisagee traite des sequences d'images de scenes proches acquises avec une camera fixe. Le fonctionnement general de la methode se decompose en quatre principales etapes: a) construction des masques des objets et des masques de leur ombre, par comparaison de l'image courante et de l'image du fond. Cette comparaison, basee sur la luminance et les contours, conduit a un etiquetage double. Un processus de relaxation, avec modelisation markovienne du champ des etiquettes, permet d'optimiser la detection. B) separation des objets grace a la prise en compte de leur mouvement. Cette technique est egalement basee sur une relaxation avec modelisation markovienne. C) prediction temporelle des masques des objets et de leur mouvement afin d'augmenter la robustesse des precedentes etapes. D) enfin, un processus de suivi temporel des masques des objets est mis en uvre afin d'obtenir la trajectoire de chaque objet

Cette these presente une implementation temps reel d'une chaine algorithmique de detection de mouvement et de suivi d'objets. La detection de mouvement est realisee par une difference d'images qui est relaxee par un processus markovien afin d'obtenir une detection robuste. Deux modeles markoviens sont presentes : l'un monoresolution, l'autre multiresolution. Les pixels detectes en mouvement sont regroupes en region grace a un nouvel algorithme d'etiquetage en composantes connexes. Cet algorithme base sur un codage rlc a la propriete d'etre optimum vis-a-vis du nombre d'etiquettes creees. Il est de plus tres rapide et sa complexite est quasi independante des donnees. Deux techniques de suivi sont developpees. La premiere implemente un parcours d'arbre minimisant la distance entre les bords des regions, pour mettre en correspondance ces regions. Cette technique est simple et tres rapide. La seconde est basee sur une approche cinematique et utilise des filtres predictifs pour les associations. Une procedure d'estimation - verification des choix permet de rendre ces choix tres robustes. Pour respecter la cadence video, il est necessaire d'optimiser l'execution des differents algorithmes. Nous presentons des techniques logicielles issues du calcul scientifique pour accelerer leur vitesse d'execution sur les processeurs risc et les dsp vliw. Le deroulage de boucle et le pipeline logiciel optimisent les nids de boucles et le blocage de cache, la localite des donnees. Ces techniques sont presentees a travers l'exemple des filtres recursifs de detection de contours qui permettent d'evaluer les performances, aussi bien des architectures que des techniques d'optimisations. Ces techniques d'optimisation sont ensuite appliquees a la relaxation markovienne et a l'etiquetage. Le facteur d'acceleration ainsi obtenu est superieur a 2. De plus nous estimons que la relaxation et l'etiquetage se parallelisent facilement et efficacement.

Nous traiterons dans ce mémoire de thèse du problème de la reconnaissance d'objets texturés par vision monoculaire ainsi que de leurs localisations et de leurs suivis dans le repère caméra. Nous avons développé une approche mixte, basée sur l'appariement de primitives visuelles entre l'image à analyser et les images d'une base d'apprentissage, mais qui tire partie de la connaissance du modèle CAO texturé de l'objet pour valider le résultat du processus de reconnaissance et localiser l'objet. Dans un contexte d'objets texturés, les primitives les plus pertinentes semblent être les points d'intérêt. Ces derniers, très présents dans le cas d'images texturées, sont situés dans des zones riches en information de luminance. Ces primitives sont caractérisées localement par un vecteur directement basé sur le signal de luminance. Il est invariant aux rotations et translations 2D, aux changements affines de la luminosité et peut être implémenté de façon multi-d'échelles. Préalablement à la reconnaissance, une phase d'apprentissage est réalisée. Elle consiste en la génération d'images synthétiques de l'objet puis en la création d'une base de données rassemblant les primitives extraites ainsi que leurs vecteurs caractéristiques. La base est ensuite organisée de façon à être parcourue rapidement. L'utilisation d'images synthétiques permet de remonter aux coordonnées 3D des points extraits lors de l'apprentissage et donc d'obtenir des appariements 3D/2D entre l'image et le modèle qui permettent de calculer la pose de l'objet. Ce calcul est effectué de façon robuste et introduit une contrainte géométrique forte sur les mises en correspondance. Dans le cas d'une séquence d'image, le processus peut être considérablement accéléré. Une fois la position de l'objet connue dans la première image, l'extraction des points est limitée dans l'image et le parcours de la base est initialisé par la pose 3D précédente de l'objet
This thesis deals with textured objects recognition by monocular vision as well as their localization and tracking in the camera coordinates system. We have developed a mixed approach, based on the matching of visual primitives between the image to analyse and the images of a training base, but which uses the knowledge of the 3D object model to validate the result of the recognition process and to locate the object. In a context of textured objects the most relevant features seems to be keypoints. These points are located in image zones having a high information content. We propose a local description of such features directly based on the luminance signal. It is insensitive to image rotations ans translations and we also present a multi-scale implementation of these description in order to recognize objects in spite of important scale changes. Before the recognition, a training stage is carried out. It consists in the genration of synthetic images of the object then in the creation of a data base gathering the extracted primitives and their characterization vector. After that the data are organize in order to scan the base as fast as possible. The use of synthetics images allows them to compute the 3D coordinates of the keypoints extracted at the training stage. So, after the matching done, we obtain a set of 2D/3D pairs between the image and the object model. Thus, we compute the object position with a robust method which introduce a strong geometrical constraint on the 2D/3D pairs. In the case of a images sequence, once the object position known in the first image, the process can be considerably accelerated : the features extraction is limited to a part of the image and the data base scanning is initialized by the preceding 3D position of the object

Les travaux de cette thèse portent sur l'amélioration et l'optimisation de l'algorithme de suivi d'objet couleur Mean-Shift à la fois d’un point de vue robustesse du suivi et d’un point de vue architectural pour améliorer la vitesse d’exécution. La première partie des travaux a consisté en l'amélioration de la robustesse du suivi. Pour cela, l'impact des espaces de représentation couleur a été étudié, puis une méthode permettant la sélection de l'espace couleur représentant le mieux l'objet à suivre a été proposée. L'environnement de la cible changeant au cours du temps, une stratégie est mise en place pour resélectionner un espace couleur au moment opportun. Afin d'améliorer la robustesse dans le cas de séquences particulièrement difficile, le Mean-Shift avec stratégie de sélection a été couplé avec un autre algorithme plus coûteux en temps d'exécution : le suivi par covariance. L’objectif de ces travaux est d’obtenir un système complet fonctionnant en temps réel sur processeurs multi-cœurs SIMD. Une phase d’étude et d'optimisation a donc été réalisée afin de rendre les algorithmes paramétrables en complexité pour qu’ils puissent s’exécuter en temps réel sur différentes plateformes, pour différentes tailles d’images et d’objets suivi. Dans cette optique de compromis vitesse / performance, il devient ainsi possible de faire du suivi temps-réel sur des processeurs ARM type Cortex A9
The work of this thesis focuses on the improvement and optimization of the Mean-Shift color object tracking algorithm, both from a theoretical and architectural point of view to improve both the accuracy and the execution speed. The first part of the work consisted in improving the robustness of the tracking. For this, the impact of color space representation on the quality of tracking has been studied, and a method for the selection of the color space that best represents the object to be tracked has been proposed. The method has been coupled with a strategy determining the appropriate time to recalculate the model. Color space selection method was also used in collaboration with another object tracking algorithm to further improve the tracking robustness for particularly difficult sequences : the covariance tracking which is more time consuming. The objective of this work is to obtain an entire real time system running on multi-core SIMD processors. A study and optimization phase has been made in order to obtain algorithms with a complexity that is configurable so that they can run in real time on different platforms, for various sizes of images and object tracking. In this context of compromise between speed and performance, it becomes possible to do real-time tracking on processors like ARM Cortex A9

Dans le domaine des applications multimédia, les futurs standards vont permettre de créer de nouvelles voies de communication, d'accès et de manipulation de l'information audiovisuelle qui vont bien au-delà de la simple compression à laquelle se limitaient les standards de codage précédents. Parmi les nouvelles fonctionnalités, il est espéré que l'utilisateur pourra avoir accès au contenu des images par édition et manipulation des objets présents. Néanmoins, la standardisation ne couvre que la représentation et le codage de ces objets, en laissant ouvert un large champ de développement pour ce qui concerne la probl ématique liée à leur extraction et à leur suivi lorsqu'ils évoluent au long d'une séquence vidéo. C'est précisément sur ce point que porte cette thèse. Dans un premier temps, nous avons procédé à l' étude et à la mise au point d'algorithmes de filtrage et de segmentation à caractère générique, car ces outils sont à la base de tout système d'analyse du contenu d'une image ou d'une séquence. Plus concr ètement, nous avons étudié en détail une nouvelle classe de filtres morphologiques connus sous le nom de nivellements ainsi qu'une variation des algorithmes de segmentation basée sur l'inondation contrainte d'une image gradient. Les techniques de segmentation ont pour but de produire une partition de l'image aussi proche que possible de celle faite par l' oeil humain, en vue de la reconnaissance postérieure des objets. Néanmoins, dans la plupart des cas, cette dernière tâche ne peut être faite que par interaction humaine et, pourtant, lorsqu'on veut retrouver un objet dans une large collection d'images, ou suivre son évolution au long d'une s équence, la surveillance de chacune des partitions devient impossible. S'impose alors le développement d'algorithmes de mise en correspondance capables de propager l'information dans une série d'images, en limitant l'interaction humaine à une seule étape d'initialisation. En faisant le passage des images fixes aux séquences, la partie centrale de cette thèse est consacrée à l' étude du problème de la mise en correspondance de partitions. La méthode que nous avons développée, nommée technique de Segmentation et Appariement Conjoint (SAC), peut être définie comme étant de nature hybride. Elle combine des algorithmes classiques de mise en correspondance de graphes avec de nouvelles techniques d' édition, basées sur les hiérarchies de partitions fournies par la segmentation morphologique. Cette combinaison a donné lieu à un algorithme très robuste, malgré l'instabilité typiquement associée aux processus de segmentation. La segmentation de deux images peut différer fortement si on la considère du seul point de vue d'une partition unique ; néanmoins nous avons montré qu'elle est beaucoup plus stable si on considère des hiérarchies de partitions emboîtées, dans lesquelles tous les contours présents apparaissent, chacun avec une valuation indiquant sa force. Les résultats obtenus par la technique SAC ont fait d'elle une approche très prometteuse. Souple et puissante, elle est capable de reconnaître un objet lorsqu'il réapparaît après occultation grâce à la gestion d'un graphe de mémoire. Bien que nous nous soyons int éressés tout particulièrement à la problématique du suivi, les algorithmes mis au point ont un champ d'application beaucoup plus vaste dans le domaine de l'indexation, en particulier pour la recherche d'objets dans une base de données d'images ou de séquences. Finalement, dans le cadre du projet européen M4M (MPEG f(o)ur mobiles) nous avons abordé la mise en oeuvre d'un démonstrateur de segmentation en temps réel capable de détecter, segmenter et suivre un personnage dans des séquences de vidéophonie. Dans le cadre de cette application, la contrainte du temps réel est devenue le grand d éfi à surmonter, en nous obligeant a simplifier et à optimiser nos algorithmes. L'int erêt principal en termes des nouveaux services est double : d'un côté le détourage automatique du locuteur permettrait d'adapter le codage à l'objet, économisant du débit sans perte de qualité sur les régions d'int erêt ; d'un autre côté il permettrait de faire l' édition personnalisée des séquences en changeant la composition de la scène, par exemple en introduisant un nouveau fond, ou en disposant plusieurs locuteurs dans une salle de conférence virtuelle.

De nos jours, le traitement et l'analyse d'images trouvent leur application dans de nombreux domaines. Dans le cas de la navigation d'un robot mobile (fauteuil roulant) en milieu intérieur, l'extraction de repères visuels et leur suivi constituent une étape importante pour la réalisation de tâches robotiques (localisation, planification, etc.). En particulier, afin de réaliser une tâche de franchissement de portes, il est indispensable de détecter et suivre automatiquement toutes les portes qui existent dans l'environnement. La détection des portes n'est pas une tâche facile : la variation de l'état des portes (ouvertes ou fermées), leur apparence (de même couleur ou de couleur différentes des murs) et leur position par rapport à la caméra influe sur la robustesse du système. D'autre part, des tâches comme la détection des zones navigables ou l'évitement d'obstacles peuvent faire appel à des représentations enrichies par une sémantique adaptée afin d'interpréter le contenu de la scène. Pour cela, les techniques de segmentation permettent d'extraire des régions pseudo-sémantiques de l'image en fonction de plusieurs critères (couleur, gradient, texture...). En ajoutant la dimension temporelle, les régions sont alors suivies à travers des algorithmes de segmentation spatio-temporelle. Dans cette thèse, des contributions répondant aux besoins cités sont présentées. Tout d'abord, une technique de détection et de suivi de portes dans un environnement de type couloir est proposée : basée sur des descripteurs géométriques dédiés, la solution offre de bons résultats. Ensuite, une technique originale de segmentation multirésolution et hiérarchique permet d'extraire une représentation en régions pseudo-sémantique. Enfin, cette technique est étendue pour les séquences vidéo afin de permettre le suivi des régions à travers le suivi de leurs contours. La qualité des résultats est démontrée et s'applique notamment au cas de vidéos de couloir.

Le suivi d’objets est de plus en plus utilisé dans les applications de vision par ordinateur. Compte tenu des exigences des applications en termes de performance, du temps de traitement, de la consommation d’énergie et de la facilité du déploiement des systèmes de suivi, l’utilisation des architectures embarquées de calcul devient primordiale. Dans cette thèse, nous avons conçu un système de suivi d’objets pouvant fonctionner en temps réel sur une caméra intelligente de faible coût et de faible consommation équipée d’un processeur embarqué ayant une architecture légère en ressources de calcul. Le système a été étendu pour le suivi d’objets dans un réseau de caméras avec des champs de vision non-recouvrant. La chaîne algorithmique est composée d’un étage de détection basé sur la soustraction de fond et d’un étage de suivi utilisant un algorithme probabiliste Gaussian Mixture Probability Hypothesis Density (GMPHD). La méthode de soustraction de fond que nous avons proposée combine le résultat fournie par la méthode Zipfian Sigma-Delta avec l’information du gradient de l’image d’entrée dans le but d’assurer une bonne détection avec une faible complexité. Le résultat de soustraction est traité par un algorithme d’analyse des composantes connectées afin d’extraire les caractéristiques des objets en mouvement. Les caractéristiques constituent les observations d’une version améliorée du filtre GMPHD. En effet, le filtre GMPHD original ne traite pas les occultations se produisant entre les objets. Nous avons donc intégré deux modules dans le filtre GMPHD pour la gestion des occultations. Quand aucune occultation n’est détectée, les caractéristiques de mouvement des objets sont utilisées pour le suivi. Dans le cas d’une occultation, les caractéristiques d’apparence des objets, représentées par des histogrammes en niveau de gris sont sauvegardées et utilisées pour la ré-identification à la fin de l’occultation. Par la suite, la chaîne de suivi développée a été optimisée et implémentée sur une caméra intelligente embarquée composée de la carte Raspberry Pi version 1 et du module caméra RaspiCam. Les résultats obtenus montrent une qualité de suivi proche des méthodes de l’état de l’art et une cadence d’images de 15 − 30 fps sur la caméra intelligente selon la résolution des images. Dans la deuxième partie de la thèse, nous avons conçu un système distribué de suivi multi-objet pour un réseau de caméras avec des champs non recouvrants. Le système prend en considération que chaque caméra exécute un filtre GMPHD. Le système est basé sur une approche probabiliste qui modélise la correspondance entre les objets par une probabilité d’apparence et une probabilité spatio-temporelle. L’apparence d’un objet est représentée par un vecteur de m éléments qui peut être considéré comme un histogramme. La caractéristique spatio-temporelle est représentée par le temps de transition des objets et la probabilité de transition d’un objet d’une région d’entrée-sortie à une autre. Le temps de transition est modélisé par une loi normale dont la moyenne et la variance sont supposées être connues. L’aspect distribué de l’approche proposée assure un suivi avec peu de communication entre les noeuds du réseau. L’approche a été testée en simulation et sa complexité a été analysée. Les résultats obtenus sont prometteurs pour le fonctionnement de l’approche dans un réseau de caméras intelligentes réel
Multi-object tracking constitutes a major step in several computer vision applications. The requirements of these applications in terms of performance, processing time, energy consumption and the ease of deployment of a visual tracking system, make the use of low power embedded platforms essential. In this thesis, we designed a multi-object tracking system that achieves real time processing on a low cost and a low power embedded smart camera. The tracking pipeline was extended to work in a network of cameras with nonoverlapping field of views. The tracking pipeline is composed of a detection module based on a background subtraction method and on a tracker using the probabilistic Gaussian Mixture Probability Hypothesis Density (GMPHD) filter. The background subtraction, we developed, is a combination of the segmentation resulted from the Zipfian Sigma-Delta method with the gradient of the input image. This combination allows reliable detection with low computing complexity. The output of the background subtraction is processed using a connected components analysis algorithm to extract the features of moving objects. The features are used as input to an improved version of GMPHD filter. Indeed, the original GMPHD do not manage occlusion problems. We integrated two new modules in GMPHD filter to handle occlusions between objects. If there are no occlusions, the motion feature of objects is used for tracking. When an occlusion is detected, the appearance features of the objects are saved to be used for re-identification at the end of the occlusion. The proposed tracking pipeline was optimized and implemented on an embedded smart camera composed of the Raspberry Pi version 1 board and the camera module RaspiCam. The results show that besides the low complexity of the pipeline, the tracking quality of our method is close to the stat of the art methods. A frame rate of 15 − 30 was achieved on the smart camera depending on the image resolution. In the second part of the thesis, we designed a distributed approach for multi-object tracking in a network of non-overlapping cameras. The approach was developed based on the fact that each camera in the network runs a GMPHD filter as a tracker. Our approach is based on a probabilistic formulation that models the correspondences between objects as an appearance probability and space-time probability. The appearance of an object is represented by a vector of m dimension, which can be considered as a histogram. The space-time features are represented by the transition time between two input-output regions in the network and the transition probability from a region to another. Transition time is modeled as a Gaussian distribution with known mean and covariance. The distributed aspect of the proposed approach allows a tracking over the network with few communications between the cameras. Several simulations were performed to validate the approach. The obtained results are promising for the use of this approach in a real network of smart cameras

Ce travail de thèse s'inscrit dans le domaine de la vision artificielle. Plus précisément, nous nous sommes intéressés au suivi temps réel vidéo d'objets 3D mobiles dans des séquences d'images. A l'orgine de ces travaux, se trouve un algorithme, développé au LASMEA, dédié au suivi de motifs planaires texturés. Nous nous sommes proposés d'adapter cette méthode de suivi 2D à l'estimation du mouvement apparent d'objets 3D. Pour cela, l'objet 3D est modélisé à l'aide d'une collection d'images de référence. Pour chacune de ces vues, la solution 2D citée précédemment permet de suivre les mouvements fronto parallèles (déplacements de l'objet parallèlement au plan image) qui ne modifient pas de façon majeure l'aspect apparent dans l'image. Le point délicat, solutionné dans le cadre de cette thèse, est la détection et la gestion du changement d'aspect du motif suivi dû à des rotations relatives (caméra/objet) en site et azimut. Sur le plan pratique, l'approche proposée a permis le développement d'un système expérimental de suivi d'un visage et la navigation automatique d'un bras robotique, muni d'une caméra embarquée, autour d'un objet 3D.

Cette thèse traite de la détection et du suivi d'objets mobiles dans un environnement dynamique, en utilisant une caméra embarquée sur un robot mobile. Ce sujet représente encore un défi important car on exploite uniquement la vision mono-caméra pour le résoudre. Nous devons détecter les objets mobiles dans la scène par une analyse de leurs déplacements apparents dans les images, en excluant le mouvement propre de la caméra. Dans une première étape, nous proposons une analyse spatio-temporelle de la séquence d'images, sur la base du flot optique épars. La méthode de clustering a contrario permet le groupement des points dynamiques, sans information a priori sur le nombre de groupes à former et sans réglage de paramètres. La réussite de cette méthode réside dans une accumulation suffisante des données pour bien caractériser la position et la vitesse des points. Nous appelons temps de pistage, le temps nécessaire pour acquérir les images analysées pour bien caractériser les points. Nous avons développé une carte probabiliste afin de trouver les zones dans l'image qui ont les probabilités la plus grandes de contenir un objet mobile. Cette carte permet la sélection active de nouveaux points près des régions détectées précédemment en permettant d'élargir la taille de ces régions. Dans la deuxième étape nous mettons en oeuvre une approche itérative pour exécuter détection, clustering et suivi sur des séquences d'images acquises depuis une caméra fixe en intérieur et en extérieur. Un objet est représenté par un contour actif qui est mis à jour de sorte que le modèle initial reste à l'intérieur du contour. Finalement nous présentons des résultats expérimentaux sur des images acquises depuis une caméra embarquée sur un robot mobile se déplaçant dans un environnement extérieur avec des objets mobiles rigides et nonrigides. Nous montrons que la méthode est utilisable pour détecter des obstacles pendant la navigation dans un environnement inconnu a priori, d'abord pour des faibles vitesses, puis pour des vitesses plus réalistes après compensation du mouvement propre du robot dans les images.

Cette thèse traite de la détection et du suivi d'objets mobiles dans un environnement dynamique, en utilisant une caméra embarquée sur un robot mobile. Ce sujet représente encore un défi important car on exploite uniquement la vision mono-caméra pour le résoudre. Nous devons détecter les objets mobiles dans la scène par une analyse de leurs déplacements apparents dans les images, en excluant le mouvement propre de la caméra. Dans une première étape, nous proposons une analyse spatio-temporelle de la séquence d'images, sur la base du flot optique épars. La méthode de clustering a contrario permet le groupement des points dynamiques, sans information a priori sur le nombre de groupes à former et sans réglage de paramètres. La réussite de cette méthode réside dans une accumulation suffisante des données pour bien caractériser la position et la vitesse des points. Nous appelons temps de pistage, le temps nécessaire pour acquérir les images analysées pour bien caractériser les points. Nous avons développé une carte probabiliste afin de trouver les zones dans l'image qui ont les probabilités la plus grandes de contenir un objet mobile. Cette carte permet la sélection active de nouveaux points près des régions détectées précédemment en permettant d'élargir la taille de ces régions. Dans la deuxième étape nous mettons en oeuvre une approche itérative pour exécuter détection, clustering et suivi sur des séquences d'images acquises depuis une caméra fixe en intérieur et en extérieur. Un objet est représenté par un contour actif qui est mis à jour de sorte que le modèle initial reste à l'intérieur du contour. Finalement nous présentons des résultats expérimentaux sur des images acquises depuis une caméra embarquée sur un robot mobile se déplaçant dans un environnement extérieur avec des objets mobiles rigides et non rigides. Nous montrons que la méthode est utilisable pour détecter des obstacles pendant la navigation dans un environnement inconnu a priori, d'abord pour des faibles vitesses, puis pour des vitesses plus réalistes après compensation du mouvement propre du robot dans les images
This dissertation concerns the detection and the tracking of mobile objets in a dynamic environment, using a camera embedded on a mobile robot. It is an important challenge because only a single camera is used to solve the problem. We must detect mobile objects in the scene, analyzing their apparent motions on images, excluding the motion caused by the ego-motion of the camera. First it is proposed a spatio-remporal analysis of the image sequence based on the sparse optical flow. The a contrario clustering method provides the grouping of dynamic points, without using a priori information and without parameter tuning. This method success is based on the accretion of sufficient information on positions and velocities of these points. We call tracking time, the time required in order to acquire images analyzed to provide the points characterization. A probabilistic map is built in order to find image areas with the higher probabilities to find a mobile objet; this map allows an active selection of new points close the previously detected mobile regions, making larger these regions. In a second step, it is proposed an iterative approach to perform the detection-clustering-tracking process on image sequences acquired from a fixed camera for indoor or outdoor applications. An object is described by an active contour, updated so that the initial object model remains inside the contour. Finally it is presented experimental results obtained on images acquired from a camera embedded on a mobile robot navigating in outdoor environments with rigid or non rigid mobile objects ; it is shown that the method works to detect obstacles during the navigation in a priori unknown environments, first with a weak speed, then with more a realistic speed, compensating the robot ego-motion in images

Les travaux de recherche que j'ai menes durant la preparation de ma these de doctorat ont trait au domaine de la vision artificielle. Ils reposent sur l'utilisation d'un systeme de vision artificielle multi-oculaire et du modele 3d de l'objet polyedrique observe. Les principaux apports scientifiques contenus dans cette these concernent: l'identification des objets observes. Pour cela, nous avons developpe une technique specifique fondee sur la mise en correspondances entre les primitives de la scene observee et les elements geometriques du modele des objets potentiellement presents. Afin de reduire le caractere hautement combinatoire de cette phase d'appariement, un enchainement de processus a ete concu permettant d'extraire, des images delivrees par le capteur, des primitives complexes correspondant a des ensembles de segments connexes coplanaires ou des triplets d'aretes concourantes. La phase de reconnaissance proprement dite est realisee a l'aide d'outils empruntes a la theorie des graphes. La localisation des objets observes. Lors de l'etude de cette problematique, nous avons, dans un premier temps, etendu au cas multi-oculaire une technique de localisation d'objet volumique, restreinte a la vision monoculaire, precedemment developpee au laboratoire. Puis, nous nous sommes attaches a l'evaluation theorique de la precision de l'attitude ainsi obtenue. Le suivi des objets en mouvement. Ce dernier point est dans son principe solutionne de maniere classique en ayant recours a un filtrage de kalman. Mais la principale difficulte reside dans la mise en correspondance automatique entre les primitives-image et les elements du modele de l'objet observe. Nous avons propose de recourir a des processus originaux fondes sur des techniques de correlation uvrant directement dans les images de luminance

La finalité industrielle de ce travail est la réalisation d’un simulateur qui permette aux entraîneurs de football de mieux interpréter certaines situations de jeu à partir de séquences vidéo en en proposant une vision 3D, mais aussi de présenter de la manière la plus ergonomique qui soit des schémas de jeux sur la base de ces situations réelles. De plus, contrairement à ce qui se pratique assez couramment dans ce cadre-là, nous avons souhaité – pour des raisons de souplesse d’utilisation – rester dans un cadre assez large et ne pas profiter d’une phase préalable (fastidieuse) de calibrage, ce qui a été à l’origine de verrous scientifiques et technologiques que nous avons cherché à résoudre, et pour lesquels nous proposons des solutions dans la première partie. Les problèmes que nous avons eu à traiter sont de deux natures, informatiques d’une part et ergonomiques d’autre part. Il s’est agi, par exemple, de caractériser la transformation homographique permettant de passer de l’image au modèle, de retrouver la position de la caméra ou de déterminer automatiquement à quelle zone du terrain correspond l’image acquise. Et, au niveau ergonomique, il s’est agi de reproduire le plus fidèlement possible les modes d’appréhension de la réalité terrain, ainsi que de modélisation et de communication des entraîneurs de football
This work refers to a 3D simulator that has for purpose to help football trainers interpreting tactical sequences based on real situations. This simulator has to be able to interpret video movies, to reconstruct a situation. The camera’s calibration state has to be as simple as possible. The first part of this document refers to the solution elaborated to implement this constraint whereas the second one is more oriented on the industrialisation process. These processes imply to focus on vision computing and ergonomics problems and to answer questions such as : how to characterize a homographic transformation matching the image and the model ? How to retrieve the position of the camera? Which area is part of the image? In an ergonomically point of view, the simulator has to reproduce the game play reality and to improve the abstraction and the communication of the coaches

Le suivi d'objets visuel a été un domaine de recherche intense durant ces deux dernières décennies pour son attrait scientifique et sa rentabilité. Il reste un sujet de recherche ouvert de par le manque de système de suivi holistique satisfaisant, prenant en compte les distorsions intrinsèques et extrinsèques. Variations d'éclairement, occlusions, bruits et erreurs dans la correspondance et la classification d'objets ne sont qu'une partie des problèmes actuellement rencontrés en suivi d'objets. Le travail développé dans la thèse intègre l'information contextuelle dans le cadre Bayesien pour le suivi d'objets et la détection de comportements anormaux. Plus précisément, la recherche porte sur les caractéristiques intrinsèques du signal vidéo en conjonction avec le comportement d'objets dans le but d'améliorer les résultats du suivi. La représentation de fonctions de densité de probabilité est cruciale pour modéliser les variables aléatoires. En particulier, les modèles paramétriques sont pratiques puisqu'ils permettent un stockage compact de la représentation ainsi que la simulation du processus aléatoire sous-jacent. La mixture de Gaussiennes est utilisée dans la thèse pour représenter la distribution de couleur d'un pixel dans le but de séparer l'avant-plan de l'arrière-plan. Contrairement aux approches traditionnelles, ce modèle s'adapte aux changements rapides d'éclairements et résout le problème de “saturation de pixels” rencontré avec certains algorithmes de soustraction d'arrière-plan. Il résulte de cette technique une meilleure précision lors de l'extraction de l'avant-plan pour des tâches de plus haut niveau telles que l'estimation du mouvement. La solution au problème d'inférence Bayesienne pour les chaines de Markov, et en particulier, les filtres de Kalman et particulaire, a également été étudiée. L'intégration d'une inférence contextuelle dans ces estimateurs est primordiale pour améliorer le suivi d'objet. Il en découle des solutions propres à un contexte spécifique. Le problème de suivi de véhicules est exploré en détails dans la thèse. La transformation projective, imposée par la configuration de l'environnement, est intégrée dans les filtres de Kalman et particulaire, engendrant le “filtre de Kalman projectif” et le “filtre particulaire projectif”. Des résultats expérimentaux exhaustifs sont présentés pour démontrer l'amélioration de la robustesse au suivi par les filtres de Kalman et particulaire projectifs. L'amélioration est caractérisée par la réduction de la dérive du suiveur et la réduction de l'erreur dans l'estimée de la trajectoire. La contrainte sur le caractère connu de l'environnement est ensuite supprimée pour permettre le suivi de piétons. Une mixture de champs aléatoires de Markov Gaussiens est introduite dans l'objectif d'apprendre les motifs de mouvements et de modéliser l'information contextuelle pour le filtrage particulaire. Une augmentation de la robustesse du suivi sous occlusion résulte d'une telle inférence. La modélisation locale avec les champs aléatoires de Markov fournit également une inférence pour la détection de comportements anormaux. Puisque les motifs locaux sont révélés par la mixture de champs aléatoires de Markov, la détection de comportements anormaux est réduite à l'étude de la correspondance entre le vecteur de caractéristiques et la distribution locale sous-jacente. L'approche globale, quant à elle, introduit des erreurs de généralisation et implique des décisions complexes, peu élégantes et imprécises. L'évaluation expérimentale de la méthode proposée sur des données synthétiques et réelles présente des résultats supérieurs pour la détection des comportements anormaux de conducteurs en état d'ébriété et de piétons traversant les autoroutes.

Les caméras de surveillance sont de plus en plus fréquemment présentes dans notre environnement (villes, supermarchés, aéroports, entrepôts, etc.). Ces caméras sont utilisées, entre autres, afin de pouvoir détecter des comportements suspects (intrusion par exemple) ou de reconnaître une catégorie d'objets ou de personnes (détection de genre, détection de plaques d'immatriculation par exemple). D'autres applications concernent également l'établissement de statistiques de fréquentation ou de passage (comptage d'entrée/sortie de personnes ou de véhicules) ou bien le suivi d'un ou plusieurs objets se déplaçant dans le champ de vision de la caméra (trajectoires d'objets, analyse du comportement des clients dans un magasin). Compte tenu du nombre croissant de caméras et de la difficulté à réaliser ces traitements manuellement, un ensemble de méthodes d'analyse vidéo ont été développées ces dernières années afin de pouvoir automatiser ces tâches. Dans cette thèse, nous nous concentrons essentiellement sur les tâches de détection et de suivi des objets mobiles à partir d'une caméra fixe. Contrairement aux méthodes basées uniquement sur les images acquises par les caméras, notre approche consiste à intégrer un certain nombre d'informations contextuelles à l'observation afin de pouvoir mieux interpréter ces images. Ainsi, nous proposons de construire un modèle géométrique et géolocalisé de la scène et de la caméra. Ce modèle est construit directement à partir des études de prédéploiement des caméras et peut notamment utiliser les données OpenStreetMap afin d'établir les modèles 3d des bâtiments proches de la caméra. Nous avons complété ce modèle en intégrant la possibilité de prédire la position du Soleil tout au long de la journée et ainsi pouvoir calculer les ombres projetées des objets de la scène. Cette prédiction des ombres a été mise à profit afin d'améliorer la segmentation des piétons par modèle de fond en supprimant les ombres du masque de mouvement. Concernant le suivi des objets mobiles, nous utilisons le formalisme des automates finis afin de modéliser efficacement les états et évolutions possibles d'un objet. Ceci nous permet d'adapter le traitement de chaque objet selon son état. Nous gérons les occultations inter-objets à l'aide d'un mécanisme de suivi collectif (suivi en groupe) des objets le temps de l'occultation et de ré-identification de ceux-ci à la fin de l'occultation. Notre algorithme s'adapte à n'importe quel type d'objet se déplaçant au sol (piétons, véhicules, etc.) et s'intègre naturellement au modèle de scène développé. Nous avons également développé un ensemble de "rétro-actions" tirant parti de la connaissance des objets suivis afin d'améliorer les détections obtenues à partir d'un modèle de fond. En particulier, nous avons abordé le cas des objets stationnaires, souvent intégrés à tort dans le fond, et avons revisité la méthode de suppression des ombres du masque de mouvement en tirant parti de la connaissance des objets suivis. L'ensemble des solutions proposées a été implémenté dans le logiciel de l'entreprise Foxstream et est compatible avec la contrainte d'exécution en temps réel nécessaire en vidéosurveillance
Video-surveillance cameras are increasingly used in our environment. They are indeed present almost everywhere in the cities, supermarkets, airports, warehouses, etc. These cameras are used, among other things, in order to detect suspect behavior (an intrusion for instance) or to recognize a specific category of object or person (gender detection, license plates detection). Other applications also exist to count and/or track people in order to analyze their behavior. Due to the increasing number of cameras and the difficulty to achieve these tasks manually, several video analysis methods have been developed in order to address them automatically. In this thesis, we mainly focus on the detection and tracking of moving objects from a fixed camera. Unlike methods based solely on images captured by cameras, our approach integrates contextual pieces of information in order better interpret these images. Thus we propose to build a geometric and geolocalized model of the scene and the camera. This model is built directly from the pre-deployment studies of the cameras and uses the OpenStreetMap geographical database to build 3d models of buildings near the camera. We added to this model the ability to predict the position of the sun throughout the day and the resulting shadows in the scene. By predicting the shadows, and deleting them from the foreground mask, our method is able to improve the segmentation of pedestrians. Regarding the tracking of multiple mobile objects, we use the formalism of finite state machines to effectively model the states and possible transitions that an object is allowed to take. This allows us to tailor the processing of each object according to its state. We manage the inter-object occlusion using a collective tracking strategy. When taking part in an occlusion, objects are regrouped and tracked collectively. At the end of the occlusion, each object is re-identified and individual tracking resume. Our algorithm adapts to any type of ground-moving object (pedestrians, vehicles, etc.) and seamlessly integrates in the developed scene model. We have also developed several retro-actions taking advantage of the knowledge of tracked objects to improve the detections obtained with the background model. In particular, we tackle the issue of stationary objects often integrated erroneously in the background and we revisited the initial proposal regarding shadow removal. All proposed solutions have been implemented in the Foxstream products and are able to run in real-time

Le travail présenté dans ce mémoire s’inscrit dans le cadre du suivi d'objets dans des vidéos, et plus particulièrement, sur l'utilisation de représentations par modèle d'apparence pour le suivi. La notion de modèle d'apparence est précisée sur la base de l'extraction de descripteurs visuels comparés à l'aide de similarités à une référence. De nouvelles techniques pour évaluer les performances vis à vis du suivi sont présentées. Les approches classiques d’évaluation considèrent uniquement la qualité des trajectoires finales estimées. Les métriques proposées dans ce mémoire s’en distinguent par le fait qu’elles quantifient la performance intrinsèque des modèles d’apparence utilisés au sein du système. Deux axes sont ainsi développés : d’une part, un ensemble de mesures de la précision spatiale d’un modèle couplées à la mesure de la robustesse vis-à-vis d’une initialisation spatiale approximative, et d’autre part, la proposition d’une méthodologie permettant de mesurer la stabilité d’un modèle du point de vue temporel sur des données vidéos naturelles. Ces techniques seront utilisées dans la suite du mémoire pour évaluer les méthodes existantes ainsi que celles présentées. Deux nouveaux modèles d'apparence sont ensuite introduits. Le premier modèle dénommé l’histogramme multi-échelles permet de limiter les ambigüités liées à la représentation par histogramme de couleurs. Le deuxième modèle, fondé sur une extension de la métrique de Matusita pour la comparaison de distributions de couleurs, prend en compte les variations possibles des couleurs des objets liées aux conditions de changement d’illumination. Enfin, le lien entre modèle d'apparence et technique de recherche de la position optimale est abordé dans le contexte du suivi multi-noyaux à travers la proposition d'un nouvel algorithme de suivi basé sur une approche compositionnelle inverse. Celui-ci offre un temps de calcul fortement réduit pour une qualité de suivi similaire aux algorithmes existants
Abstract

L'objectif de ce travail est de développer un algorithme utilisant des réseaux neuronaux pour estimer des variables biophysiques des couverts végétaux à partir des données du capteur VEGETATION : la fraction de trou dans différentes directions de visée, l'indice foliaire, la fraction de rayonnement photosynthétiquement actif absorbé par le couvert, l'angle moyen d'inclinaison des feuilles, et la teneur en chlorophylle intégrée au niveau du couvert. Une base de données a été élaborée à partir de simulations de modèles de transfert radiatif dans la végétation. Ceci nous a permis de développer des réseaux de neurones pour estimer les différentes variables biophysiques considérées. L'estimation se fait à partir des réflectances bidirectionnelles mesurées par VEGETATION durant un cycle orbital, associées à l'angle zénithal solaire lors de l'acquisition de ces données. L'analyse de sensibilité à l'hétérogénéité intrapixellaire montre que les variables de type fraction de trou et fAPAR sont beaucoup moins sensibles que les variables de type LAI. La validation de l'algorithme sur des données expérimentales montre la robustesse de la méthode lorsque le nombre de données bidirectionnelles acquises durant le cycle orbital est faible. Par ailleurs, elle confirme que les performances d'estimation des variables biophysiques sont affectées non seulement par la représentativité du couvert et des conditions d'observation qui lui sont associées dans la base d'apprentissage, mais aussi par les hypothèses inhérentes aux modèles de transfert radiatif utilisés pour générer cette base. Nous mettons également en évidence la sensibilité de l'algorithme à des bruits de natures diverses (mesure, correction atmosphérique, ...). Les résultats obtenus sur les données expérimentales sont satisfaisants et aboutissent à un écart quadratique moyen inférieur à 0,1. L'intérêt des réseaux de neurones apparaît donc clairement, en particulier vis à vis des approches basées sur les indices de végétation.

L'objectif de ce travail est de developper un algorithme utilisant des reseaux neuronaux pour estimer des variables biophysiques des couverts vegetaux a partir des donnees du capteur vegetation : la fraction de trou dans differentes directions de visee, l'indice foliaire, la fraction de rayonnement photosynthetiquement actif absorbe par le couvert, l'angle moyen d'inclinaison des feuilles, et la teneur en chlorophylle integree au niveau du couvert. Une base de donnees a ete elaboree a partir de simulations de modeles de transfert radiatif dans la vegetation. Ceci nous a permis de developper des reseaux de neurones pour estimer les differentes variables biophysiques considerees. L'estimation se fait a partir des reflectances bidirectionnelles mesurees par vegetation durant un cycle orbital, associees a l'angle zenithal solaire lors de l'acquisition de ces donnees. L'analyse de sensibilite a l'heterogeneite intrapixellaire montre que les variables de type fraction de trou et fapar sont beaucoup moins sensibles que les variables de type lai. La validation de l'algorithme sur des donnees experimentales montre la robustesse de la methode lorsque le nombre de donnees bidirectionnelles acquises durant le cycle orbital est faible. Par ailleurs, elle confirme que les performances d'estimation des variables biophysiques sont affectees non seulement par la representativite du couvert et des conditions d'observation qui lui sont associees dans la base d'apprentissage, mais aussi par les hypotheses inherentes aux modeles de transfert radiatif utilises pour generer cette base. Nous mettons egalement en evidence la sensibilite de l'algorithme a des bruits de natures diverses (mesure, correction atmospherique, ). Les resultats obtenus sur les donnees experimentales sont satisfaisants et aboutissent a un ecart quadratique moyen inferieur a 0,1. L'interet des reseaux de neurones apparait donc clairement, en particulier vis a vis des approches basees sur les indices de vegetation.

Le problème du suivi d'objets dans une vidéo se pose dans des domaines tels que la vision par ordinateur (vidéo-surveillance par exemple) et la post-production télévisuelle et cinématographique (effets spéciaux). Il se décline en deux variantes principales : le suivi d'une région d'intérêt, qui désigne un suivi grossier d'objet, et la segmentation spatio-temporelle, qui correspond à un suivi précis des contours de l'objet d'intérêt. Dans les deux cas, la région ou l'objet d'intérêt doivent avoir été préalablement détourés sur la première, et éventuellement la dernière, image de la séquence vidéo. Nous proposons dans cette thèse une méthode pour chacun de ces types de suivi ainsi qu'une implémentation rapide tirant partie du Graphics Processing Unit (GPU) d'une méthode de suivi de régions d'intérêt développée par ailleurs.
La première méthode repose sur l'analyse de trajectoires temporelles de points saillants et réalise un suivi de régions d'intérêt. Des points saillants (typiquement des lieux de forte courbure des lignes isointensité) sont détectés dans toutes les images de la séquence. Les trajectoires sont construites en liant les points des images successives dont les voisinages sont cohérents. Notre contribution réside premièrement dans l'analyse des trajectoires sur un groupe d'images, ce qui améliore la qualité d'estimation du mouvement. De plus, nous utilisons une pondération spatio-temporelle pour chaque trajectoire qui permet d'ajouter une contrainte temporelle sur le mouvement tout en prenant en compte les déformations géométriques locales de l'objet ignorées par un modèle de mouvement global.
La seconde méthode réalise une segmentation spatio-temporelle. Elle repose sur l'estimation du mouvement du contour de l'objet en s'appuyant sur l'information contenue dans une couronne qui s'étend de part et d'autre de ce contour. Cette couronne nous renseigne sur le contraste entre le fond et l'objet dans un contexte local. C'est là notre première contribution. De plus, la mise en correspondance par une mesure de similarité statistique, à savoir l'entropie du résiduel, d'une portion de la couronne et d'une zone de l'image suivante dans la séquence permet d'améliorer le suivi tout en facilitant le choix de la taille optimale de la couronne.
Enfin, nous proposons une implémentation rapide d'une méthode de suivi de régions d'intérêt existante. Cette méthode repose sur l'utilisation d'une mesure de similarité statistique : la divergence de Kullback-Leibler. Cette divergence peut être estimée dans un espace de haute dimension à l'aide de multiples calculs de distances au k-ème plus proche voisin dans cet espace. Ces calculs étant très coûteux, nous proposons une implémentation parallèle sur GPU (grâce à l'interface logiciel CUDA de NVIDIA) de la recherche exhaustive des k plus proches voisins. Nous montrons que cette implémentation permet d'accélérer le suivi des objets, jusqu'à un facteur 15 par rapport à une implémentation de cette recherche nécessitant au préalable une structuration des données.

Cette thèse aborde le problèeme du suivi et de la classification de plusieurs objets simultanément.Il est montré dans la thèese que les fonctions de croyance permettent d'améliorer les résultatsfournis par des méthodes classiques à base d'approches Bayésiennes. En particulier, une précédenteapproche développée dans le cas d'un seul objet est étendue au cas de plusieurs objets. Il est montréque dans toutes les approches multi-objets, la phase d'association entre observations et objetsconnus est fondamentale. Cette thèse propose également de nouvelles méthodes d'associationcrédales qui apparaissent plus robustes que celles trouvées dans la littérature. Enfin, est abordée laquestion de la classification multi-capteurs qui nécessite une seconde phase d'association. Dans cedernier cas, deux architectures de fusion des données capteurs sont proposées, une dite centraliséeet une autre dite distribuée. De nombreuses comparaisons illustrent l'intérêt de ces travaux, queles classes des objets soient constantes ou variantes dans le temps
This thesis deals with multi-objet tracking and classification problem. It was shown that belieffunctions allow the results of classical Bayesian methods to be improved. In particular, a recentapproach dedicated to a single object classification which is extended to multi-object framework. Itwas shown that detected observations to known objects assignment is a fundamental issue in multiobjecttracking and classification solutions. New assignment solutions based on belief functionsare proposed in this thesis, they are shown to be more robust than the other credal solutions fromrecent literature. Finally, the issue of multi-sensor classification that requires a second phase ofassignment is addressed. In the latter case, two different multi-sensor architectures are proposed, aso-called centralized one and another said distributed. Many comparisons illustrate the importanceof this work, in both situations of constant and changing objects classes

Cette dissertation traite du problème du suivi d'objets visuels, dont le but est de localiser un objet et de déterminer sa trajectoire au cours du temps. En particulier, nous nous concentrons sur les scénarios difficiles, dans lesquels les objets subissent d'importantes déformations et occlusions, ou quittent le champs de vision. A cette fin, nous proposons deux méthodes robustes qui apprennent un modèle pour l'objet d'intérêt et le mettent à jour, afin de refléter ses changements au cours du temps.Notre première méthode traite du problème du suivi dans le cas où les objets subissent d'importantes transformations géométriques comme une rotation ou un changement d'échelle. Nous présentons un nouvel algorithme de sélection de propositions, qui étend l'approche traditionnelle de ``suivi par détection''. Cette méthode procède en deux étapes: proposition puis sélection. Dans l'étape de proposition, nous construisons un ensemble de candidats qui représente les localisations potentielles de l'objet en estimant de manière robuste les transformations géométriques. La meilleure proposition est ensuite sélectionnée parmi cet ensemble de candidats pour précisément localiser l'objet en utilisant des indices d'apparence et de mouvement.Dans un second temps, nous traitons du problème de la mise à jour de modèles dans le suivi visuel, c'est-à-dire de déterminer quand il est besoin de mettre à jour le modèle de la cible, lequel peut subir une occlusion, ou quitter le champs de vision. Pour résoudre cela, nous utilisons des indices de mouvement pour identifier l'état d'un objet de manière automatique et nous mettons à jour le modèle uniquement lorsque l'objet est entièrement visible. En particulier, nous utilisons des trajectoires à long terme ainsi qu'une technique basée sur la coup de graphes pour estimer les parties de l'objet qui sont visibles.Nous avons évalué nos deux approches de manière étendue sur différents bancs d'essai de suivi, en particulier sur le récent banc d'essai de suivi en ligne et le jeu de donnée du concours de suivi visuel. Nos deux approches se comparent favorablement à l'état de l'art et font montre d'améliorations significatives par rapport à plusieurs autres récents suiveurs. Notre soumission au concours de suivi d'objets visuels de 2015 a par ailleurs remporté l'une de ces compétitions
In this dissertation we address the problem of visual object tracking, whereinthe goal is to localize an object and determine its trajectory over time. Inparticular, we focus on challenging scenarios where the object undergoessignificant transformations, becomes occluded or leaves the field of view. Tothis end, we propose two robust methods which learn a model for the object ofinterest and update it, to reflect its changes over time.Our first method addresses the tracking problem in the context of objectsundergoing severe geometric transformations, such as rotation, change in scale.We present a novel proposal-selection algorithm, which extends the traditionaldiscriminative tracking-by-detection approach. This method proceeds in twostages -- proposal followed by selection. In the proposal stage, we compute acandidate pool that represents the potential locations of the object byrobustly estimating the geometric transformations. The best proposal is thenselected from this candidate set to localize the object precisely usingmultiple appearance and motion cues.Second, we consider the problem of model update in visual tracking, i.e.,determining when to update the model of the target, which may become occludedor leave the field of view. To address this, we use motion cues to identify thestate of the object in a principled way, and update the model only when theobject is fully visible. In particular, we utilize long-term trajectories incombination with a graph-cut based technique to estimate parts of the objectsthat are visible.We have evaluated both our approaches extensively on several trackingbenchmarks, notably, recent online tracking benchmark and the visual objecttracking challenge datasets. Both our approaches compare favorably to thestate of the art and show significant improvement over several other recenttrackers. Specifically, our submission to the visual object tracking challengeorganized in 2015 was the winner in one of the competitions

Le travail présenté dans cette thèse se situe dans le domaine de la vision par ordinateur. Les algorithmes de suivis sont cruciaux pour de nombreuses applications reposant sur la vision artificielle qui requièrent de développer des approches de suivi temps-réel de plus en plus fiables. Notre approche consiste à tirer parti de deux méthodes de suivi complémentaires. L'une repose sur l'analyse mono-image des primitives géométriques qui définissent les contours de l'objet. L'autre exploite l'information spatio-temporelle portée par des niveaux de gris qui représentent les motifs de l'objet. Les deux suivis sont fusionnés dans un cadre d'estimation d'une transformation qui permet de recaler des observations dans l'image avec l'état estimé des primitives décrivant l'objet. Ce principe général est appliqué à deux problèmes de suivi, l'estimation d'une homographie et le calcul de pose. Les expériences de robotiques et de réalité augmentée montrent la validité de notre approche.

Le problème du suivi d’objets dans une vidéo se pose dans des domaines tels que la vision par ordinateur (vidéosurveillance par exemple) et la post-production télévisuelle et cinématographique (effets spéciaux). Il se décline en deux variantes principales : le suivi d’une région d’intérêt, qui désigne un suivi grossier d’objet, et la segmentation spatiotemporelle, qui correspond à un suivi précis des contours de l’objet d’intérêt. Dans les deux cas, la région ou l’objet d’intérêt doivent avoir été préalablement détourés sur la première, et éventuellement la dernière, image de la séquence vidéo. Nous proposons dans cette thèse une méthode pour chacun de ces types de suivi ainsi qu’une implémentation rapide tirant partie du Graphics Processing Unit (GPU) d’une méthode de suivi de régions d’intérêt développée par ailleurs. La première méthode repose sur l’analyse de trajectoires temporelles de points saillants et réalise un suivi de régions d’intérêt. Des points saillants (typiquement des lieux de forte courbure des lignes isointensité) sont détectés dans toutes les images de la séquence. Les trajectoires sont construites en liant les points des images successives dont les voisinages sont cohérents. Notre contribution réside premièrement dans l’analyse des trajectoires sur un groupe d’images, ce qui améliore la qualité d’estimation du mouvement. De plus, nous utilisons une pondération spatio-temporelle pour chaque trajectoire qui permet d’ajouter une contrainte temporelle sur le mouvement tout en prenant en compte les déformations géométriques locales de l’objet ignorées par un modèle de mouvement global. La seconde méthode réalise une segmentation spatio-temporelle. Elle repose sur l’estimation du mouvement du contour de l’objet en s’appuyant sur l’information contenue dans une couronne qui s’étend de part et d’autre de ce contour. Cette couronne nous renseigne sur le contraste entre le fond et l’objet dans un contexte local. C’est là notre première contribution. De plus, la mise en correspondance par une mesure de similarité statistique, à savoir l’entropie du résiduel, d’une portion de la couronne et d’une zone de l’image suivante dans la séquence permet d’améliorer le suivi tout en facilitant le choix de la taille optimale de la couronne. Enfin, nous proposons une implémentation rapide d’une méthode de suivi de régions d’intérêt existante. Cette méthode repose sur l’utilisation d’une mesure de similarité statistique : la divergence de Kullback-Leibler. Cette divergence peut être estimée dans un espace de haute dimension à l’aide de multiples calculs de distances au k-ème plus proche voisin dans cet espace. Ces calculs étant très coûteux, nous proposons une implémentation parallèle sur GPU (grâce à l’interface logiciel CUDA de NVIDIA) de la recherche exhaustive des k plus proches voisins. Nous montrons que cette implémentation permet d’accélérer le suivi des objets, jusqu’à un facteur 15 par rapport à une implémentation de cette recherche nécessitant au préalable une structuration des données
The problem of object tracking is a problem arising in domains such as computer vision (video surveillance for instance) and cinematographic post-production (special effects). There are two major classes of solution to this problem : region of interest tracking, which indicates a coarse tracking, and space-time segmentation, which corresponds to a precise tracking of the region of interest’s contour. In both cases, the region of interest must be selected beforehand on the first, and possibly on the last image of the video sequence. In this thesis, we propose two tracking methods (one of each type). We propose also a fast implementation of an existing tracking method using the programmation on Graphics Processing Unit (GPU). The first method is based on the analysis of temporal trajectories of salient points and provides a region of interest tracking. Salient points (typically of point of strong curvature of the isointensity lines) are detected in all the images of the sequence. The trajectories are built by matching salient points of consecutive images whose neighbourhoods are coherent. Our first contribution consists in the analysis of the trajectories on a group of pictures, which improves the motion estimation quality. Moreover, we use a space-time weighting for each trajectory which makes it possible to add a temporal constraint on the movement while taking into account the local geometrical deformations of the object ignored by a global motion model. The second method performs a space-time segmentation. The object contour motion is estimated using the information contained in an outer-layer centered on the object contour. Our first contribution is the use of this outer-layer which contains information about both the background and the object in a local context. The matching using a statistical similarity measure (residual entropy) allows to improve the tracking while facilitating the choice of the optimal size of the crown. Finally, we propose a fast implementation of an existing tracking method of region of interest. This method relies on the use of a statistical similarity measure : the Kullback-Leibler divergence. This divergence can be estimated in a high dimension space using k-th nearest neighbors distance. These calculations being computationally very expensive, we propose a parallel implementation of the exhaustive search of the k-th nearest neighbors using GPU programming (via the programming interface NVIDIA CUDA). We show that this implementation speeds-up the tracking process up to a factor 15 compared to a classical implementation of this search using data structuring methods

La recherche d'une methode de localisation dediee aux objets polyedriques articules a partir d'une image de luminance, forme la partie fondamentale du travail envisage dans le cadre de cette these. L'autre partie consiste a mettre en application cette methode afin de suivre l'evolution d'un objet articule a travers une sequence d'images monoculaires. La localisation d'un objet articule revient a determiner des informations 3d a partir des donnees 2d. Un manque d'informations, du a la projection de l'objet observe, subsiste. Nous remedions a ce manque par une connaissance a priori d'un modele geometrique de l'objet a localiser. L'estimation de l'attitude spatiale d'un objet articule a m degres de liberte internes se traduit par l'evaluation de m parametres relatifs a ces degres de liberte et de six autres parametres relatifs au positionnement d'une partie rigide de l'objet articule. Nous avons formalise le probleme de la localisation, pour en deriver des equations non-lineaires en fonction des parametres de position, reliant des primitives 2d de l'image etudiee aux elements 3d correspondant du modele. Ces equations representent les distances euclidiennes entre des points 3d du modele et les plans d'interpretations lies aux segments dans l'image. Pour obtenir l'attitude du modele conformement a celle de l'objet dans l'image, nous effectuons un calcul de minimisation d'un critere de distance. Ce dernier etant fonction des equations non-lineaires etablies, est optimise a l'aide de la methode iterative de levenberg-marquardt. La validite de cette approche a ete demontree a travers l'analyse d'images reelles d'un robot manipulateur en milieu industriel. De plus, par un calcul theorique, nous avons deduit l'erreur relative a la position estimee de l'objet articule. Pour suivre l'evolution d'un objet articule, nous avons elabore un algorithme permettant l'enchainement de la localisation entre deux images successives d'une sequence donnee. Cet algorithme procure d'une maniere automatique les appariements utiles a la methode de localisation entre les primitives 2d et les elements correspondant du modele. A cet algorithme, nous avons ajoute une procedure de prediction qui rend ce dernier plus efficace face a un fort deplacement de l'objet entre deux images. De meme, cette technique de suivi a ete validee sur une sequence d'images prise du robot manipulateur lors d'une manipulation

Dans le cadre de cette thèse nous nous sommes intéressés à l'application des outils d'apprentissage statistique aux problèmes d'extraction et de suivi d'objets dans le contexte de la surveillance vidéo par des caméras statiques. Notre étude se déroule en trois phases : la première consiste à détecter l'ensemble des objets en mouvement par l'analyse des variations de luminosité au cours du temps. Nous avons proposé pour cela une méthode de détection de tels objets dans la continuité des travaux de Grimson et Stauffer à la base de la modélisation de la luminance des pixels par des mélanges des lois Gaussiennes. Nous proposons une règle de décision statistique au sens du MAP simplifiée pour satisfaire les contraintes temps-réel. Une régularisation des résultats de la détection par modélisation des champs des étiquettes en tant que champs de Markov nous a permis d'obtenir des masques de mouvement les plus complets aussi bien au niveau spatial que temporel. Suite à cette première analyse, un deuxième processus de détection est exécuté en vue de l'identification d'un ou plusieurs objets d'intérêt. L'ensemble de ces objets est prédéfini au préalable par un opérateur. Dans le cadre de ce travail, nous avons envisagé une application concrète, celle de la détection de visages, tout en considérant des solutions statistiques de classification suffisamment généralistes ainsi qu'une étude des espaces de représentation adéquats. Nous avons étudié et déployé un classifieur à base de Support Vector Machine -SVM-. Afin d'optimiser les temps de calcul, nous avons proposé une méthode d'élimination des vecteurs de support linéairement dépendants ainsi qu'un schéma de détection de l'objet d'intérêt uniquement dans les zones de mouvement précédemment détectées. Enfin, la troisième contribution de cette thèse consiste en un outil de suivi d'objet appris avec un modèle de mouvement affine complet de premier ordre et ceci à la base du même formalisme SVM. Ici les paramètres de classifieur appris à l'étape de la détection sont réutilisés pour le suivi. Ce modèle permet ainsi de gérer les mouvements complexes des objets filmés dans des environnements naturels.

Dans cette thèse, nous nous intéressons à l'étude des procédés numériques en vue du développement d'un système automatique de suivi multi-objets sur la base d'un flux continu d'images. Le procédé complet proposé décompose la tâche de suivi en une phase de localisation complétée d'une phase de reconnaissance de chacun des objets tout au long de la séquence vidéo. Les outils développés permettent l'analyse des séquences prises à l'aide d'une caméra statique en extérieure. Afin d'assurer la tâche de localisation/reconnaissance au sens de la mise en correspondance nous avons développé les quatre étapes suivantes : - la détection qui est la mise en oeuvre de méthodes de segmentation générant des entrées perceptives permettant d'initialiser le procédé de suivi. Généralement, la primitive caractérisant au mieux les objets est le mouvement, - la reconnaissance qui a pour objectif de comparer les résultats obtenus lors de la phase de détection (bas niveau) à une description haut niveau de l'objet (modèle), - l'estimation qui permet une mise à jour des descripteurs de l'objet, ensemble de caractéristiques définissant le modèle décrivant les objets, - et la prédiction qui prolonge l'évolution de l'objet, notamment, en terme de position. Deux applications, la première consacrée au suivi de véhicules, et la seconde au suivi de visages, vont permettre d'évaluer les performances des méthodes proposées pour chacune des quatre étapes afin de valider le procédé complet.

Cette thèse présente plusieurs méthodes de recalage pour les applications de réalité augmentée (R.A.). Nous décrivons d'abord des expériences de R.A. utilisant des recalages et suivis uniquement 2D. Nous nous intéressons ensuite au suivi visuel d'un objet naturel dont on connaît un modèle 3D et dont l'image peut ainsi être augmentée avec une cohérence spatiale et temporelle. Dans une première partie, nous proposons d'abord d'utiliser un recalage homographique en temps-réel pour augmenter des séquences filmées par une caméra en rotation autour de son centre optique. Dans une autre application, des transformations non rigides sont calculées hors ligne pour augmenter les images naturelles des parois gravées d'une grotte préhistorique. Le recalage géométrique des interprétations graphiques d'un préhistorien permet de créer un logiciel de découverte interactive des parois. Dans la seconde et majeure partie de ce travail, nous partons des méthodes de suivi 3D de l'état de l'art prises parmi les plus performantes. Ces méthodes consistent à suivre un objet naturel connaissant sa représentation par un maillage 3D. Nous proposons une approche de suivi visuel 3D utilisant quant à elle des modèles par points de l'objet. Ce type de modèle, caractérisé par l'absence de topologie, est encore peu utilisé en vision par ordinateur mais il présente une souplesse intéressante par rapport aux modèles constitués de facettes. La méthode de suivi que nous proposons consiste à interpréter des mises en correspondances 2D entre points d'intérêt en termes de variations de positions 3D. Le processus d'estimation sous-jacent utilise des champs de mouvements déduits des modèles 3D par points et des reconstructions par Moving Least Squares et splatting. Ces techniques développées par la communauté d'informatique graphique s'attachent à reconstruire localement (explicitement ou implicitement) la surface de l'objet à suivre et certains attributs dénis de manière éparse sur le nuage de points. Nous les adaptons à l'interpolation des champs de mouvements. L'avantage de notre approche est d'aboutir à un algorithme enchaînant quelques étapes d'estimation linéaires pour la détermination du mouvement 3D inter-images. Notre technique de résolution est intégrée à une adaptation originale d'un algorithme de suivi visuel de l'état de l'art qui repose sur un suivi hybride, combinant les informations issues de l'image précédente et celles apportées par des images clés acquises hors ligne. Une des particularités de notre implantation vient aussi de l'exploitation des capacités des unités de calcul graphiques (GPU) modernes pour les parties critiques de l'algorithme (extraction de points d'intérêt, appariement et calcul de champs de mouvements).

Le problème du suivi d'objets dans une vidéo se pose dans des domaines tels que la vision par ordinateur (vidéo-surveillance par exemple) et la post-production télévisuelle et cinématographique (effets spéciaux). Il se décline en deux variantes principales : le suivi d'une région d'intérêt, qui désigne un suivi grossier d'objet, et la segmentation spatio-temporelle, qui correspond à un suivi précis des contours de l'objet d'intérêt. Dans les deux cas, la région ou l'objet d'intérêt doivent avoir été préalablement détourés sur la première, et éventuellement la dernière, image de la séquence vidéo. Nous proposons dans cette thèse une méthode pour chacun de ces types de suivi ainsi qu'une implémentation rapide tirant partie du Graphics Processing Unit (GPU) d'une méthode de suivi de régions d'intérêt développée par ailleurs. La première méthode repose sur l'analyse de trajectoires temporelles de points saillants et réalise un suivi de régions d'intérêt. Des points saillants (typiquement des lieux de forte courbure des lignes isointensité) sont détectés dans toutes les images de la séquence. Les trajectoires sont construites en liant les points des images successives dont les voisinages sont cohérents. Notre contribution réside premièrement dans l'analyse des trajectoires sur un groupe d'images, ce qui améliore la qualité d'estimation du mouvement. De plus, nous utilisons une pondération spatio-temporelle pour chaque trajectoire qui permet d'ajouter une contrainte temporelle sur le mouvement tout en prenant en compte les déformations géométriques locales de l'objet ignorées par un modèle de mouvement global. La seconde méthode réalise une segmentation spatio-temporelle. Elle repose sur l'estimation du mouvement du contour de l'objet en s'appuyant sur l'information contenue dans une couronne qui s'étend de part et d'autre de ce contour. Cette couronne nous renseigne sur le contraste entre le fond et l'objet dans un contexte local. C'est là notre première contribution. De plus, la mise en correspondance par une mesure de similarité statistique, à savoir l'entropie du résiduel, d'une portion de la couronne et d'une zone de l'image suivante dans la séquence permet d'améliorer le suivi tout en facilitant le choix de la taille optimale de la couronne. Enfin, nous proposons une implémentation rapide d'une méthode de suivi de régions d'intérêt existante. Cette méthode repose sur l'utilisation d'une mesure de similarité statistique : la divergence de Kullback-Leibler. Cette divergence peut être estimée dans un espace de haute dimension à l'aide de multiples calculs de distances au k-ème plus proche voisin dans cet espace. Ces calculs étant très coûteux, nous proposons une implémentation parallèle sur GPU (grâce à l'interface logiciel CUDA de NVIDIA) de la recherche exhaustive des k plus proches voisins. Nous montrons que cette implémentation permet d'accélérer le suivi des objets, jusqu'à un facteur 15 par rapport à une implémentation de cette recherche nécessitant au préalable une structuration des données.

Le cadre général de cette étude est le traitement numérique du signal, appliqué
aux séquences d'images, pour des applications multimédia. Ce travail est
divisé en deux contributions principales~: un algorithme de segmentation
d'images en objets vidéo en mouvement, et une méthode d'interpolation
temporelle opérant sur ces objets.

La segmentation de la séquence est effectuée par un algorithme de suivi
temporel. Un algorithme de segmentation spatio-temporelle est utilisé
initialement pour obtenir des régions dans la première image de la séquence.
Cette partition est ensuite suivie par une technique de contours actifs, qui
opère sur une nouvelle représentation de la segmentation, composée des
frontières ouvertes séparant les régions. L'algorithme estime à la fois le
mouvement des frontières et celui des régions. Il est capable de suivre
plusieurs objets simultanément et de traiter les occultations entre eux. Des
résultats, obtenus sur des séquences d'images réelles, montrent que cet
algorithme permet une bonne stabilité temporelle de la segmentation et une
bonne précision des frontières.

Le but de l'algorithme d'interpolation est de reconstruire des images
intermédiaires entre deux images de la séquence. Il s'agit d'un algorithme de
faible complexité qui peut être utilisé à la fin d'une chaîne codeur/décodeur.
L'interpolation est compensée en mouvement et utilise le mouvement des régions,
estimé pendant la phase de suivi. Il est aussi basé objets, dans le sens où il
utilise la segmentation pour prédire correctement les zones d'occultation. Cet
algorithme peut être utilisé pour trois applications différentes~: le codage
interpolatif (où des images de la séquence sont prédites par interpolation),
l'adaptation de la fréquence de la séquence à la fréquence d'affichage du
terminal de visualisation dans une transmission multipoints et la
reconstruction d'images manquantes (où l'on calcule des images non observées).
Des résultats expérimentaux pour la première application montrent que pour une
qualité de reconstruction donnée, la taux de compression moyen sur un groupe
d'images est plus élevé en utilisant l'interpolation qu'avec une prédiction
causale.

La segmentation et le suivi d'objets sont des domaines de recherche compétitif dans la vision par ordinateur. Une de leurs applications importantes réside dans la robotique où la capacité à segmenter un objet d'intérêt du fond de l'image, d'une manière précise, est cruciale particulièrement dans des images acquises à bord durant le mouvement du robot. Segmenter un objet dans une image est une opération qui consiste à distinguer la région objet du celle du fond suivant un critère défini. Suivre un objet dans une séquence d'images est une opération qui consiste à localiser la région objet au fil du temps dans une vidéo. Plusieurs techniques peuvent être utilisées afin d'assurer ces opérations. Dans cette thèse, nous nous sommes intéressés à segmenter et suivre des objets en utilisant la méthode du contour actif en raison de sa robustesse et son efficacité à pouvoir segmenter et suivre des objets non rigides. Cette méthode consiste à faire évoluer une courbe à partir d'une position initiale, entourant l'objet à détecter, vers la position de convergence qui correspond aux bords de cet objet d'intérêt. Nous proposons d'abord un critère global qui dépend des régions de l'image ce qui peut imposer certaines contraintes sur les caractéristiques de ces régions comme une hypothèse d'homogénéité. Cette hypothèse ne peut pas être toujours vérifiée du fait de l'hétérogénéité souvent présente dans les images. Dans le but de prendre en compte l'hétérogénéité qui peut apparaître soit sur l'objet d'intérêt soit sur le fond dans des images bruitées et avec une initialisation inadéquate du contour actif, nous proposons une technique qui combine des statistiques locales et globales pour définir le critère de segmentation. En utilisant un rayon de taille fixe, un demi-­‐disque est superposé sur chaque point du contour actif afin de définir les régions d'extraction locale. Lorsque l'hétérogénéité se présente à la fois sur l'objet d'intérêt et sur le fond de l'image, nous développons une technique basée sur un rayon flexible déterminant deux demi-­‐disques avec deux rayons de valeurs différentes pour extraire l'information locale. Le choix de la valeur des deux rayons est déterminé en prenant en considération la taille de l'objet à segmenter ainsi que de la distance séparant l'objet d'intérêt de ses voisins. Enfin, pour suivre un objet mobile dans une séquence vidéo en utilisant la méthode des contours actifs, nous développons une approche hybride du suivi d'objet basée sur les caractéristiques de la région et sur le vecteur mouvement des points d'intérêt extraits dans la région objet. En utilisant notre approche, le contour actif initial à chaque image sera ajusté suffisamment d'une façon à ce qu'il soit le plus proche possible au bord réel de l'objet d'intérêt, ainsi l'évolution du contour actif basée sur les caractéristiques de la région ne sera pas piégée par de faux contours. Des résultats de simulations sur des images synthétiques et réelles valident l'efficacité des approches proposées.

Le cadre general de cette etude est le traitement numerique du signal, applique aux sequences d'images, pour des applications multimedia. Ce travail est divise en deux contributions principales : un algorithme de segmentation d'images en objets video en mouvement, et une methode d'interpolation temporelle operant sur ces objets. La segmentation de la sequence est effectuee par un algorithme de suivi temporel. Un algorithme de segmentation spatio-temporelle est utilise initialement pour obtenir des regions dans la premiere image de la sequence. Cette partition est ensuite suivie par une technique de contours actifs, qui opere sur une nouvelle representation de la segmentation, composee des frontieres ouvertes separant les regions. L'algorithme estime a la fois le mouvement des frontieres et celui des regions. Il est capable de suivre plusieurs objets simultanement et de traiter les occultations entre eux. Des resultats, obtenus sur des sequences d'images reelles, montrent que cet algorithme permet une bonne stabilite temporelle de la segmentation et une bonne precision des frontieres. Le but de l'algorithme d'interpolation est de reconstruire des images intermediaires entre deux images de la sequence. Il s'agit d'un algorithme de faible complexite qui peut etre utilise a la fin d'une chaine codeur/decodeur. L'interpolation est compensee en mouvement et utilise le mouvement des regions, estime pendant la phase de suivi. Il est aussi base objets, dans le sens ou il utilise la segmentation pour predire correctement les zones d'occultation. Cet algorithme peut etre utilise pour trois applications differentes : le codage interpolatif (ou des images de la sequence sont predites par interpolation), l'adaptation de la frequence de la sequence a la frequence d'affichage du terminal de visualisation dans une transmission multicast et la reconstruction d'images manquantes (ou l'on calcule des images non observees). Des resultats experimentaux pour la premiere application montrent que pour une qualite de reconstruction donnee, la taux de compression moyen sur un groupe d'images est plus eleve en utilisant l'interpolation qu'avec une prediction causale.

Le filtrage particulaire offre un formalisme probabiliste assez souple pour suivre des objets dans des séquences vidéo. Son principe est d'estimer la distribution de probabilité sur l'état de l'objet à suivre grâce à un échantillon pondéré dont les éléments, réalisations possibles de cet état, sont appelés particules. Il permet le suivi d'objets dans des situations complexes ou les distributions de probabilité à estimer ne sont ni gaussiennes ni même monomodales. Il est constitué de trois étapes : tout d'abord, dans une phase de prédiction, les particules sont propagées de manière à suivre les déplacements de l'objet ; ensuite, une correction est apportée, qui utilise les observations (images) courantes et vise à donner un poids aux particules correspondant à leur vraisemblance. Celles de fort poids correspondent alors aux modes de la densité à estimer. Enfin, dans une phase de reéchantillonnage, les particules de fort poids sont multipliées tandis que celles de faible poids (queue de la distribution) peuvent être supprimées. Malheureusement, dans les problèmes ou les espaces d'état et d'observation de l'objet sont de grandes tailles, comme c'est le cas pour le suivi d'objets articulés, le nombre de particules nécessaires à une bonne approximation de la densité à estimer peut être prohibitif. Des solutions à ce problème ont toutefois été apportées dans la littérature, en particulier l'utilisation de décompositions des espaces d'état et d'observation permettant de travailler sur des espaces de plus petites tailles. C'est par exemple le cas de Partition Sampling (PS), l'un des algorithmes de pointe dans ce domaine. Tout d'abord, nous avons développé un algorithme appelé Swapping-Based Partitioned Sampling (SBPS). Celui-ci s'appuie sur PS mais, contrairement à PS, il effectué les étapes de prédiction et de correction du filtre particulaire sur des ensembles de parties d'objet en parallèle (plutôt que séquentiellement comme PS). Ce traitement simultané permet d'introduire une nouvelle opération, dite de swapping ou de permutation, qui consiste à permuter entre elles des sous-parties de particules. Lorsque les permutations sont bien choisies, cela a pour effet de produire des particules plus proches des modes de la distribution à estimer tout en garantissant que l'estimation de celle-ci est toujours mathématiquement correcte. Après reéchantillonnage, seules les particules les plus proches des modes de la distribution sont conservées. De plus, le traitement en parallèle d'ensembles de parties permet à SBPS de réduire son nombre de reéchantillonnages, augmentant encore la précision de la méthode. Enfin, nous prouvons grâce à l'exploitation de la d-séparation, le modèle d'indépendance des réseaux bayésiens, qu'à convergence, SBPS estime bien la distribution cible. En exploitant une seule permutation, SBPS peut, dans certaines situations, engendrer un phénomène d'appauvrissement, c'est-à-dire que peu de particules différentes subsistent après reéchantillonnage. Cela n'est pas souhaitable, en particulier lorsque la distribution à estimer présente plusieurs modes. Pour pallier cela, nous avons introduit un deuxième algorithme appelé DBN-Based Combinatorial Resampling qui, au lieu de choisir une permutation précise, les génère toutes et construit le nouvel ensemble de particules résultant de toutes ces permutations. Ce nouvel ensemble permet non seulement d'augmenter le nombre de particules près des modes de la distribution à estimer mais préserve également une diversité entre particules de fort poids. Malheureusement, sa taille croît exponentiellement avec le nombre de parties de l'objet et le nombre de particules. Afin d'obtenir un algorithme passant à l'échelle, nous montrons comment l'on peut exploiter cet ensemble de particules en le construisant uniquement implicitement. L'algorithme ainsi obtenu, PFCR, se montre très performant, non seulement en termes de qualité de suivi mais également en termes de temps de réponse
Articulated object tracking has now become a very active research area inthe field of computer vision. One of its applications, i. E. Human track-ing, is used in a variety of domains, such as security surveillance, humancomputer interface, gait analysis,. . . The problem is also of interest from thetheoretical point of view. Some of its challenges include, for example, thehigh dimensionality of state spaces, self-occlusions, kinematic ambiguities orsingularities, making it hard to solve and hence, attractive for the trackingcommunity. Particle Filter (PF) has been shown to be an effective method for solving visual tracking problems. This is due to its ability to deal with non-linear, non-Gaussian and multimodal distributions encountered in such problems. The key idea of particle filter is to approximate the posterior distribution of the target object state by a set of weighted samples. These samples evolve using a proposal distribution and their weights are updated by involving new observations. Under some assumptions, it can be shown that the distribution estimated by particle filter converges in a statistical sense to thetarget distribution. Unfortunately, in high dimensional problems, such asarticulated object tracking problems, the number of samples required for ap-proximating the target distribution can be prohibitively large since it growsexponentially with the number of dimensions (e. G. , the number of partsof the object), making the particle filter impractical. To reduce the com-plexity of tracking algorithms in such problems, various methods have beenproposed. One family of approaches that has attracted many researchers isbased on the decomposition of the state space into smaller dimensional sub-spaces where tracking can be achieved using classical methods. This resultsin tracking algorithms that are linear instead of exponential in the numberof parts of the object. Bayesian Networks (BN) offer a very effective way to represent articulated objects and to express the relationship between their different partssince the object can be naturally modeled by graphs where each part of theobject is represented by a node and the physical link between two neighborparts is represented by an edge. Most of conditional independence relation-ships induced by the structural constraints of the articulated objects can beeasily encoded in BN. This kind of graphical model has been exploited forarticulated object tracking in many works and has been shown to be a pow-erful tool for modeling the tracking problem in decomposition approaches. In this thesis, we focus on articulated object tracking and decompositiontechniques to deal with the high dimensionality of the state space describingthe problem. Our first approach is based on the state-of-the-art algorithmfor articulated object tracking: Partition Sampling (PS). First, we developan algorithm called Swapping-Based Partitioned Sampling (SBPS). In thisalgorithm, the prediction/correction step of PF is performed for a groupof parts in parallel instead of part after part as in PS. We also introducean operation called swapping which produces better particles, i. E. , particlesthat are nearer to the modes of the target distribution, after the correctionstep of the algorithm. We provide a principled way to select the set of partsprocessed in parallel and to perform the swapping operation so that the pos-terior distribution is correctly estimated. This approach enables to reducethe number of resampling steps of PS and to increase the tracking accu-racy due to the higher number of particles near the modes of the posteriordistribution obtained by the swapping operation. Because the swapping operation generates more particles near the modesof the posterior distribution, this might lead to a situation where the poste-rior distribution is represented by only a few distinct particles, that inducesa loss of particle diversity, resulting in tracking failure in some cases, e. G. When there is a sudden change in movements of the object. To address thisproblem, we introduce an algorithm called DBN-Based Combinatorial Re-sampling for articulated object tracking. Adding this resampling scheme intoa particle filter produces a new algorithm called Particle Filter with Combi-natorial Resampling (PFCR). Instead of aiming to find the best swapping,we create a particle set which contains particles generated from all possiblepermutations, implicitly constructed to avoid resampling over a particle setof exponential size. This approach allows increasing the number of parti-cles near the modes of the posterior distribution but also the diversity ofparticles as compared to SBPS, thus improving the tracking accuracy andreducing tracking failure. Our third approach for articulated object tracking, introduced in thisthesis, is based on a hierarchical search and Particle Swarm Optimization(PSO). This approach called Hierarchical Annealed Particle Swarm Opti-mization Particle Filter (HAPSOPF) aims to increase the tracking accuracyand reduce the computational cost of the tracking algorithm by integratingthe benefits of these two methods. First, the searching efficiency is improvedby performing PSO in subspaces whose dimension is much lower than thatof the original space and therefore the tracking accuracy is increased. Second, the search is performed in the same manner as PS, leading to a reducednumber of particles required for tracking. As a result, the computationalcost of the tracking algorithm is reduced. Moreover, some important factorsare introduced into the update equations of PSO to deal with the problemof noisy observation in articulated object tracking

La segmentation et le suivi d'objets sont des domaines de recherche compétitifs dans la vision par ordinateur. Une de leurs applications importantes réside dans la robotique où la capacité à segmenter un objet d'intérêt du fond de l'image, d'une manière précise, est cruciale particulièrement dans des images acquises à bord durant le mouvement du robot. Segmenter un objet dans une image est une opération qui consiste à distinguer la région objet de celle du fond suivant un critère défini. Suivre un objet dans une séquence d'images est une opération qui consiste à localiser la région objet au fil du temps dans une vidéo. Plusieurs techniques peuvent être utilisées afin d'assurer ces opérations. Dans cette thèse, nous nous sommes intéressés à segmenter et suivre des objets en utilisant la méthode du contour actif en raison de sa robustesse et son efficacité à pouvoir segmenter et suivre des objets non rigides. Cette méthode consiste à faire évoluer une courbe à partir d'une position initiale, entourant l'objet à détecter, vers la position de convergence qui correspond aux bords de cet objet d'intérêt. Nous utilisons des critères qui dépendent des régions de l'image ce qui peut imposer certaines contraintes sur les caractéristiques de ces régions comme une hypothèse d'homogénéité. Cette hypothèse ne peut pas être toujours vérifiée du fait de l'hétérogénéité souvent présente dans les images. Dans le but de prendre en compte l'hétérogénéité qui peut apparaître soit sur l'objet d'intérêt soit sur le fond dans des images bruitées et avec une initialisation inadéquate du contour actif, nous proposons une technique qui combine des statistiques locales et globales pour définir le critère de segmentation. En utilisant un rayon de taille fixe, un demi-disque est superposé sur chaque point du contour actif afin de définir les régions d'extraction locale. Lorsque l'hétérogénéité se présente à la fois sur l'objet d'intérêt et sur le fond de l'image, nous développons une technique basée sur un rayon flexible déterminant deux demi-disques avec deux rayons de valeurs différentes pour extraire l'information locale. Le choix de la valeur des deux rayons est déterminé en prenant en considération la taille de l'objet à segmenter ainsi que de la distance séparant l'objet d'intérêt de ses voisins. Enfin, pour suivre un objet mobile dans une séquence vidéo en utilisant la méthode du contour actif, nous développons une approche hybride du suivi d'objet basée sur les caractéristiques de la région et sur le vecteur mouvement des points d'intérêt extraits dans la région objet. En utilisant notre approche, le contour actif initial à chaque image sera ajusté suffisamment d'une façon à ce qu'il soit le plus proche possible au bord réel de l'objet d'intérêt, ainsi l'évolution du contour actif basée sur les caractéristiques de la région ne sera pas piégée par de faux contours. Des résultats de simulations sur des images synthétiques et réelles valident l'efficacité des approches proposées
Object segmentation and tracking is a challenging area of ongoing research in computer vision. One important application lies in robotics where the ability to accurately segment an object of interest from its background is crucial and particularly on images acquired onboard during robot motion. Object segmentation technique consists in separating the object region from the image background according to a pre-defined criterion. Object tracking is a process of determining the positions of moving objects in image sequences. Several techniques can be applied to ensure these operations. In this thesis, we are interested to segment and track objects in video sequences using active contour method due to its robustness and efficiency to segment and track non-rigid objects. Active contour method consists in making a curve converge from an initial position around the object to be detected towards this object boundary according to a pre-defined criterion. We employ criteria which depend on the image regions what may impose certain constraints on the characteristics of these regions as a homogeneity assumption. This assumption may not always be verified due to the heterogeneity often present in images. In order to cope with the heterogeneity that may appear either in the object of interest or in the image background in noisy images using an inadequate active contour initialization, we propose a technique that combines local and global statistics in order to compute the segmentation criterion. By using a radius with a fixed size, a half-disk is superposed on each point of the active contour to define the local extraction regions. However, when the heterogeneity appears on both the object of interest and the image background, we develop a new technique based on a flexible radius that defines two half-disks with two different radius values to extract the local information. The choice of the value of these two radii is determined by taking into consideration the object size as well as the distance separating the object of interest from its neighbors. Finally, to track a mobile object within a video sequence using the active contour method, we develop a hybrid object tracking approach based on region characteristics and on motion vector of interest points extracted on the object region. Using our approach, the initial active contour for each image will be adequately adjusted in a way that it will be as close as possible to the actual boundary of the object of interest so that the evolution of active contour based on characteristics of the region will not be trapped by false contours. Simulation results on synthetic and real images validate the effectiveness of the proposed approaches

Dans cette thèse, nous abordons trois problèmes de vision par ordinateur: (1) la détection et la reconnaissance d'objets de texte dans des images de scènes réelles; (2) le suivi de ces objets de texte dans une vidéo numérique, et (3) le suivi d'objets 3D rigides et arbitraires avec des amers connus dans une vidéo numérique. Pour chaque problème, nous avons développé des algorithmes innovants, qui sont au moins aussi précis et robustes que les algorithmes de l'état de l’art. Plus précisément, pour la reconnaissance de texte, nous avons développé (et largement évalué) un nouveau descripteur basé sur HOG, et dédié au traitement du texte Roman, baptisé T-HOG. Nous avons montré sa valeur en tant que post-filtre pour un détecteur de texte existant (SnooperText). Nous avons également amélioré l’algorithme SnooperText en développant une approche multi-échelle pour traiter des caractères de taille très différentes tout en limitant la sensibilité de l'algorithme aux différents artéfacts. Pour le suivi des objets de textes, nous avons décrit quatre manières de combiner la détection et le suivi, et nous avons développé un tracker particulier, basé sur un filtre particulaire exploitant le T-HOG. Pour le suivi des objets rigides, nous avons développé un nouvel algorithme précis et robuste (AFFTRACK) qui combine le KLT tracker avec une calibration améliorée de la caméra. Nous avons largement testé nos algorithmes sur plusieurs bases de données de la littérature. Nous avons également créé plusieurs bases de données (publiquement disponibles) pour l’évaluation des algorithmes de détection, suivi de textes et de suivi d'objets rigides dans les vidéos
In this thesis we address three computer vision problems: (1) the detection and recognition of flat text objects in images of real scenes; (2) the tracking of such text objects in a digital video; and (3) the tracking an arbitrary three-dimensional rigid object with known markings in a digital video. For each problem we developed innovative algorithms, which are at least as accurate and robust as other state-of-the-art algorithms. Specifically, for text recognition we developed (and extensively evaluated) a new HOG-based descriptor specialized for Roman script, which we call T-HOG, and showed its value as a post-filter for an existing text detector (SnooperText). We also improved the SnooperText algorithm by using the multi-scale technique to handle widely different letter sizes while limiting the sensitivity of the algorithm to various artifacts. For text tracking, we describe four basic ways of combining a text detector and a text tracker, and we developed a specific tracker based on a particle-filter which exploits the T-HOG recognizer. For rigid object tracking we developed a new accurate and robust algorithm (AFFTrack) that combines the KLT feature tracker with an improved camera calibration procedure. We extensively tested our algorithms on several benchmarks well-known in the literature. We also created benchmarks (publicly available) for the evaluation of text detection and tracking and rigid object tracking algorithms

Nous nous intéressons à la détection et au suivi d'objets biologiques divers (cellules, noyaux, etc.) dans des images et séquences tri-dimensionnelles acquises en microscopie par fluorescence. L'observation de phénomènes biologiques in situ étant de plus en plus cruciale pour les experts, il est nécessaire, en plus de l'analyse quantitative, d'effectuer un rendu volumique 3D de la scène et des objets qui y évoluent. De plus, l'automatisation des techniques d'acquisition d'images requiert un haut niveau de reproductibilité des algorithmes et induit souvent des contraintes de temps de calcul que nous nous efforçons de prendre en compte.

Les modèles déformables, également connus sous le nom de contours actifs, font actuellement partie des méthodes de pointe en analyse d'images pour la segmentation et le suivi d'objets grâce à leur robustesse, leur flexibilité et leur représentation à haut niveau sémantique des entités recherchées. Afin de les adapter à notre problématique, nous devons faire face à diverses difficultés. Tout d'abord, les méthodes existantes se réfèrent souvent aux variations locales d'intensité (ou gradients) de l'image pour détecter le contour des objets recherchés. Cette approche est inefficace en microscopie tridimensionnelle par fluorescence, où les gradients sont très peu prononcés selon l'axe de profondeur de l'image. Ensuite, nous devons gérer le suivi d'objets multiples susceptibles d'entrer en contact en évitant leur confusion. Enfin, nous devons mettre en place un système permettant de visualiser efficacement les contours durant leur déformation sans altérer les temps de calcul.

Dans la première partie de ce travail, nous pallions à ces problèmes en proposant un modèle de segmentation et de suivi multi-objets basé sur le formalisme des lignes de niveaux (ou level sets) et exploitant la fonctionnelle de Mumford et Shah. La méthode obtenue donne des résultats quantitatifs satisfaisants, mais ne se prête pas efficacement au rendu 3D de la scène, pour lequel nous sommes tributaires d'algorithmes dédiés à la reconstruction 3D (e.g. la méthode des "Marching Cubes"), souvent coûteux en mémoire et en temps de calcul. De plus, ces algorithmes peuvent induire des erreurs d'approximation et ainsi entraîner une mauvaise interprétation des résultats.

Dans la seconde partie, nous proposons une variation de la méthode précédente en remplaçant le formalisme des lignes de niveaux par celui des maillages triangulaires, très populaire dans le domaine de la conception assistée par ordinateur (CAO) pour leur rendu 3D rapide et précis. Cette nouvelle approche produit des résultats quantitatifs équivalents, en revanche le formalisme des maillages permet d'une part de réduire considérablement la complexité du problème et autorise d'autre part à effectuer un rendu 3D précis de la scène parallèlement au processus de segmentation, réduisant d'autant plus les temps de calculs.

Les performances des deux méthodes proposées sont d'abord évaluées puis comparées sur un jeu de données simulées reproduisant le mieux possible les caractéristiques des images réelles. Ensuite, nous nous intéressons plus particulièrement à l'évaluation de la méthode par maillages sur des données réelles, en évaluant la robustesse et la stabilité de quelques descripteurs de forme simples sur des expériences d'imagerie haut-débit. Enfin, nous présentons des applications concrètes de la méthode à des problématiques biologiques réelles, réalisées en collaboration avec d'autres équipes de l'Institut Pasteur de Corée.

L’intralogistique (ou logistique interne) s’intéresse au traitement et à l’optimisation des flux physiques au sein des entrepôts, centres de distribution et usines. Les systèmes de manutention automatisés sont au cœur de la logistique interne de plusieurs industries comme le commerce en ligne, la messagerie postale, la grande distribution, l’industrie manufacturière, le transport aéroportuaire, etc. Ces équipements composés de lignes de convoyage haute cadence permettent un transport sûr et fiable d’un volume considérable de biens et de marchandises tout en réduisant les coûts.L’automatisation de l’acheminement des flux physiques par les systèmes de manutention repose sur l’identification et le suivi en temps réel des charges transportées. Dans cette thèse, nous explorons une solution de suivi qui emploie un réseau de caméras intelligentes à champs recouvrants. L’objectif final étant de fournir l’information de suivi sur les charges transportées pour le pilotage d’un système de manutention.Le suivi d’objets est un problème fondamental de la vision par ordinateur qui a de nombreuses applications comme la vidéosurveillance, la robotique, les voitures autonomes, etc. Nous avons intégré plusieurs briques de base issues de la vidéosurveillance et traditionnellement appliquées aux scènes de surveillance automobile ou de surveillance des activités humaines pour constituer une chaine de suivi de référence. Cette chaine d’analyse vidéo étalon nous a permis de caractériser des hypothèses propres au convoyage d’objet. Nous proposons dans cette thèse d’incorporer cette connaissance métier dans la chaine de suivi pour en améliorer les performances. Nous avons, notamment pris en compte, dans l’étape de segmentation des images, le fait que les objets doivent pouvoir s’arrêter sans pour autant être intégrés aux modèles d’arrière-plan. Nous avons également exploité la régularité des trajectoires des objets convoyés dans les installations, permettant d’améliorer les modèles prédictifs de la position et de la vitesse des objets, dans les étapes de suivi. Enfin, nous avons intégré des contraintes de stricte monotonie dans l’ordre des colis sur le convoyeur, contraintes qui n’existent pas dans les scènes généralistes, pour ré-identifier les objets dans les situations où ils sont proches des eux les autres.Nous nous sommes par ailleurs attelés à un problème pratique d’optimisation des performances sur l’architecture multi-cœurs couplée aux caméras intelligentes. Dans ce cadre, nous avons a mis en place un apprentissage dynamique de la zone de l’image contenant le convoyeur. Cette zone d’intérêt nous a permis de limiter la mise à jour du modèle de fond à cette seule zone. Nous avons, par la suite, proposé une stratégie de parallélisation qui partitionne de manière adaptative cette région d’intérêt de l’image, afin d’équilibrer au mieux la charge de travail entre les différents cœurs de l’architecture des caméras intelligentes.Nous avons également traité la problématique du suivi sur plusieurs caméras. Nous avons proposé une approche basée sur un système de composition d’évènements. Cette approche nous a permis de fusionner les données de suivi local pour former les trajectoires globales des colis, tout en intégrant des informations issues du processus métier, par exemple la saisie de l’information de destination par des opérateurs sur un terminal avant la dépose des colis. Nous avons validé cette approche sur un système de manutention mis en place dans un centre de tri postal de grande envergure. Le réseau de caméras déployé est composé de 32 caméras qui assurent le suivi de plus de 400.000 colis/jour sur des lignes de dépose. Le taux d’erreur du suivi obtenu est inférieur à 1 colis sur 1000 (0,1%)
Intralogistics (or internal logistics) focuses on the management and optimization of internal production and distribution processes within warehouses, distribution centers, and factories. Automated handling systems play a crucial role in the internal logistics of several industries such as e-commerce, postal messaging, retail, manufacturing, airport transport, etc. These systems are composed by multiple high-speed conveyor lines that provide safe and reliable transportation of a large volume of goods and merchandise while reducing costs.The automation of the conveying process relies on the identification and the real-time tracking of the transported loads. In this thesis, we designed a tracking solution that employs a network of smart cameras with an overlapping field of view. The goal is to provide tracking information to control an automated handling system.Multiple object tracking is a fundamental problem of computer vision that has many applications such as video surveillance, robotics, autonomous cars, etc. We integrated several building blocks traditionally applied to traffic surveillance or human activities monitoring to constitute a tracking pipeline. We used this baseline tracking pipeline to characterize contextual scene information proper to the conveying scenario. We integrated this contextual information to the tracking pipeline to enhance the performance. In particular, we took into account the state of moving objects that become stationary in the background subtraction step to prevent their absorption to the background model. We have also exploited the regularity of objects trajectory to enhance the motion model associated with the tracked objects. Finally, we integrated the precedence ordering constraint among the conveyed object to reidentify them when they are close to each other.We have also tackled practical problems related to the optimization the execution of the proposed tracking problem in the multi-core architectures of smart cameras. In particular, we proposed a dynamic learning process that extracts the region of the image that corresponds to the conveyor lines. We reduced the number of the processed pixel by restricting the processing to this region of interest. We also proposed a parallelization strategy that adaptively partitions this region of interest of the image, in order to balance the workload between the different cores of the smart cameras.Finally, we proposed a multiple cameras tracking algorithms based on event composition. This approach fuses the local tracking generated by the smart cameras to form global object trajectories and information from third party systems such as the destination of the object entered by operators on a terminal. We validated the proposed approach for the control of a sorting system deployed in a postal distribution warehouse. A network of cameras composed of 32 cameras tracks more than 400.000 parcel/day in injections lines. The tracking error rate is less than 1 parcel in a 1000 (0.1%)

Cette thèse explore les capacités d’une intelligence ambiante équipée d’un réseau de capteurs de pression au sol. Elle traite le problème de la perception d’un environnement au travers un réseau de capteurs de basse résolution. Les difficultés incluent l’interpretation des poids dispersés pour des objets avec multiples supports, l’ambiguïté de poids entre des objets, la variation du poids des personnes pendant les activités dynamiques, etc. Nous introduisons des nouvelles techniques, partiellement inspirées du domaine de la vision par l’ordinateur, pour la détection, le suivi et la reconnaissance des entités qui se trouvent sur le sol. Nous introduisons également des nouveaux modes d’interaction entre les environnements équipés de tels capteurs aux sols, et les robots qui évoluent dans ces environnements. Ceci permet l’interprétation non-intrusive des événements qui ont lieu dans des environnements dotés d’une intelligence ambiante, avec des applications dans l’assistance automatisée à domicile, l’aide aux personnes âgées, le diagnostic continu de la santé, la sécurité, et la navigation robotique
This thesis explores the capabilities of an ambient intelligence equipped with a load-sensing floor. It deals with the problem of perceiving the environment through a network of low-resolution sensors. Challenges include the interpretation of spread loads for objects with multiple points of support, weight ambiguities between objects, variation of persons’ weight during dynamic activities, etc. We introduce new techniques, partly inspired from the field of computer vision, for detecting, tracking and recognizing the entities located on the floor. We also introduce new modes of interaction between environments equipped with such floor sensors and robots evolving inside them. This enables non-intrusive interpretation of events happening inside environments with embedded ambient intelligence, with applications in assisted living, senile care, continuous health diagnosis, home security, and robotic navigation