Academic literature on the topic 'SPATIAL TEMPORAL DESCRIPTOR'

L'analyse et l’interprétation de contenus visuels et plus particulièrement la vidéo est un domaine de recherche de plus en plus attractif en raison du nombre important d'applications telles que la vidéo-surveillance, le résumé de films, l'indexation, les jeux vidéo, la robotique et la domotique. Dans cette thèse nous nous intéressons à la détection et à la reconnaissance d'actions humaines dans des séquences vidéo. Pour la partie détection des actions, nous avons introduit deux approches basées sur les points d'intérêts locaux. La première proposition est une méthode simple et efficace qui vise à détecter les mouvements humains ensuite contribuer à extraire des séquences vidéo décrivant des actions importantes. Afin d'atteindre cet objectif, les premières séquences vidéo sont segmentées en volumes de trames et groupes de points d’intérêts. Dans cette méthode, nous nous basons sur le suivi du mouvement des points d'intérêts. Nous avons utilisé, dans un premier lieu, des vidéos simples puis nous avons progressivement augmenté la complexité des vidéos en optant pour des scènes réalistes. Les jeux de données simples présentent généralement un arrière-plan statique avec un Seul acteur qui effectue une seule action unique ou bien la même action mais d'une manière répétitive. Nous avons ensuite testé la robustesse de la détection d'action proposée dans des jeux de données plus complexes réalistes recueillis à partir des réseaux sociaux. Nous avons introduit une approche de détection d'actions efficace pour résoudre le problème de la reconnaissance d'actions humaines dans les vidéos réalistes contenant des mouvements de caméra. Le mouvement humain est donc segmenté d'une manière spatio-temporelle afin de détecter le nombre optimal de trames suffisant pour effectuer une description vidéo. Les séquences sont décrites au moyen de descripteurs spatio-temporels. Nous avons proposé dans cette thèse deux nouveaux descripteurs spatio-temporels basés sur le suivi de la trajectoire des points d'intérêts. Les suivis et la description vidéo sont effectués sur les patchs vidéo qui contiennent un mouvement ou une partie d'un mouvement détecté par la segmentation réalisée lors de l'étape précédente. Nous nous sommes basés sur le descripteur SURF non seulement pour sa précision et mais surtout pour la rapidité. Le premier descripteur proposé est appelé ST-SURF basé sur une nouvelle combinaison du (SURF) et du flot optique. Le ST-SURF permet le suivi de la trajectoire des points d'intérêts tout en gardant les informations spatiales, pertinentes, provenant du SURF. Le deuxième descripteur proposé dans le cadre de cette thèse est un histogramme du mouvement de la trajectoire (HMTO). HMTO est basé sur la position ainsi que l'échelle relative à un SURF. Ainsi, pour chaque SURF détecté, nous définissons une région du voisinage du point d'intérêt en nous basant sur l'échelle. Pour le patch détecté, nous extrayons le flot optique d'une manière dense. Les trajectoires de mouvement sont ensuite générées pour chaque pixel en exploitant les composantes horizontale et verticale de flot optique (u, v). La précision de la description de la vidéo proposée est testée sur un ensemble de données complexes et un plus grand ensemble de données réalistes. Les descripteurs de vidéo proposés sont testés d'une manière simple puis en les fusionnants avec d'autres descripteurs. Les descripteurs vidéo ont été introduits dans un processus de classification basé sur le sac de mots et ont démontré une amélioration des taux de reconnaissance par rapport aux approches précédemment proposés dans l'état-de-l ‘art<br>Due to increasing demand for video analysis systems in recent years, human action de-tection/recognition is being targeted by the research community in order to make video description more accurate and faster, especially for big datasets. The ultimate purpose of human action recognition is to discern automatically what is happening in any given video. This thesis aims to achieve this purpose by contributing to both action detection and recognition tasks. We thus have developed new description methods for human action recognition.For the action detection component we introduce two novel approaches for human action detection. The first proposition is a simple yet effective method that aims at detecting human movements. First, video sequences are segmented into Frame Packets (FPs) and Group of Interest Points (GIP). In this method we track the movements of Interest Points in simple controlled video datasets and then in videos of gradually increasing complexity. The controlled datasets generally contain videos with a static background and simple ac-tions performed by one actor. The more complex realistic datasets are collected from social networks.The second approach for action detection attempts to address the problem of human ac-tion recognition in realistic videos captured by moving cameras. This approach works by segmenting human motion, thus investigating the optimal sufficient frame number to per-form action recognition. Using this approach, we detect object edges using the canny edge detector. Next, we apply all the steps of the motion segmentation process to each frame. Densely distributed interest points are detected and extracted based on dense SURF points with a temporal step of N frames. Then, optical flows of the detected key points between two frames are computed by the iterative Lucas and Kanade optical flow technique, using pyramids. Since we are dealing with scenes captured by moving cameras, the motion of objects necessarily involves the background and/or the camera motion. Hence, we propose to compensate for the camera motion. To do so, we must first assume that camera motion exists if most points move in the same direction. Then, we cluster optical flow vectors using a KNN clustering algorithm in order to determine if the camera motion exists. If it does, we compensate for it by applying the affine transformation to each frame in which camera motion is detected, using as input parameters the camera flow magnitude and deviation. Finally, after camera motion compensation, moving objects are segmented using temporal differencing and a bounding box is drawn around each detected moving object. The action recognition framework is applied to moving persons in the bounding box. Our goal is to reduce the amount of data involved in motion analysis while preserving the most important structural features. We believe that we have performed action detection in the spatial and temporal domain in order to obtain better action detection and recognition while at the same time considerably reducing the processing time

As advances in the remote sensing of fluid flows forge ahead at an impressive rate, we face an increasingly compelling question of how best to exploit this progress. Light detection and ranging (LIDAR) measurement equipment still presents the problems of having only radial (line-of-sight) wind speed measurements (Cyclops' dilemma). Substantial expanses of unmeasured flow still remain and range weighting errors have a considerable influence on LIDAR measurements. Clearly, more information needs to be extracted from LIDAR data and an estimation problem naturally arises. A key challenge is that most established estimation techniques, such as Kalman filters, cater for systems that are finite-dimensional and described by ordinary differential equations (ODEs). By contrast, many fluid flows are governed by the Navier-Stokes equations, which are nonlinear partial differential-algebraic equations (PDAEs). With this motivation in mind, this thesis proposes a novel statistical signal processing framework for the model-based estimation of a class of spatio-temporal nonlinear partial differential-algebraic equations (PDAEs). The method employs finite-dimensional reduction that converts this formulation to a nonlinear DAE form for which new unscented transform-based filtering and smoothing algorithms are proposed. Gaussian approximations are derived for differential state variables and more importantly, extended to algebraic state variables. A mean-square error lower bound for the nonlinear descriptor filtering problem is obtained based on the posterior Cramér-Rao inequality. The potential of adopting a descriptor systems approach to spatio-temporal estimation is shown for a wind field estimation problem. A basis function decomposition method is used in conjunction with a pressure Poisson equation (PPE) formulation to yield a spatially-continuous, strangeness-free, reduced-order descriptor flow model which is used to estimate unmeasured wind velocities and pressure over the entire spatial region of interest using sparse measurements from wind turbine-mounted LIDAR instruments. The methodology is validated for both synthetic data generated from large eddy simulations of the atmospheric boundary layer and real-world LIDAR measurement data. Results show that a reconstruction of the flow field is achievable, thus presenting a validated estimation framework for potential applications including wind gust prediction systems, the preview control of wind turbines and other spatio-temporal descriptor systems spanning several disciplines.

<p>Lichens are, in most cases, sensitive to anthropogenic factors such as air pollution, global warming, forestry and fragmentation. Two studies are included in this thesis. The first is an evaluation of the importance of old oak for the rare epiphytic lichen Cliostomum corrugatum (Ach.) Fr. This study analysed whether C. corrugatum was limited by dispersal or restricted to tree stands with an unbroken continuity or the substrate old oaks. The results provide evidence that the investigated five populations in Östergötland, Sweden, of C. corrugatum exhibit substantial gene flow, an effective dispersal and a small genetic variation between the sites. Most of the genetic variation was within the populations. Thus, C. corrugatum is more dependent of the substrate old oaks, rather than limited by dispersal. The second study investigated possible range shift of some common macrolichens, due to global warming, from 64 sites in southern Sweden comparing the two years 1986 and 2003. The centroid of three lichen species had moved a significant distance, all in a north east direction: Hypogymnia physodes (L.) Nyl. and Vulpicida pinastri (Scop.) J.-E. Mattsson and M. J. Lai on the tree species Juniperus communis L. (50 and 151 km, respectively) and H. physodes on Pinus sylvestris L. (41 km). Considering also the non-significant cases, there is strong evidence for a prevailing NE direction of centroid movement.</p>

The study presented in this thesis aims to implement and evaluate three different features for the recognition of human activities (HAR). A feature is a piece of information appropriately extracted from raw data that is relevant for solving a particular task. With HAR is meant that discipline able to automatically recognize the activity carried out by an agent through the collection of data. These systems can be realized by exploiting data of different kinds and coming from different sources. Within this study, it was decided to use visual data from properly recorded videos. Each feature is analyzed and evaluated in every detail and finally implemented in a project that uses the most famous and used computer vision and machine learning libraries. The effectiveness of each is evaluated through two different datasets recognized by the scientific community. Each feature was evaluated not only for its performance but also for the computational cost involved in the extraction. The final analysis is therefore the result of a compromise between results obtained and costs to be incurred.

In this thesis, contributions are presented in the areas of shape parsing for view-based object recognition and spatio-temporal feature description for action recognition. A probabilistic model for parsing shapes into several distinguishable parts for accurate shape recognition is presented. This approach is based on robust geometric features that permit high recognition accuracy. As the second contribution in this thesis, a binary spatio-temporal feature descriptor is presented. Recent work shows that binary spatial feature descriptors are effective for increasing the efficiency of object recognition, while retaining comparable performance to state of the art descriptors. An extension of these approaches to action recognition is presented, facilitating huge gains in efficiency due to the computational advantage of computing a bag-of-words representation with the Hamming distance. A scene's motion and appearance is encoded with a short binary string. Exploiting the binary makeup of this descriptor greatly increases the efficiency while retaining competitive recognition performance.

This thesis proposes a new model for describing spatio-temporally deforming objects. Through a novel use of Fourier descriptors, it is shown how arbitrary shape description can be extended to include spatio-temporal shape deformation. It is further demonstrated that these new spatio-temporal Fourier descriptors have the ability to be used as the basis for both the recognition and extraction of deforming objects. Application of this new recognition technique to human gait sequences demonstrates recognition rates of over 86% for individual human subjects, signifying that these descriptors possess unique descriptive properties. Based upon the new spatio-temporal Fourier descriptor model, a new technique for the detection and extraction of deforming shapes from an image sequence is presented through a new variant of the Hough transform (the Continuous Deformable Hough Transform) that utilises spatio-temporal shape correlation within an evidence-gathering context. This new technique demonstrates excellent success rates and tolerance to noise, correctly extracting human subjects in image sequences corrupted with noise levels of up to 80%. The technique is also tested extensively using real-world data, thus demonstrating its worth in a modern-day computer vision system. Both the spatio-temporal Fourier descriptor model, the Continuous Deformable Hough Transform, and aspects of their application are fully discussed throughout the thesis, along with ideas and suggestions for future research and development.

Cette etude se situe dans le domaine de la representation des connaissances et de la formalisation du raisonnement sur l'action. Notre contribution s'interesse particulierement a la localisation d'un mobile a partir d'une description de son itineraire. Nous considerons une scene constituee d'un ensemble de lieux de reference par rapport auxquels un mobile est localise. Deux relations de localisation sont possibles etre a l'interieur ou etre a l'exterieur d'un lieu. L'itineraire du mobile est decrit a travers sa localisation a differents instants, et a travers des actions de deplacements du type entrer ou sortir d'un lieu. Le probleme qui se pose est : que peut-on deduire sur la localisation du mobile a differents instants? deux axes ont ete developpes. Le premier concerne l'etude des problemes de representation de la localisation du mobile par rapport aux lieux, ainsi que la nature spatio-temporelle des deplacements du mobile. Une theorie spatio-temporelle a ainsi ete proposee pour la description de l'evolution d'un mobile par rapport a un ensemble de lieux. Le deuxieme axe developpe concerne l'etude de la representation logique des actions et de leurs effets et particulierement les problemes du decor, de la ramification, du non determinisme et de la concurrence des actions. Une comparaison des differents formalismes dans ce domaine a ete realisee. Nous avons egalement propose un systeme de raisonnement em (modelisation d'evenements), base sur la notion de dependance entre une action et l'etat d'une propriete, et qui permet de resoudre ces differents problemes. Le systeme em constitue la base formelle permettant de decrire les actions de deplacements (entrer et sortir), les lois sur le comportement du mobile, et les hypotheses concernant l'interpretation d'une description. Nous montrons ensuite que les deductions obtenues sont conformes a nos intuitions et au raisonnement de sens commun (suivant la specification de la classe de scenarios etudiee).

L’objectif de cette thèse est de d’écrire l’évolution du produit dans les trois dimensions (spatiale, temporelle et spatio-temporelle). Dans le contexte industriel actuel, les modèles produit sont considérés uniquement du point de vue spatial pendant la phase de conception et du point de vue temporel pendant la phase d’assemblage. Le manque de lien entre le produit et le process mène à des incompréhensions de définition de produit et entraine de mauvaises interprétations en conception. Cependant, le produit ´évolue à travers le temps et subit des changements tout au long des phases de conception et d’assemblage. L’aspect dynamique des activités de conception nécessite de lier ces deux dimensions afin de pouvoir représenter l’évolution du produit et avoir une cohérence des informations. Par conséquent, la dimension spatio-temporelle (i.e. permettant de lier l’espace et le temps) a besoin d’être ajoutée et les relations entre la modélisation du produit et sa séquence d’assemblage ont besoin d’être particulièrement étudiées. Cette thèse en mécanique et conception s’est inspirée de divers domaines comme la gestion des connaissances, les systèmes d’information géographique et la philosophie. Ici le produit est considéré d’un point de vue perdurantiste. Le perdurantisme considère l’objet comme étant compose de tranches temporelles et gardant toujours la même identité quelque soit le changement subi. D’après les précédentes déclarations, cette thèse introduit une nouvelle description du couple produit-process afin d’assurer la compréhension des intentions de conception aux acteurs projet. Dans le but d’atteindre cet objectif, une théorie mereotopologique, permettant de d´écrire le produit comme perçu dans la réalité, et de développée et implémentée dans un modèle ontologique pour être formalisée. La théorie JANUS d´écrit qualitativement l’évolution du produit à travers le temps dans un contexte de conception orientée assemblage, permettant l’intégration de la séquence d’assemblage d`es le début du processus de conception. La théorie permet la description formelle des relations liant les informations et connaissances du couple produit-process. Ces efforts ont pour but d’apporter une base concrète pour la description des changements d’entités spatiales (telles que les composants) et leurs relations `a travers l’espace et le temps. Cette théorie basée sur les régions lie les dimensions spatiale, temporelle et spatio-temporelle et apporte donc une vision perdurantiste en conception de produit. Ensuite, PRONOIA2 – une ontologie formelle basée sur la précédente théorie –développée. De ce fait, les informations liées à l’assemblage sont rendues accessibles et exploitables par des systèmes de gestion d’information et les outils de XAO afin de supporter les activités de l’architecte produit et du concepteur. En effet, les informations et connaissances liées à la conception de produit, ainsi que la séquence d’assemblage associée, ont besoin d’une fondation sémantique et logique afin d’être gérées de manière cohérente et proactive. Suite au développement de la théorie JANUS et de l’ontologie PRONOIA2, l’approche proposée permet d’associer les informations spatiales (gérées par le PDM) et les informations temporelles (gérées par le MPM) à travers des relations mereotopologiques spatio-temporelles. Par conséquent, de nouvelles entités doivent être gérées dans le PLM, en utilisant notamment l’ontologie et un système hub, afin d’assurer un maintien des principes d’ingénierie proactives et améliorer la compréhension de l’architecte produit et du concepteur concernant l’ évolution du produit<br>The major goal of this research is to describe product evolution in the three dimensions (i.e. spatial, temporal andspatiotemporal). In the current industrial context, product models are only considered from a purely spatial point ofview during the design stage and from a purely temporal point of view during the assembly stage. The lack of linkbetween product and process leads to misunderstanding in engineering definition and causes wrong designinterpretation. However, the product undergoes changes throughout the design and assembly phases. The dynamicaspect of design activities requires linking both dimensions in order to be able to represent product evolution andhave consistent information. As such, spatiotemporal dimension (i.e. linking space and time) needs to be added andrelationships between product modelling and assembly sequences need to be particularly studied.This PhD thesis in mechanical design draws inspiration from several domains such as mathematics, geographicinformation systems and philosophy. Here the product is considered from a perdurantist point of view. Perdurantismregards the object as being composed of temporal slices and always keeping the same identity whatever changesundergone. Based on this statement, this PhD thesis introduces a novel product-process description so as to ensureproduct architect's and designer's understanding of design intents at the early design stages. In order to achieve thisobjective, a mereotopological theory, enabling the product description as it is perceived in the real world, has beendeveloped and implemented in an ontology model to be formalized.The JANUS theory qualitatively describes product evolution over time in the context of AOD, integrating assemblysequence planning in the early product design stages. The theory enables the formal relationships description ofproduct-process design information and knowledge. The proposed efforts aim at providing a concrete basis fordescribing changes of spatial entities (i.e. product parts) and their relationships over time and space. This regionbasedtheory links together spatial, temporal and spatiotemporal dimensions, therefore leading to a perdurantistphilosophy in product design.Then, PRONOIA2 - a formal ontology based on the previous mereotopological theory - is developed. Assemblyinformation is accessible and exploitable by information management systems and computer-aided X tools in orderto support product architects and designer's activities. Indeed product design information and knowledge as well asthe related assembly sequence require a semantic and logical foundation in order to be managed consistently andprocessed proactively.Based on JANUS theory and PRONOIA2 ontology, the MERCURY approach enables associating spatial information(managed by PDM) and temporal information (managed by MPM) through spatiotemporal mereotopologicalrelationships. Therefore, new entities are managed through PLM, using ontology and hub system, so as to ensureproactive engineering and improve product architects' and designers' understanding of product evolution