Дисертації з теми "Spatial scalability"

Modern geographical databases store a rich set of aspatial attributes in addition to geographic data. Retrieving spatial records constrained on spatial and aspatial attributes provides users the ability to perform more interesting spatial analyses via composite spatial searches; e.g., in a real estate database, "Find the nearest homes for sale to my current location that have backyard and whose prices are between $50,000 and $80,000". Efficient processing of such composite searches requires combined indexing strategies of multiple types of data. Existing spatial query engines commonly apply a two-filter approach (spatial filter followed by non-spatial filter, or viceversa), which can incur large performance overheads. On the other hand, the amount of geolocation data in databases is rapidly increasing due in part to advances in geolocation technologies (e.g., GPS- enabled mobile devices) that allow to associate location data to nearly every object or event. Hence, practical spatial databases may face data ingestion challenges of large data volumes. In this dissertation, we first show how indexing spatial data with R-trees (a typical data pre- processing task) can be scaled in MapReduce – a well-adopted parallel programming model, developed by Google, for data intensive problems. Close to linear scalability was observed in index construction tasks over large spatial datasets. Subsequently, we develop novel techniques for simultaneously indexing spatial with textual and numeric data to process k-nearest neighbor searches with aspatial Boolean selection constraints. In particular, numeric ranges are compactly encoded and explicitly indexed. Experimental evaluations with real spatial databases showed query response times within acceptable ranges for interactive search systems.

[Truncated abstract] This research addresses endemic problems in the fields of computer graphics and simulation such as jittery motion, spatial scalability, rendering problems such as z-buffer tearing, the repeatability of physics dynamics and numerical error in positional systems. Designers of simulation and computer graphics software tend to map real world navigation rules onto the virtual world, expecting to see equivalent virtual behaviour. After all, if computers are programmed to simulate the real world, it is reasonable to expect the virtual behaviour to correspond. However, in computer simulation many behaviours and other computations show measurable problems inconsistent with realworld experience, particularly at large distances from the virtual world origin. Many of these problems, particularly in rendering, can be imperceptible, so users may be oblivious to them, but they are measurable using experimental methods. These effects, generically termed spatial jitter in this thesis, are found in this study to stem from floating point error in positional parameters such as spatial coordinates. This simulation error increases with distance from the coordinate origin and as the simulation progresses through the pipeline. The most common form of simulation error relevant to this study is spatial error which is found by this thesis to not be calculated, as may be expected, using numerical relative error propagation rules but using the rules of geometry. ... The thesis shows that the thinking behind real-world rules, such as for navigation, has to change in order to properly design for optimal fidelity simulation. Origincentric techniques, formulae, terms, architecture and processes are all presented as one holistic solution in the form of an optimised simulation pipeline. The results of analysis, experiments and case studies are used to derive a formula for relative spatial error that accounts for potential pathological cases. A formula for spatial error propagation is then derived by using the new knowledge of spatial error to extend numerical relative error propagation mathematics. Finally, analytical results are developed to provide a general mathematical expression for maximum simulation error and how it varies with distance from the origin and the number of mathematical operations performed. We conclude that the origin centric approach provides a general and optimal solution to spatial jitter. Along with changing the way one thinks about navigation, process guidelines and formulae developed in the study, the approach provides a new paradigm for positional computing. This paradigm can improve many aspects of computer simulation in areas such as entertainment, visualisation for education, industry, science, or training. Examples are: spatial scalability, the accuracy of motion, interaction and rendering; and the consistency and predictability of numerical computation in physics. This research also affords potential cost benefits through simplification of software design and code. These cost benefits come from some core techniques for minimising position dependent error, error propagation and also the simplifications and from new algorithms that flow naturally out of the core solution.

La visualisation interactive est un outil essentiel pour l'exploration, la compréhension et l'analyse de données. L'exploration interactive efficace de jeux de données grands ou complexes présente cependant deux difficultés fondamentales. La première est visuelle et concerne les limitations de la perception et cognition humaine, ainsi que celles des écrans. La seconde est computationnelle et concerne les limitations de capacité mémoire ou de traitement des machines standards. Dans cette thèse, nous nous intéressons aux techniques de passage à l'échelle relativement à ces deux difficultés, pour plusieurs contextes d'application.Pour le passage à l'échelle visuelle, nous présentons une approche versatile de mise en évidence de sous-ensembles d'éléments par déformation spatiale appliquée aux vues multiples et une représentation abstraite et multi-/échelle de coordonnées parallèles. Sur les vues multiples, la déformation spatiale vise à remédier à la diminution de l'efficacité de la surbrillance lorsque les éléments graphiques sont de taille réduite. Sur les coordonnées parallèles, l'abstraction multi-échelle consiste à simplifier la représentation tout en permettant d'accéder interactivement au détail des données, en les pré-agrégeant à plusieurs niveaux de détail.Pour le passage à l'échelle computationnelle, nous étudions des approches de pré-calcul et de calcul à la volée sur des infrastructures distribuées permettant l'exploration de jeux de données de plus d'un milliard d'éléments en temps interactif. Nous présentons un système pour l'exploration de données multi-dimensionnelles dont les interactions et l'abstraction respectent un budget en nombre d'éléments graphiques qui, en retour, fournit une borne théorique sur les latences d'interactions dues au transfert réseau entre client et serveur. Avec le même objectif, nous comparons des stratégies de réduction de données géométrique pour la reconstruction de cartes de densité d'ensembles de points
Interactive visualization is helpful for exploring, understanding, and analyzing data. However, increasingly large and complex data challenges the efficiency of visualization systems, both visually and computationally. The visual challenge stems from human perceptual and cognitive limitations as well as screen space limitations while the computational challenge stems from the processing and memory limitations of standard computers.In this thesis, we present techniques addressing the two scalability issues for several interactive visualization applications.To address visual scalability requirements, we present a versatile spatial-distortion approach for linked emphasis on multiple views and an abstract and multi-scale representation based on parallel coordinates. Spatial distortion aims at alleviating the weakened emphasis effect of highlighting when applied to small-sized visual elements. Multiscale abstraction simplifies the representation while providing detail on demand by pre-aggregating data at several levels of detail.To address computational scalability requirements and scale data processing to billions of items in interactive times, we use pre-computation and real-time computation on a remote distributed infrastructure. We present a system for multi-/dimensional data exploration in which the interactions and abstract representation comply with a visual item budget and in return provides a guarantee on network-related interaction latencies. With the same goal, we compared several geometric reduction strategies for the reconstruction of density maps of large-scale point sets

De nos jours, avec l’émergence d’objets et de voitures connectés, les systèmes de trafic routier deviennent de plus en plus complexes et présentent des comportements hiérarchiques à plusieurs niveaux de détail. L'approche de modélisation multiniveaux est une approche appropriée pour représenter le trafic sous plusieurs perspectives. Les modèles multiniveaux constituent également une approche appropriée pour modéliser des systèmes complexes à grande échelle comme le trafic routier. Cependant, la plupart des modèles multiniveaux de trafic proposés dans la littérature sont statiques car ils utilisent un ensemble de niveaux de détail prédéfinis et ces représentations ne peuvent pas commuter pendant la simulation. De plus ces modèles multiniveaux considèrent généralement seulement deux niveaux de détail. Très peu de travaux se sont intéressés à la modélisation dynamique multiniveau de trafic.Cette thèse propose un modèle holonique multiniveau et dynamique du trafic à grande échelle.La commutation dynamique des niveaux de détail lors de l’exécution de la simulation permet d’adapter le modèle aux contraintes liées à la qualité des résultats ou aux ressources de calcul disponibles.La proposition étend l'algorithme DBSCAN dans le contexte des systèmes multi-agents holoniques. De plus, une méthodologie permettant la commutation dynamique entre les différents niveaux de détail est proposée. Des indicateurs multiniveaux basés sur l'écart type sont aussi proposés afin d'évaluer la cohérence des résultats de la simulation
Nowadays, with the emergence of connected objects and cars, road traffic systems become more and more complex and exhibit hierarchical behaviours at several levels of detail. The multilevel modeling approach is an appropriate approach to represent traffic from several perspectives. Multilevel models are also an appropriate approach to model large-scale complex systems such as road traffic. However, most of the multilevel models of traffic proposed in the literature are static because they use a set of predefined levels of detail and these representations cannot change during simulation. Moreover, these multilevel models generally consider only two levels of detail. Few works have been interested on the dynamic multilevel traffic modeling.This thesis proposes a holonic multilevel and dynamic traffic model for large scale traffic systems. The dynamic switching of the levels of detail during the execution of the simulation allows to adapt the model to the constraints related to the quality of the results or to the available computing resources.The proposal extends the DBSCAN algorithm in the context of holonic multi-agent systems. In addition, a methodology allowing a dynamic transition between the different levels of detail is proposed. Multilevel indicators based on standard deviation are also proposed in order to assess the consistency of the simulation results

Les processeurs et multiprocesseurs actuels sont presque tous basés sur le paradigme Von Neumann. Grâce à ce paradigme, il est aisé de construire un processeur généraliste avec peu de transistors. L'accroissement en performance des processeurs Von Neumann a été majoritairement dû au formidable accroissement en fréquence qu'ont connu les technologies silicium. Dans la mesure où ces fréquences pourraient ne plus augmenter aussi vite qu'auparavant, beaucoup de travaux de recherche accordent aux architectures parallèles sur une même puce la capacité d'exploiter efficacement le nombre croissant de transistors. Dans cette thèse, nous introduisons d'abord un nouveau modèle de calcul, le "Blob Computing", combinant une architecture et un langage, tous les deux intrinsèquement conçus pour exploiter l'espace. A travers l'étude de ce paradigme, nous montrons que la remise en question de quelques principes à la base des machines Von Neumann permet potentiellement de dépasser certaines limitations majeures des architectures actuelles. Enfin, nous proposons une implémentation des concepts généraux du "Blob Computing" vers une architecture plus réaliste (processeurs multithreads). Nous attirons l'attention, grâce à cette implémentation, sur le fait que les efforts de recherche devront se concentrer sur l'obtention d'un équilibre entre le travail fourni par l'architecture, par le compilateur, et par l'utilisateur. En particulier, nous montrons qu'enrichir la sémantique parallèle passée par l'utilisateur dans son programme et donner à l'architecture le moyen d'exploiter cette sémantique constitue une voie prometteuse pour la scalabilité des futurs processeurs
Current processor and multiprocessor architectures are almost all based on the Von Neumann paradigm. Based on this paradigm, one can build a general-purpose computer using very few transistors. The performance improvement of Von Neumann processors was mainly due to the increase in clock frequency of silicon technologies. Because clock frequency may no longer increase as quickly, there is a growing consensus on on-chip concurrent architectures being a major route for the efficient exploitation of an increasing number of transistors. In this thesis, we first introduce a new computing model, the “Blob Computing” defining both an architecture and a language, that is intrinsically designed to exploit space. Through this model, we also want to outline that revisiting some of the principles of today's computing paradigm has the potential of overcoming major limitations of current architectures. Finaly, we propose an implementation of the “Blob Computing” main ideas on more traditional architectures (multithreaded processors). Thanks to this implementation, we advocate that research efforts should further focus on striking the right balance between architecture, compiler and user effort. Especially, we show that letting the user reasonably effortlessly pass information on program parallel properties and making the architecture ``aware'' of this additional information is a promising path for futur processors scalability

The research presented in this thesis aims to extend the scalability range of the wavelet-based video coding systems in order to achieve fully scalable coding with a wide range of available decoding points. Since the temporal redundancy regularly comprises the main portion of the global video sequence redundancy, the techniques that can be generally termed motion decorrelation techniques have a central role in the overall compression performance. For this reason the scalable motion modelling and coding are of utmost importance, and specifically, in this thesis possible solutions are identified and analysed. The main contributions of the presented research are grouped into two interrelated and complementary topics. Firstly a flexible motion model with rateoptimised estimation technique is introduced. The proposed motion model is based on tree structures and allows high adaptability needed for layered motion coding. The flexible structure for motion compensation allows for optimisation at different stages of the adaptive spatio-temporal decomposition, which is crucial for scalable coding that targets decoding on different resolutions. By utilising an adaptive choice of wavelet filterbank, the model enables high compression based on efficient mode selection. Secondly, solutions for scalable motion modelling and coding are developed. These solutions are based on precision limiting of motion vectors and creation of a layered motion structure that describes hierarchically coded motion. The solution based on precision limiting relies on layered bit-plane coding of motion vector values. The second solution builds on recently established techniques that impose scalability on a motion structure. The new approach is based on two major improvements: the evaluation of distortion in temporal Subbands and motion search in temporal subbands that finds the optimal motion vectors for layered motion structure. Exhaustive tests on the rate-distortion performance in demanding scalable video coding scenarios show benefits of application of both developed flexible motion model and various solutions for scalable motion coding.

La standardisation du dernier format vidéo en date, appelé Ultra-High Definition TV (UHDTV), vise à améliorer la qualité l’expérience des utilisateurs en introduisant de nouvelles technologies telles que la 4K ou le High Frame-Rate (HFR). Cependant, ces améliorations multiplient la quantité de données à traiter avant transmission du signal par un facteur 8. En plus de ce nouveau format, les fournisseurs de contenu doivent aussi encoder les vidéos dans des formats et à des débits différents du fait de la grande variété des systèmes et réseaux utilisés par les consommateurs. SHVC, l’extension scalable du dernier standard de compression video High Efficiency Video Coding (HEVC) est une solution prometteuse pour adresser ces problématiques. En revanche, son architecture, très demandeuse en termes de calculs, atteint ses limites lors de l’encodage des nouveaux formats vidéo immersifs tels que le standard UHDTV.L’objectif de cette thèse est donc d’étudier des approches de codage scalables et légères basées sur l’adaptation de la résolution spatio-temporelle des vidéos. La première partie de cette thèse propose deux algorithmes de pré-traitement, utilisant respectivement des approches polyphase et ondelette basées image, afin de permettre la scalabilité spatiale avec une faible augmentation de la complexité.Ensuite, dans un second lieu, le design d’une architecture scalable à deux couches, plus conventionnelle, est étudié. Celle-ci est composée d’un encodeur HEVC standard dans la couche de base pour assurer la compatibilité avec les systèmes existants. Pour la couche d’amélioration, un encodeur basse complexité, se basant sur l’adaptation locale de la résolution spatiale, est proposé. Enfin, la dernière partie de cette thèse se focalise sur l’adaptation de la résolution spatio-temporelle. Un algorithme faisant varier la fréquence image est d’abord proposé. Cet algorithme est capable de détecter localement et de façon dynamique la fréquence image la plus basse n’introduisant pas d’artefacts visibles liés au mouvement. Les algorithmes de fréquence image variable et de résolution spatiale adaptative sont ensuite combinés afin d’offrir un codage scalable à faible complexité des contenus 4KHFR
The definition of the latest Ultra-High Definition TV (UHDTV) standard aims to increase the user’s quality of experience by introducing new video signal features such as 4K and High Frame-Rate (HFR). However, these new features multiply by a factor 8 the amount of data to be processed before transmission to the end user.In addition to this new format, broadcasters and Over-The-Top (OTT) content providers have to encode videos in different formats and at different bitrates due to the wide variety of devices with heterogeneous video format and network capacities used by consumers.SHVC, the scalable extension of the latest video coding standard High Efficiency Video Coding (HEVC) is a promising solution to address these issues but its computationally demanding architecture reaches its limit with the encoding and decoding of the data-heavy newly introduced immersive video features of the UHDTV video format.The objective of this thesis is thus to investigate lightweight scalable encoding approaches based on the adaptation of the spatio-temporal resolution. The first part of this document proposes two pre-processing tools, respectively using polyphase and wavelet frame-based approaches, to achieve spatial scalability with a slight complexity overhead.Then, the second part of this thesis addresses the design of a more conventional dual-layer scalable architecture using an HEVC encoder in the Base Layer (BL) for backward compatibility and a proposed low-complexity encoder, based on the local adaptation of the spatial resolution, for the Enhancement Layer (EL).Finally, the last part of this thesis investigates spatiotemporal resolution adaptation. A variable frame-rate algorithm is first proposed as pre-processing. This solution has been designed to locally and dynamically detect the lowest frame-rate that does not introduce visible motion artifacts. The proposed variable frame-rate and adaptive spatial resolution algorithms are then combined to offer a lightweight scalable coding of 4K HFR video contents

La recherche et l'indexation de données en fonction d'une date ou d'une zone géographique permettent le partage et la découverte d'informations géolocalisées telles que l'on en trouve sur les réseaux sociaux comme Facebook, Flickr, ou Twitter. Cette réseau social connue sous le nom de Location Based Social Network (LBSN) s'applique à des millions d'utilisateurs qui partagent et envoient des requêtes ciblant des zones spatio-temporelles, permettant d'accéder à des données géolocalisées générées dans une zone géographique et dans un intervalle de temps donné. Un des principaux défis pour de telles applications est de fournir une architecture capable de traiter la multitude d'insertions et de requêtes spatio-temporelles générées par une grande quantité d'utilisateurs. A ces fins, les Tables de Hachage Distribué (DHT) et le paradigme Pair-à-Pair (P2P) sont autant de primitives qui forment la base pour les applications de grande envergure. Cependant, les DHTs sont mal adaptées aux requêtes ciblant des intervalles donnés; en effet, l'utilisation de fonctions de hachage sacrifie la localité des données au profit d'un meilleur équilibrage de la charge. Plusieurs solutions ajoutent le support de requêtes ciblant des ensembles aux DHTs. En revanche ces solutions ont tendance à générer un nombre de messages et une latence élevée pour des requêtes qui ciblent des intervalles. Cette thèse propose deux solutions à large échelle pour l'indexation des données géolocalisées
Indexing and retrieving data by location and time allows people to share and explore massive geotagged datasets observed on social networks such as Facebook, Flickr, and Twitter. This scenario known as a Location Based Social Network (LBSN) is composed of millions of users, sharing and performing location-temporal range queries in order to retrieve geotagged data generated inside a given geographic area and time interval. A key challenge is to provide a scalable architecture that allow to perform insertions and location-temporal range queries from a high number of users. In order to achieve this, Distributed Hash Tables (DHTs) and the Peer-to-Peer (P2P) computing paradigms provide a powerful building block for implementing large scale applications. However, DHTs are ill-suited for supporting range queries because the use of hash functions destroy data locality for the sake of load balance. Existing solutions that use a DHT as a building block allow to perform range queries. Nonetheless, they do not target location-temporal range queries and they exhibit poor performance in terms of query response time and message traffic. This thesis proposes two scalable solutions for indexing and retrieving geotagged data based on location and time

Les progrès récents dans le domaine des schémas de codage vidéo par ondelettes ont permis l'apparition d'une nouvelle génération de codeurs vidéo scalables dont l'efficacité est comparable à celle des meilleurs codecs hybrides. Ces schémas sont qualifiés de t+2D et reposent sur l'utilisation d'une transformée en ondelettes appliquée le long du mouvement des images afin d exploiter leur redondance temporelle. Les sous-bandes résultantes sont alors décomposées spatialement et encodées par un codeur entropique. Grâce à la représentation multirésolution inhérente, les codeurs basés-ondelettes ont la capacité de fournir une description scalable d'un signal. Ceci représente la raison principale pour laquelle le choix du paradigme du codage lifting t+2D basé-ondelettes s'impose comme cadre conceptuel de développement pour les travaux dans cette thèse. L'objectif de ces travaux consiste en l'analyse et la conception d'un système de codage vidéo scalable. Dans un premier temps, nous nous intéressons à la construction et l'optimisation de nouvelles transformées temporelles compensées en mouvement, dans le but d'augmenter l'efficacité objective et subjective du codage. En outre, nous décrivons une meilleure représentation pour les sous-bandes temporelles en utilisant des décompositions spatiales anisotropes. Enfin, nous proposons une methode d'amélioration du codage entropique en concevant une solution basée sur la théorie des graphes, afin d'optimiser la minimisation du Lagrangien débit-distorsion
The recent progress in wavelet-based video coding led to the emergence of a new generation of scalable video schemes, whose performance is comparable to that of the best hybrid codecs. The t+2D subband coding methods exploit the temporal interframe redundancy by applying an open-loop temporal wavelet transform over the frames of a video sequence. The temporally-filtered subband frames are further spatially decomposed and entropy coded. Due to their inherent multiresolution signal representation, wavelet-based coding schemes have the potential to support temporal, spatial and SNR scalability. This is the main reason for chosing the scalable lifting-based wavelet-coding paradigm as the conceptual development framework for this thesis work. The objective of this thesis consists of the analysis and design of an efficient scalable video-coding system. In a first time, we are interested in the construction and optimization of motion-compensated temporal coding schemes, in order to enhance both the objective and subjective coding quality. Moreover, we describe a better representation of the temporal subbands by using anisotropic spatial decompositions. Finally, we improve the entropy coding by designing a graph-cut solvable energy functional for the Lagrangian rate-distortion optimization problem

Depuis une dizaine d’années, des techniques de codage joint, exploitant les relations et les redondances entre canaux audios, ont été développées afin de réduire davantage la quantité d’information nécessaire à la représentation des signaux multicanaux. Dans cette thèse, nous étudions plus particulièrement le codage des signaux audio stéréo en l’absence d’informations à priori sur la nature des sources en présences, leur nombre et la manière dont elles sont spatialisées. Cette situation correspond à l’immense majorité des enregistrements commerciaux dans l’industrie de la musique et du multimédia de manière générale. Nous étudions des approches paramétrique et signal de la problématique de codage de ces sources, où les deux sont souvent mêlées. Dans ce contexte, trois types d’approches sont utilisés. L’approche paramétrique spatiale consiste à réduire le nombre de canaux audio de la source à coder et à recréer le nombre de canaux d’origine à partir des canaux réduits et de paramètres spatiaux, extraits des canaux d’origine. L’approche signal conserve le nombre de canaux d’origine, mais encode des canaux construits à partir de ces derniers et présentant moins de redondances. Enfin, l’approche mixte introduite dans MPEG USAC utilise un signal audio et un signal résiduel, issu d’une prédiction, et dont les paramètres sont codés conjointement. Dans cette thèse, nous analysons tout d’abord les caractéristiques d’un signal stéréo issu d’un enregistrement commercial et les techniques de production associées. Cette étude nous mène à une réflexion sur les rapports entre les modèles paramétriques d’émetteur, obtenus en analysant les techniques de production des enregistrements commerciaux, et les modèles de récepteur qui sont au coeur du codage spatial paramétrique. A partir de cette mise en perspective nous présentons et étudions les trois approches évoquées plus haut. Pour l’approche purement paramétrique, nous montrons l’impossibilité d’arriver à la transparence pour la majorité des sources audios, nous menons une réflexion sur les représentations paramétriques et proposons des techniques afin de réduire le débit de leurs paramètres et d’améliorer la qualité audio. Ces améliorations passent par une meilleur segmentation du signal audio, basée sur les transitoires, sur des caractéristiques perceptives de certains indices spatiaux et sur une meilleur estimation des indices spatiaux. L’approche mixte étant récemment standardisée dans MPEG USAC, nous l’étudions en détail, puis nous proposons une nouvelle technique de codage qui exploite au mieux l’allocation du résidu aux bandes fréquentielles, lorsque celui-ci n’est pas utilisé sur l’ensemble de la bande passante du signal. Enfin, nous concluons en évoquant l’avenir du codage audio spatial généraliste et mettons l’accent sur l’importance de développer des techniques de classification et de segmentation audio pour optimiser le rapport qualité/débit
During the last ten years, technics for joint coding exploiting relations and redundancies between channels have been developped in order to further reduce the amount of information needed to represent multichannel audio signals.In this document, we focus on the coding of stereo audio signals where prior informations on the nature of sources in presence, their number or the manner they are spatialized is unknown. Such signals are actually the most representative in commercial records of music industry and in multimedia entertainment in general. To address the coding problematic of these signals, we study parametric and signal approaches, where both of them are often mixed.In this context, three types of approaches are used. The spatial parametric approach reduce the number of audio channels of the signal to encode and recreate the original number of channels from reduced channels and spatial parameters extracted from original channels. The signal approach keep the original number of channels, but encode mono signals, built from the combination of the original ones and containing less redundancies. Finally, the hybrid approach introduced in the MPEG USAC standard keep the two channels of a stereo signal, but one is a mono downmix and the other is a residual signal, resulting from a prediction on the downmix, where prediction parameters are encoded as side information.In this document, we first analyse the characteristics of a stereo audio signal coming from a commercial recording and the associated production techniques. This study lead us to consider the relations between the emitter parametric models, elaborated from our analysis of commercial recording production techniques, and the receiver models which are the basis of spatial parametric coding. In the light of these considerations, we present and study the three approaches mentioned earlier. For the parametric approach, we show that transparency cannot be achieved for most of the stereo audio signals, we have a reflection on parametric representations and we propose techniques to improve the audio quality and further reduce the bitrate of their parameters. These improvements are obtained by applying a better segmentation on the signal, based on the significant transient, by exploiting perceptive characteristics of some spatial cues and by adapting the estimation of spatial cues. As the hybrid approach has been recently standardized in MPEG USAC, we propose a full review of it, then we develop a new coding technique to optimize the allocation of the residual bands when the residual is not used on the whole bandwidth of the signal to encode. In the conclusion, we discuss about the future of the general spatial audio coding and we show the importance of developping new technics of segmentation and classification for audio signals to further adapt the coding to the content of the signal

La diffusion de données multimédia, et particulièrement les images, continuent à croitre de manière très significative. La recherche de schémas de codage efficaces des images reste donc un domaine de recherche très dynamique. Aujourd'hui, une des technologies innovantes les plus marquantes dans ce secteur est sans doute le passage à un affichage 3D. La technologie 3D est largement utilisée dans les domaines de divertissement, d'imagerie médicale, de l'éducation et même plus récemment dans les enquêtes criminelles. Il existe différentes manières de représenter l'information 3D. L'une des plus répandues consiste à associer à une image classique dite de texture, une image de profondeur de champs. Cette représentation conjointe permet ainsi une bonne reconstruction 3D dès lors que les deux images sont bien corrélées, et plus particulièrement sur les zones de contours de l'image de profondeur. En comparaison avec des images 2D classiques, la connaissance de la profondeur de champs pour les images 3D apporte donc une information sémantique importante quant à la composition de la scène. Dans cette thèse, nous proposons un schéma de codage scalable d'images 3D de type 2D + profondeur avec des fonctionnalités avancées, qui préserve toute la sémantique présente dans les images, tout en garantissant une efficacité de codage significative. La notion de préservation de la sémantique peut être traduite en termes de fonctionnalités telles que l'extraction automatique de zones d'intérêt, la capacité de coder plus finement des zones d'intérêt par rapport au fond, la recomposition de la scène et l'indexation. Ainsi, dans un premier temps, nous introduisons un schéma de codage scalable et joint texture/profondeur. La texture est codée conjointement avec la profondeur à basse résolution, et une méthode de compression de la profondeur adaptée aux caractéristiques des cartes de profondeur est proposée. Ensuite, nous présentons un schéma global de représentation fine et de codage basé contenu. Nous proposons ainsi schéma global de représentation et de codage de "Profondeur d'Intérêt", appelé "Autofocus 3D". Il consiste à extraire finement des objets en respectant les contours dans la carte de profondeur, et de se focaliser automatiquement sur une zone de profondeur pour une meilleure qualité de synthèse. Enfin, nous proposons un algorithme de segmentation en régions d'images 3D, fournissant une forte consistance entre la couleur, la profondeur et les régions de la scène. Basé sur une exploitation conjointe de l'information couleurs, et celle de profondeur, cet algorithme permet la segmentation de la scène avec un degré de granularité fonction de l'application visée. Basé sur cette représentation en régions, il est possible d'appliquer simplement le même principe d'Autofocus 3D précédent, pour une extraction et un codage de la profondeur d'Intérêt (DoI). L'élément le plus remarquable de ces deux approches est d'assurer une pleine cohérence spatiale entre texture, profondeur, et régions, se traduisant par une minimisation des problèmes de distorsions au niveau des contours et ainsi par une meilleure qualité dans les vues synthétisées
Dissemination of multimedia data, in particular the images, continues to grow very significantly. Therefore, developing effective image coding schemes remains a very active research area. Today, one of the most innovative technologies in this area is the 3D technology. This 3D technology is widely used in many domains such as entertainment, medical imaging, education and very recently in criminal investigations. There are different ways of representing 3D information. One of the most common representations, is to associate a depth image to a classic colour image called texture. This joint representation allows a good 3D reconstruction, as the two images are well correlated, especially along the contours of the depth image. Therefore, in comparison with conventional 2D images, knowledge of the depth of field for 3D images provides an important semantic information about the composition of the scene. In this thesis, we propose a scalable 3D image coding scheme for 2D + depth representation with advanced functionalities, which preserves all the semantics present in the images, while maintaining a significant coding efficiency. The concept of preserving the semantics can be translated in terms of features such as an automatic extraction of regions of interest, the ability to encode the regions of interest with higher quality than the background, the post-production of the scene and the indexing. Thus, firstly we introduce a joint and scalable 2D plus depth coding scheme. First, texture is coded jointly with depth at low resolution, and a method of depth data compression well suited to the characteristics of the depth maps is proposed. This method exploits the strong correlation between the depth map and the texture to better encode the depth map. Then, a high resolution coding scheme is proposed in order to refine the texture quality. Next, we present a global fine representation and contentbased coding scheme. Therefore, we propose a representation and coding scheme based on "Depth of Interest", called "3D Autofocus". It consists in a fine extraction of objects, while preserving the contours in the depth map, and it allows to automatically focus on a particular depth zone, for a high rendering quality. Finally, we propose 3D image segmentation, providing a high consistency between colour, depth and regions of the scene. Based on a joint exploitation of the colour and depth information, this algorithm allows the segmentation of the scene with a level of granularity depending on the intended application. Based on such representation of the scene, it is possible to simply apply the same previous 3D Autofocus, for Depth of Interest extraction and coding. It is remarkable that both approaches ensure a high spatial coherence between texture, depth, and regions, allowing to minimize the distortions along object of interest's contours and then a higher quality in the synthesized views

Los sistemas RFID permiten la identificación rápida y automática de etiquetas RFID a través de un canal de comunicación inalámbrico. Dichas etiquetas son dispositivos con cierto poder de cómputo y capacidad de almacenamiento de información. Es por ello que los objetos que contienen una etiqueta RFID adherida permiten la lectura de una cantidad rica y variada de datos que los describen y caracterizan, por ejemplo, un código único de identificación, el nombre, el modelo o la fecha de expiración. Además, esta información puede ser leída sin la necesidad de un contacto visual entre el lector y la etiqueta, lo cual agiliza considerablemente los procesos de inventariado, identificación, o control automático. Para que el uso de la tecnología RFID se generalice con éxito, es conveniente cumplir con varios objetivos: eficiencia, seguridad y protección de la privacidad. Sin embargo, el diseño de protocolos de identificación seguros, privados, y escalables es un reto difícil de abordar dada las restricciones computacionales de las etiquetas RFID y su naturaleza inalámbrica. Es por ello que, en la presente tesis, partimos de protocolos de identificación seguros y privados, y mostramos cómo se puede lograr escalabilidad mediante una arquitectura distribuida y colaborativa. De este modo, la seguridad y la privacidad se alcanzan mediante el propio protocolo de identificación, mientras que la escalabilidad se logra por medio de novedosos métodos colaborativos que consideran la posición espacial y temporal de las etiquetas RFID. Independientemente de los avances en protocolos inalámbricos de identificación, existen ataques que pueden superar exitosamente cualquiera de estos protocolos sin necesidad de conocer o descubrir claves secretas válidas ni de encontrar vulnerabilidades en sus implementaciones criptográficas. La idea de estos ataques, conocidos como ataques de “relay”, consiste en crear inadvertidamente un puente de comunicación entre una etiqueta legítima y un lector legítimo. De este modo, el adversario usa los derechos de la etiqueta legítima para pasar el protocolo de autenticación usado por el lector. Nótese que, dada la naturaleza inalámbrica de los protocolos RFID, este tipo de ataques representa una amenaza importante a la seguridad en sistemas RFID. En esta tesis proponemos un nuevo protocolo que además de autenticación realiza un chequeo de la distancia a la cual se encuentran el lector y la etiqueta. Este tipo de protocolos se conocen como protocolos de acotación de distancia, los cuales no impiden este tipo de ataques, pero sí pueden frustrarlos con alta probabilidad. Por último, afrontamos los problemas de privacidad asociados con la publicación de información recogida a través de sistemas RFID. En particular, nos concentramos en datos de movilidad que también pueden ser proporcionados por otros sistemas ampliamente usados tales como el sistema de posicionamiento global (GPS) y el sistema global de comunicaciones móviles. Nuestra solución se basa en la conocida noción de k-anonimato, alcanzada mediante permutaciones y microagregación. Para este fin, definimos una novedosa función de distancia entre trayectorias con la cual desarrollamos dos métodos diferentes de anonimización de trayectorias.
Els sistemes RFID permeten la identificació ràpida i automàtica d’etiquetes RFID a través d’un canal de comunicació sense fils. Aquestes etiquetes són dispositius amb cert poder de còmput i amb capacitat d’emmagatzematge de informació. Es per això que els objectes que porten una etiqueta RFID adherida permeten la lectura d’una quantitat rica i variada de dades que els descriuen i caracteritzen, com per exemple un codi únic d’identificació, el nom, el model o la data d’expiració. A més, aquesta informació pot ser llegida sense la necessitat d’un contacte visual entre el lector i l’etiqueta, la qual cosa agilitza considerablement els processos d’inventariat, identificació o control automàtic. Per a que l’ús de la tecnologia RFID es generalitzi amb èxit, es convenient complir amb diversos objectius: eficiència, seguretat i protecció de la privacitat. No obstant això, el disseny de protocols d’identificació segurs, privats i escalables, es un repte difícil d’abordar dades les restriccions computacionals de les etiquetes RFID i la seva naturalesa sense fils. Es per això que, en la present tesi, partim de protocols d’identificació segurs i privats, i mostrem com es pot aconseguir escalabilitat mitjançant una arquitectura distribuïda i col•laborativa. D’aquesta manera, la seguretat i la privacitat s’aconsegueixen mitjançant el propi protocol d’identificació, mentre que l’escalabilitat s’aconsegueix per mitjà de nous protocols col•laboratius que consideren la posició espacial i temporal de les etiquetes RFID. Independentment dels avenços en protocols d’identificació sense fils, existeixen atacs que poden passar exitosament qualsevol d’aquests protocols sense necessitat de conèixer o descobrir claus secretes vàlides, ni de trobar vulnerabilitats a les seves implantacions criptogràfiques. La idea d’aquestos atacs, coneguts com atacs de “relay”, consisteix en crear inadvertidament un pont de comunicació entre una etiqueta legítima i un lector legítim. D’aquesta manera, l’adversari utilitza els drets de l’etiqueta legítima per passar el protocol d’autentificació utilitzat pel lector. Es important tindre en compte que, dada la naturalesa sense fils dels protocols RFID, aquests tipus d’atacs representen una amenaça important a la seguretat en sistemes RFID. En aquesta dissertació proposem un nou protocol que, a més d’autentificació, realitza una revisió de la distància a la qual es troben el lector i l’etiqueta. Aquests tipus de protocols es coneixen com a “distance-boulding protocols”, els quals no prevenen aquests tipus d’atacs, però si que poden frustrar-los amb alta probabilitat. Per últim, afrontem els problemes de privacitat associats amb la publicació de informació recol•lectada a través de sistemes RFID. En concret, ens concentrem en dades de mobilitat, que també poden ser proveïdes per altres sistemes àmpliament utilitzats tals com el sistema de posicionament global (GPS) i el sistema global de comunicacions mòbils. La nostra solució es basa en la coneguda noció de privacitat “k-anonymity” i parcialment en micro-agregació. Per a aquesta finalitat, definim una nova funció de distància entre trajectòries amb la qual desenvolupen dos mètodes diferents d’anonimització de trajectòries.
Radio Frequency Identification (RFID) is a technology aimed at efficiently identifying and tracking goods and assets. Such identification may be performed without requiring line-of-sight alignment or physical contact between the RFID tag and the RFID reader, whilst tracking is naturally achieved due to the short interrogation field of RFID readers. That is why the reduction in price of the RFID tags has been accompanied with an increasing attention paid to this technology. However, since tags are resource-constrained devices sending identification data wirelessly, designing secure and private RFID identification protocols is a challenging task. This scenario is even more complex when scalability must be met by those protocols. Assuming the existence of a lightweight, secure, private and scalable RFID identification protocol, there exist other concerns surrounding the RFID technology. Some of them arise from the technology itself, such as distance checking, but others are related to the potential of RFID systems to gather huge amount of tracking data. Publishing and mining such moving objects data is essential to improve efficiency of supervisory control, assets management and localisation, transportation, etc. However, obvious privacy threats arise if an individual can be linked with some of those published trajectories. The present dissertation contributes to the design of algorithms and protocols aimed at dealing with the issues explained above. First, we propose a set of protocols and heuristics based on a distributed architecture that improve the efficiency of the identification process without compromising privacy or security. Moreover, we present a novel distance-bounding protocol based on graphs that is extremely low-resource consuming. Finally, we present two trajectory anonymisation methods aimed at preserving the individuals' privacy when their trajectories are released.

Les limites de l'ondelette séparable standard, dans le cas 2D, sont bien connues. Le support rectangulaire fixe de l'ondelette ne permet pas d'exploiter la géométrie des images et en particulier les corrélations le long de contours courbes. Ceci se traduit par une dispersion de l'énergie des coefficients dans le domaine ondelette et produit un phénomène de rebonds gênant visuellement lors d'une approximation avec un petit nombre de coefficients. Pour y remédier, une seconde génération d'ondelettes est née. L'approche la plus courante est de déformer le noyau d'ondelette pour l'adapter au contenu géométrique d'une image.
Dans cette thèse, nous proposons d'aborder le problème d'adaptativité sous un angle différent. L'idée est de déformer le contenu d'une image pour l'adapter au noyau d'ondelette séparable standard. La déformation est modélisée par un maillage déformable et le critère d'adaptation utilisé est le coût de description de l'image déformée. Une minimisation énergétique similaire à une estimation de mouvement est mise en place pour calculer les paramètres du maillage. A l'issue de cette phase d'analyse, l'image est représentée par une image déformée de moindre coût de codage et par les paramètres de déformation. Après codage, transmission et décodage de ces inforrnations, l'image d'origine peut être synthétisée en inversant la déformation. Les performances en compression de ce schéma par analyse-synthèse spatiales sont étudiées et comparées à celles de JPEG2000. Visuellement, on observe une meilleure reconstruction des contours des images avec une atténuation significative de l'effet rebond.
Conservant l'idée d'adapter le contenu des images à un noyau de décomposition fixe, nous proposons ensuite un schéma de codage par analyse-synthèse spatio-temporelles dédié à la vidéo. L'analyse prend en entrée un groupe d'images (GOF) et génère en sortie un groupe d'images déformées dont le contenu est adapté à une décomposition 3D horizontale-verticale-temporelle fixe. Le schéma est conçu de sorte qu'une seule géométrie soit estimée et transmise pour l'ensemble du GOF. Des résultats de compression sont présentés en utilisant le maillage déformable pour modéliser la géométrie et le mouvement. Bien qu'une seule géométrie soit encodée, nous montrons que son coût est trop important pour permettre une amélioration significative de la qualité visuelle par rapport à un schéma par analyse-synthèse exploitant uniquement le mouvement.

L'objectif de cette thèse est de proposer une solution d'indexation ``scalable'' et basée objet de flux vidéos HD compressés avec Motion JPEG2000. Dans ce contexte, d'une part, nous travaillons dans le domaine transformé hiérachique des ondelettes 9/7 de Daubechies et, d'autre part, la représentation ``scalable'' nécessite des méthodes en multirésolution, de basse résolution vers haute résolution. La première partie de ce manuscrit est dédiée à la définition d'une méthode d'extraction automatique des objets en mouvement. Elle repose sur la combinaison d'une estimation du mouvement global robuste et d'une segmentation morphologique couleur à basse résolution. Le résultat est ensuite affiné en suivant l'ordre des données dans le flux scalable. La deuxième partie est consacrée à la définition d'un descripteur sur les objets précédemment extraits, basé sur les histogrammes en multirésolution des coefficients d'ondelettes. Enfin, les performances de la méthode d'indexation proposée sont évaluées dans le contexte de requêtes scalables de recherche de vidéos par le contenu
This thesis aims at proposing a solution of scalable object-based indexing of HD video flow compressed by MJPEG2000. In this context, on the one hand, we work in the hierarchical transform domain of the 9/7 Daubechies' wavelets and, on the other hand, the scalable representation implies to search for multiscale methods, from low to high resolution. The first part of this manuscript is dedicated to the definition of a method for automatic extraction of objects having their own motion. It is based on a combination of a robust global motion estimation with a morphological color segmentation at low resolution. The obtained result is then refined following the data order of the scalable flow. The second part is the definition of an object descriptor which is based on the multiscale histograms of the wavelet coefficients. Finally, the performances of the proposed method are evaluated in the context of scalable content-based queries

碩士
國立清華大學
電機工程學系
100
The scalable extension of H.264/AVC (SVC) supports video cropping or uniform-scaling to create different lower resolution video content. However, it will cause information loss, important object deformation or unable to keep important object size in the different lower resolution. Therefore, we want to combine video retargeting with spatial scalability of the H.264/SVC to make sure generating different lower resolution video content can keep essential visual regions and condensing unimportant content. In this thesis, we proposed content-aware spatial scalability for scalable video coding. First of all, we use a mosaic-guide video retargeting method to preserve the important content in the spatial base layer. Moreover, we proposed a low overhead side information coder and several non-homogeneous interlayer prediction coding tools to mitigate the bit-rate overhead in the spatial enhancement layer. The experimental results demonstrate the proposed method not only preserves subjective quality of important content in the lower resolution sequence, but also only has an average 4.17%-4.98% bit-rate overhead.

碩士
國立交通大學
電子工程系所
97
Scalable Video Coding (SVC) extension of the H.264/AVC is the latest standard in video coding. It has achieved significant improvements in coding efficiency with an increased degree of supported scalability relative to the scalable profiles of prior video coding standards. For supporting spatial scalable coding, SVC follows the conventional approach of multilayer coding. In each spatial layer, motion-compensated prediction and intra-prediction are employed as for single-layer coding. But in order to improve coding efficiency in comparison to simulcasting different spatial resolutions, additional so-called inter-layer prediction mechanisms are incorporated. In particular, H.264/AVC compatible bitstream needs to be decoded in the base layer of SVC. Therefore, a SVC decoder must support both traditional H.264 decoding and SVC extension decoding. Specifically, we propose a high profile SVC intra prediction engine which is composed of two major prediction modules, basic prediction module and Intra_BL prediction module. Basic prediction module is used to decode the traditional H.264 intra prediction. In order to reduce the buffer size for supporting macroblock-adaptive frame field (MBAFF) coding which is supported in high profile, we optimize the buffer size via upper, left, and corner data reuse sets (DRS) to reuse the pixels and improve the cost and access efficiency. In Luma_8x8 decoding process, we simplify the RSF process via a base-mode predictor and optimize the processing latency and buffer cost. For the Intra_BL prediction module which is used to decode the new intra prediction type called “Intra_BL”, we propose an Intra_BL prediction engine that consists of banked SRAM, basic horizontal interpolator, basic vertical interpolator and extended vertical interpolator. We also optimize the architecture of interpolators to have better area efficiency than direct implementation. Based on our preliminary Intra_BL prediction module design, we further propose a power efficient Intra_BL prediction module. By applying a second stage of register sets in memory hierarchy and equality determination before basic interpolation process, a total of 46.43% power consumption can be reduced. Finally, the architecture of this power efficient SVC intra prediction engine is implemented in a 90nm technology with a total area of 42756 NAND2 CMOS gates under working frequency of 145 MHz. The power consumption is 0.292 mW and 2.86 mW under frequency of 100 MHz and 145 MHz for H.264 and SVC, respectively. This design can achieve real-time processing requirement for HD1080 format video in 30fps under the working frequency of 100MHz in H.264, and for a maximum two spatial layers with HD720 and HD1080 scalable format video in 30fps under the working frequency of 145MHz in SVC.

碩士
國立中央大學
通訊工程研究所
97
H.264 scalable extension (SVC), which is constructed based on H.264/AVC, is the most recent scalable video coding standard. It offers three scalabilities in spatial, temporal, and quality, to meet multiple requirements simultaneously. Spatial scalability that can support multiple display resolutions with a wide range of bitrates is used widely. How to efficiently allocate a given total bitrate among multiple layers under the bandwidth constraint is an important issue and should be solved at first. The base layer is usually treated more important than the enhancement layer because the information in base layer will often be re-used in enhancement layers. Therefore, under a bandwidth constraint, we usually run SVC by fixing the Qutization Parameter (QP) or the bitrate of the base layer while adaptively adjusting the ones of the enhancement layers. However, it is observed that Human Visual System (HVS) is more sensitive to higher resolution videos; in other words, the quality degradation at higher layers to human eyes would be more serious than that at lower layers. The main objective of this work is to achieve best and equal quality for each resolution layer under a given bandwidth constraint. This thesis proposes a rate allocation method for SVC spatial scalability based on perceptual quality metric. We utilize the subjective metric, instead of conventional objective measurement PSNR, to measure video quality. Each resolution layer is measured by the quality metric and allocated with the corresponding rate to have similar quality. The disadvantage of the conventional fixed QP scheme that the higher resolution layer has worse subjective quality is improved. In simulations, several video sequences with various total rate constraints are experimented. The proposed method can efficiently allocate the rate for each layer with almost the same video quality in subjective measurement.

碩士
國立臺北科技大學
電腦與通訊研究所
102
H.264/AVC has been successfully applied in many applications. Although a very good trade-off between visual quality and bit-rate expense can be obtained by using H.264/AVC, the generated bit stream is not applicable to all the applications due to limited bandwidth available or processing capability of decoder. For this reason, the H.264/SVC that is capable of generating bit-stream with different visual quality has been developed. In H.264/SVC, bit streams with different quality can be generated in one time during the coding process. The SVC provides flexible spatial, temporal, and quality setting to adapt itself to different coding requirements. Based on our observation, we find that the process of motion estimation takes more than 80% of the computational complexity during the coding process. In addition, more computations are required for higher enhancement layer. To alleviate the computational burden of the encoder, we focus on the fast mode decision of enhancement layer when spatial scalability is considered. By using the relationship between base layer and enhancement layer, the most probable prediction mode of enhancement layer can be confined to a small subset. In addition, we also find a relationship between the motion vector strength of the collocated macroblock in the base layer and corresponding macroblocks in the enhancement layer so that the prediction mode in the enhancement layer can be determined in a more efficient manner. As we can see in the experiment, an average time-saving of 84.14% can be obtained by using the proposed approach with only a minor degradation on the bit-rate and PSNR performance when compared with JSVM9.18 reference software.

碩士
國立中央大學
通訊工程研究所
99
Scalable Video Coding (SVC) provides efficient compression for the video bitstream equipped with various scalable configurations. H.264 scalable extension (H.264/SVC) is the most recent scalable coding standard. It involves state-of-the-art inter-layer prediction to provide higher coding efficiency than previous standards. Moreover, the requirements for the video quality on distinct situations like link conditions or video contents are usually different. Therefore, how to efficiently provide suitable video quality to users under different situations is an important issue. This work proposes a Quantization-Distortion (Q-D) model for H.264/SVC spatial scalability to estimate video quality before real encoding is performed. We introduce the residual decomposition for three inter-layer prediction types: residual prediction, intra prediction, and motion prediction. The residual can be decomposed to previous distortion and prior-residual that can be estimated before encoding. For single layer, they are distortion of previous frame and difference between two original frames. Then, the distortion can be modeled as a function of quantization step and prior-residual. In simulations, the proposed model can estimate the actual Q-D curves for each inter-layer prediction, and the accuracy of the model is up to 94.98%.

碩士
國立中央大學
通訊工程研究所
97
With the improvements of video coding technology, network infrastructures, storage capacity, and CPU computing capability, the applications of multimedia systems become wider and more popular. Therefore, how to efficiently provide video sequences to users under different constraints is very important, and scalable video coding is one of the best solutions to this problem. H.264 scalable extension (SVC) that is constructed based on H.264/AVC is the most recent scalable video coding standard. SVC utilizes the inter-layer prediction to substantially improve the coding efficiency comparing with the prior scalable video coding standards. Nevertheless, this technique results in extremely large computation complexity which obstructs it from practical use. Especially on spatial scalability, the complexity of the enhancement layer motion estimation occupies above 90% of the total complexity. The main objective of this work is to reduce the computation complexity while maintaining both the video quality and the bit-rate. This thesis proposes a fast inter-layer motion estimation algorithm on temporal and spatial scalabilities for SVC. We utilize the relation between two motion vector predictors from the base layer as well as the enhancement layer respectively and the correlation between all the modes to reduce the number of search times. The simulation results show that the proposed algorithm can save the computation complexity up to 67.4% compared to JSVM9.12 with less than 0.0476dB video quality degradation.

In this research a scalable video coding framework is proposed, mainly focusing on spatial scalability, and a subjective data compression algorithm based on: (1) quality, (2) resolution (target output device), and (3) bandwidth. This framework enables the scalable delivery of video based on the output display resolution, and through a congested network or limited bandwidth with an acceptable visual quality. In order to achieve this scalable framework we have used wavelets, for greater flexibility, and a multiresolution approach. The multiresolution motion estimation (MRME) provides the reusability of motion vectors across different resolution levels. In MRME the motion estimation, which is carried out in the wavelet domain, is initially performed in the lower resolution and the resultant motion vectors are used as a basic motion estimate in other higher resolutions. The translation of motion vectors across different resolution levels results in translation error or mismatches. These mismatches are identified using a novel approach, which uses two thresholds. The first threshold is used to determine the possible occurrence of mismatches in a given video frame subject to the motion in the previous frame. This helps to give a broader location of all the mismatches in general. In order to specifically focus on the worst mismatches among them another threshold is used. This gives a more accurate identification of the mismatches that definitely need to be handled while the others can be waived depending upon the available resources. By varying these two parameters, the quality and resolution of the video can be adjusted to suit the bandwidth requirements. The next step is about handling the identified mismatches. The refinements are handled in any of the following two ways: by using motion vector correction, which gives improved prediction, or by using the directly replacing the error block. We have also presented a brief comparative study of the two error correction methods, discussing their benefits and drawbacks. The methods used here give a precise motion estimate thereby utilizing the temporal redundancy in an efficient manner and providing an effective scalability solution. This scalable framework is useful to provide a flexible multiresolution adaptation to various network and terminal capabilities, to provide quality degradation during severe network conditions, and to provide better error robustness.
Thesis (M.Eng.Sc.) -- University of Adelaide, School of Electrical and Electronic Engineering, 2010