Dissertations / Theses on the topic 'Prédiction de vidéos'

Lorsque nous explorons une scène visuelle nous focalisons notre attention et notre regard sur certaines régions de la scène dites saillantes an d'étudier ces régions plus en détail. L'objectif de cette thèse était de mieux comprendre les processus attentionnels qui guident le regard lorsque nous regardons une vidéo et de modéliser ces processus. Deux approches complémentaires ont été adoptées : une approche comportementale, à l'aide d'expériences d'oculométrie, pour mieux comprendre comment les personnes regardent une vidéo et une approche de modélisation afin de proposer un modèle, inspiré du système visuel humain, permettant de mettre en évidence les régions saillantes dans des vidéos. Deux modèles ont été proposés. Le premier modèle de saillance à deux voies, extrait des cartes statiques et dynamiques à partir des informations sur la luminance et le mouvement. Les traitements de ces deux voies, bien que relativement indépendants, sont réalisés par des modules communs (filtre "rétinien" et filtres "corticaux") à l'instar de ce qui est fait dans le système visuel. Un deuxième modèle de saillance, à trois voies, intègre au modèle précédent une voie dédiée à la détection des visages, les visages étant connus pour attirer les regards. Des expériences d'oculométrie ont permis d'étudier et d'évaluer ces modèles de saillance en détail.

Lorsque nous explorons une scène visuelle nous focalisons notre attention et notre regard sur certaines régions de la scène dites saillantes afin d'étudier ces régions plus en détail. L'objectif de cette thèse était de mieux comprendre les processus attentionnels qui guident le regard lorsque nous regardons une vidéo et de modéliser ces processus. Deux approches complémentaires ont été adoptées : une approche comportementale, à l'aide d'expériences d'oculométrie, pour mieux comprendre comment les personnes regardent une vidéo et une approche de modélisation afin de proposer un modèle, inspiré du système visuel humain, permettant de mettre en évidence les régions saillantes dans des vidéos. Deux modèles ont été proposés. Le premier modèle de saillance à deux voies, extrait des cartes statiques et dynamiques à partir des informations sur la luminance et le mouvement. Les traitements de ces deux voies, bien que relativement indépendants, sont réalisés par des modules communs (filtre « rétinien » et filtres « corticaux ») à l'instar de ce qui est fait dans le système visuel. Un deuxième modèle de saillance, à trois voies, intègre au modèle précédent une voie dédiée à la détection des visages, les visages étant connus pour attirer les regards. Des expériences d'oculométrie ont permis d'étudier et d'évaluer ces modèles de saillance en détail

La compression vidéo est une étape cruciale pour une grande partie des applications de télécommunication. Depuis l'avènement de la norme H.261/MPEG-2, un nouveau standard de compression vidéo est produit tous les 10 ans environ, avec un gain en compression de 50% par rapport à la précédente. L'objectif de la thèse est d'obtenir des gains en compression par rapport à la dernière norme de codage vidéo HEVC. Dans cette thèse, nous proposons trois approches pour améliorer la compression vidéo en exploitant les corrélations du résidu de prédiction intra. Une première approche basée sur l'utilisation de résidus précédemment décodés montre que, si des gains sont théoriquement possibles, le surcoût de la signalisation les réduit pratiquement à néant. Une deuxième approche basée sur la quantification vectorielle mode-dépendent (MDVQ) du résidu préalablement à l'étape classique transformée-quantification scalaire, permet d'obtenir des gains substantiels. Nous montrons que cette approche est réaliste, car les dictionnaires sont indépendants du QP et de petite taille. Enfin, une troisième approche propose de rendre adaptatif les dictionnaires utilisés en MDVQ. Un gain substantiel est apporté par l'adaptivité, surtout lorsque le contenu vidéo est atypique, tandis que la complexité de décodage reste bien contenue. Au final on obtient un compromis gain-complexité compatible avec une soumission en normalisation
Video compression has become a mandatory step in a wide range of digital video applications. Since the development of the block-based hybrid coding approach in the H.261/MPEG-2 standard, new coding standard was ratified every ten years and each new standard achieved approximately 50% bit rate reduction compared to its predecessor without sacrificing the picture quality. However, due to the ever-increasing bit rate required for the transmission of HD and Beyond-HD formats within a limited bandwidth, there is always a requirement to develop new video compression technologies which provide higher coding efficiency than the current HEVC video coding standard. In this thesis, we proposed three approaches to improve the intra coding efficiency of the HEVC standard by exploiting the correlation of intra prediction residue. A first approach based on the use of previously decoded residue shows that even though gains are theoretically possible, the extra cost of signaling could negate the benefit of residual prediction. A second approach based on Mode Dependent Vector Quantization (MDVQ) prior to the conventional transformed scalar quantization step provides significant coding gains. We show that this approach is realistic because the dictionaries are independent of QP and of a reasonable size. Finally, a third approach is developed to modify dictionaries gradually to adapt to the intra prediction residue. A substantial gain is provided by the adaptivity, especially when the video content is atypical, without increasing the decoding complexity. In the end we get a compromise of complexity and gain for a submission in standardization

L'essor de l'apprentissage profond trouve notamment sa source dans les avancées scientifiques qu'il a permises en termes d'apprentissage de représentations et de modèles génératifs. Dans leur grande majorité, ces progrès ont cependant été obtenus sur des données textuelles et visuelles statiques, les données temporelles demeurant un défi pour ces méthodes. Compte tenu de leur importance pour l'automatisation croissante de multiples tâches, de plus en plus de travaux en apprentissage automatique s'intéressent aux problématiques d'évolution temporelle. Dans cette thèse, nous étudions ainsi plusieurs aspects de la temporalité et des systèmes dynamiques dans les réseaux de neurones profonds pour l'apprentissage non supervisé de représentations et de modèles génératifs. Premièrement, nous présentons une méthode générale d'apprentissage de représentations non supervisée pour les séries temporelles prenant en compte des besoins pratiques d'efficacité et de flexibilité. Dans un second temps, nous nous intéressons à l'apprentissage pour les séquences structurées de nature spatio-temporelle, couvrant les vidéos et phénomènes physiques. En les modélisant par des équations différentielles paramétrisées par des réseaux de neurones, nous montrons la corrélation entre la découverte de représentations pertinentes d'un côté, et de l'autre la fabrique de modèles prédictifs performants sur ces données. Enfin, nous analysons plus généralement dans une troisième partie les populaires réseaux antagonistes génératifs dont nous décrivons la dynamique d'apprentissage par des équations différentielles, nous permettant d'améliorer la compréhension de leur fonctionnement
The recent rise of deep learning has been motivated by numerous scientific breakthroughs, particularly regarding representation learning and generative modeling. However, most of these achievements have been obtained on image or text data, whose evolution through time remains challenging for existing methods. Given their importance for autonomous systems to adapt in a constantly evolving environment, these challenges have been actively investigated in a growing body of work. In this thesis, we follow this line of work and study several aspects of temporality and dynamical systems in deep unsupervised representation learning and generative modeling. Firstly, we present a general-purpose deep unsupervised representation learning method for time series tackling scalability and adaptivity issues arising in practical applications. We then further study in a second part representation learning for sequences by focusing on structured and stochastic spatiotemporal data: videos and physical phenomena. We show in this context that performant temporal generative prediction models help to uncover meaningful and disentangled representations, and conversely. We highlight to this end the crucial role of differential equations in the modeling and embedding of these natural sequences within sequential generative models. Finally, we more broadly analyze in a third part a popular class of generative models, generative adversarial networks, under the scope of dynamical systems. We study the evolution of the involved neural networks with respect to their training time by describing it with a differential equation, allowing us to gain a novel understanding of this generative model

Les modèles prédictifs ont le potentiel de permettre le transfert des succès récents en apprentissage par renforcement à de nombreuses tâches du monde réel, en diminuant le nombre d’interactions nécessaires avec l’environnement.La tâche de prédiction vidéo a attiré un intérêt croissant de la part de la communauté ces dernières années, en tant que cas particulier d’apprentissage prédictif dont les applications en robotique et dans les systèmes de navigations sont vastes.Tandis que les trames RGB sont faciles à obtenir et contiennent beaucoup d’information, elles sont extrêmement difficile à prédire, et ne peuvent être interprétées directement par des applications en aval.C’est pourquoi nous introduisons ici une tâche nouvelle, consistant à prédire la segmentation sémantique ou d’instance de trames futures.Les espaces de descripteurs que nous considérons sont mieux adaptés à la prédiction récursive, et nous permettent de développer des modèles de segmentation prédictifs performants jusqu’à une demi-seconde dans le futur.Les prédictions sont interprétables par des applications en aval et demeurent riches en information, détaillées spatialement et faciles à obtenir, en s’appuyant sur des méthodes état de l’art de segmentation.Dans cette thèse, nous nous attachons d’abord à proposer pour la tâche de segmentation sémantique, une approche discriminative se basant sur un entrainement par réseaux antagonistes.Ensuite, nous introduisons la tâche nouvelle de prédiction de segmentation sémantique future, pour laquelle nous développons un modèle convolutionnel autoregressif.Enfin, nous étendons notre méthode à la tâche plus difficile de prédiction de segmentation d’instance future, permettant de distinguer entre différents objets.Du fait du nombre de classes variant selon les images, nous proposons un modèle prédictif dans l’espace des descripteurs d’image convolutionnels haut niveau du réseau de segmentation d’instance Mask R-CNN.Cela nous permet de produire des segmentations visuellement plaisantes en haute résolution, pour des scènes complexes comportant un grand nombre d’objets, et avec une performance satisfaisante jusqu’à une demi seconde dans le futur
Predictive models of the environment hold promise for allowing the transfer of recent reinforcement learning successes to many real-world contexts, by decreasing the number of interactions needed with the real world.Video prediction has been studied in recent years as a particular case of such predictive models, with broad applications in robotics and navigation systems.While RGB frames are easy to acquire and hold a lot of information, they are extremely challenging to predict, and cannot be directly interpreted by downstream applications.Here we introduce the novel tasks of predicting semantic and instance segmentation of future frames.The abstract feature spaces we consider are better suited for recursive prediction and allow us to develop models which convincingly predict segmentations up to half a second into the future.Predictions are more easily interpretable by downstream algorithms and remain rich, spatially detailed and easy to obtain, relying on state-of-the-art segmentation methods.We first focus on the task of semantic segmentation, for which we propose a discriminative approach based on adversarial training.Then, we introduce the novel task of predicting future semantic segmentation, and develop an autoregressive convolutional neural network to address it.Finally, we extend our method to the more challenging problem of predicting future instance segmentation, which additionally segments out individual objects.To deal with a varying number of output labels per image, we develop a predictive model in the space of high-level convolutional image features of the Mask R-CNN instance segmentation model.We are able to produce visually pleasing segmentations at a high resolution for complex scenes involving a large number of instances, and with convincing accuracy up to half a second ahead

La conception de jeux vidéo repose principalement sur l’optimisation de l’expérience plaisante du joueur. Toutefois, l’effet de la familiarité au jeu sur l’expérience plaisante en contexte de jeu vidéo est encore peu connu. La présente étude s’intéresse à : (1) l’effet de modération potentiel de la familiarité sur la performance objective et l’expérience plaisante, et (2) la valeur prédictive de l’interaction entre la performance subjective, la difficulté perçue et la familiarité au jeu sur l’expérience plaisante. Cent-deux participants jouent au jeu Assassin’s Creed : Unity et auto-évaluent leur performance, la difficulté du jeu ainsi que leur expérience plaisante. Des enregistrements vidéo de leur séance de jeu permettent également d’évaluer leur performance objective. Les résultats des deux régressions linéaires multiples montrent que la familiarité au jeu n’est pas un modérateur de l’expérience plaisante, et que l’expérience plaisante augmente en fonction de la performance subjective du joueur. En plus de contribuer à la littérature scientifique en étant la première étude se penchant sur la familiarité au jeu et l’expérience plaisante en contexte de jeux vidéo, la présente étude pourra également bénéficier aux développeurs de jeux vidéo, et ce, en soulignant l’importance de faire sentir le joueur compétent afin d’optimiser son expérience plaisante.

Cette thèse a pour objectif de proposer des solutions pour la prédiction et l'optimisation de la bande passante d'un flot vidéo agrégat MPEG dans un scénario d'offre de service Vidéo à la Demande (VoD) sur Internet. L'approche proposée prend en compte la nature autosimilaire du trafic IP par le biais de l'estimation du paramètre de Hurst. Cette métrique permet de caractériser le comportement autosimilaire des flux Internet. Une première contribution de cette thèse consiste à concevoir et implémenter un modèle connexionniste, c'est-à-dire basé sur les techniques de réseaux de neurones pour estimer et prédire à court terme le paramètre de Hurst de traces vidéo dans un flot agrégat. Pour ce faire, un modèle connexionniste appelé Module Connexionniste Prédictif (MCP) est entraîné à partir d'exemples étiquetés en ayant comme entrée des échantillons de trafics MPEG et comme sortie le paramètre de Hurst du flux agrégat. Les estimations de la bande passante allouée sont réalisées par le biais de deux techniques de prédiction dont leurs performances sont évaluées et comparées. Une deuxième contribution consiste à instrumenter le processus de prédiction par des règles de politique. Ainsi, le module de prédiction est intégré dans un système de provisioning dynamique de la bande passante entre un fournisseur de VoD et un ISP (Internet Service Provider). Ce système est basée sur l'architecture de gestion par politique de de l'IETF (Internet Engineering Task Force) et réalisée en utilisant les technologies du Web
The objective of this thesis is the bandwidth forecasting optimization of a MPEG-4 video flow aggregate in a scenario of provisioning of Video on Demand (VoD) service over Internet. The proposed approach takes into account the self-similar nature of the IP traffic to estimate the Hurst parameter. This metric characterizes the degree of self-similarity of a process such as Internet traffic. A first contribution of this thesis is the design and implementation of a connectionist model which estimates and predicts the Husrt parameter of an aggregate video traffic. A new model called Predictive Connectionist Model (PCM) has been defined and is trained with MPEG traces patterns. The estimation of the bandwidth utilisation is achieved using two prediction techniques which evaluated and compared. Another contribution of this thesis is the integration of the Predictive Connectionist Model in a dynamic provisioning system between a VoD provider and an ISP (Internet Service Provider). This system is designed according to the Policy Based Management architecture of IETF (Internet Engineering Task Force) and is implemented using Web technologies

Les animaux sont de plus en plus présents dans les effets spéciaux au cinéma et dans les films d'animation 3D. Les quadrupèdes en particulier, de par la richesse et de l'esthétique de leurs mouvement, sont souvent l'objet de création de personnages virtuels. L'objectif de cette thèse est d'utiliser la vidéo, et surtout des documentaires animaliers, pour créer des animaux virtuels capables de mouvements réalistes. Dans un premier temps, nous proposons de construire des squelettes d'animation de quadrupèdes à partir d'images. Nous montrons tout d'abord comment reconstruire un squelette réel à partir de plusieurs images. Ensuite, nous construisons un modèle déformable de squelette de quadrupède qui permet de de créer un squelette d'animation rapidement à partir d'une image ou d'un modèle 3D de l'animal à animer. Dans un second temps, nous proposons des méthodes permettant d'animer des quadrupèdes à partir de séquences vidéo. Nous présentons tout d'abord une technique d'animation de mouvements cycliques à partir de vidéo, qui permet notamment de choisir automatiquement les images-clés à partir d'une vidéo. Ensuite, nous proposons une nouvelle méthode d'analyse de vidéos qui permet d'identifier les différentes allures utilisées par l'animal, ainsi que les transitions entre allures.

Cette thèse est dédiée à l’amélioration des performances de compression vidéo. Deux types d’approches, conventionnelle et en rupture, sont explorées afin de proposer des méthodes efficaces de codage Intra et Inter pour les futurs standards de compression. Deux outils sont étudiés pour la première approche. Tout d’abord, des indices de signalisations sont habilement traités par une technique issue du tatouage permettant de les masquer dans les résiduels de luminance et de chrominance de façon optimale selon le compromis débit-distorsion. La forte redondance dans le mouvement est ensuite exploitée pour améliorer le codage des vecteurs de mouvement. Après observation des précédents vecteurs utilisés, un fin pronostic permet de déterminer les vecteurs résiduels à privilégier lors d’une troisième étape de modification de la distribution des résiduels. 90% des vecteurs codés sont ainsi pronostiqués, ce qui permet une nette réduction de leur coût. L’approche en rupture vient de la constatation que H. 264/AVC et son successeur HEVC sont basés sur un schéma prédictif multipliant les choix de codage, les améliorations passent alors par un meilleur codage de la texture à l’aide d’une compétition accrue. De tels schémas étant bornés par la signalisation engendrée, il est alors nécessaire de transférer des décisions au niveau du décodeur. Une approche basée sur la détermination conjointe au codeur et au décodeur de paramètres de codage à l’aide de partitions causales et ainsi proposée et appliquée aux modes de prédiction Intra et à la théorie émergente de l’échantillonnage compressé. Des performances encourageantes sont reportées et confirment l’intérêt d’une telle solution innovante
This Ph. D. Thesis deals with the improvement of video compression efficiency. Both conventional and breakthrough approaches are investigated in order to propose efficient methods for Intra and Inter coding dedicated to next generations video coding standards. Two tools are studied for the conventional approach. First, syntax elements are cleverly transmitted using a data hiding based method which allows embedding indices into the luminance and chrominance residuals in an optimal way, rate-distortion wise. Secondly, the large motion redundancies are exploited to improve the motion vectors coding. After a statistical analysis of the previously used vectors, an accurate forecast is performed to favor some vector residuals during a last step which modifies the original residual distribution. 90% of the coded vectors are efficiently forecasted by this method which helps to significantly reduce their coding cost. The breakthrough approach comes from the observation of the H. 264/AVC standard and its successor HEVC which are based on a predictive scheme with multiple coding choices, consequently future improvements shall improve texture by extensively using the competition between many coding modes. However, such schemes are bounded by the cost generated by the signaling flags and therefore it is required to transfer some decisions to the decoder side. A framework based on the determination of encoding parameters at both encoder and decoder side is consequently proposed and applied to Intra prediction modes on the one hand, and to the emerging theory of compressed sensing on the other hand. Promising results are reported and confirm the potential of such an innovative solution

Les travaux de cette thèse sont destinés à la conception d'outils algorithmiques permettant d'accroître le facteur de compression des standards actuels de codage vidéo, tels que H.264/AVC. Pour cela, une étude préalable portant sur un ensemble de méthodes de restauration d'image a permis d'identifier et d'inspecter deux axes de recherche distincts. La première partie est fondée sur des méthodes d'analyse et de synthèse de texture. Ce type de procédé, aussi connu sous le nom de template matching, est couramment utilisé dans un contexte de codage vidéo pour prédire une portion de la texture de l'image suite à l'analyse de son voisinage. Nous avons cherché à améliorer le modèle de prédiction en prenant en compte les spécificités d'un codeur vidéo de type H.264/AVC. En particulier, la fonction débit/distorsion utilisée dans les schémas de codage vidéo normatifs se base sur une mesure objective de la qualité. Ce mécanisme est par nature incompatible avec le concept de synthèse de texture, dont l'efficacité est habituellement mesurée selon des critères purement perceptuels. Cette contradiction a motivé le travail de notre première contribution. La deuxième partie des travaux de cette thèse s'inspire des méthodes de régularisation d'image basée sur la minimisation de la variation totale. Des méthodes ont été élaborées originellement dans le but d'améliorer la qualité d'une image en fonction de la connaissance a priori des dégradations qu'elle a subies. Nous nous sommes basés sur ces travaux pour concevoir un modèle de prédiction des coefficients transformés obtenus à partir d'une image naturelle, qui a été intégré dans un schéma de codage vidéo conventionnel.

Le développement simultané de terminaux mobiles multimédia (smartphones, tablettes) et de réseaux d'accès offrant des débits élevés conduit à une explosion du trafic liés aux contenus multimédia. Cette croissance nécessite un partage efficace des ressources radio entre fournisseurs de contenus (dans le cas de la diffusion) ou entre récepteurs (dans le cas de services de vidéo à la demande). Cette thèse propose des outils de partage équitable des ressources en termes de qualité des contenus multimédia reçu et de délai de transmission dans les deux contextes précédents. La variété des compromis débit-distorsion des contenus multimédia est exploitée à cet effet. Dans un premier temps, une solution centralisée de contrôle conjoint du débit de codage et de transmission de plusieurs programmes transmis sur un même canal est considérée. L'objectif est de fournir des flux de qualités similaires avec des variations limitées, tout en assurant des délais de transmission comparables. Ce problème est résolu en synthétisant une commande prédictive à l'aide d'outils d'optimisation sous contrainte. Dans un second temps, seule l'allocation de bande est centralisée, le contrôle des caractéristiques de compression de chaque flux est réalisé de manière distribuée. Le contrôleur centralisé ne renvoie que le niveau de remplissage des tampons associés à chaque flux aux fournisseurs de contenus distants. Une stratégie de régulation des débits de codage est alors mise en place par ces fournisseurs, de manière à réguler le niveau en bits ou en image des tampons. La stabilité de ce système de régulation couplé est étudiée en détails. Enfin, l'optimisation inter-couches d'une chaine de transmission de contenus multimédia scalable est considérée. Ce problème est formulé dans le contexte de la programmation dynamique. Lorsque des modèles de complexité raisonnable sont considérés et avec des caractéristiques du système bien connues, des solutions optimales peuvent être obtenues. Des techniques d'apprentissage sont mises en œuvre, lorsque le système n'est que partiellement connu, par exemple, lorsque l'état du canal de transmission parvient avec du retard à l'organe de commande.

Les progrès réalisés en systèmes micro-électro-mécaniques couplés avec leur convergence vers les systèmes de communication sans fil, ont permis l'émergence des réseaux de capteurs sans fil (RCSF). Les contraintes de ces réseaux font que tous les efforts soient fournis pour proposer des solutions économes en énergie. Avec les récents développements des technologies CMOS, des capteurs d'images à faible coût ont été développés. En conséquence, un nouveau dérivé des RCSF, qui sont les Réseaux de Capteurs Vidéo Sans Fil (RCVSF), a été proposé. La particularité des données vidéo ainsi que les contraintes inhérentes aux nœuds ont introduit de nouveaux défis. Dans cette thèse, nous proposons deux solutions basées sur l'approche inter-couches pour la livraison de la vidéo sur les RCVSF. La première solution propose un nouveau schéma de compression vidéo adaptatif, efficace en énergie et basé sur la norme de compression vidéo H.264/AVC. Le flux vidéo est ensuite géré par une version améliorée du protocole MMSPEED que nous proposons et notons EQBSA-MMSPEED. Les résultats des simulations montrent que la durée de vie du réseau est étendue de 33%, tout en améliorant la qualité du flux vidéo reçu de 12%. Dans la deuxième solution, nous enrichissons le schéma de compression de modèles mathématiques pour prévoir la consommation d'énergie et la distorsion de l'image lors des phases d'encodage et de transmission. Le flux vidéo est géré par un nouveau protocole de routage efficace en énergie et à fiabilité améliorée noté ERMM. Comparée à une approche basique, cette solution réalise une extension de la durée de vie du réseau de 15%, tout en améliorant la qualité du flux vidéo reçu de 35%
Thanks to the valuable advances in Micro Electro-Mechanical Systems coupled with their convergence to wireless communication systems, the Wireless Sensor Networks (WSN). In the WSN context, all the efforts are made in order to propose energy-efficient solutions. With the recent developments in CMOS technology, low-cost imaging sensors have been developed. As a result, a new derivative of the WSN, which is the Wireless Video Sensor Network (WVSN), has been proposed. The particularities of the video data as well as the inherent constraints of the nodes have introduced new challenges. In this thesis, we propose two cross-layer based solutions for video delivery over the WVSN. The first solution proposes a new energy efficient and adaptive video compression scheme dedicated to the WVSNs, based on the H.264/AVC video compression standard. The video stream is then handled by an enhanced version of MMSPEED protocol, that we propose and note EQBSA-MMSPEED. Performance evaluation shows that the lifetime of the network is extended by 33%, while improving the video quality of the received stream by 12%. In the second solution, we enrich our compression scheme with mathematical models to predict the energy consumption and the video distortion during the encoding and the transmission phases. The video stream is then handled by a novel energy efficient and improved reliability routing protocol, that we note ERMM. Compared to a basic approach, this solution is extending the network lifetime by 15%, while improving the quality of the received video stream by 35%

Les réseaux cellulaires ont connu une croissance phénoménale du trafic alimentée par les nouvelles technologies d'accès cellulaire. Cette croissance est en grande partie tirée par l'émergence du trafic HTTP adaptatif streaming (HAS) comme une nouvelle technologie de diffusion des contenus vidéo. Le principe du HAS est de rendre disponible plusieurs qualités de la même vidéo en ligne et que les clients choisissent la meilleure qualité qui correspond à leur bande passante. Chaque niveau d'encodage est segmenté en des chunks, qui dont la durée varie de 2 à 10 secondes. L'émergence du HAS a introduit des nouvelles contraintes sur les systèmes de livraison des contenus vidéo en particulier sur les systèmes de caches. Dans ce contexte, nous menons une analyse détaillée des données du trafic HAS collecté en France et fournie par le plus grand opérateur de téléphonie mobile du pays. Tout d'abord, nous analysons et modélisons le comportement des clients qui demandent des contenus VoD et live. Ces analyses nous ont permis d'identifier les facteurs qui impactent la performance des systèmes de cache et de proposer un nouveau algorithme de remplacement de contenus qu'on appelle WA-LRU. WA-LRU exploite la localité temporelle des chunks dans le contenu et la connaissance de la charge du trafic dans le réseau afin d'améliorer la performance du cache. Ensuite, nous analysons et modélisons la logique d'adaptation entre les qualités vidéo basés sur des observations empiriques. Nous montrons que le changement fréquent entre les encodages réduit considérablement la performance des systèmes de cache. Dans ce contexte, nous présentons CF-DASH une implémentation libre d'un player DASH qui vise à réduire les changements fréquents entre qualités, assure une bonne QoE des clients et améliore la performance des systèmes de caches. La deuxième partie de la thèse est dédié à la conception, simulation et implémentation d'une solution de préchargement des contenus vidéo sur terminaux mobiles. Nous concevons un système que nous appelons «Central Predictor System (CPsys)" qui prédit le comportement des clients mobiles et leurs consommations des vidéos. Nous évaluons CPSys avec des traces de trafic réel. Enfin, nous développons une preuve de concept de notre solution de préchargement
Recently, cellular networks have witnessed a phenomenal growth of traffic fueled by new high speed broadband cellular access technologies. This growth is in large part driven by the emergence of the HTTP Adaptive Streaming (HAS) as a new video delivery method. In HAS, several qualities of the same videos are made available in the network so that clients can choose the quality that best fits their bandwidth capacity. This strongly impacts the viewing pattern of the clients, their switching behavior between video qualities, and thus beyond on content delivery systems. In this context, we provide an analysis of a real HAS dataset collected in France and provided by the largest French mobile operator. Firstly, we analyze and model the viewing patterns of VoD and live streaming HAS sessions and we propose a new cache replacement strategy, named WA-LRU. WA-LRU leverages the time locality of video segments within the HAS content. We show that WA-LRU improves the performance of the cache. Second, we analyze and model the adaptation logic between the video qualities based on empirical observations. We show that high switching behaviors lead to sub optimal caching performance, since several versions of the same content compete to be cached. In this context we investigate the benefits of a Cache Friendly HAS system (CF-DASH) which aims at improving the caching efficiency in mobile networks and to sustain the quality of experience of mobile clients. Third, we investigate the mobile video prefetching opportunities. We show that CPSys can achieve high performance as regards prediction correctness and network utilization efficiency. We further show that CPSys outperforms other prefetching schemes from the state of the art. At the end, we provide a proof-of-concept implementation of our prefetching system

Cette thèse est motivée par le diagnostic et l’évaluation des maladies neuro-dégénératives et dans le but de diagnostique sur la base de l’attention visuelle.Néanmoins, le dépistage à grande échelle de la population n’est possible que si des modèles de prédiction automatique suffisamment robustes peuvent être construits. Dans ce contexte nous nous intéressons `a la conception et le développement des modèles de prédiction automatique pour un contenu visuel spécifique à utiliser dans l’expérience psycho-visuelle impliquant des patients atteints des maladies neuro-dégénératives. La difficulté d’une telle prédiction réside dans une très faible quantité de données d’entraînement. Les modèles de saillance visuelle ne peuvent pas être fondés sur les caractérisitiques “bottom-up” uniquement, comme le suggère la théorie de l’intégration des caractéristiques. La composante “top-down” de l’attention visuelle humaine devient prépondérante au fur et à mesure d’observation de la scène visuelle. L’attention visuelle peut-être prédite en se basant sur les scènes déjà observées. Les réseaux de convolution profonds (CNN) se sont révèlés être un outil puissant pour prédire les zones saillantes dans les images statiques.Dans le but de construire un modèle de prédiction automatique pour les zones saillantes dans les vidéos naturels et intentionnellement dégradées, nous avons conçu une architecture spécifique de CNN profond. Pour surmonter le manque de données d’apprentissage,nous avons conçu un système d’apprentissage par transfert dérivé de la méthode de Bengio.Nous mesurons ses performances lors de la prédiction de régions saillantes. Les r´esultatsobtenus sont int´eressants concernant la r´eaction des sujets t´emoins normaux contre leszones d´egrad´ees dans les vid´eos. La comparaison de la carte de saillance pr´edite des vid´eosintentionnellement d´egrad´ees avec des cartes de densit´e de fixation du regard et d’autresmod`eles de r´ef´erence montre l’int´erˆet du mod`ele d´evelopp´e
This thesis is motivated by the diagnosis and the evaluation of the dementia diseasesand with the aim of predicting if a new recorded gaze presents a complaint of thesediseases. Nevertheless, large-scale population screening is only possible if robust predictionmodels can be constructed. In this context, we are interested in the design and thedevelopment of automatic prediction models for specific visual content to be used in thepsycho-visual experience involving patients with dementia (PwD). The difficulty of sucha prediction lies in a very small amount of training data.Visual saliency models cannot be founded only on bottom-up features, as suggested byfeature integration theory. The top-down component of human visual attention becomesprevalent as human observers explore the visual scene. Visual saliency can be predictedon the basis of seen data. Deep Convolutional Neural Networks (CNN) have proven tobe a powerful tool for prediction of salient areas in static images. In order to constructan automatic prediction model for the salient areas in natural and intentionally degradedvideos, we have designed a specific CNN architecture. To overcome the lack of learningdata we designed a transfer learning scheme derived from bengio’s method. We measureits performances when predicting salient regions. The obtained results are interestingregarding the reaction of normal control subjects against degraded areas in videos. Thepredicted saliency map of intentionally degraded videos gives an interesting results comparedto gaze fixation density maps and other reference models

Les progrès récents sur les schémas de codage vidéo par ondelettes ont permis l'apparition d'une nouvelle génération de codeurs vidéos scalables t+2D dont l'efficacité est comparable à celle des meilleurs codecs hybrides. Ces schémas reposent sur l'utilisation d'une transformée en ondelettes appliquée le long du mouvement des images afin d'exploiter leur redondance temporelle, suivie d'une décomposition spatiale des sous-bandes résultantes et d'un codage entropique. L'objectif de cette thèse consiste en l'étude et la construction de nouvelles transformées scalables mises en jeu dans le schéma de codage vidéo t+2D, afin d'en améliorer l'efficacité de codage. L'utilisation du formalisme lifting lors de la construction de ces transformées spatio-temporelles permet l'introduction d'opérateurs non-linéaires, particulièrement utiles pour représenter efficacement les singularités et discontinuités présentes dans une séquence vidéo. Dans un premier temps, nous nous intéressons à l'optimisation et la construction de nouvelles transformées temporelles compensées en mouvement, afin d'améliorer leur performance de décorrelation. Nous étudions alors la construction de filtres M-bandes pour décomposer spatialement les sous-bande temporelles et nous montrons comment les propriétés de scalabilité des bancs de synthèse M-bandes peuvent être étendues à des facteurs rationnels quelconques. Enfin, nous décrivons comment mettre en oeuvre des décompositions spatiales en ondelettes adaptatives, non-linéaires et inversibles, sans nécessiter la transmission d'une carte de décisions.

La première partie de ce mémoire présente une nouvelle vision de l'estimation de mouvement (EM) dans les séquences vidéo. Nous abordons l'EM à partir de familles d'ondelettes redondantes peu connues et adaptées à différentes transformations, dont, plus particulièrement, la vitesse. Les standards de compression actuels prennent en compte une compression objet mais ne calculent toujours que de simples vecteurs de mouvements de ``blocs''. Nous avons mis en œuvre ces familles d'ondelettes car 1) elles sont construites pour le calcul de paramètres sur plusieurs types de mouvement (rotation, vitesse, accélération). 2) à partir des paramètres de mouvement, nous proposons une approche de l'EM basée sur l'identification des trajectoires des objets. L'approche s'apparente alors à une compression contextuelle, fondée sur une compréhension de la scène. La seconde partie présente deux développements concernant la segmentation non-supervisée dans une approche bayésienne. 1) nous réduisons le temps de segmentation d'une séquence par une mise en oeuvre itérative de la segmentation. Nous montrons l'application à l'EM d'une région segmentée. 2) nous réduisons le temps de segmentation en effectuant la projection de l'image dans le domaine des ondelettes. Ces deux développements sont fondés sur une modélisation de Potts-Markov (PMRF) pour les étiquettes des pixels ou des coefficients d'ondelettes. Ils utilisent un algorithme itératif de type Markov Chain Monte Carlo avec échantillonneur de Gibbs. Enfin, dans l'approche par ondelettes, nous avons développé le modèle de Potts-Markov pour l'adapter aux orientations privilégiées des sous-bandes d'ondelettes
The first part of this thesis presents a new vision of the motion estimation (ME) in video sequences. We investigate motion estimation with redundant wavelet families tuned to different kind of transformations and, in particular, to speed. Today video compression standards are supposed to realize the compression in an object-based approach, but still compute raw motion vectors on “blocks”. We thus implemented these wavelet families because 1) they are built to perform motion parameter quantization on several kinds of motions (rotation, speed, acceleration) and 2) based on the motion parameters, we can propose an approach of the ME through the identification of the objects trajectories. The global approach is then closer to a contextual compression, based on the understanding of the scene. The second part introduces two new developments on unsupervised segmentation in a Bayesian approach. 1) we reduce the computation time of a sequence through an iterative implementation of the segmentation. We show an application with the ME of a segmented region. 2) We reduce the segmentation time by making the projection of the image in the wavelet domain. These two developments are based on a Potts-Markov modelling (PMRF) for the labels of the pixels and of the wavelet coefficients. They use a Markov Chain Monte Carlo iterative algorithm with a Gibbs sampler. We also develop a Potts model in the wavelet domain to tune it to the specific orientations of the wavelet subbands

Face à l'évolution rapide du paysage criminel, les agences de maintien de l'ordre (LEA) sont confrontées à des défis croissants dans les enquêtes criminelles contemporaines. Cette thèse de doctorat entreprend une exploration transformative, stimulée par la nécessité urgente de révolutionner les méthodologies d'enquête et d'armer les LEA avec des outils de pointe pour lutter efficacement contre la criminalité. Ancré dans cette motivation impérative, ce travail de recherche navigue méticuleusement à travers diverses sources de données, y compris le réseau complexe des médias sociaux, les systèmes de surveillance vidéo omniprésents et les plateformes en ligne expansives, reconnaissant leur rôle fondamental dans la détection moderne du crime. L'étude vise à doter les LEA de capacités avancées en matière de détection intelligente du crime, compte tenu de la montée en puissance des interactions numériques. Les chercheurs explorent les complexités des médias sociaux, des vidéos de surveillance et des données en ligne, mettant l'accent sur la nécessité de renforcer les stratégies de maintien de l'ordre avec des solutions technologiques de pointe. La thèse présente trois objectifs pivots : La thèse a trois objectifs clés : automatiser l'identification des suspects en utilisant la science des données, les outils big data et les modèles ontologiques ; réaliser une analyse en temps réel des médias sociaux pour détecter rapidement les crimes dans le bruit numérique en utilisant des modèles sophistiqués ; améliorer la surveillance vidéo en intégrant des algorithmes de deep learning pour une détection rapide et précise des crimes liés aux couteaux, marquant une avancée significative dans la technologie de surveillance. Naviguer dans ce domaine de recherche présente des défis significatifs, notamment l'intégration de données hétérogènes et le développement de techniques de prétraitement efficaces. L'analyse en temps réel des subtilités des médias sociaux exige des modèles ontologiques compétents. La conception des systèmes de surveillance vidéo intelligents nécessite la fusion d'algorithmes de deep learning de pointe avec un traitement vidéo en temps réel, garantissant à la fois la rapidité et la précision dans la détection des crimes. Cette thèse présente des solutions novatrices pour la détection criminelle moderne. À travers ICAD, un système intelligent d'analyse et de détection en temps réel, les enquêtes sont automatisées et rationalisées. CRI-MEDIA, un cadre ontologique, permet une détection précise des crimes sur les médias sociaux. De plus, la recherche se penche sur la surveillance vidéo des crimes liés aux couteaux avec SVSS, intégrant des modèles de deep learning avancés. Cette intégration révolutionne les méthodes d'enquête, élevant les capacités des agences de maintien de l'ordre face à la complexité du crime numérique. Le texte complet comprend 1 235 caractères, espaces inclus. La validation expérimentale dans des scénarios criminels réels est essentielle pour garantir l'intégrité de la recherche. Les méthodologies sont rigoureusement testées dans des situations authentiques, utilisant des données provenant d'enquêtes réelles. Ces expériences confirment l'efficacité des solutions proposées, tout en fournissant des insights précieux pour des améliorations futures. Les résultats mettent en lumière l'applicabilité pratique de ces méthodes, leur flexibilité dans divers contextes de maintien de l'ordre et leur contribution à la sécurité publique
In the face of a rapidly evolving criminal landscape, law enforcement agencies (LEAs) grapple with escalating challenges in contemporary criminal investigations. This PhD thesis embarks on a transformative exploration, encouraged by an urgent need to revolutionize investigative methodologies and arm LEAs with state-of-the-art tools to combat crime effectively. Rooted in this imperative motivation, the research meticulously navigates diverse data sources, including the intricate web of social media networks, omnipresent video surveillance systems, and expansive online platforms, recognizing their fundamental roles in modern crime detection. The contextual backdrop of this research is the pressing demand to empower LEAs with advanced capabilities in intelligent crime detection. The surge in digital interactions necessitates a paradigm shift, compelling researchers to delve deep into the labyrinth of social media, surveillance footage, and online data. This context underscores the urgency to fortify law enforcement strategies with cutting-edge technological solutions. Motivated by urgency, the thesis focuses on three core objectives: firstly, automating suspect identification through the integration of data science, big data tools, and ontological models, streamlining investigations and empowering law enforcement with advanced inference rules; secondly, enabling real-time detection of criminal events within digital noise via intricate ontological models and advanced inference rules, providing actionable intelligence and supporting informed decision-making for law enforcement; and thirdly, enhancing video surveillance by integrating advanced deep learning algorithms for swift and precise detection of knife-related crimes, representing a pioneering advancement in video surveillance technology. Navigating this research terrain poses significant challenges. The integration of heterogeneous data demands robust preprocessing techniques, enabling the harmonious fusion of disparate data types. Real-time analysis of social media intricacies necessitates ontological models adept at discerning subtle criminal nuances within the digital tapestry. Moreover, designing Smart Video Surveillance Systems necessitates the fusion of state-of-the-art deep learning algorithms with real-time video processing, ensuring both speed and precision in crime detection. Against these challenges, the thesis contributes innovative solutions at the forefront of contemporary crime detection technology. The research introduces ICAD, an advanced framework automating suspect identification and revolutionizing investigations. CRI-MEDIA tackles social media crime challenges using a streamlined process and enriched criminal ontology. Additionally, SVSS, a Smart Video Surveillance System, swiftly detects knife-related crimes, enhancing public safety. Integrating ICAD, CRI-MEDIA, and SVSS, this work pioneers intelligent crime detection, empowering law enforcement with unprecedented capabilities in the digital age. Critical to the integrity of the research, the proposed methodologies undergo rigorous experimentation in authentic criminal scenarios. Real-world data gathered from actual investigations form the crucible wherein ICAD, CRI-MEDIA, and SVSS are tested. These experiments serve as a litmus test, affirming not only the viability of the proposed solutions but also offering nuanced insights for further refinement. The results underscore the practical applicability of these methodologies, their adaptability in diverse law enforcement contexts, and their role in enhancing public safety and security

Exploiter des jeux de données labelisés est très utile, non seulement pour entrainer des modèles et mettre en place des procédures d'analyses prédictives, mais aussi pour améliorer la compréhension d'un domaine. La découverte de sous-groupes a été l'objet de recherches depuis deux décennies. Elle consiste en la découverte de règles couvrants des ensembles d'objets ayant des propriétés intéressantes, qui caractérisent une classe cible donnée. Bien que de nombreux algorithmes de découverte de sous-groupes aient été proposés à la fois dans le cas des données transactionnelles et numériques, la découverte de règles dans des données séquentielles labelisées a été bien moins étudiée. Dans ce contexte, les stratégies d'exploration exhaustives ne sont pas applicables à des cas d'application rééls, nous devons donc nous concentrer sur des approches heuristiques. Dans cette thèse, nous proposons d'appliquer des modèles de bandit manchot ainsi que la recherche arborescente de Monte Carlo à l'exploration de l'espace de recherche des règles possibles, en utilisant un compromis exploration-exploitation, sur différents types de données tels que les sequences d'ensembles d'éléments, ou les séries temporelles. Pour un budget temps donné, ces approches trouvent un ensemble des top-k règles decouvertes, vis-à-vis de la mesure de qualité choisie. De plus, elles ne nécessitent qu'une configuration légère, et sont indépendantes de la mesure de qualité utilisée. A notre connaissance, il s'agit de la première application de la recherche arborescente de Monte Carlo au cas de la fouille de données séquentielles labelisées. Nous avons conduit des études appronfondies sur différents jeux de données pour illustrer leurs plus-values, et discuté leur résultats quantitatifs et qualitatifs. Afin de valider le bon fonctionnement d'un de nos algorithmes, nous proposons un cas d'utilisation d'analyse de jeux vidéos, plus précisémment de matchs de Rocket League. La decouverte de règles intéressantes dans les séquences d'actions effectuées par les joueurs et leur exploitation dans un modèle de classification supervisée montre l'efficacité et la pertinence de notre approche dans le contexte difficile et réaliste des données séquentielles de hautes dimensions. Elle permet la découverte automatique de techniques de jeu, et peut être utilisée afin de créer de nouveaux modes de jeu, d'améliorer le système de classement, d'assister les commentateurs de "e-sport", ou de mieux analyser l'équipe adverse en amont, par exemple
It is extremely useful to exploit labeled datasets not only to learn models and perform predictive analytics but also to improve our understanding of a domain and its available targeted classes. The subgroup discovery task has been considered for more than two decades. It concerns the discovery of rules covering sets of objects having interesting properties, e.g., they characterize a given target class. Though many subgroup discovery algorithms have been proposed for both transactional and numerical data, discovering rules within labeled sequential data has been much less studied. In that context, exhaustive exploration strategies can not be used for real-life applications and we have to look for heuristic approaches. In this thesis, we propose to apply bandit models and Monte Carlo Tree Search to explore the search space of possible rules using an exploration-exploitation trade-off, on different data types such as sequences of itemset or time series. For a given budget, they find a collection of top-k best rules in the search space w.r.t chosen quality measure. They require a light configuration and are independent from the quality measure used for pattern scoring. To the best of our knowledge, this is the first time that the Monte Carlo Tree Search framework has been exploited in a sequential data mining setting. We have conducted thorough and comprehensive evaluations of our algorithms on several datasets to illustrate their added-value, and we discuss their qualitative and quantitative results. To assess the added-value of one or our algorithms, we propose a use case of game analytics, more precisely Rocket League match analysis. Discovering interesting rules in sequences of actions performed by players and using them in a supervised classification model shows the efficiency and the relevance of our approach in the difficult and realistic context of high dimensional data. It supports the automatic discovery of skills and it can be used to create new game modes, to improve the ranking system, to help e-sport commentators, or to better analyse opponent teams, for example