Dissertations / Theses on the topic 'Infox vidéo'

Le progrès rapide et la démocratisation de la technologie ont conduit à l’abondance des capteurs. Par conséquent, l’intégration de ces diverses modalités pourrait présenter un avantage considérable pour de nombreuses applications dans la vie réelle, telles que la reconnaissance biométrique ou la détection d’engagement des élèves. Dans le domaine de la multimodalité, les chercheurs ont établi des architectures variées de fusion, allant des approches de fusion précoce, hybride et tardive. Cependant, ces architectures peuvent avoir des limites en ce qui concerne des signaux temporels d’une durée courte, ce qui nécessite un changement de paradigme vers le développement de techniques d’apprentissage automatique multimodales qui promettent une précision et une efficacité pour l’analyse de ces données courtes. Dans cette thèse, nous nous appuyons sur l’intégration de la multimodalité pour relever les défis précédents, allant de l’identification biométrique supervisée à la détection non supervisée de l’engagement des étudiants. La première contribution de ce doctorat porte sur l’intégration de la Wavelet Scattering Transform à plusieurs couches avec une architecture profonde appelée x-vectors, grâce à laquelle nous avons amélioré la performance de l’identification du locuteur dans des scénarios impliquant des énoncés courts tout en réduisant le nombre de paramètres nécessaires à l’entraînement. En s’appuyant sur les avantages de la multimodalité, on a proposé une architecture de fusion tardive combinant des vidéos de la profondeur des lèvres et des signaux audios a permis d’améliorer la précision de l’identification dans le cas d’énoncés courts, en utilisant des méthodes efficaces et moins coûteuses pour extraire des caractéristiques spatio-temporelles. Dans le domaine des défis biométriques, il y a la menace de l’émergence des "deepfakes". Ainsi, nous nous sommes concentrés sur l’élaboration d’une méthode de détection des "deepfakes" basée sur des méthodes mathématiques compréhensibles et sur une version finement ajustée de notre précédente fusion tardive appliquée aux vidéos RVB des lèvres et aux audios. En utilisant des méthodes de détection d’anomalies conçues spécifiquement pour les modalités audio et visuelles, l’étude a démontré des capacités de détection robustes dans divers ensembles de données et conditions, soulignant l’importance des approches multimodales pour contrer l’évolution des techniques de deepfake. S’étendant aux contextes éducatifs, la thèse explore la détection multimodale de l’engagement des étudiants dans une classe. En utilisant des capteurs abordables pour acquérir les signaux du rythme cardiaque et les expressions faciales, l’étude a développé un ensemble de données reproductibles et un plan pour identifier des moments significatifs, tout en tenant compte des nuances culturelles. L’analyse des expressions faciales à l’aide de Vision Transformer (ViT) fusionnée avec le traitement des signaux de fréquence cardiaque, validée par des observations d’experts, a mis en évidence le potentiel du suivi des élèves afin d’améliorer la qualité d’enseignement
The rapid advancement and democratization of technology have led to an abundance of sensors. Consequently, the integration of these diverse modalities presents an advantage for numerous real-life applications, such as biometrics recognition and engage ment detection. In the field of multimodality, researchers have developed various fusion ar chitectures, ranging from early, hybrid, to late fusion approaches. However, these architec tures may have limitations involving short utterances and brief video segments, necessi tating a paradigm shift towards the development of multimodal machine learning techniques that promise precision and efficiency for short-duration data analysis. In this thesis, we lean on integration of multimodality to tackle these previous challenges ranging from supervised biometrics identification to unsupervised student engagement detection. This PhD began with the first contribution on the integration of multiscale Wavelet Scattering Transform with x-vectors architecture, through which we enhanced the accuracy of speaker identification in scenarios involving short utterances. Going through multimodality benefits, a late fusion architecture combining lips depth videos and audio signals further improved identification accuracy under short utterances, utilizing an effective and less computational methods to extract spatiotemporal features. In the realm of biometrics challenges, there is the threat emergence of deepfakes. There-fore, we focalized on elaborating a deepfake detection methods based on, shallow learning and a fine-tuned architecture of our previous late fusion architecture applied on RGB lips videos and audios. By employing hand-crafted anomaly detection methods for both audio and visual modalities, the study demonstrated robust detection capabilities across various datasets and conditions, emphasizing the importance of multimodal approaches in countering evolving deepfake techniques. Expanding to educational contexts, the dissertation explores multimodal student engagement detection in classrooms. Using low-cost sensors to capture Heart Rate signals and facial expressions, the study developed a reproducible dataset and pipeline for identifying significant moments, accounting for cultural nuances. The analysis of facial expressions using Vision Transformer (ViT) fused with heart rate signal processing, validated through expert observations, showcased the potential for real-time monitoring to enhance educational outcomes through timely interventions

Cette thèse a pour objectif de donner une définition générale et mesurable de la difficulté du gameplay dans un jeu vidéo. Elle propose une méthode et un outil pour mesurer cette difficulté. La méthode de mesure couramment employée est en effet principalement heuristique et propre au contexte de chaque jeu. Nous proposons une approche générique d’analyse du gameplay qui prend en compte l’apprentissage du joueur et permet une évaluation statistique de la difficulté d’un gameplay. Dans un premier temps, la thèse explore les liens entre difficulté, game design, et plaisir de jouer. Nous étudions diverses formes de difficultés : sensorielles, logiques et motrices. Après diverses expérimentations d’analyse automatique de gameplay, nous détaillons notre modèle de mesure de la difficulté, et l’analyse en challenges et capacités d’un gameplay, ainsi que le logiciel associé. Finalement, nous présentons une expérience, dont l’objectif est de tester la faisabilité et la précision de notre modèle
The goal of this thesis is to propose a general and measurable definition of the difficulty in video games. The current approach, widely adopted, is mainly heuristic, and depends on each game’s context. We propose a generic way to analyse a gameplay, taking into account the player’s apprenticeship, which allows to statistically evaluate the gameplay’s difficulty. The thesis first explores the links between difficulty, game design and the player’s enjoyment. Then, we study different types of difficulties, sensory, logical and motor. After a few experiments on automatic gameplay analysis, we detail our measurement model, base on the splitting of gameplay into challenges and capacities. We present the developed software, and report an experiment that we ran to test the feasibility and accuracy of our measuring technique

Cette thèse relève de l'indexation et de la représentation par le contenu des données multimédias, dans le contexte spécifique de la normalisationinternationale de l'image et notamment dans le cadre du processus de standardisation MPEG-7.

Nous proposons tout d'abord de nouvelles mesures de similarité pour les descriptions de mouvement par modèles paramétriques 2D, fondées sur une famille de fonctions distance entre les champs de vitesses. Les problèmes d'optimisation en temps de calcul, d'alignement spatio-temporel et de pondération des composantes translationnelle et homogène de mouvement sont analysés et une solution mathématique proposée, mise en oeuvre et évaluée objectivement sur les bases de test naturelle et synthétique avec vérité terrain, que nous avons constituées et qui ont été retenues pour l'évaluation des descripteurs de mouvement MPEG-7.

Deux descripteurs de forme pour indexer des modèles 3D maillés sont ensuite proposés. Partant des propriétés d'invariance géométrique et topologique que doit satisfaire naturellement un descripteur de forme d'objet 3D maillé, nous avons tout d'abord défini le spectre de forme 3D, que nous avons proposé et promu dans le standard MPEG-7. Celui-ci exploite uniquement la structure géométrique locale d'une surface 3D, fournit une représentation très compacte, mais présente une grande sensibilité aux descriptions topologiques des maillages. En considérant la transformée de Hough 3D d'un maillage, nous avons ensuite construit le descripteur de Hough 3D optimisé, intrinsèquement invariant aux changements de connexité, rendu indépendant aux transformations géométriques et optimisé en terme de compacité de représentation, via une partition invariante aux changements de repère canonique de la sphère unité.

Enfin, nous proposons une plate-forme d'indexation compatible MPEG-7, intégrant des outils d'annotation, de navigation, de visualisation et de requêtes par similarité, et supportant des applications comme l'archivage vidéo, la vidéo cliquable ou l'indexation MPEG-7 de la langue des signes française. L'ensemble logiciel ainsi réalisé démontre pour la première fois en grandeur réelle, pour les applications d'indexation multimédia considérées, le caractère effectivement opérationnel des schémas de description génériques, normalisés MPEG7.

Cette thèse a pour objectif de donner une définition générale et mesurable de la difficulté du gameplay dans un jeu vidéo. Elle propose une méthode et un outil pour mesurer cette difficulté. La méthode de mesure couramment employée est en effet principalement heuristique et propre au contexte de chaque jeu. Nous proposons une approche générique d'analyse du gameplay qui prend en compte l'apprentissage du joueur et permet une évaluation statistique de la difficulté d'un gameplay. Dans un premier temps, la thèse explore les liens entre difficulté, game design, et plaisir de jouer. Nous étudions diverses formes de difficultés : sensorielles, logiques et motrices. Après diverses expérimentations d'analyse automatique de gameplay, nous détaillons notre modèle de mesure de la difficulté, et l'analyse en challenges et capacités d'un gameplay, ainsi que le logiciel associé. Finalement, nous présentons une expérience, dont l'objectif est de tester la faisabilité et la précision de notre modèle.

Nous nous intéresserons dans cette thèse à l'étude et la caractérisation des Textures Dynamiques (TDs), avec comme application visée l'indexation dans de grandes bases de vidéos. Ce thème de recherche étant émergent, nous proposons une définition des TDs, une taxonomie de celles-ci, ainsi qu'un état de l'art. La classe de TD la plus représentative est décrite par un modèle formel qui considère les TDs comme la superposition d'ondes porteuses et de phénomènes locaux. La construction d'outils d'analyse spatio-temporelle adaptés aux TDs est notre principale contribution. D'une part, nous montrons que la transformée en curvelets 2D+T est pertinente pour la représentation de l'onde porteuse. D'autre part, dans un objectif de décomposition des séquences vidéos, nous proposons d'utiliser l'approche par Analyse en Composantes Morphologiques. Notre contribution consiste en l'apport et l'étude de nouvelles stratégies de seuillage. Ces méthodes sont testées sur plusieurs applications: segmentation spatio-temporelle, décomposition de TDs, estimation du mouvement global d'une TD, ... Nous avons de plus montré que l'Analyse en Composantes Morphologiques et les approches multi-échelles donnent des résultats significatifs pour la recherche par le contenu et l'indexation de Textures Dynamiques de la base de données DynTex. Cette thèse constitue ainsi un premier pas vers l'indexation automatique de textures dynamiques dans des séquences d'images, et ouvre la voie à de nombreux développements sur ce sujet nouveau. Enfin, le caractère générique des approches proposées permet d'envisager leurs applications dans un cadre plus large mettant en jeu par exemple des données 3D.

Actuellement, nous constatons une augmentation de demande de services vidéo sur les réseaux P2P. Ces réseaux jouent un rôle primordial dans la transmission de contenus multimédia à grande échelle pour des clients hétérogènes. Cependant, le déploiement de services vidéo temps réel sur les réseaux P2P a suscité un grand nombre de défis dû à l'hétérogénéité des terminaux et des réseaux d'accès, aux caractéristiques dynamiques des pairs, et aux autres problèmes hérités des protocoles TCP/IP, à savoir les pertes de paquets, les délais de transfert et la variation de la bande passante de bout-en-bout. Dans ce contexte, l'objectif de cette thèse est d'analyser les différents problèmes et de proposer un mécanisme de transport vidéo temps réel avec le provisionnement de la qualité de Service (QoS). Ainsi, nous proposons trois contributions majeures. Premièrement, il s'agit d'un mécanisme de streaming vidéo adaptatif permettant de sélectionner les meilleurs pair émetteurs. Ce mécanisme permet de structurer les pairs dans des réseaux overlay hybrides avec une prise en charge des caractéristiques sémantiques du contenu et des caractéristiques physiques du lien de transport. Nous présentons ensuite un mécanisme d'ordonnancement de paquets vidéo combiné à une commutation de pairs et/ou de flux pour assurer un transport lisse. Finalement, une architecture de collaboration entre les applications P2P et les fournisseurs de services / réseaux est proposée pour supporter un contrôle d'admission de flux.

Dans le domaine du Traitement Automatique des Langues Naturelles, l'exploitation d'énoncés en langues des signes occupe une place à part. En raison des spécificités propres à la Langue des Signes Française (LSF) comme la simultanéité de plusieurs paramètres, le fort rôle de l'expression du visage, le recours massif à des unités gestuelles iconiques et l'utilisation de l'espace pour structurer l'énoncé, de nouvelles méthodes de traitement doivent être adaptées à cette langue. Nous exposons d'abord une méthode de suivi basée sur un filtre particulaire, permettant de déterminer à tout moment la position de la tête, des coudes, du buste et des mains d'un signeur dans une vidéo mono-vue. Cette méthode a été adaptée à la LSF pour la rendre plus robuste aux occultations, aux sorties de cadre et aux inversions des mains du signeur. Ensuite, l'analyse de données issues de capture de mouvement nous permet d'aboutir à une catégorisation de différents mouvements fréquemment utilisés dans la production de signes. Nous en proposons un modèle paramétrique que nous utilisons dans le cadre de la recherche de signes dans une vidéo, à partir d'un exemple vidéo de signe. Ces modèles de mouvement sont enfin réutilisés dans des applications permettant d'assister un utilisateur dans la création d'images de signe et la segmentation d'une vidéo en signes.

Le monde du protocole de transport a fortement évolué depuis la création de l'internet. On retrouve désormais une grande diversité de liens avec des caractéristiques hétérogènes en termes de débit, taux de pertes et délais. Plus récemment, le caractère ubiquitaire des périphériques sans fil a permis d'envisager un nouveau mode de transfert prenant en compte la mobilité des utilisateurs pour propager l'information dans le réseau. Ce paradigme de communication rompt définitivement avec les hypothèses de conceptions des protocoles de transport classique. Les applications qui utilisent l'internet ont également évolué. Les réseaux best effort sont maintenant utilisés pour transporter des flux à contrainte de délai tels que la voix sur IP et la vidéo conférence. Cependant, malgré ces changements importants, le principe de fiabilité utilisé n'a guère évolué et se base toujours sur des retransmissions. C'est dans ce contexte que s'inscrit cette thèse qui vise à fournir une brique de fiabilité novatrice pour le support de tout type d'application sur les réseaux best effort et les challenged neworks qui font de plus en plus partie du paysage de l'internet. A cette fin, nous proposons un mécanisme de codage dénommé Tetrys. Ce code est sans rendement et ses symboles de redondance sont générés à la volée. Il permet à la fois une fiabilité totale et un délai de reconstruction quasi-optimal. Après une étude détaillée de ses propriétés, nous illustrons la généricité de ce mécanisme. Nous verrons que ses caractéristiques mènent à des contributions aussi bien sur le transport de flux de vidéo-conférence que sur le support du streaming dans les DTN ou encore la fiabilisation des handovers. De manière plus prospective, cette thèse reconsidère les hypothèses initiales du contrôle de congestion. Tetrys est utilisé comme code optimal dans le cas de réseaux dit "anarchiques" (i.e. caractérisés par une absence totale de contrôle de congestion). Nous montrons que le concept de réseau anarchi que est une alternative viable au contrôle de congestion et qu'il le remplace mÆeme avantageusement.

Le placement de caméra en environnement virtuel consiste à positionner et orienter une caméra virtuelle 3D de façon à respecter un ensemble de propriétés visuelles ou cinématographiques définies par l'utilisateur. Réaliser cette tâche est difficile en pratique. En effet, l'utilisateur possède une vision claire du résultat qu'il souhaite obtenir en termes d'agencement des objets à l'image. Toutefois le processus classique de placement de caméra est particulièrement contre-intuitif. L'utilisateur doit effectuer une inversion mentale afin d'inférer la position et l'orientation de la caméra dans l'environnement 3D amenant au résultat souhaité. Des méthodes d'aide au placement de caméra apparaissent donc particulièrement profitables pour les utilisateurs. Dans cette thèse, nous identifions trois axes de recherche relativement peu couverts par la littérature dédiée au placement de caméra et qui nous apparaissent pourtant essentiels. D'une part, les approches existantes n'offrent que peu de flexibilité tant dans la résolution que dans la description d'un problème en termes de propriétés visuelles, en particulier lorsque celui-ci ne possède aucune solution. Nous proposons une méthode de résolution flexible qui calcule l'ensemble des solutions, maximisant la satisfaction des propriétés du problème, que celui-ci soit sur-contraint ou non. D'autre part, les méthodes existantes ne calculent qu'une seule solution, même lorsque le problème possède plusieurs classes de solutions équivalentes en termes de satisfaction de propriétés. Nous introduisons la méthode des volumes sémantiques qui calcule l'ensemble des classes de solutions sémantiquement équivalentes et propose un représentant de chacune d'elles à l'utilisateur. Enfin, le problème de l'occlusion, bien qu'essentiel dans la transmission de l'information, n'est que peu abordé par la communauté. En conséquence, nous présentons une nouvelle méthode de prise en compte de l'occlusion dans des environnements dynamiques temps réel.

L’émergence des contenus multimédias sur Internet, l’accès aux contenus multimédias et leurs enrichissements constituent un vaste domaine de recherche. Cette thèse s’inscrit dans ce contexte, et présente la réalisation complète et opérationnelle d’une plate-forme de diffusion multimédia interopérable et ouverte. Après avoir spécifié l’architecture de la plate-forme en introduisant le support de tous types de médias, l’indexation efficace, la recherche de contenus et leurs visualisations en ligne, la première contribution de cette thèse est une extension de la norme MPEG 7 permettant d’assurer la gestion des contenus graphiques 3D, ainsi que des informations liées à un système multimédia. Cette extension a permis le développement d’une plate-forme de diffusion gérant tous types de contenus, appelée MyMultimédiaWorld.com, entièrement normalisée à l’aide de MPEG 7 et MPEG 4. La deuxième contribution porte sur les facilités d’accès à la plate-forme multimédia. D’une part, nous avons développé une solution simple et originale d’API d’accès aux contenus multimédia par de applications tierces. D’autre part, nous proposons une solution basée sur le principe d’API pour intégrer dans une plate-forme des algorithmes multimédias. Cette solution permet la création de nouveaux services à partir d’algorithmes externes. A partir des deux APIs, nous proposons une nouvelle approche pour l’évaluation automatique d’algorithmes multimédias. Les aspects clés de cette approche sont l’évaluation en ligne, des conditions identiques pour l’exécution des algorithmes et la mise à jour automatique des résultats. L’approche développée est démontrée à l’aide de deux benchmarks différents, le premier pour l’évaluation des algorithmes de compression de maillage 3D et le second pour le benchmark des descripteurs de formes 3D développé dans le cadre des projets FAME2 et POPS du pôle de compétitivité System@tic. Les avantages de cette approche ont été reconnus récemment par le comité de normalisation MPEG avec sa décision d’adopter www.MyMultimédiaWorld.com pour l’évaluation des algorithmes de compression de maillage 3D
The emergency of the Internet as a medium for multimedia content, the manner to access the content including means of enriching it with semantic information constitute large research domains. This thesis situates in this context and introduces an operational implementation of an open and interoperable multimedia content distribution platform. After specifying the platform architecture introducing the support of all media types, effective indexation, content search and on-line visualisation, the first contribution of the thesis consists in several MPEG 7 extensions allowing 3D object description, as well as multimedia service specification. These extensions makes it possible a novel approach of asset management systems fully normalised with MPEG 7 and MPEG 4, the concept being demonstrated by the implementation of the www.MyMultimédiaWorld.com platform. The second contribution of the thesis concerns the fundaments and tools to ensure easy access to the multimedia platform. We developed an original solution based on an access API making possible to third party applications to access content and metadata resident into the platform. A second API, makes it possible to integrate multimedia processing algorithm directly in the platform, transforming it into a continuous evolving environment. The Web2.0 paradigm of user generated content is now extended to user generated functionality. Based on the two APIs, we proposed a novel approach for evaluation of multimedia related algorithms. The key aspects are the online processing, evolving content, execution of algorithms in identical conditions, always up-to-date results. The approach is demonstrated for two benchmarks: the first deals with 3D mesh compression algorithms and the second with 3D shape descriptors developed in the FAME2 and POPS projects of the System@tic competitiveness cluster. The advantages of such benchmarking approach were recognized recently by MPEG committee when deciding to adopt www.MyMultimédiaWorld.com as the standard evaluation tool for 3D mesh compression

La vérification automatique du locuteur est une tâche de classification qui vise à confirmer ou infirmer l'identité d'un individu d'après une étude des caractéristiques spécifiques de sa voix. L'intégration de systèmes de vérification du locuteur sur des appareils embarqués impose de respecter deux types de contraintes, liées à cet environnement : - les contraintes matérielles, qui limitent fortement les ressources disponibles en termes de mémoire de stockage et de puissance de calcul disponibles ; - les contraintes ergonomiques, qui limitent la durée et le nombre des sessions d'entraînement ainsi que la durée des sessions de test. En reconnaissance du locuteur, la structure temporelle du signal de parole n'est pas exploitée par les approches état-de-l'art. Nous proposons d'utiliser cette information, à travers l'utilisation de mots de passe personnels, afin de compenser le manque de données d'apprentissage et de test. Une première étude nous a permis d'évaluer l'influence de la dépendance au texte sur l'approche état-de-l'art GMM/UBM (Gaussian Mixture Model/ Universal Background Model). Nous avons montré qu'une contrainte lexicale imposée à cette approche, généralement utilisée pour la reconnaissance du locuteur indépendante du texte, permet de réduire de près de 30% (en relatif) le taux d'erreurs obtenu dans le cas où les imposteurs ne connaissent pas le mot de passe des clients. Dans ce document, nous présentons une architecture acoustique spécifique qui permet d'exploiter à moindre coût la structure temporelle des mots de passe choisis par les clients. Cette architecture hiérarchique à trois niveaux permet une spécialisation progressive des modèles acoustiques. Un modèle générique représente l'ensemble de l'espace acoustique. Chaque locuteur est représenté par une mixture de Gaussiennes qui dérive du modèle du monde générique du premier niveau. Le troisième niveau de notre architecture est formé de modèles de Markov semi-continus (SCHMM), qui permettent de modéliser la structure temporelle des mots de passe tout en intégrant l'information spécifique au locuteur, modélisée par le modèle GMM du deuxième niveau. Chaque état du modèle SCHMM d'un mot de passe est estimé, relativement au modèle indépendant du texte de ce locuteur, par adaptation des paramètres de poids des distributions Gaussiennes de ce GMM. Cette prise en compte de la structure temporelle des mots de passe permet de réduire de 60% le taux d'égales erreurs obtenu lorsque les imposteurs prononcent un énoncé différent du mot de passe des clients. Pour renforcer la modélisation de la structure temporelle des mots de passe, nous proposons d'intégrer une information issue d'un processus externe au sein de notre architecture acoustique hiérarchique. Des points de synchronisation forts, extraits du signal de parole, sont utilisés pour contraindre l'apprentissage des modèles de mots de passe durant la phase d'enrôlement. Les points de synchronisation obtenus lors de la phase de test, selon le même procédé, permettent de contraindre le décodage Viterbi utilisé, afin de faire correspondre la structure de la séquence avec celle du modèle testé. Cette approche a été évaluée sur la base de données audio-vidéo MyIdea grâce à une information issue d'un alignement phonétique. Nous avons montré que l'ajout d'une contrainte de synchronisation au sein de notre approche acoustique permet de dégrader les scores imposteurs et ainsi de diminuer le taux d'égales erreurs de 20% (en relatif) dans le cas où les imposteurs ignorent le mot de passe des clients tout en assurant des performances équivalentes à celles des approches état-de-l'art dans le cas où les imposteurs connaissent les mots de passe. L'usage de la modalité vidéo nous apparaît difficilement conciliable avec la limitation des ressources imposée par le contexte embarqué. Nous avons proposé un traitement simple du flux vidéo, respectant ces contraintes, qui n'a cependant pas permis d'extraire une information pertinente. L'usage d'une modalité supplémentaire permettrait néanmoins d'utiliser les différentes informations structurelles pour déjouer d'éventuelles impostures par play-back. Ce travail ouvre ainsi de nombreuses perspectives, relatives à l'utilisation d'information structurelle dans le cadre de la vérification du locuteur et aux approches de reconnaissance du locuteur assistée par la modalité vidéo

L'émergence des contenus multimédias sur Internet, l'accès aux contenus multimédias et leurs enrichissements constituent un vaste domaine de recherche. Cette thèse s'inscrit dans ce contexte, et présente la réalisation complète et opérationnelle d'une plate-forme de diffusion multimédia interopérable et ouverte. Après avoir spécifié l'architecture de la plate-forme en introduisant le support de tous types de médias, l'indexation efficace, la recherche de contenus et leurs visualisations en ligne, la première contribution de cette thèse est une extension de la norme MPEG 7 permettant d'assurer la gestion des contenus graphiques 3D, ainsi que des informations liées à un système multimédia. Cette extension a permis le développement d'une plate-forme de diffusion gérant tous types de contenus, appelée MyMultimédiaWorld.com, entièrement normalisée à l'aide de MPEG 7 et MPEG 4. La deuxième contribution porte sur les facilités d'accès à la plate-forme multimédia. D'une part, nous avons développé une solution simple et originale d'API d'accès aux contenus multimédia par de applications tierces. D'autre part, nous proposons une solution basée sur le principe d'API pour intégrer dans une plate-forme des algorithmes multimédias. Cette solution permet la création de nouveaux services à partir d'algorithmes externes. A partir des deux APIs, nous proposons une nouvelle approche pour l'évaluation automatique d'algorithmes multimédias. Les aspects clés de cette approche sont l'évaluation en ligne, des conditions identiques pour l'exécution des algorithmes et la mise à jour automatique des résultats. L'approche développée est démontrée à l'aide de deux benchmarks différents, le premier pour l'évaluation des algorithmes de compression de maillage 3D et le second pour le benchmark des descripteurs de formes 3D développé dans le cadre des projets FAME2 et POPS du pôle de compétitivité System@tic. Les avantages de cette approche ont été reconnus récemment par le comité de normalisation MPEG avec sa décision d'adopter www.MyMultimédiaWorld.com pour l'évaluation des algorithmes de compression de maillage 3D.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES
In this work we propose an interdisciplinary modular teaching sequence on the measurement of the speed of light which is compatible with the traditional basic education’s sillabus. Based on the Römer method to measure the time difference between the occultation of Jupiter's moons in different orbital configurations with respect to the Earth, we developed educational activities that include: (a) observations of Jupiter's moons occultations through amateur telescopes; (b) data analysis using professional Astronomy softwares; (c) simulations using the software Stellarium and (d) the use of spreadsheets for the calculations involved to explore the physics contents. The modules can be applied independently and they are associated to educational products like didactic sequences, tutorials, video tutorials and info-animation in PowerPoint to support the lectures. We add three extra classes to the usual curriculum, which however can be easily adapted to the usual lecture. For these classes we prepared two info-animations employing the Peer Instruction and Just-in-time teaching methods besides practical activities centered on the students, following the Meaningful Learning approaches. With these resources we explore kinematics concepts (linear and circular movements), systems of reference, vectors and scientific epistemology. By mean of a pre and post-tests using questions from the High School National Exams (ENEM) involving the topics of Physics and Astronomy proposed in this work, we verified a considerable progress in the pattern of responses before and after our intervention to more than 90% of the addressed questions. Based on publicly available data by the National Institute for Studies and Educational Research (INEP) we identify a significantly higher yield of right answers of our students when compared with the average responses of all students from Sergipe who participated of the National Exams. Methodological corrections to this work based on the problems identified during the application of our products are proposed.
Neste trabalho propomos uma sequência didática modular, de caráter interdisciplinar e compatível com o currículo do ensino básico, sobre a medida da velocidade da luz. Inspirados no método de Römer para medir a diferença de tempo entre as ocultações das luas de Júpiter em configurações orbitais distintas com relação à Terra, elaboramos atividades que contemplam: (a) observações das ocultações das luas de Júpiter por meio de telescópios amadores; (b) análise de dados por meio de softwares profissionais da Astronomia; (c) simulações das observações utilizando o software Stellarium e (d) o uso de planilhas tanto para os cálculos quanto para explorar a física envolvida. Os módulos podem ser aplicados de forma independente e têm como produtos, além da sequência didática, tutoriais, vídeo-tutoriais e info-animações em PowerPoint para apoio às aulas teóricas. Utilizando três aulas complementares à grade tradicional, mas que podem ser facilmente adaptadas à grade de aulas normais, elaboramos duas info-animações em que, empregando a técnica de Instrução pelos Colegas – IpC, Ensino sob Medida - EsM e atividades práticas centradas no aluno, com base nas abordagens da Aprendizagem Significativa, exploramos os conceitos de cinemática (retilínea e circular), sistemas de referência, vetores e epistemologia científica. Por meio das asserções de um pré-teste e um pós-teste, utilizando questões do ENEM envolvendo os tópicos de Física e Astronomia, pudemos constatar uma evolução considerável no padrão de respostas antes e depois de nossa intervenção para mais de 90% das questões abordadas, com um rendimento significativamente superior à média das respostas apresentadas por todos os alunos de Sergipe participantes do ENEM, com base nos dados publicamente disponíveis pelo INEP. Correções metodológicas com base nos acerto e erros aferidos também são exploradas.

Avec la révolution du numérique, l'usage de la vidéo a fortement évolué durant les dernières décennies, passant du cinéma à la télévision, puis au web, du récit fictionnel au documentaire et de l'éditorialisation à la création par l'utilisateur. Les médias sont les vecteurs pour échanger des informations, des connaissances, des " reportages " personnels, des émotions... L'enrichissement automatique des documents multimédias est toujours un sujet de recherche depuis l'avènement des médias. Dans ce contexte, nous proposons dans un premier temps une modélisation des différents concepts et acteurs mis en œuvre pour analyser automatiquement des documents multimédias afin de déployer dynamiquement des services interactifs en relation avec le contenu des médias. Nous définissons ainsi les concepts d'analyseur, de service interactif, de description d'un document multimédia et enfin les fonctions nécessaires pour faire interagir ceux-ci. Le modèle d'analyse obtenu se démarque de la littérature en proposant une architecture modulaire, ouverte et évolutive. Nous présentons ensuite l'implantation de ces concepts dans le cadre d'un prototype de démonstration. Ce prototype permet ainsi de mettre en avant les contributions avancées dans la description des modèles. Une implantation ainsi que des recommandations sont détaillées pour chacun des modèles. Afin de montrer les résultats d'implantation des solutions proposées sur la plateforme telles que les standards MPEG-7 pour la description, MPEG-4 BIFS pour les scènes interactives ou encore OSGI pour l'architecture générale, nous présentons différents exemples de services interactifs intégrés dans la plateforme. Ceux-ci permettent de vérifier les capacités d'adaptation aux besoins d'un ou plusieurs services interactifs.

La capture du mouvement est un défi majeur dans le cadre de la modélisation d'objets articulés. Ce problème implique la recherche de correspondances entre objets vus dans des images différentes. On propose trois approches pour résoudre ce problème basé sur des techniques de vision par ordinateur et la théorie spectrale des graphes. La première consiste à modéliser une scène 3D à l'aide d'une collection de points. On propose deux extensions de l'algorithme de Lucas-Kanade pour tracker des caractéristiques de manière efficace et pour estimer le "scene-flow". La deuxième approche basée sur la théorie spectrale des graphes cherche à établir des correspondances entre des objets représentés par des graphes. Finalement on s'intéresse au problème de segmentation qui soit cohérente dans le temps et notre approche est basée sur une méthode de clustering spectral appliquée à une séquence temporelle.

Les avancées technologiques dans le domaine du multimédia, associées à la généralisation de leur utilisation dans de nombreuses applications (archivages télévisuelles, vidéosurveillances, etc..), ont rendu possible le stockage des grandes collections de documents vidéo dans des systèmes informatiques. Pour permettre une exploitation efficace de ces collections, il est nécessaire de mettre en place des outils facilitant l'accès à leurs documents et la manipulation de ceux-ci. Une indexation par mots-clés (issus de la transcription de la parole et ou de sous-titre dans le document vidéo) est parfois possible. Cependant, l'utilisation de concepts peut améliorer les résultats de processus d'indexation et de recherche d'information parce qu'elle enlève les ambiguïtés entre les sens des mots-clés dus à la synonymie et l'homonymie. La précision de la description sera encore meilleure si, en plus des concepts non ambigus, des relations entre ces concepts sont indexées.
Les documents vidéo ont un caractère multimédia qui fait que la recherche par le contenu dans ceux-ci présente un certain nombre de spécificités. Par exemple, un concept donné (personne, objet...) peut être interprété de différentes manières : il peut être vu, il peut être entendu ou il peut être mentionné. Des combinaisons de ces cas peuvent également se produire. Naturellement, ces distinctions sont importantes pour l'utilisateur. Des requêtes impliquant le concept C comme par exemple : « rechercher les segments vidéos montrant une image de C » ou comme : « rechercher les segments vidéos dans lesquels on parle de C » sont susceptibles de produire des réponses tout à fait différentes. Dans le premier cas, on rechercherait C dans le contenu visuel tandis que dans le second, on rechercherait dans le contenu audio un segment dans la transcription duquel C est mentionné.
Cette étude s'inscrit dans un contexte de modélisation, indexation et recherche d'information multimédia. Au niveau théorique, notre contribution consiste à la proposition d'un modèle pour la représentation du contenu sémantique des documents vidéo. Ce modèle permet la prise en compte synthétique et intégrée des éléments d'informations issus de chacune des modalités (image, texte, son). L'instanciation de ce modèle est réalisée à l'aide du formalisme des graphes conceptuels. Le choix de ce formalisme est justifié par son expressivité et son adéquation au contexte d'indexation et de recherche d'information par le contenu.
Notre contribution au niveau expérimental consiste à l'implémentation (en partie) du prototype CLOVIS . Nous avons intégré le modèle proposé dans d'un système d'indexation et de recherche vidéo par le contenu pour évaluer ses apports en termes d'efficacité et de précision.
Mots-clés : Recherche d'information multimédia, indexation conceptuel, document vidéo, graphe conceptuel, ontologie.