Literatura científica selecionada sobre o tema "Tête – Capture de mouvements"

L’évaluation d’une boiterie peut s’avérer compliquée. Pour obtenir un diagnostic correct de manière objective, l’utilisation des capteurs inertiels se montre très intéressante. En effet, ils permettent de détecter les asymétries des mouvements de la tête et du bassin et indiquent, par des calculs, quel membre est atteint et à quel degré. Grâce à ces données, les effets des anesthésies sémiologiques peuvent être calculés avec précision afin de savoir si une amélioration après anesthésie sémiologique est significative ou non. En conclusion, les capteurs inertiels ne laissent pas de place à la subjectivité et permettent d’obtenir des paramètres précis sur la boiterie (présence d’asymétrie de la locomotion au trot).

AbstractL'étude cinématique des diverses phases de la prise de nourriture (capture, réduction, transport et léchage) a été réalisée chez le lézard Gekkonidae Eublepharis macularius grâce à des films tournés à 64 images par seconde. Les profils cinématiques des différentes phases et la comparaison des variables cinématiques décrivant les déplacements maxima des machoires et de la proie, et les durées de ces déplacements au cours des phases successives de la prise de nourriture sont présentés. Une premiere analyse de variance a été utilisée afin de tester 1'effet des facteurs individus et phases ainsi que leur interaction sur les variables cinématiques. Une seconde a permis de tester le facteur espèce sur les variables cinématiques des mouvements des mâchoires entre deux Gekkonidae occupant des niches écologiques différentes: E. macularius (terrestre) et Phetsuma madagascariensis (arboricole). Les effets de la radiation adaptative sur les propriétés cinématiques des mouvements de la tête, des machoires et de la langue au sein des Gekkonidae et des Scleroglossa sont discutés à partir de ces résultats. En conclusion, (1) le profil des différentes phases de la prise de nourriture est semblable pour les Scleroglossa étudiés, mais 1égèrement différent de celui des Iguania (presence d'un plateau appelé SOII dans le profil d'ouverture-fermeture de la gueule au cours des cycles de transport chez les Scleroglossa, p. ex.), (2) les caractéristiques morphométriques des pièces buccales permettent d'expliquer des différences entre les valeurs des variables cinéma- tiques pour chaque espèce.

AbstractLes comportements agonistiques du Gekkonidae Phelsuma madagascariensis sont décrits et leurs séquences analysées. Treize comportements sont classés suivant les régions du corps mises en jeu: les contacts entre la tête d'un lézard et une partie du corps de l'autre lézard, les mouvements du corps, de la tête et de la langue. Un test de chi-carré montre que les suites observées entre ces classes de comportements ne sont pas aléatoires. L'ensemble des comportements et leurs suites sont analysés à partir des stimulations possibles apportées par et vers chaque mâle. Les mouvements de langue interviennent dans les suites de comportements les plus fréquentes; que ces suites soient calculées pour l'ensemble des individus ou soient des transitions entre comportement précédant et suivant au sein d'une séquence comportementale établie par un individu. Les oscillations de langue auraient deux rôles importants: ils interviendraient en tant que signal visuel et en tant que mouvement augmentant les possibilités olfactives ou vomérolfactives de ces Gekkonidae. Les mouvements de la tête sont latéraux comme chez de nombreux Geckos. La relation entre le nombre moyen de comportement et la distance entre les individus est utilisée pour estimer le rôle et le changement de rôle des comportements les plus fréquents au sein des parades agonistiques. Les contacts à courte distance (<8 cm) pourraient remplacer les mouvements de langue utilisés le plus fréquemment à plus grande distance.

Résumé Parmi les trois procédés par lesquels les langues marquent les interrogatives, deux concernent les mots ou les signes (particules interrogatives et ordre des constituants) et un se superpose aux mots ou aux signes (intonation/comportement non manuel). Des recherches sur les langues signées ont déjà montré que ni les particules interrogatives ni l’ordre des constituants n’étaient suffisants dans la formation des interrogatives. Seul un comportement non manuel spécifique permet de distinguer les interrogatives des déclaratives correspondantes. Ce comportement non manuel est basé sur des mouvements de la tête et des sourcils et la direction du regard. Nous montrons dans cet article que les mouvements de tête permettent de distinguer les interrogatives fermées des interrogatives ouvertes en langue des signes québécoise (LSQ).

Cette contribution montre que les recherches sur la Grande Guerre ont joué un double rôle dans le parcours de Jean-Jacques Becker. Elles ont d’abord contribué à redéfinir et à redéployer ses perspectives historiographiques, en insistant sur les mouvements d’opinion et sur les représentations. D’autre part, elles lui ont permis d’accompagner, voire de mener, des mouvements historiographiques de grande ampleur qui ont bouleversé les études sur la Première Guerre mondiale depuis les années 1980. À la tête du Centre de recherches de l’Historial de la Grande Guerre à Péronne, Jean-Jacques Becker a été l’une des grandes figures de ce dynamisme intellectuel.

Pour satisfaire un public en quête de sensations fortes, le cinéma d’action contemporain a développé une syntaxe immersive : à grands renforts de mouvements d’appareils vertigineux et d’effets sonores enveloppants, ces films dépassent le traditionnel processus d’identification à la fiction par une quasi-incorporation du spectateur à l’image. Idéal formel, la situation immersive est aussi représentée dans le récit par le biais de personnages qui passent symboliquement du statut d’observateur extérieur à celui d’acteur, impliqué physiquement dans l’action.

RÉSUMÉ Cet article présente le fruit d'une recherche sur les origines du régionalisme en Mauricie qui s'est exprimé avec vigueur durant les années trente. L'idéologie de quatre régionalistes ayant en tête Albert Tessier est mise en contexte avec l'évolution socio-économique de la Mauricie durement affectée par la crise de 1929. Nous cherchons à établir un lien entre les représentations du discours régionaliste et un besoin d'identification à un idéal mobilisateur engendré par une situation collective difficile. Nous cherchons de plus à mesurer jusqu'à quel point ce discours a constitué un élément moteur du développement régional à cette époque. Le discours est présenté en interaction avec les mouvements collectifs qui en découlent et l'ont nourri. Les influences françaises sont mises en relief de même qu'une résistance des élites face à la modernité et à l'américanité.

Cet article présente une analyse contextuelle du travail créatif de quatre musiciens qui avaient comme mandat de remixer des chansons québécoises enregistrées avant les années 1960. Par le biais d’une enquête dont l’approche s’inspire de méthodes ethnographiques, l’auteur tente d’entrer dans la tête et le coeur des musiciens en vue d’identifier ce qui motive leur créativité et ce qui mène ces derniers à s’incliner vers certains modèles esthétiques plutôt que d’autres. Dans un espace social qualifié de postmoderne ou encore d’hypermoderne selon les sociologues, les motivations nous apparaissent diversifiées, fragmentées, fluctuantes et très contrastées d’un musicien à l’autre, et ce, à l’image d’une époque, d’une génération ou d’une réalité anthropologique urbaine et contemporaine. L’auteur conçoit la musique comme un phénomène multifactoriel où le social et le musical sont interdépendants, en mouvements ainsi qu’en constantes mutations.

Abstract En 1804, le gouvernement qui est établi pour la Louisiane par un acte du Congrès est de nature entièrement nominative: le président peut choisir le gouvernement et un conseil législatif composé de treize hommes vivant sur le territoire. Inquiets de leur avenir sous un gouvernement américain, et craignant pour leurs intérêts économiques qui dépendent de l’esclavage, certains habitants de Louisiane ont alors organisé des mouvements de protestation pour demander un gouvernement représentatif. Contrairement à ce que pensent les fonctionnaires américains en Louisiane et à Washington, les Louisianais qui ont pris la tête du mouvement ont une bonne connaissance du gouvernement démocratique des États-Unis. Cet article est centré sur un exposé des arguments des protestataires, arguments qui prouvent que la Louisiane, qui avait des contacts commerciaux avec trois pays qui venaient de traverser des révolutions (les États-Unis, la France et Haïti), comptait parmi ses habitants des personnes qui y malgré leur attachement à l’esclavage, savaient évoquer les idées fondamentales du mouvement démocratique qui a transformé le monde atlantique.

Lorsqu’ils explorent leur environnement, les humains comme les autres animaux ont la capacité d’utiliser de nombreuses sources d’information afin d’estimer la distance qu’ils parcourent. Le flux optique est un indice important dans la perception de la distance parcourue. De plus, il a été montré que l’ajout d’un point de vue oscillant à une simulation visuelle de mouvement propre vers l’avant modulait cette perception. A travers ce travail, nous nous sommes intéressés à tester si la perception de la distance parcourue était également affectée par un point de vue oscillant, mimant de manière plus ou moins fidèle les mouvements de la tête lors de la marche. Dans six premières expériences, il était demandé aux participants stationnaires, confrontés à un flux optique simulant leur propre mouvement vers l’avant, d’indiquer quand ils pensaient avoir atteint la position d’une cible distante initialement perçue. Une expérience subséquentes s'est intéressée à déterminer si l’absence de ces oscillations jouait un rôle important dans l’estimation de la distance parcourue lorsqu’ils marchaient sur un tapis roulant. Enfin, dans une dernière expérience nous avons développé une mesure dynamique de la distance parcourue à travers l’utilisation d’une tâche demandant aux participants de pointer continuellement la position d’une cible distante initialement perçue. Dans l’ensemble, nos résultats montrent qu’un point de vue oscillant joue un rôle important dans la perception visuelle du mouvement propre et que de nombreux paramètres semblent être impliqués dans ce processus, incluant les informations visuelles et proprioceptives mais également l’aspect écologique de la marche naturelle
When exploring their environment, humans and other animals have the ability to use many sources of information to estimate the distance they travel. Several studies have shown that optic flow is a significant cue to perceive distance travelled. Furthermore, it was found that adding various viewpoint oscillations to a purely translational optic flow, simulating forward self-motion, modulated this perception. In a series of experiments, we tested whether the perception of distance travelled was also affected by viewpoint oscillation, similar to head motion during natural walking. A first series of experiments, participants were exposed to an immersive optic flow simulating forward self-motion and they were asked to indicate when they thought they had reached the remembered position of a previously seen target. Two further experiments aimed to test whether the idiosyncrasy of viewpoint oscillations affects the perception of distance travelled in stationary observers and whether the absence of their own viewpoint oscillation played an important role in subjects’ estimates, while they were walking on a treadmill. And finally, in a last experiment we tried to develop a dynamic measure of distance travelled to a previously seen target, with a continuous pointing task method. Overall, our results show that viewpoint oscillations play an important role in visual self-motion perception and that several parameters (including visual information, proprioceptive information and ecological aspects of natural walking) seem to be involved in this process

La génération d'animation faciale de synthèse constitue une étape cruciale en génération d’images de synthèse. Il est cependant difficile de produire des animations convaincantes. Le paradigme dominant pour la création d'animations faciales de haute qualité est la méthode des blendshapes, où les expressions sont décomposées comme la combinaison linéaire d’expressions plus basiques. Toutefois, cette technique requiert une grande quantité de travail manuel, réservée aux films à grand budget, pour produire la qualité requise. La production d'animation faciale réaliste est possible à l'aide de la simulation physique, mais ce processus requiert l'utilisation d’imagerie médicale coûteuse.Nous proposons de réunir le paradigme des blendshapes et celui de la simulation physique, afin de profiter de l'ubiquité des blendshapes tout en bénéficiant de la simulation physique pour produire des effets complexes. Nous introduisons donc blendforces, un paradigme où les blendshapes sont interprétées comme une base pour approximer les forces issues des muscles faciaux. Nous montrons que, combinées à un système physique approprié, ces blendforces produisent des animations faciales convaincantes, présentant une dynamique de mouvements de peau réaliste, gérant les contacts et le collage des lèvres, et intégrant les effets des forces inertielles et de la gravité. Nous utilisons ce formalisme pour la production en temps réel d'animation faciale avec effets physiques basée sur des mouvements capturés à l'aide d'une simple caméra. À notre connaissance, il s'agit de la première démonstration de simulation physique temps-réel appliquée au cas délicat de la simulation d'animations faciales
Generating synthetic facial animation is a crucial step in the creation of content for a wide variety of digital media such as movies and video games. However, producing convincing results is challenging, since humans are experts in analyzing facial expressions and will hence detect any artifact. The dominant paradigm for the production of high-quality facial animation is the blendshapes paradigm, where facial expressions are decomposed as a linear combination of more basic expressions. However, this technique requires large amounts of work to reach the desired quality, which reserves high-quality animation to large budget movies. Producing high-quality facial animation is possible using physical simulation, but this requires the costly acquisition of medical imaging data.We propose to merge the blendshapes and physical simulation paradigms, to build upon the ubiquity of blendshapes while benefiting from physical simulation for complex effects. We therefore introduce blendforces, a paradigm where blendshapes are interpreted as a basis for approximating the forces emanating from the facial muscles. We show that, combined with an appropriate face physical system, these blendforces can be used to produce convincing facial animation, with natural skin dynamics, handling of lips contacts, sticky lips, inertial effects and handling of gravity. We encompass this framework within a practical realtime performance capture setup, where we produce realtime facial animation with physical effects from a simple RGB camera feed. To the best of our knowledge, this constitutes the first instance of realtime physical simulation applied to the challenging task of facial animation

Le coup du lapin reste un enjeu socio-économique fort de l’accidentologie routière. La recherche dans ce domaine a amené au développement de critère lésionnels qu'il est encore difficile de valider pour toutes les situations. Les hypothèses de ce projet sont que les stratégies de stabilisation de la tête sont influencées par les activités préalables à un évènement dynamique ainsi que par certaines disponibilités cognitives.Pour y répondre, cette thèse a expérimenté différents environnements dynamiques et exploré l'utilisation de la réalité virtuelle comme outil de simulation pour l’étude du comportement dynamique du sujet et évalué la pertinence de ces outils.Une première expérimentation a permis de montrer l’importance de l’alerte chez le sujet en utilisant un système automatique de freinage d’urgence d'un véhicule équipé. Une seconde étude consistant en la réplication de cette expérience dans un simulateur de conduite hexapode a pu montrer que le comportement du sujet était comparable malgré des performances dynamiques moindres du système. Enfin, une dernière étude menée sur des sujets accélérés sur un chariot contrôlé en laboratoire et dont l'état émotionnel a été contrôlé a pu rendre compte de l’importance de l’intégration des paramètres physiologiques dans l’étude des stratégies de stabilisation de la tête chez le sujet.Les simulations immersives se sont montrées pertinentes pour contrôler l’environnement cognitif du sujet et l’importance de ce dernier a pu être observée. L’utilisation de ces technologies permet d’entrevoir de nouvelles possibilités expérimentales pouvant amener à une meilleure compréhension des stratégies de stabilisation du sujet
Whiplash remains a strong socio-economic issue in road accidents. Research in this field has led to the development of injury criteriathat are still difficult to validate for all situations. The hypotheses of this project are that head stabilization strategies are influenced by activities prior to thedynamic event as well as by certain cognitive availabilities. To answer this, this thesis experimented different dynamic environments and explored the use of virtual reality as a simulation tool for the study of the subject's dynamic behaviorand evaluated the relevance of these tools.A first experimentation allowed to show the importance of the alert in the subject by using an automatic emergency braking system of an equipped vehicle. A second study consisting in the replication of this experiment in a hexapod driving simulator was able to show that the subject's behaviorwas comparable despite the lower dynamic performance of the system. Finally, a last study carried out on accelerated subjects on a laboratory-controlled cart, whose emotional state was controlled, was able to account for the importance of the integration of physiological parameters in the study of head stabilization strategies in the subject.Immersive simulations proved to be relevant to control the subject's cognitive environment and the importance of the latter could be observed. The use of these technologies allows us to glimpse new experimental possibilities that can lead to a better understanding of the subject's stabilization strategies

Les dispositifs d'eye-tracking ont un très fort potentiel en tant que modalité d'entrée en IHM (Interaction Homme Machine), en particulier en situation de mobilité. Dans cette thèse, nous nous concentrons sur la mise en œuvre de cette potentialité en mettant en évidence les scénarios dans lesquels l’eye-tracking possède des avantages évidents par rapport à toutes les autres modalités d’interaction. Au cours de nos recherches, nous avons constaté que cette technologie ne dispose pas de méthodes pratiques pour le déclenchement de commandes, ce qui réduit l'usage de tels dispositifs. Dans ce contexte, nous étudions la combinaison d'un eye-tracking et des mouvements volontaires de la tête lorsque le regard est fixe, ce qui permet de déclencher des commandes diverses sans utiliser les mains ni changer la direction du regard. Nous avons ainsi proposé un nouvel algorithme pour la détection des mouvements volontaires de la tête à regard fixe en utilisant uniquement les images capturées par la caméra de scène qui équipe les eye-trackers portés sur la tête, afin de réduire le temps de calcul. Afin de tester la performance de notre algorithme de détection des mouvements de la tête à regard fixe, et l'acceptation par l'utilisateur du déclenchement des commandes par ces mouvements lorsque ses deux mains sont occupées par une autre activité, nous avons effectué des expériences systématiques grâce à l'application EyeMusic que nous avons conçue et développée. Cette application EyeMusic est un système pour l'apprentissage de la musique capable de jouer les notes d’une mesure d'une partition que l’utilisateur ne comprend pas. En effectuant un mouvement volontaire de la tête qui fixe de son regard une mesure particulière d'une partition, l'utilisateur obtient un retour audio. La conception, le développement et les tests d’utilisabilité du premier prototype de cette application sont présentés dans cette thèse. L'utilisabilité de notre application EyeMusic est confirmée par les résultats expérimentaux : 85% des participants ont été en mesure d’utiliser tous les mouvements volontaires de la tête à regard fixe que nous avons implémentés dans le prototype. Le taux de réussite moyen de cette application est de 70%, ce qui est partiellement influencé par la performance intrinsèque de l'eye-tracker que nous utilisons. La performance de notre algorithme de détection des mouvements de la tête à regard fixe est 85%, et il n’y a pas de différence significative entre la performance de chaque mouvement de la tête testé. Également, nous avons exploré deux scénarios d'applications qui reposent sur les mêmes principes de commande, EyeRecipe et EyePay, dont les détails sont également présentés dans cette thèse
Eye-tracking has a very strong potential in human computer interaction (HCI) as an input modality, particularly in mobile situations. In this thesis, we concentrate in demonstrating this potential by highlighting the scenarios in which the eye-tracking possesses obvious advantages comparing with all the other interaction modalities. During our research, we find that this technology lacks convenient action triggering methods, which can scale down the performance of interacting by gaze. In this instance, we investigate the combination of eye-tracking and fixed-gaze head movement, which allows us to trigger various commands without using our hands or changing gaze direction. We have proposed a new algorithm for fixed-gaze head movement detection using only scene images captured by the scene camera equipped in front of the head-mounted eye-tracker, for the purpose of saving computation time. To test the performance of our fixed-gaze head movement detection algorithm and the acceptance of triggering commands by these movements when the user's hands are occupied by another task, we have implemented some tests in the EyeMusic application that we have designed and developed. The EyeMusic system is a music reading system, which can play the notes of a measure in a music score that the user does not understand. By making a voluntary head movement when fixing his/her gaze on the same point of a music score, the user can obtain the desired audio feedback. The design, development and usability testing of the first prototype for this application are presented in this thesis. The usability of our EyeMusic application is confirmed by the experimental results, as 85% of participants were able to use all the head movements we implemented in the prototype. The average success rate of this application is 70%, which is partly influenced by the performance of the eye-tracker we use. The performance of our fixed-gaze head movement detection algorithm is 85%, and there were no significant differences between the performance of each head movement. Apart from the EyeMusic application, we have explored two other scenarios that are based on the same control principles: EyeRecipe and EyePay, the details of these two applications are also presented in this thesis

Cette thèse porte sur la capture, l'annotation, la synthèse et l'évaluation des mouvements des mains et des bras pour l'animation d'avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d'enregistrements vidéo qui manquent d'informations de profondeur et dont l’édition et l'analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l'aide de techniques procédurales, soit par des techniques basées données. L'animation procédurale donne souvent lieu à des mouvements peu naturels, mais n'importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l'avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l'approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d'utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base. Pour atteindre cet objectif, notre première contribution est la conception, l'enregistrement et l'évaluation perceptuelle d'une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d'énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d'annotation automatique pour différentes pistes d’annotation basées sur l'analyse des propriétés cinématiques de certaines articulations et des algorithmes d'apprentissage automatique existants. Notre dernière contribution est la mise en œuvre de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l'utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels
This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar's motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from this initial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized to comply to the properties of real motions

La restitution binaurale est une méthode de restitution du son au casque visant à simuler une écoute naturelle. Souvent, les sons restitués au casque semblent provenir de l’intérieur de la tête. Pour une restitution binaurale convaincante, les sons doivent paraître venir de l’extérieur (externalisés), comme dans la réalité. L’utilisation d’un système de suivi des mouvements de tête (head-tracking) peut permettre d’améliorer l’externalisation pendant et après les mouvements. Cette thèse examine l’effet de persistance de l’amélioration d’externalisation après des mouvements de tête. Une première étude a combiné une expérience comportementale et une expérience EEG pour identifier un corrélat neuronal de l’externalisation.Une méthode innovante, exploitant cet effet de persistance de l’externalisation, a été développée afin de comparer des stimuli "acoustiquement identiques", mais avec différents niveaux d’externalisation. Les résultats n’ont pas révélé de corrélat neuronal, mais ont soulevé plusieurs questions sur l’influence de la nature et de la durée des sources sonores sur l’effet de persistance de l’externalisation.Une deuxième étude, comportant trois expériences comportementales, a été menée afin d’aborder ces questions. Les résultats ont montré que l’amélioration d’externalisation après des mouvements de tête fonctionne pour différentes sources, mais diminue après une dizaine de secondes
Binaural reproduction is a method of sound playback through headphones aimed at simulating natural listening. Often, sounds played through headphones seem to originate from inside the head. For convincing binauralreproduction, sounds must appear to come from outside (externalized), as they do in reality.Using a head-tracking system can enhance externalization during and after headmovements. This thesis examines the persistence of the head movements after-effect on externalization. The first study combined a behavioral experiment and an EEG experiment to identify a neural correlate of externalization.An innovative method leveraging this after-effect was developed to compare "acoustically identical" stimuli with different levels of externalization. The results did not reveal a neural correlate but raised several questions about the influence of the nature and duration of sound sources on the head movements after-effect on externalization. A second study, involving three behavioral experiments, was conducted to address these questions. The results showed that the improvement in externalization after head movements works for various sound sources but decreases after about ten seconds

Les micro-expressions (MEs) sont porteuses d'informations non verbales spécifiques. Cependant, en raison de leur nature locale et brève, il est difficile de les détecter. Dans cette thèse, nous proposons une méthode de détection par reconnaissance d'un motif local et temporel de mouvement du visage. Ce motif a une forme spécifique (S-pattern) lorsque la ME apparait. Ainsi, à l'aide de SVM, nous distinguons les MEs des autres mouvements faciaux. Nous proposons également une fusion spatiale et temporelle afin d'améliorer la distinction entre les MEs (locaux) et les mouvements de la tête (globaux). Cependant, l'apprentissage des S-patterns est limité par le petit nombre de bases de données de ME et par le faible volume d'échantillons de ME. Les modèles de Hammerstein (HM) est une bonne approximation des mouvements musculaires. En approximant chaque S-pattern par un HM, nous pouvons filtrer les S-patterns réels et générer de nouveaux S-patterns similaires. Ainsi, nous effectuons une augmentation et une fiabilisation des S-patterns pour l'apprentissage et améliorons ainsi la capacité de différencier les MEs d'autres mouvements. Lors du premier challenge de détection de MEs, nous avons participé à la création d’une nouvelle méthode d'évaluation des résultats. Cela a aussi été l’occasion d’appliquer notre méthode à longues vidéos. Nous avons fourni le résultat de base au challenge.Les expérimentions sont effectuées sur CASME I, CASME II, SAMM et CAS(ME)2. Les résultats montrent que notre méthode proposée surpasse la méthode la plus populaire en termes de F1-score. L'ajout du processus de fusion et de l'augmentation des données améliore encore les performances de détection
The Micro-expressions (MEs) are very important nonverbal communication clues. However, due to their local and short nature, spotting them is challenging. In this thesis, we address this problem by using a dedicated local and temporal pattern (LTP) of facial movement. This pattern has a specific shape (S-pattern) when ME are displayed. Thus, by using a classical classification algorithm (SVM), MEs are distinguished from other facial movements. We also propose a global final fusion analysis on the whole face to improve the distinction between ME (local) and head (global) movements. However, the learning of S-patterns is limited by the small number of ME databases and the low volume of ME samples. Hammerstein models (HMs) are known to be a good approximation of muscle movements. By approximating each S-pattern with a HM, we can both filter outliers and generate new similar S-patterns. By this way, we perform a data augmentation for S-pattern training dataset and improve the ability to differentiate MEs from other facial movements. In the first ME spotting challenge of MEGC2019, we took part in the building of the new result evaluation method. In addition, we applied our method to spotting ME in long videos and provided the baseline result for the challenge. The spotting results, performed on CASME I and CASME II, SAMM and CAS(ME)2, show that our proposed LTP outperforms the most popular spotting method in terms of F1-score. Adding the fusion process and data augmentation improve even more the spotting performance

L'analyse automatique des expressions faciales connaît un intérêt grandissant ces dernières décennies du fait du large champ d'applications qu'elle peut servir. Un des domaines d'applications visé est le médical avec notamment l'analyse automatique des variations de comportement pour le maintien à domicile des personnes âgées.Cette thèse propose un modèle expressif continu spécifique à la personne construit de manière non supervisée (i.e. sans connaissance a priori sur la morphologie du sujet) pour répondre à ce besoin d'analyse automatique. Notre système doit être capable d'analyser les expressions faciales dans un environnement non contraint en termes de pose de la tête de parole.Les travaux réalisés se basent sur des travaux existants sur la représentation invariante des expressions faciales. Le modèle sur lequel nous nous basons nécessite l'acquisition du visage neutre, il est donc construit de manière supervisée. De plus, il est construit sur des expressions de base synthétisées à partir du visage neutre, il ne rend donc pas compte des expressions faciales réelles du sujet. Nous proposons dans cette thèse de rendre la construction de ce modèle non supervisée en détectant automatiquement le visage neutre et d'adapter le modèle automatiquement aux expressions faciales réelles du sujet de manière non supervisée. L'idée de l'adaptation est de détecter, à la fois globalement et localement, les expressions de base réelles du sujet afin de remplacer les expressions de base synthétisées du modèle puis de les affiner, tout en maintenant un ensemble de contraintes.Nous avons testé notre système d'adaptation sur des expressions posées, des expressions spontanées dans un environnement contraint et des expressions spontanées dans un environnement non contraint. Les résultats montrent l'efficacité de l'adaptation et l'importance de l'étape de vérification des contraintes lors des tests dans un environnement non contraint
Automatic facial expression analysis has gained a growing interest in the past decades as a result of the wide range of applications that are covered. Medical applications have been considered, notably for automatic behavior analysis for eldery home support.This thesis proposes to compute a continuous person-specific model of expressions in an unsupervized manner (i.e. with no prior knowledge on the morphology of the subject) in order to meet the needs of automatic behavior analysis. Our system must be able to analyze facial expressions in an unconstrained environment in terms of head pose and speaking.This thesis is based on previous work on invariant representation of facial expressions. In this previous work, the computation of the model requires the acquisition of the neutral face, so the model is weakly supervised. Moreover, it is computed with synthesized expressions, so it does note account for the real facial expressions of the subject. We propose in this thesis to make the computation unsupervised by automatically detecting the neutral face and then by automatically adapting the model to the real facial expressions of the subject in an unsupervised manner. The idea of the adaptation is to detect, both globally and locally, the real basic expressions of the subject in order to replace the synthesized basic expressions of the model, while maintaining a set of constraints.We have tested our method of adaptation on posed expressions, spontaneous expressions in a constrained environment and spontaneous expressions in an unconstrained environment. The results show the efficiency of the adaptation and the importance of the set of constraints for the test in an unconstrained environment

Le déplacement saccadique du regard vers une cible visuelle nécessite une transformation appropriée des signaux rétiniens en signaux de commande motrice pour l'oeil et la tête. Parmi les structures nerveuses impliquées dans cette transformation, la partie caudale du noyau fastigial (NFc) constitue un territoire cérébelleux indispensable pour le contrôle de la précision des saccades oculaires. Toute lésion affectant cette région entraîne une dysmétrie saccadique. Selon certains auteurs, ce déficit serait la conséquence d'un défaut dans le contrôle de la cinématique du mouvement oculaire. Pour tester la généralisation de cette hypothèse aux déplacements du regard en condition "tête libre", nous avons inactivé pharmacologiquement cette structure et examiné les conséquences de cette perturbation sur les caractéristiques spatio-temporelles des mouvements d'orientation du regard vers une cible visuelle. Après injection locale unilatérale de muscimol (0,3 µl, 1 µg/µl), les mouvements d'orientation ipsilatéraux sont hypermétriques tandis que les mouvements controlatéraux sont hypométriques. L'hypermétrie ipsilatérale résulte d'une erreur constante, c'est-à-dire que le regard s'oriente systématiquement vers une position qui est décalée par rapport à la position de la cible, quelles que soient la position de la cible et la position initiale du regard. Cette hypermétrie résulte d'une hypermétrie cumulée de la saccade oculaire et du déplacement de la tête. Un léger ralentissement de ces deux composantes est observé pour les plus grandes amplitudes. Une réduction de la latence caractérise également ces déplacements ipsilatéraux. En ce qui concerne les déplacements controlatéraux, l'erreur finale du regard augmente proportionnellement avec l'excentricité de la cible. A nouveau, cette hypométrie controlatérale affecte à la fois l'oeil et la tête. Par contre, elle n'est accompagnée d'aucun changement au niveau des propriétés cinématiques. Une augmentation de la latence de ces mouvements est observée. Cette modification dans le déclenchement des saccades est telle qu'une hypométrie plus grande est observée pour les mouvements de latence plus longue. Grâce à certaines injections contrôles, nous avons par ailleurs pu montrer que les déficits observés sont spécifiques d'une inactivation de la région caudale du NF. En particulier, l'injection de muscimol 2 mm en avant entraîne une dysmétrie du regard tout à fait différente. L'hypermétrie ipsilatérale est non seulement moins importante mais elle se caractérise aussi par une erreur qui augmente avec l'excentricité de la cible. Cette dysmétrie résulte exclusivement d'une réponse hypermétrique de l'oeil, ce qui se traduit par un net changement dans la contribution de la tête au déplacement du regard. Un tel changement est observé pour les déplacements controlatéraux bien que la tête soit aussi hypométrique. Ces résultats indiquent que la fonction du NFc ne se limite pas au seul contrôle des mouvements oculaires mais s'étend au cadre plus général de l'orientation du regard. Dans le cadre des déplacements ipsilatéraux, le NFc participerait principalement à la spécification des paramètres spatiaux du but pour l'orientation du regard et de la tête mais aussi au contrôle de leur cinématique en contribuant au freinage du mouvement. Dans le cadre des déplacements controlatéraux, le NFc influencerait les étapes de traitement au cours desquelles les processus qui conduisent à l'initiation du mouvement entrent en interaction avec ceux qui en déterminent les paramètres spatiaux. Ces fonctions sont discutées à la lumière des structures cibles du NFc. Enfin, nos résultats suggérent une distinction anatomo-fonctionnelle au niveau du noyau fastigial. La partie caudale influencerait des étapes où le regard est codé tandis que la partie rostrale interviendrait davantage à un niveau où les signaux de commande oculaire et céphalique sont dissociés

L'exploration d'un environnement inconnu par un robot mobile est un vaste domaine de recherche visant à comprendre et implémenter des modèles d'exploration efficaces, rapides et pertinents. Cependant, depuis les années 80, l'exploration ne s'est plus contentée de la seule détermination de la topographie d'un espace : à la composante spatiale a été couplée une composante sémantique du monde exploré. En effet, en addition aux caractéristiques physiques de l'environnement — murs, obstacles, chemins empruntables ou non, entrées et sorties — permettant au robot de se créer une représentation interne du monde grâce à laquelle il peut s'y déplacer, existent des caractéristiques dynamiques telles que l'apparition d'événements audiovisuels. Ces événements sont d'une grande importance en cela qu'ils peuvent moduler le comportement du robot en fonction de leur localisation dans l'espace — aspect topographique — et de l'information qu'ils portent — aspect sémantique. Bien qu'imprédictibles par nature (puisque l'environnement est inconnu) tous ces événements ne sont pas d'égale importance : certains peuvent porter une information utile au robot et à sa tâche d'exploration, d'autres non. Suivant les travaux sur les motivations intrinsèques à explorer un environnement inconnu et puisant son inspiration de phénomènes neurologiques, ce travail de thèse a consisté en l'élaboration du modèle Head Turning Modulation (HTM) visant à donner à un robot doté de mouvements de tête la capacité de déterminer l'importance relative de l'apparition d'un événement audiovisuel dans un environnement inconnu en cours d'exploration. Cette importance a été formalisée sous la forme de la notion de Congruence s'inspirant principalement (i) de l'entropie de Shannon, (ii) du phénomène de Mismatch Negativity et (iii) de la Reverse Hierarchy Theory. Le modèle HTM, créé dans le cadre du projet européen Two!Ears, est un paradigme d'apprentissage basé sur (i) une auto-supervision (le robot décide lorsqu'il est nécessaire d'apprendre ou non), (ii) une contrainte de temps réel (le robot apprend et réagit aussitôt que des données sont perçues), et (iii) une absence de données a priori sur l'environnement (il n'existe pas de vérité à apprendre, seulement la réalité perçue de l'environnement à explorer). Ce modèle, intégré à l’ensemble du framework Two!Ears, a été entièrement porté sur un robot mobile pourvu d'une vision binoculaire et d'une audition binaurale. Le modèle HTM couple ainsi une approche montante traditionnelle d’analyse des signaux perceptifs (extractions de caractéristiques, reconnaissance visuelle ou auditive, etc.) à une approche descendante permettant, via la génération d’une action motrice, de comprendre et interpréter l’environnement audiovisuel du robot. Cette approche bottom-up/top-down active est ainsi exploitée pour moduler les mouvements de tête d’un robot humanoïde et étudier l'impact de la Congruence sur ces mouvements. Le système a été évalué via des simulations réalistes, ainsi que dans des conditions réelles, sur les deux plateformes robotiques du projet Two!Ears
The exploration of an unknown environement by a mobile robot is a vast research domain aiming at understanding and implementing efficient, fast and relevant exploration models. However, since the 80s, exploration is no longer restricted to the sole determination of topography a space: to the spatial component has been coupled a semantic one of the explored world. Indeed, in addition to the physical characteristics of the environment — walls, obstacles, usable paths or not, entrances and exits — allowing the robot to create its own internal representation of the world through which it can move in it, exist dynamic components such as the apparition of audiovisual events. These events are of high importance for they can modulate the robot's behavior through their location in space — topographic aspect — and the information they carry — semantic aspect. Although impredictible by nature (since the environment is unknown) all these events are not of equal importance: some carry valuable information for the robot's exploration task, some don't. Following the work on intrinsic motivations to explore an unknown environment, and being rooted in neurological phenomenons, this thesis work consisted in the elaboration of the Head Turning Modulation (HTM) model aiming at giving to a robot capable of head movements, the ability to determine the relative importance of the apparition of an audioivsual event. This "importance" has been formalized through the notion of Congruence which is mainly inspired from (i) Shannon's entropy, (ii) the Mismatch Negativity phenomenon, and (iii) the Reverse Hierarchy Theory. The HTM model, created within the Two!Ears european project, is a learning paradigm based on (i) an auto-supervision (the robot decides when it is necessary or not to learn), (ii) a real-time constraint (the robot learns and reacts as soon as data is perceived), and (iii) an absence of prior knowledge about the environment (there is no "truth" to learn, only the reality of the environment to explore). This model, integrated in the overal Two!Ears framework, has been entirely implemented in a mobile robot with binocular vision and binaural audition. The HTM model thus gather the traditional approach of ascending analysis of perceived signals (extraction of caracteristics, visual or audio recognition etc.) to a descending approach that enables, via motor actions generation in order to deal with perception deficiency (such as visual occlusion), to understand and interprete the audiovisual environment of the robot. This bottom-up/top-down active approach is then exploited to modulate the head movements of a humanoid robot and to study the impact of the Congruence on these movements. The system has been evaluated via realistic simulations, and in real conditions, on the two robotic platforms of the Two!Ears project

Ce chapitre explique comment les problèmes de variations de pose et de grands déplacements sont exposés dans des bases de données d'apprentissage récentes. Il passe en revue les systèmes récents d'analyse des expressions faciales utilisés sur ces bases de données, en mettant l'accent sur les méthodes de normalisation utilisées. Les méthodes de normalisation basées sur des modèles 3D progressent constamment pour répondre aux défis posés par l'acquisition de données dans des conditions naturelles. Le chapitre détaille le système d'acquisition innovant appelé Simultaneous Natural and Posed Facial expression (SNaP-2DFe) permettant de capturer simultanément un visage dans un plan fixe et en mouvement. Il se positionne par rapport aux différentes méthodes de normalisation utilisées aujourd'hui pour caractériser les expressions faciales en présence de variations de pose et de déplacements importants. Il présente une solution capable de séparer la source de mouvement liée au mouvement de la tête et la source de mouvement liée aux expressions faciales.