Dissertationen zum Thema „Visable learning“

Syftet med utvecklingsarbetet var att synliggöra elevinflytandet i fritidshemsverksamheten. Arbetet utgick från aktionsforskning som metod och presenterades via en utvecklingsmodell genom följande steg; nulägesanalys, kartläggning av tidigare forskning, planering och genomförande av aktionen samt kvalitativa intervjuer med elever före och efter aktionens genomförande. Genom multimodala verktyg infördes det förslagslåda och aktivitetstavlor på fritidshemmet för att undersöka om eleverna kunde bli mer medvetna om sitt inflytande. Det har visat sig ur tidigare forskning och vår nulägesanalys att det fanns ett stort intresse bland eleverna att vara delaktiga och ha inflytande över aktiviteter på fritidshemmet. Däremot framgick det att flertalet elever hade svårt att tolka vad elevinflytande var och när det skedde. Det framkom i studien att synliggörandet av inflytande är en betydande faktor för att göra eleverna mer medvetna om att de får vara med och påverka verksamheten. I vår slutreflektion diskuteras det faktum att resultatet tog en annan riktning än vad vi räknat med. Det visade sig finnas ett behov av en slags verktyg där eleverna anonymt kunde placera lappar med andra formuleringar än önskningar. Då önskelådan desto längre tiden gick fick ta emot allt fler personliga meddelanden av eleverna.

La reconnaissance des biomètries douces (genre, âge, etc.)trouve ses applications dans plusieurs domaines. Les approches proposéesse basent sur l’analyse de l’apparence (images 2D), très sensiblesaux changements de la pose et à l’illumination, et surtout pauvre en descriptionsmorphologiques. Dans cette thèse, nous proposons d’exploiterla forme 3D du visage. Basée sur une approche Riemannienne d’analysede formes 3D, nous introduisons quatre descriptions denses à savoir: lasymétrie bilatérale, la moyenneté, la configuration spatiale et les variationslocales de sa forme. Les évaluations faites sur la base FRGCv2 montrentque l’approche proposée est capable de reconnaître des biomètries douces.A notre connaissance, c’est la première étude menée sur l’estimation del’âge, et c’est aussi la première étude qui propose d’explorer les corrélationsentre les attributs faciaux, à partir de formes 3D
Soft-Biometric (gender, age, etc.) recognition has shown growingapplications in different domains. Previous 2D face based studies aresensitive to illumination and pose changes, and insufficient to representthe facial morphology. To overcome these problems, this thesis employsthe 3D face in Soft-Biometric recognition. Based on a Riemannian shapeanalysis of facial radial curves, four types of Dense Scalar Field (DSF) featuresare proposed, which represent the Averageness, the Symmetry, theglobal Spatiality and the local Gradient of 3D face. Experiments with RandomForest on the 3D FRGCv2 dataset demonstrate the effectiveness ofthe proposed features in Soft-Biometric recognition. Furtherly, we demonstratethe correlations of Soft-Biometrics are useful in the recognition. Tothe best of our knowledge, this is the first work which studies age estimation,and the correlations of Soft-Biometrics, using 3D face

L'environnement semble jouer un rôle important dans le développement de la discrimination des stimuli sociaux. Le développement précoce de la discrimination des stimuli sociaux tels que les visages et les expressions faciales a suscité de nombreuses recherches. Par ailleurs, les individus avec autisme ne semblent pas répondre aux stimuli sociaux de la même façon que des individus au fonctionnement normal et ces différences apparaissent de manière précoce.Cependant, les recherches actuelles ne nous fournissent pas assez d'éléments dur la façon dont cette discrimination se met en place, en particulier sur les régions du visage qui sont importantes pour la discrimination. C'est ce point que nous avons choisi d'étudier au cours de cette thèse, auprès d'enfants avec autisme. Les travaux effectués dans le cadre de cette thèse ont eu pour objectifs tout d'abord de développer une tâche permettant de mesurer les éléments du visage impliqués dans la discrimination d'expressions faciales chez des enfants au développement typique et des enfants avec autisme (Etudes 1 & 2). Puis, nous avons mis en place une tâche ayant pour objectif d'évaluer l'importance des régions des yeux et de la bouche auprès d'enfants avec autisme et de montrer l'effet de la modification des patterns d'observation des visages sur la façon dont les éléments du visage exercent un contrôle discriminatif sur les réponses des enfants avec autisme (Etudes 3 & 4). Ces résultats sont discutés au regard de l'importance de l'environnement dans la mise en place de la discrimination des stimuli sociaux. Les implications concernant les recherches chez l'enfant au développement typique seront discutées, ainsi que la place de la direction du regard, en plus de l'expression des yeux, comme élément discriminatif
The role of the environment has been demonstrated in the development of the discrimination of social stimuli. The discrimination of social stimuli such as faces and facial expressions have been extensively studied during the past decades. In addition, people with autism show atypical responses to social stimuli compared to typically functioning individuals. Those discrepancies can be seen very early in life. However, there is still much to know about how this learning takes place, particularly on the face parts that are relevant for the discrimination. The focus of this work is to study more precisely how face parts come to control the responses of children with autism. The goal of our studies was first, to build a task to measure precisely which parts of the face are involved in facial expressions discrimination in children with autism and in typically developing children (Experiments 1 & 2). Subsequently, we devised a task which evaluated the role of the eyes' and mouth regions in children with autism and typically developing children in order to see the effect of the modification of observing patterns of faces on the way eyes and mouth come to control the responses of children with autism (Experiments 3 & 4). Results are discussed in line with the role of the environment in participating in the development of facial expressions discrimination. Implications for the study in early facial expression discrimination learning in typically developing children are discussed. Direction of gaze, in adition to the eyes region expression, is discussed as a relevant element for the discrimination of facial stimuli

La reconnaissance des expressions faciales est une tâche difficile, qui a reçu un intérêt croissant au sein de la communauté des chercheurs, et qui impacte les applications dans des domaines liés à l'interaction homme-machine (IHM). Dans le but de construire des systèmes IHM approchant le comportement humain et émotionnellement intelligents, les scientifiques essaient d'introduire la composante émotionnelle dans ce type de systèmes. Le développement récent des capteurs d'acquisition 3D a fait que les données 3D deviennent de plus en plus disponibles, et ce type de données vient pour remédier à des problèmes inhérents aux données 2D tels que les variations d'éclairage, de pose et d'échelle et de faible résolution. Plusieurs bases de données 3D du visage sont publiquement disponibles pour les chercheurs dans le domaine de la reconnaissance d'expression faciale leur permettant ainsi de valider et d'évaluer leurs approches. Cette thèse traite le problème la reconnaissance d'expression faciale et propose une approche basée sur l'analyse de forme pour la reconnaissance d'expression dans un cadre statique (relatif à une seule image) et dynamique (relatif à une séquence vidéo). Tout d'abord, une représentation du modèle 3D du visage basée sur les courbes est proposée pour décrire les traits du visage. Puis, une fois ces courbes sont extraites, l'information de forme qui leur est liée est quantifiée en utilisant un cadre de travail basé sur la géométrie Riemannienne. Nous obtenons, par la suite, des scores de similarité entre les différentes formes locales du visage. Nous constituons, alors, un vecteur de caractéristiques associées à chaque surface faciale. Ensuite, ces caractéristiques sont utilisées comme paramètres d'entrée à des algorithmes d'apprentissage automatique et de classification pour la reconnaissance d'expressions. Des expérimentations exhaustives sont alors entreprises pour valider notre approche et des résultats sont présentés et comparés aux résultats des travaux de l'état de l'art
Facial expression recognition is a challenging task, which has received growing interest within the research community, impacting important applications in fields related to human machine interaction (HMI). Toward building human-like emotionally intelligent HMI devices, scientists are trying to include the essence of human emotional state in such systems. The recent development of 3D acquisition sensors has made 3D data more available, and this kind of data comes to alleviate the problems inherent in 2D data such as illumination, pose and scale variations as well as low resolution. Several 3D facial databases are publicly available for the researchers in the field of face and facial expression recognition to validate and evaluate their approaches. This thesis deals with facial expression recognition (FER) problem and proposes an approach based on shape analysis to handle both static and dynamic FER tasks. Our approach includes the following steps: first, a curve-based representation of the 3D face model is proposed to describe facial features. Then, once these curves are extracted, their shape information is quantified using a Riemannain framework. We end up with similarity scores between different facial local shapes constituting feature vectors associated with each facial surface. Afterwards, these features are used as entry parameters to some machine learning and classification algorithms to recognize expressions. Exhaustive experiments are derived to validate our approach and results are presented and compared to the related work achievements

Recueillir et labelliser un ensemble important et pertinent de données pour apprendre des systèmes de prédiction d'informations à partir de visages est à la fois difficile et long. Par conséquent, les données disponibles sont souvent de taille limitée comparée à la difficultés des tâches. Cela rend le problème du sur-apprentissage particulièrement important dans de nombreuses applications d'apprentissage statistique liées au visage. Dans cette thèse, nous proposons une nouvelle méthode de régression de labels multi-dimensionnels, nommée Hard Multi-Task Metric Learning for Kernel Regression (H-MT-MLKR). Notre méthode a été développée en focalisant sur la réduction du phénomène de sur-apprentissage. La méthode Metric Learning for Kernel Regression qui a été proposée par Kilian Q. Weinberger en 2007 vise à apprendre un sous-espace pour minimiser l'erreur quadratique d'un estimateur de Nadaraya-Watson sur la base d'apprentissage. Dans notre méthode, on étend la méthode MLKR pour une régression de labels multi-dimensionnels en ajoutant une nouvelle régularisation multi-tâches qui réduit les degrés de liberté du modèle appris ainsi que le sur-apprentissage. Nous évaluons notre méthode pour deux applications différentes, à savoir la localisation de points caractéristiques et la prédiction de l'intensité des Action Units. Nous présentons aussi un travail sur la prédiction des émotions en espace continu basé aussi sur l'estimateur de Nadaraya-Watson. Deux des systèmes proposés nous ont permis de remporter deux premières places à des concours internationaux, à savoir le Audio-Visual Emotion Challenge (AVEC'12) et le Facial Expression Recognition and Analysis challenge (FERA'15)
Collecting and labeling various and relevant data for training automatic facial information prediction systems is both hard and time-consuming. As a consequence, available data is often of limited size compared to the difficulty of the prediction tasks. This makes overfitting a particularly important issue in several face-related machine learning applications. In this PhD, we introduce a novel method for multi-dimensional label regression, namely Hard Multi-Task Metric Learning for Kernel Regression (H-MT-MLKR). Our proposed method has been designed taking a particular focus on overfitting reduction. The Metric Learning for Kernel Regression method (MLKR) that has been proposed by Kilian Q. Weinberger in 2007 aims at learning a subspace for minimizing the quadratic training error of a Nadaraya-Watson estimator. In our method, we extend MLKR for multi-dimensional label regression by adding a novel multi-task regularization that reduces the degrees of freedom of the learned model along with potential overfitting. We evaluate our regression method on two different applications, namely landmark localization and Action Unit intensity prediction. We also present our work on automatic emotion prediction in a continuous space which is based on the Nadaraya-Watson estimator as well. Two of our frameworks let us win international data science challenges, namely the Audio-Visual Emotion Challenge (AVEC’12) and the fully continuous Facial Expression Recognition and Analysis challenge (FERA’15)

L’analyse automatique des expressions faciales représente à l’heure actuelle une problématique importante associée à de multiples applications telles que la reconnaissance de visages ou encore les interactions homme machine. Dans cette thèse, nous nous attaquons au problème de la reconnaissance d’expressions faciales à partir d’une image ou d’une séquence d’images. Nous abordons le problème sous trois angles.Tout d’abord, nous étudions les macro-expressions faciales et nous proposons de comparer l’efficacité de trois descripteurs différents. Cela conduit au développement d’un algorithme de reconnaissance d’expressions basé sur des descripteurs bas niveau encodés dans un modèle de type sac de mots, puis d’un algorithme basé sur des descripteurs de moyen niveau associés à une représentation éparse et enfin d’un algorithme d’apprentissage profond tenant compte de descripteurs haut niveau. Notre objectif lors de la comparaison de ces trois algorithmes est de trouver la représentation des informations de visages la plus discriminante pour reconnaitre des expressions faciales en étant donc capable de s’affranchir des sources de variabilités que sont les facteurs de variabilité intrinsèques tels que l’apparence du visage ou la manière de réaliser une expression donnée et les facteurs de variabilité extrinsèques tels que les variations d’illumination, de pose, d’échelle, de résolution, de bruit ou d’occultations. Nous examinons aussi l’apport de descripteurs spatio-temporels capables de prendre en compte des informations dynamiques utiles pour séparer les classes ambigües.La grosse limitation des méthodes de classification supervisée est qu’elles sont très coûteuses en termes de labélisation de données. Afin de s’affranchir en partie de cette limitation, nous avons étudié dans un second temps, comment utiliser des méthodes de transfert d’apprentissage de manière à essayer d’étendre les modèles appris sur un ensemble donné de classes d’émotions à des expressions inconnues du processus d’apprentissage. Ainsi nous nous sommes intéressés à l’adaptation de domaine et à l’apprentissage avec peu ou pas de données labélisées. La méthode proposée nous permet de traiter des données non labélisées provenant de distributions différentes de celles du domaine source de l’apprentissage ou encore des données qui ne concernent pas les mêmes labels mais qui partagent le même contexte. Le transfert de connaissance s’appuie sur un apprentissage euclidien et des réseaux de neurones convolutifs de manière à définir une fonction de mise en correspondance entre les informations visuelles provenant des expressions faciales et un espace sémantique issu d’un modèle de langage naturel.Dans un troisième temps, nous nous sommes intéressés à la reconnaissance des micro-expressions faciales. Nous proposons un algorithme destiné à localiser ces micro-expressions dans une séquence d’images depuis l’image initiale (onset image) jusqu’à l’image finale (offset image) et à déterminer les régions des images qui sont affectées par les micro-déformations associées aux micro-expressions. Le problème est abordé sous un angle de détection d’anomalies ce qui se justifie par le fait que les déformations engendrées par les micro-expressions sont a priori un phénomène plus rare que celles produites par toutes les autres causes de déformation du visage telles que les macro-expressions, les clignements des yeux, les mouvements de la tête… Ainsi nous proposons un réseau de neurones auto-encodeur récurrent destiné à capturer les changements spatiaux et temporels associés à toutes les déformations du visage autres que celles dues aux micro-expressions. Ensuite, nous apprenons un modèle statistique basé sur un mélange de gaussiennes afin d’estimer la densité de probabilité de ces déformations autres que celles dues aux micro-expressions.Tous nos algorithmes sont testés et évalués sur des bases d’expressions faciales actées et/ou spontanées
Facial expression analysis is an important problem in many biometric tasks, such as face recognition, face animation, affective computing and human computer interface. In this thesis, we aim at analyzing facial expressions of a face using images and video sequences. We divided the problem into three leading parts.First, we study Macro Facial Expressions for Emotion Recognition and we propose three different levels of feature representations. Low-level feature through a Bag of Visual Word model, mid-level feature through Sparse Representation and hierarchical features through a Deep Learning based method. The objective of doing this is to find the most effective and efficient representation that contains distinctive information of expressions and that overcomes various challenges coming from: 1) intrinsic factors such as appearance and expressiveness variability and 2) extrinsic factors such as illumination, pose, scale and imaging parameters, e.g., resolution, focus, imaging, noise. Then, we incorporate the time dimension to extract spatio-temporal features with the objective to describe subtle feature deformations to discriminate ambiguous classes.Second, we direct our research toward transfer learning, where we aim at Adapting Facial Expression Category Models to New Domains and Tasks. Thus we study domain adaptation and zero shot learning for developing a method that solves the two tasks jointly. Our method is suitable for unlabelled target datasets coming from different data distributions than the source domain and for unlabelled target datasets with different label distributions but sharing the same context as the source domain. Therefore, to permit knowledge transfer between domains and tasks, we use Euclidean learning and Convolutional Neural Networks to design a mapping function that map the visual information coming from facial expressions into a semantic space coming from a Natural Language model that encodes the visual attribute description or use the label information. The consistency between the two subspaces is maximized by aligning them using the visual feature distribution.Third, we study Micro Facial Expression Detection. We propose an algorithm to spot micro-expression segments including the onset and offset frames and to spatially pinpoint in each image space the regions involved in the micro-facial muscle movements. The problem is formulated into Anomaly Detection due to the fact that micro-expressions occur infrequently and thus leading to few data generation compared to natural facial behaviours. In this manner, first, we propose a deep Recurrent Convolutional Auto-Encoder to capture spatial and motion feature changes of natural facial behaviours. Then, a statistical based model for estimating the probability density function of normal facial behaviours while associating a discriminating score to spot micro-expressions is learned based on a Gaussian Mixture Model. Finally, an adaptive thresholding technique for identifying micro expressions from natural facial behaviour is proposed.Our algorithms are tested over deliberate and spontaneous facial expression benchmarks

Cette thèse traite de la détection multimodale des anomalies dans le discours en utilisant les expressions faciales et l'expressivité dans la voix. Ces deux modalités sont des vecteurs d’émotions, des intentions, et peuvent refléter l'état d'esprit d'un être humain. Dans ce travail, un corpus de discours contenant des anomalies induites ou actées a été construit. Il a permis de mettre à l'épreuve une chaîne de détection à base de classification semi-supervisée. GMM, One Class SVM et Isolation Forest sont quelques exemples de modèles utilisés. Cela a également permis d'étudier la contribution de chacune des modalités et leur apport conjoint sur l'efficacité de la détection
This thesis is about multimodal anomaly detection in discourse using facial expressions ans speech expressivity. These two modalities are vectors of emotions, intentions, and can reflect the state of mind of a human being. In this work, a corpus on discourse containing some induced and acted anomalies has been built. This corpus has enabled testing a detection chain based on semi-supervised classification. GMM, One class SVM and Isolation forest are examples of models that have been used. It also has enabled to study the contribution of each modality and their joint contribution to the detection efficiency

Nous traitons dans cette thèse la modélisation de la coarticulation par les réseaux de neurones, dans l’objectif de synchroniser l’animation d’un visage virtuel 3D à de la parole. La prédiction de ces mouvements articulatoires n’est pas une tâche triviale, en effet, il est bien établi en production de parole que la réalisation d’un phonème est largement influencée par son contexte phonétique, phénomène appelé coarticulation. Nous proposons dans cette thèse un modèle de coarticulation, c’est-à-dire un modèle qui prédit les trajectoires spatiales des articulateurs à partir de la parole. Nous exploiterons pour cela un modèle séquentiel, les réseaux de neurones récurrents (RNN), et plus particulièrement les Gated Recurrent Units, capables de considérer la dynamique de l’articulation au cœur de leur modélisation. Malheureusement, la quantité de données classiquement disponible dans les corpus articulatoires et audiovisuels semblent de prime-abord faibles pour une approche deep learning. Pour pallier cette difficulté, nous proposons une stratégie permettant de fournir au modèle des connaissances sur les gestes articulatoires du locuteur dès son initialisation. La robustesse des RNNs nous a permis d’implémenter notre modèle de coarticulation pour prédire les mouvements des lèvres pour le français et l’allemand, et de la langue pour l’anglais et l’allemand. L’évaluation du modèle fut réalisée par le biais de mesures objectives de la qualité des trajectoires et par des expériences permettant de valider la bonne réalisation des cibles articulatoires critiques. Nous avons également réalisé une évaluation perceptive de la qualité de l’animation des lèvres du visage parlant. Enfin, nous avons conduit une analyse permettant d’explorer les connaissances phonétiques acquises par le modèle après apprentissage
This thesis deals with neural network based coarticulation modeling, and aims to synchronize facial animation of a 3D talking head with speech. Predicting articulatory movements is not a trivial task, as it is well known that production of a phoneme is greatly affected by its phonetic context, a phoneme called coarticulation. We propose in this work a coarticulation model, i.e. a model able to predict spatial trajectories of articulators from speech. We rely on a sequential model, the recurrent neural networks, and more specifically the Gated Recurrent Units, which are able to consider the articulation dynamic as a central component of its modeling. Unfortunately, the typical amount of data in articulatory and audiovisual databases seems to be quite low for a deep learning approach. To overcome this difficulty, we propose to integrate articulatory knowledge into the networks during its initialization. The RNNs robustness allow uw to apply our coarticulation model to predict both face and tongue movements, in french and german for the face, and in english and german for the tongue. Evaluation has been conducted through objective measures of the trajectories, and through experiments to ensure a complete reach of critical articulatory targets. We also conducted a subjective evaluation to attest the perceptual quality of the predicted articulation once applied to our facial animation system. Finally, we analyzed the model after training to explore phonetic knowledges learned

Les techniques d'analyse du visage nécessitent généralement une représentation pertinente des images, notamment en passant par des techniques de réduction de la dimension, intégrées dans des schémas plus globaux, et qui visent à capturer les caractéristiques discriminantes des signaux. Dans cette thèse, nous fournissons d'abord une vue générale sur l'état de l'art de ces modèles, puis nous appliquons une nouvelle méthode intégrant une approche non-linéaire, Kernel Similarity Principle Component Analysis (KS-PCA), aux Modèles Actifs d'Apparence (AAMs), pour modéliser l'apparence d'un visage dans des conditions d'illumination variables. L'algorithme proposé améliore notablement les résultats obtenus par l'utilisation d'une transformation PCA linéaire traditionnelle, que ce soit pour la capture des caractéristiques saillantes, produites par les variations d'illumination, ou pour la reconstruction des visages. Nous considérons aussi le problème de la classification automatiquement des poses des visages pour différentes vues et différentes illumination, avec occlusion et bruit. Basé sur les méthodes des représentations parcimonieuses, nous proposons deux cadres d'apprentissage de dictionnaire pour ce problème. Une première méthode vise la classification de poses à l'aide d'une représentation parcimonieuse active (Active Sparse Representation ASRC). En fait, un dictionnaire est construit grâce à un modèle linéaire, l'Incremental Principle Component Analysis (Incremental PCA), qui a tendance à diminuer la redondance intra-classe qui peut affecter la performance de la classification, tout en gardant la redondance inter-classes, qui elle, est critique pour les représentations parcimonieuses. La seconde approche proposée est un modèle des représentations parcimonieuses basé sur le Dictionary-Learning Sparse Representation (DLSR), qui cherche à intégrer la prise en compte du critère de la classification dans le processus d'apprentissage du dictionnaire. Nous faisons appel dans cette partie à l'algorithme K-SVD. Nos résultats expérimentaux montrent la performance de ces deux méthodes d'apprentissage de dictionnaire. Enfin, nous proposons un nouveau schéma pour l'apprentissage de dictionnaire adapté à la normalisation de l'illumination (Dictionary Learning for Illumination Normalization: DLIN). L'approche ici consiste à construire une paire de dictionnaires avec une représentation parcimonieuse. Ces dictionnaires sont construits respectivement à partir de visages illuminées normalement et irrégulièrement, puis optimisés de manière conjointe. Nous utilisons un modèle de mixture de Gaussiennes (GMM) pour augmenter la capacité à modéliser des données avec des distributions plus complexes. Les résultats expérimentaux démontrent l'efficacité de notre approche pour la normalisation d'illumination
Face analysis techniques commonly require a proper representation of images by means of dimensionality reduction leading to embedded manifolds, which aims at capturing relevant characteristics of the signals. In this thesis, we first provide a comprehensive survey on the state of the art of embedded manifold models. Then, we introduce a novel non-linear embedding method, the Kernel Similarity Principal Component Analysis (KS-PCA), into Active Appearance Models, in order to model face appearances under variable illumination. The proposed algorithm successfully outperforms the traditional linear PCA transform to capture the salient features generated by different illuminations, and reconstruct the illuminated faces with high accuracy. We also consider the problem of automatically classifying human face poses from face views with varying illumination, as well as occlusion and noise. Based on the sparse representation methods, we propose two dictionary-learning frameworks for this pose classification problem. The first framework is the Adaptive Sparse Representation pose Classification (ASRC). It trains the dictionary via a linear model called Incremental Principal Component Analysis (Incremental PCA), tending to decrease the intra-class redundancy which may affect the classification performance, while keeping the extra-class redundancy which is critical for sparse representation. The other proposed work is the Dictionary-Learning Sparse Representation model (DLSR) that learns the dictionary with the aim of coinciding with the classification criterion. This training goal is achieved by the K-SVD algorithm. In a series of experiments, we show the performance of the two dictionary-learning methods which are respectively based on a linear transform and a sparse representation model. Besides, we propose a novel Dictionary Learning framework for Illumination Normalization (DL-IN). DL-IN based on sparse representation in terms of coupled dictionaries. The dictionary pairs are jointly optimized from normally illuminated and irregularly illuminated face image pairs. We further utilize a Gaussian Mixture Model (GMM) to enhance the framework's capability of modeling data under complex distribution. The GMM adapt each model to a part of the samples and then fuse them together. Experimental results demonstrate the effectiveness of the sparsity as a prior for patch-based illumination normalization for face images

Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée dans le groupe ISPR (ImageS, Perception systems and Robotics) de l'Institut Pascal au sein de l'équipe ComSee (Computers that See). Ces travaux s'inscrivent dans le cadre du projet Bio Rafale initié par la société clermontoise Vesalis et financé par OSEO. Son but est d'améliorer la sécurité dans les stades en s'appuyant sur l'identification des interdits de stade. Les applications des travaux de cette thèse concernent la détection de visages. Elle représente la première étape de la chaîne de traitement du projet. Les détecteurs les plus performants utilisent une cascade de classifieurs boostés. La notion de cascade fait référence à une succession séquentielle de plusieurs classifieurs. Le boosting, quant à lui, représente un ensemble d'algorithmes d'apprentissage automatique qui combinent linéairement plusieurs classifieurs faibles. Le détecteur retenu pour cette thèse utilise également une cascade de classifieurs boostés. L'apprentissage d'une telle cascade nécessite une base d'apprentissage ainsi qu'un descripteur d'images. Cette description des images est ici assurée par des matrices de covariance. La phase d'apprentissage d'un détecteur d'objets détermine ces conditions d'utilisation. Une de nos contributions est d'adapter un détecteur à des conditions d'utilisation non prévues par l'apprentissage. Les adaptations visées aboutissent à un problème de classification avec données manquantes. Une formulation probabiliste de la structure en cascade est alors utilisée pour incorporer les incertitudes introduites par ces données manquantes. Cette formulation nécessite l'estimation de probabilités a posteriori ainsi que le calcul de nouveaux seuils à chaque niveau de la cascade modifiée. Pour ces deux problèmes, plusieurs solutions sont proposées et de nombreux tests sont effectués pour déterminer la meilleure configuration. Enfin, les applications suivantes sont présentées : détection de visages tournés ou occultés à partir d'un détecteur de visages de face. L'adaptation du détecteur aux visages tournés nécessite l'utilisation d'un modèle géométrique 3D pour ajuster les positions des sous-fenêtres associées aux classifieurs faibles.

La Langue des Signes Française (LSF) représente une part de l'identité et de la culture de la communauté des sourds en France. L'un des moyens permettant de promouvoir cette langue est la génération de contenu par le biais de personnages virtuels appelés avatars signeurs. Le système que nous proposons s’intègre dans un projet plus général de synthèse gestuelle de la LSF par concaténation qui permet de générer de nouvelles phrases à partir d'un corpus de données de mouvements annotées et capturées via un dispositif de capture de mouvement basé marqueurs (MoCap) en éditant les données existantes. En LSF, l'expressivité faciale est le vecteur de nombreuses informations (e.g., affectives, clausales ou adjectivales), d'où son importance. Cette thèse a pour but d'intégrer l'aspect facial de la LSF au système de synthèse concaténative décrit précédemment. Ainsi, nous proposons une chaîne de traitement de l'information allant de la capture des données via un dispositif de MoCap jusqu'à l'animation faciale de l'avatar à partir de ces données et l'annotation automatique des corpus ainsi constitués. La première contribution de cette thèse concerne la méthodologie employée et la représentation par blendshapes à la fois pour la synthèse d'animations faciales et pour l'annotation automatique. Elle permet de traiter le système d'analyse / synthèse à un certain niveau d'abstraction, avec des descripteurs homogènes et signifiants. La seconde contribution concerne le développement d'une approche d'annotation automatique qui s'appuie sur la reconnaissance d'expressions faciales émotionnelles par des techniques d'apprentissage automatique. La dernière contribution réside dans la méthode de synthèse qui s'exprime comme un problème d'optimisation assez classique mais au sein duquel nous avons inclus une énergie basée laplacien quantifiant les déformations d'une surface en tant qu'énergie de régularisation
French Sign Language (LSF) represents part of the identity and culture of the deaf community in France. One way to promote this language is to generate signed content through virtual characters called signing avatars. The system we propose is part of a more general project of gestural synthesis of LSF by concatenation that allows to generate new sentences from a corpus of annotated motion data captured via a marker-based motion capture device (MoCap) by editing existing data. In LSF, facial expressivity is particularly important since it is the vector of numerous information (e.g., affective, clausal or adjectival). This thesis aims to integrate the facial aspect of LSF into the concatenative synthesis system described above. Thus, a processing pipeline is proposed, from data capture via a MoCap device to facial animation of the avatar from these data and to automatic annotation of the corpus thus constituted. The first contribution of this thesis concerns the employed methodology and the representation by blendshapes both for the synthesis of facial animations and for automatic annotation. It enables the analysis/synthesis scheme to be processed at an abstract level, with homogeneous and meaningful descriptors. The second contribution concerns the development of an automatic annotation method based on the recognition of expressive facial expressions using machine learning techniques. The last contribution lies in the synthesis method, which is expressed as a rather classic optimization problem but in which we have included

La présente thèse s'intéresse à l'utilisation de méta-données textuelles pour l'analyse d'image. Nous cherchons à utiliser ces informations additionelles comme supervision faible pour l'apprentissage de modèles de reconnaissance visuelle. Nous avons observé un récent et grandissant intérêt pour les méthodes capables d'exploiter ce type de données car celles-ci peuvent potentiellement supprimer le besoin d'annotations manuelles, qui sont coûteuses en temps et en ressources. Nous concentrons nos efforts sur deux types de données visuelles associées à des informations textuelles. Tout d'abord, nous utilisons des images de dépêches qui sont accompagnées de légendes descriptives pour s'attaquer à plusieurs problèmes liés à la reconnaissance de visages. Parmi ces problèmes, la vérification de visages est la tâche consistant à décider si deux images représentent la même personne, et le nommage de visages cherche à associer les visages d'une base de données à leur noms corrects. Ensuite, nous explorons des modèles pour prédire automatiquement les labels pertinents pour des images, un problème connu sous le nom d'annotation automatique d'image. Ces modèles peuvent aussi être utilisés pour effectuer des recherches d'images à partir de mots-clés. Nous étudions enfin un scénario d'apprentissage multimodal semi-supervisé pour la catégorisation d'image. Dans ce cadre de travail, les labels sont supposés présents pour les données d'apprentissage, qu'elles soient manuellement annotées ou non, et absentes des données de test. Nos travaux se basent sur l'observation que la plupart de ces problèmes peuvent être résolus si des mesures de similarité parfaitement adaptées sont utilisées. Nous proposons donc de nouvelles approches qui combinent apprentissage de distance, modèles par plus proches voisins et méthodes par graphes pour apprendre, à partir de données visuelles et textuelles, des similarités visuelles spécifiques à chaque problème. Dans le cas des visages, nos similarités se concentrent sur l'identité des individus tandis que, pour les images, elles concernent des concepts sémantiques plus généraux. Expérimentalement, nos approches obtiennent des performances à l'état de l'art sur plusieurs bases de données complexes. Pour les deux types de données considérés, nous montrons clairement que l'apprentissage bénéficie de l'information textuelle supplémentaire résultant en l'amélioration de la performance des systèmes de reconnaissance visuelle.

La prédiction de surface est désormais une problématique importante dans de multiples domaines, tels que la vision par ordinateur, la simulation d'avatars en cinématographie ou dans les jeux vidéo, etc. Une surface pouvant être statique ou dynamique, c'est-à-dire évoluant dans le temps, le problème peut être séparé en deux catégories : un problème de prédiction spatial et un problème de prédiction spatio-temporel. Afin de proposer une nouvelle approche à chacune de ces problématiques, ce travail de thèse a été séparé en deux parties.Nous avons d'abord cherché à prédire une surface statique, qui est supposée cylindrique, en la connaissant partiellement sous la forme de courbes. L'approche que nous avons proposée consiste à déformer un cylindre sur les courbes connues afin de reconstruire la surface d'intérêt. Tout d'abord, une correspondance entre les courbes connues et le cylindre est générée à l'aide d'outils d'analyse de forme. Une fois cette étape effectuée, une interpolation du champ de déformation, qui a été supposé gaussien, a été estimée en se basant sur le maximum de vraisemblance d'une part, et par inférence bayésienne d'autre part. La méthodologie a par la suite été appliquée à des données réelles provenant de deux domaines de l'imagerie : l'imagerie médicale et l'infographie. Les divers résultats obtenus montrent que la méthode proposée surpasse les méthodes existantes dans la littérature, avec de meilleurs résultats en utilisant l'inférence bayésienne.Dans un second temps, nous nous sommes intéressés à la prédiction spatio-temporelle de surfaces dynamiques. L'objectif était de prédire entièrement une surface dynamique à partir de sa surface initiale. La prédiction nécessitant une phase d'apprentissage à partir d'observations connues, nous avons tout d'abord développé un outil d'analyse spatio-temporel de surfaces. Cette analyse se base sur des outils d'analyse de forme, et permet un meilleur apprentissage pour la prédiction. Une fois cette étape préliminaire effectuée, nous avons estimé la déformation temporelle de la surface dynamique à prédire. Plus précisément, une adaptation, applicable sur l'espace des surfaces, des estimateurs couramment utilisés en statistique a été utilisée. En appliquant la déformation estimée sur la surface initiale, une estimation de la surface dynamique a ainsi été créée. Cette méthodologie a par la suite été utilisée pour prédire des expressions 4D du visage, ce qui permet de générer des expressions visuellement convaincantes
The prediction of a surface is now an important problem due to its use in multiple domains, such as computer vision, the simulation of avatars for cinematography or video games, etc. Since a surface can be static or dynamic, i.e. evolving with time, this problem can be separated in two classes: a spatial prediction problem and a spatio-temporal one. In order to propose a new approach for each of these problems, this thesis works have been separated in two parts.First of all, we have searched to predict a static surface, which is supposed cylindrical, knowing it partially from curves. The proposed approach consisted in deforming a cylinder on the known curves in order to reconstruct the surface of interest. First, a correspondence between known curves and the cylinder is generated with the help of shape analysis tools. Once this step done, an interpolation of the deformation field, which is supposed Gaussian, have been estimated using maximum likelihood and Bayesian inference. This methodology has then been applied to real data from two domains of imaging: medical imaging and infography. The obtained results show that the proposed approach exceeds the existing methods in the literature, with better results using Bayesian inference.In a second hand, we have been interested in the spatio-temporal prediction of dynamic surfaces. The objective was to predict a dynamic surface based on its initial surface. Since the prediction needs to learn on known observations, we first have developed a spatio-temporal surface analysis tool. This analysis is based on shape analysis tools, and allows a better learning. Once this preliminary step done, we have estimated the temporal deformation of the dynamic surface of interest. More precisely, an adaptation, with is usable on the space of surfaces, of usual statistical estimators has been used. Using this estimated deformation on the initial surface, an estimation of the dynamic surface has been created. This process has then been applied for predicting 4D expressions of faces, which allow us to generate visually convincing expressions

Dans notre communication quotidienne avec les autres, nous avons autant de considération pour l’interlocuteur lui-même que pour l’information transmise. En permanence coexistent en effet deux modes de transmission : le verbal et le non-verbal. Sur ce dernier thème intervient principalement l’expression faciale avec laquelle l’interlocuteur peut révéler d’autres émotions et intentions. Habituellement, un processus de reconnaissance d’émotions faciales repose sur 3 étapes : le suivi du visage, l’extraction de caractéristiques puis la classification de l’expression faciale. Pour obtenir un processus robuste apte à fournir des résultats fiables et exploitables, il est primordial d’extraire des caractéristiques avec de forts pouvoirs discriminants (selon les zones du visage concernées). Les avancées récentes de l’état de l’art ont conduit aujourd’hui à diverses approches souvent bridées par des temps de traitement trop couteux compte-tenu de l’extraction de descripteurs sur le visage complet ou sur des heuristiques mathématiques et/ou géométriques.En fait, aucune réponse bio-inspirée n’exploite la perception humaine dans cette tâche qu’elle opère pourtant régulièrement. Au cours de ces travaux de thèse, la base de notre approche fut ainsi de singer le modèle visuel pour focaliser le calcul de nos descripteurs sur les seules régions du visage essentielles pour la reconnaissance d’émotions. Cette approche nous a permis de concevoir un processus plus naturel basé sur ces seules régions émergentes au regard de la perception humaine. Ce manuscrit présente les différentes méthodologies bio-inspirées mises en place pour aboutir à des résultats qui améliorent généralement l’état de l’art sur les bases de référence. Ensuite, compte-tenu du fait qu’elles se focalisent sur les seules parties émergentes du visage, elles améliorent les temps de calcul et la complexité des algorithmes mis en jeu conduisant à une utilisation possible pour des applications temps réel
Communication in any form i.e. verbal or non-verbal is vital to complete various daily routine tasks and plays a significant role inlife. Facial expression is the most effective form of non-verbal communication and it provides a clue about emotional state, mindset and intention. Generally automatic facial expression recognition framework consists of three step: face tracking, feature extraction and expression classification. In order to built robust facial expression recognition framework that is capable of producing reliable results, it is necessary to extract features (from the appropriate facial regions) that have strong discriminative abilities. Recently different methods for automatic facial expression recognition have been proposed, but invariably they all are computationally expensive and spend computational time on whole face image or divides the facial image based on some mathematical or geometrical heuristic for features extraction. None of them take inspiration from the human visual system in completing the same task. In this research thesis we took inspiration from the human visual system in order to find from where (facial region) to extract features. We argue that the task of expression analysis and recognition could be done in more conducive manner, if only some regions are selected for further processing (i.e.salient regions) as it happens in human visual system. In this research thesis we have proposed different frameworks for automatic recognition of expressions, all getting inspiration from the human vision. Every subsequently proposed addresses the shortcomings of the previously proposed framework. Our proposed frameworks in general, achieve results that exceeds state-of-the-artmethods for expression recognition. Secondly, they are computationally efficient and simple as they process only perceptually salient region(s) of face for feature extraction. By processing only perceptually salient region(s) of the face, reduction in feature vector dimensionality and reduction in computational time for feature extraction is achieved. Thus making them suitable for real-time applications

La biométrie du visage a suscité, ces derniers temps, l'intérêt grandissant de la communauté scientifique et des industriels de la biométrie vue son caractère naturel, sans contact et non-intrusif. Néanmoins, les performances des systèmes basés sur les images 2D sont affectées par différents types de variabilités comme la pose, les conditions d'éclairage, les occultations et les expressions faciales. Avec la disponibilité de caméras 3D capables d'acquérir la forme tridimensionnelle, moins sensibles aux changements d'illumination et de pose, plusieurs travaux de recherche se sont tournés vers l'étude de cette nouvelle modalité. En revanche, d'autres défis apparaissent comme les déformations de la forme faciales causées par les expressions et le temps de calcul que requièrent les approches développées. Cette thèse s'inscrit dans ce paradigme en proposant de coupler la géométrie Riemannienne avec les techniques d'apprentissage pour une biométrie faciale 3D efficace et robuste aux changements d'expressions. Après une étape de pré-traitement, nous proposons de représenter les surfaces faciales par des collections de courbes 3D qui captent localement leurs formes. Nous utilisons un cadre géométrique existant pour obtenir les déformations " optimales " entre les courbes ainsi que les distances les séparant sur une variété Riemannienne (espace des formes des courbes). Nous appliquons, par la suite, des techniques d'apprentissage afin de déterminer les courbes les plus pertinentes pour deux applications de la biométrie du visage : la reconnaissance d'identité et la classification du genre. Les résultats obtenus sur le benchmark de référence FRGC v2 et leurs comparaison avec les travaux de l'état de l'art confirment tout l'intérêt de coupler l'analyse locale de la forme par une approche géométrique (possibilité de calculer des moyennes, etc.) avec des techniques d'apprentissage (Basting, etc.) pour gagner en temps de calcul et en performances.

Le but de l’expérience décrite dans ce mémoire est d'arriver à inculquer inconsciemment aux sujets une stratégie visuelle leur permettant d'utiliser seulement une partie spécifique de l'information visuelle disponible dans le visage humain pour en reconnaître le genre. Normalement, le genre d’un visage est reconnu au moyen de certaines régions, comme la bouche et les yeux (Dupuis-Roy, Fortin, Fiset et Gosselin, 2009). La tâche accomplie par les sujets permettait un apprentissage perceptuel implicite qui se faisait par conditionnement opérant. Ces derniers étaient informés qu'un nombre de points leur serait attribué selon leur performance à la tâche. Au terme de l’entraînement, les sujets renforcés pour l’utilisation de l’oeil gauche utilisaient davantage l’oeil gauche que l’oeil droit et ceux renforcés pour l’utilisation de l’oeil droit utilisaient davantage l’oeil droit. Nous discuterons de potentielles applications cliniques de cette procédure de conditionnement.
The goal of the following experiment is to make subjects unconsciously learn a visual strategy allowing them to use only part of the available visual information from the human face to correctly identify the gender of a face. Normally, the gender of a face is recognized using certain regions, like those of the mouth and the eyes (Dupuis-Roy, Fortin, Fiset et Gosselin, 2009). Our participants had to accomplish an operant conditionning task. They were informed that a number of points would be given to them according to their performance. At the end of training, the subjects that were encouraged to use the left eye indeed used the left eye more than the right. Also, those that were conditionned to use the right eye used the right eye more than the left. We will discuss the potential clinical applications of this method of conditionning.