Auswahl der wissenschaftlichen Literatur zum Thema „Visable learning“

We present a machine learning approach to discover the agent dynamics that drives the evolution of the social groups in a community. We set up the problem by introducing an agent-based hidden Markov model for the agent dynamics: an agent's actions are determined by micro-laws. Nonetheless, We learn the agent dynamics from the observed communications without knowing state transitions. Our approach is to identify the appropriate micro-laws corresponding to an identification of the appropriate parameters in the model. The model identification problem is then formulated as a mixed optimization problem. To solve the problem, we develop a multistage learning process for determining the group structure, the group evolution, and the micro-laws of a community based on the observed set of communications among actors, without knowing the semantic contents. Finally, to test the quality of our approximations and the feasibility of the approach, we present the results of extensive experiments on synthetic data as well as the results on real communities, such as Enron email and Movie newsgroups. Insight into agent dynamics helps us understand the driving forces behind social evolution.

At the present stage of development in Latvia, as well as around the world, essential influence on the enterprise work has the idea of sustainable development. The concept of sustainable development has become widespread amongst government agencies, politicians, corporations and other organizations throughout the world. By the end of 2007, around 129,031 organizations worldwide have implemented environmental management systems (EMS) and certified it according to ISO 14001. About 100 of them are located in Latvia and 40 of them are construction companies. There is a lack of national evaluations of ISO 14001 in many countries, but in many countries no complete lists of the national certified / registered sites exist at all. In Latvia a list of ISO 14001 sites has been complied and regularly updated by the Latvian association for Quality. In spite of the fact that in Latvia increase using of ideas of ecological manufacture and environmental management, nevertheless there has been no any serious scientific study of Latvian experience of ISO 14001. The purpose of this study is to describe experiences and effects of EMS in construction companies, based on study conducted for the construction industry in Latvia. The results show that ISO 14001 often leads to reduced environmental impact, especially in the area of waste. A strong driving force behind implementation is the expected improvement of the organizations’ images. Legal compliance tends to be difficult to implement, but on the other hand, it works well in daily practice. To develop EMS into Sustainability Management Systems, the two most important challenges are to improve the coordination between the EMS and the organizations’ strategies and to improve learning process and direct participation of all employees. Santrauka Šiuo Latvijos plėtros etapu, kaip ir visame pasaulyje, įmonių veiklą veikia tvarios plėtros idėjos. Tvarios plėtros koncepcija visame pasaulyje plačiai paplito tarp politikų, korporacijų, vyriausybinių ir kitų organizacijų. 2007 m. pabaigoje apie 129 tūkst. organizacijų visame pasaulyje įdiegė aplinkos apsaugos vadybos sistemą (AAVS) ir sertifikavo ją pagal ISO 14001 standartą. Iš to skaičiaus apie 100 įmonių yra įsikūrę Latvijoje, 40 iš jų yra statybos įmonės. Daugelyje šalių iš viso nėra įmonių, sertifikuotų pagal šį standartą. Latvijoje pagal ISO 14001 standartą sertifikuotų įmonių sąrašą sudaro ir nuolat atnaujina Latvijos kokybės asociacija. Nepaisant to, kad Latvijoje vis labiau plinta ekologinės gamybos ir aplinkosaugos valdymo idėjos, iki šiol nebuvo jokių rimtų mokslinių studijų apie Latvijos patirtį naudojant ISO 14001 standartą. Šio straipsnio tikslas – nustatyti aplinkos valdymo sistemos poveikį statybos įmonėms, remiantis tyrimais, atliktais Latvijos statybos pramonėje. Rezultatai parodė, kad ISO 14001 dažnai sumažina poveikį aplinkai, ypač taršą atliekomis. Stipri AVS įgyvendinimo varomoji jėga – noras pagerinti organizacijos įvaizdį. Sistemą įgyvendinti sudėtinga, tačiau tai pasiteisina kasdienėje veikloje. Norint AVS integruoti į tvarumo valdymo sistemą, AVS darbą reikia suderinti su organizacijos strategijomis, pagerinti mokymo procesą ir įtraukti visus darbuotojus.

Straipsnyje nagrinėjami kai kurie metodologiniai mokymosi negalių tyrimo ir koregavimo klausimai. Siekiant išryškinti bendriausius šios problemos sprendimo principus gretinama analitinė ir holistinė mokslinio pažinimo prieiga. Moderniojoje akademinėje psichologijoje vyraujanti analitinė prieiga reiškiasi įsitikinimu, kad sudėtingą reiškinį galima pažinti jį skaidant dalimis, aiškinantis jų tarpusavio ryšius ir kaupiant empiriškai patikrinamus faktus. Ši tendencija būdinga gausiai ir įvairiai mokymosi negalias nagrinėjančiai ir jų koregavimo būdus siūlančiai ir vertinančiai literatūrai, tačiau kol kas bendros koncepcijos šiuo klausimu nėra. Straipsnyje plačiau pristatoma holistinei prieigai atstovaujančio prancūzų audiopsichofonologo Alfredo Tomatiso teorinis požiūris ir juo grindžiamas mokymosi negalių įveikos būdas. Teigdamas, kad mokymosi negalios yra komunikavimo problema, pasireiškianti kaip klausymo sutrikimas, jis siūlo originalų teisingo klausymo atkūrimo būdą, kurį, kaip Tomatiso metodiką, žino ir taiko daugelis psichologinės pagalbos įstaigų visame pasaulyje. Skirtingai nuo praktikų, akademinė psichologija susidomėjimo A. Tomatiso idėjomis nerodo, tad ir diskusija šiuo klausimu nevyksta. Todėl ir straipsnyje keltas klausimas apie mokymosi negalių problemos sprendimo galimybes lieka atviras.Pagrindiniai žodžiai: mokymosi negalia, girdėjimas ir klausymas, garsinis stimuliavimas, aukštieji garso dažniai, elektroninė ausis. Learning disabilities: different theoretical approaches and ways of treatmentEglė Rimkutė, Miglė Dovydaitienė SummaryThe article examines some methodological problems of research and treatment of learning disabilities. Analytic and holistic approaches to learning disabilities are introduced. Mainstream academic psychology is currently dominated by the analytic approach, which seeks to reduce complex phenomena to its parts in order to study and understand existing interactions between them. A review of literature reveals, that generally learning disabilities are defined in terms of deficits of various cognitive and language abilities and skills necessary for learning. Most often offered treatment procedures are based on programs that focus on improving deficient skills through repetition of various cognitive exercises.We put special emphasis on holistic approach which is presented through theorizing and the treatment of learning disabilities by French audio-psycho-phonologist Alfred Tomatis. According to A. Tomatis, neither normal nor abnormal behaviour can be understood without relating it to 1) the functioning of the whole organism, and 2) the historical and individual developmental processes. From his point of view, language, as a tool for communication, plays a very important role in the humanization of an individual. Individual personal development also confirms that the need for communication emerges already in the prenatal stage, when the link between foetus and mother is maintained, as the foetus hears from the 5th month of intrauterine life. The desire to communicate is implicit in the realization of human consciousness. Considering learning difficulties which are related with written language A. Tomatis claims that it is communication — primarily listening — disorder. The treatment, proposed by A. Tomatis, consists in teaching a person to use his ear as an apparatus capable of listening. He developed an electronic device called Electronic Ear designed to modify the way in which a subject listened and to help him improve language, learning and communication skills. Practitioners using A. Tomatis method confirm its effectiveness. However, it would be very difficult to evaluate his method through analitical experiments that would satisfy academic psychology, which remains skeptical.To contribute to the progress in understanding and treatment of learning disabilities academic psychology should pay more attention to the ideas approved in practice and to find more flexible ways of detection and evaluation of personal change.Key words: learning disability, hearing and listening, auditory stimulation, high frequency tones, electronic ear.

Syftet med utvecklingsarbetet var att synliggöra elevinflytandet i fritidshemsverksamheten. Arbetet utgick från aktionsforskning som metod och presenterades via en utvecklingsmodell genom följande steg; nulägesanalys, kartläggning av tidigare forskning, planering och genomförande av aktionen samt kvalitativa intervjuer med elever före och efter aktionens genomförande. Genom multimodala verktyg infördes det förslagslåda och aktivitetstavlor på fritidshemmet för att undersöka om eleverna kunde bli mer medvetna om sitt inflytande. Det har visat sig ur tidigare forskning och vår nulägesanalys att det fanns ett stort intresse bland eleverna att vara delaktiga och ha inflytande över aktiviteter på fritidshemmet. Däremot framgick det att flertalet elever hade svårt att tolka vad elevinflytande var och när det skedde. Det framkom i studien att synliggörandet av inflytande är en betydande faktor för att göra eleverna mer medvetna om att de får vara med och påverka verksamheten. I vår slutreflektion diskuteras det faktum att resultatet tog en annan riktning än vad vi räknat med. Det visade sig finnas ett behov av en slags verktyg där eleverna anonymt kunde placera lappar med andra formuleringar än önskningar. Då önskelådan desto längre tiden gick fick ta emot allt fler personliga meddelanden av eleverna.

La reconnaissance des biomètries douces (genre, âge, etc.)trouve ses applications dans plusieurs domaines. Les approches proposéesse basent sur l’analyse de l’apparence (images 2D), très sensiblesaux changements de la pose et à l’illumination, et surtout pauvre en descriptionsmorphologiques. Dans cette thèse, nous proposons d’exploiterla forme 3D du visage. Basée sur une approche Riemannienne d’analysede formes 3D, nous introduisons quatre descriptions denses à savoir: lasymétrie bilatérale, la moyenneté, la configuration spatiale et les variationslocales de sa forme. Les évaluations faites sur la base FRGCv2 montrentque l’approche proposée est capable de reconnaître des biomètries douces.A notre connaissance, c’est la première étude menée sur l’estimation del’âge, et c’est aussi la première étude qui propose d’explorer les corrélationsentre les attributs faciaux, à partir de formes 3D
Soft-Biometric (gender, age, etc.) recognition has shown growingapplications in different domains. Previous 2D face based studies aresensitive to illumination and pose changes, and insufficient to representthe facial morphology. To overcome these problems, this thesis employsthe 3D face in Soft-Biometric recognition. Based on a Riemannian shapeanalysis of facial radial curves, four types of Dense Scalar Field (DSF) featuresare proposed, which represent the Averageness, the Symmetry, theglobal Spatiality and the local Gradient of 3D face. Experiments with RandomForest on the 3D FRGCv2 dataset demonstrate the effectiveness ofthe proposed features in Soft-Biometric recognition. Furtherly, we demonstratethe correlations of Soft-Biometrics are useful in the recognition. Tothe best of our knowledge, this is the first work which studies age estimation,and the correlations of Soft-Biometrics, using 3D face

L'environnement semble jouer un rôle important dans le développement de la discrimination des stimuli sociaux. Le développement précoce de la discrimination des stimuli sociaux tels que les visages et les expressions faciales a suscité de nombreuses recherches. Par ailleurs, les individus avec autisme ne semblent pas répondre aux stimuli sociaux de la même façon que des individus au fonctionnement normal et ces différences apparaissent de manière précoce.Cependant, les recherches actuelles ne nous fournissent pas assez d'éléments dur la façon dont cette discrimination se met en place, en particulier sur les régions du visage qui sont importantes pour la discrimination. C'est ce point que nous avons choisi d'étudier au cours de cette thèse, auprès d'enfants avec autisme. Les travaux effectués dans le cadre de cette thèse ont eu pour objectifs tout d'abord de développer une tâche permettant de mesurer les éléments du visage impliqués dans la discrimination d'expressions faciales chez des enfants au développement typique et des enfants avec autisme (Etudes 1 & 2). Puis, nous avons mis en place une tâche ayant pour objectif d'évaluer l'importance des régions des yeux et de la bouche auprès d'enfants avec autisme et de montrer l'effet de la modification des patterns d'observation des visages sur la façon dont les éléments du visage exercent un contrôle discriminatif sur les réponses des enfants avec autisme (Etudes 3 & 4). Ces résultats sont discutés au regard de l'importance de l'environnement dans la mise en place de la discrimination des stimuli sociaux. Les implications concernant les recherches chez l'enfant au développement typique seront discutées, ainsi que la place de la direction du regard, en plus de l'expression des yeux, comme élément discriminatif
The role of the environment has been demonstrated in the development of the discrimination of social stimuli. The discrimination of social stimuli such as faces and facial expressions have been extensively studied during the past decades. In addition, people with autism show atypical responses to social stimuli compared to typically functioning individuals. Those discrepancies can be seen very early in life. However, there is still much to know about how this learning takes place, particularly on the face parts that are relevant for the discrimination. The focus of this work is to study more precisely how face parts come to control the responses of children with autism. The goal of our studies was first, to build a task to measure precisely which parts of the face are involved in facial expressions discrimination in children with autism and in typically developing children (Experiments 1 & 2). Subsequently, we devised a task which evaluated the role of the eyes' and mouth regions in children with autism and typically developing children in order to see the effect of the modification of observing patterns of faces on the way eyes and mouth come to control the responses of children with autism (Experiments 3 & 4). Results are discussed in line with the role of the environment in participating in the development of facial expressions discrimination. Implications for the study in early facial expression discrimination learning in typically developing children are discussed. Direction of gaze, in adition to the eyes region expression, is discussed as a relevant element for the discrimination of facial stimuli

La reconnaissance des expressions faciales est une tâche difficile, qui a reçu un intérêt croissant au sein de la communauté des chercheurs, et qui impacte les applications dans des domaines liés à l'interaction homme-machine (IHM). Dans le but de construire des systèmes IHM approchant le comportement humain et émotionnellement intelligents, les scientifiques essaient d'introduire la composante émotionnelle dans ce type de systèmes. Le développement récent des capteurs d'acquisition 3D a fait que les données 3D deviennent de plus en plus disponibles, et ce type de données vient pour remédier à des problèmes inhérents aux données 2D tels que les variations d'éclairage, de pose et d'échelle et de faible résolution. Plusieurs bases de données 3D du visage sont publiquement disponibles pour les chercheurs dans le domaine de la reconnaissance d'expression faciale leur permettant ainsi de valider et d'évaluer leurs approches. Cette thèse traite le problème la reconnaissance d'expression faciale et propose une approche basée sur l'analyse de forme pour la reconnaissance d'expression dans un cadre statique (relatif à une seule image) et dynamique (relatif à une séquence vidéo). Tout d'abord, une représentation du modèle 3D du visage basée sur les courbes est proposée pour décrire les traits du visage. Puis, une fois ces courbes sont extraites, l'information de forme qui leur est liée est quantifiée en utilisant un cadre de travail basé sur la géométrie Riemannienne. Nous obtenons, par la suite, des scores de similarité entre les différentes formes locales du visage. Nous constituons, alors, un vecteur de caractéristiques associées à chaque surface faciale. Ensuite, ces caractéristiques sont utilisées comme paramètres d'entrée à des algorithmes d'apprentissage automatique et de classification pour la reconnaissance d'expressions. Des expérimentations exhaustives sont alors entreprises pour valider notre approche et des résultats sont présentés et comparés aux résultats des travaux de l'état de l'art
Facial expression recognition is a challenging task, which has received growing interest within the research community, impacting important applications in fields related to human machine interaction (HMI). Toward building human-like emotionally intelligent HMI devices, scientists are trying to include the essence of human emotional state in such systems. The recent development of 3D acquisition sensors has made 3D data more available, and this kind of data comes to alleviate the problems inherent in 2D data such as illumination, pose and scale variations as well as low resolution. Several 3D facial databases are publicly available for the researchers in the field of face and facial expression recognition to validate and evaluate their approaches. This thesis deals with facial expression recognition (FER) problem and proposes an approach based on shape analysis to handle both static and dynamic FER tasks. Our approach includes the following steps: first, a curve-based representation of the 3D face model is proposed to describe facial features. Then, once these curves are extracted, their shape information is quantified using a Riemannain framework. We end up with similarity scores between different facial local shapes constituting feature vectors associated with each facial surface. Afterwards, these features are used as entry parameters to some machine learning and classification algorithms to recognize expressions. Exhaustive experiments are derived to validate our approach and results are presented and compared to the related work achievements

Recueillir et labelliser un ensemble important et pertinent de données pour apprendre des systèmes de prédiction d'informations à partir de visages est à la fois difficile et long. Par conséquent, les données disponibles sont souvent de taille limitée comparée à la difficultés des tâches. Cela rend le problème du sur-apprentissage particulièrement important dans de nombreuses applications d'apprentissage statistique liées au visage. Dans cette thèse, nous proposons une nouvelle méthode de régression de labels multi-dimensionnels, nommée Hard Multi-Task Metric Learning for Kernel Regression (H-MT-MLKR). Notre méthode a été développée en focalisant sur la réduction du phénomène de sur-apprentissage. La méthode Metric Learning for Kernel Regression qui a été proposée par Kilian Q. Weinberger en 2007 vise à apprendre un sous-espace pour minimiser l'erreur quadratique d'un estimateur de Nadaraya-Watson sur la base d'apprentissage. Dans notre méthode, on étend la méthode MLKR pour une régression de labels multi-dimensionnels en ajoutant une nouvelle régularisation multi-tâches qui réduit les degrés de liberté du modèle appris ainsi que le sur-apprentissage. Nous évaluons notre méthode pour deux applications différentes, à savoir la localisation de points caractéristiques et la prédiction de l'intensité des Action Units. Nous présentons aussi un travail sur la prédiction des émotions en espace continu basé aussi sur l'estimateur de Nadaraya-Watson. Deux des systèmes proposés nous ont permis de remporter deux premières places à des concours internationaux, à savoir le Audio-Visual Emotion Challenge (AVEC'12) et le Facial Expression Recognition and Analysis challenge (FERA'15)
Collecting and labeling various and relevant data for training automatic facial information prediction systems is both hard and time-consuming. As a consequence, available data is often of limited size compared to the difficulty of the prediction tasks. This makes overfitting a particularly important issue in several face-related machine learning applications. In this PhD, we introduce a novel method for multi-dimensional label regression, namely Hard Multi-Task Metric Learning for Kernel Regression (H-MT-MLKR). Our proposed method has been designed taking a particular focus on overfitting reduction. The Metric Learning for Kernel Regression method (MLKR) that has been proposed by Kilian Q. Weinberger in 2007 aims at learning a subspace for minimizing the quadratic training error of a Nadaraya-Watson estimator. In our method, we extend MLKR for multi-dimensional label regression by adding a novel multi-task regularization that reduces the degrees of freedom of the learned model along with potential overfitting. We evaluate our regression method on two different applications, namely landmark localization and Action Unit intensity prediction. We also present our work on automatic emotion prediction in a continuous space which is based on the Nadaraya-Watson estimator as well. Two of our frameworks let us win international data science challenges, namely the Audio-Visual Emotion Challenge (AVEC’12) and the fully continuous Facial Expression Recognition and Analysis challenge (FERA’15)

L’analyse automatique des expressions faciales représente à l’heure actuelle une problématique importante associée à de multiples applications telles que la reconnaissance de visages ou encore les interactions homme machine. Dans cette thèse, nous nous attaquons au problème de la reconnaissance d’expressions faciales à partir d’une image ou d’une séquence d’images. Nous abordons le problème sous trois angles.Tout d’abord, nous étudions les macro-expressions faciales et nous proposons de comparer l’efficacité de trois descripteurs différents. Cela conduit au développement d’un algorithme de reconnaissance d’expressions basé sur des descripteurs bas niveau encodés dans un modèle de type sac de mots, puis d’un algorithme basé sur des descripteurs de moyen niveau associés à une représentation éparse et enfin d’un algorithme d’apprentissage profond tenant compte de descripteurs haut niveau. Notre objectif lors de la comparaison de ces trois algorithmes est de trouver la représentation des informations de visages la plus discriminante pour reconnaitre des expressions faciales en étant donc capable de s’affranchir des sources de variabilités que sont les facteurs de variabilité intrinsèques tels que l’apparence du visage ou la manière de réaliser une expression donnée et les facteurs de variabilité extrinsèques tels que les variations d’illumination, de pose, d’échelle, de résolution, de bruit ou d’occultations. Nous examinons aussi l’apport de descripteurs spatio-temporels capables de prendre en compte des informations dynamiques utiles pour séparer les classes ambigües.La grosse limitation des méthodes de classification supervisée est qu’elles sont très coûteuses en termes de labélisation de données. Afin de s’affranchir en partie de cette limitation, nous avons étudié dans un second temps, comment utiliser des méthodes de transfert d’apprentissage de manière à essayer d’étendre les modèles appris sur un ensemble donné de classes d’émotions à des expressions inconnues du processus d’apprentissage. Ainsi nous nous sommes intéressés à l’adaptation de domaine et à l’apprentissage avec peu ou pas de données labélisées. La méthode proposée nous permet de traiter des données non labélisées provenant de distributions différentes de celles du domaine source de l’apprentissage ou encore des données qui ne concernent pas les mêmes labels mais qui partagent le même contexte. Le transfert de connaissance s’appuie sur un apprentissage euclidien et des réseaux de neurones convolutifs de manière à définir une fonction de mise en correspondance entre les informations visuelles provenant des expressions faciales et un espace sémantique issu d’un modèle de langage naturel.Dans un troisième temps, nous nous sommes intéressés à la reconnaissance des micro-expressions faciales. Nous proposons un algorithme destiné à localiser ces micro-expressions dans une séquence d’images depuis l’image initiale (onset image) jusqu’à l’image finale (offset image) et à déterminer les régions des images qui sont affectées par les micro-déformations associées aux micro-expressions. Le problème est abordé sous un angle de détection d’anomalies ce qui se justifie par le fait que les déformations engendrées par les micro-expressions sont a priori un phénomène plus rare que celles produites par toutes les autres causes de déformation du visage telles que les macro-expressions, les clignements des yeux, les mouvements de la tête… Ainsi nous proposons un réseau de neurones auto-encodeur récurrent destiné à capturer les changements spatiaux et temporels associés à toutes les déformations du visage autres que celles dues aux micro-expressions. Ensuite, nous apprenons un modèle statistique basé sur un mélange de gaussiennes afin d’estimer la densité de probabilité de ces déformations autres que celles dues aux micro-expressions.Tous nos algorithmes sont testés et évalués sur des bases d’expressions faciales actées et/ou spontanées
Facial expression analysis is an important problem in many biometric tasks, such as face recognition, face animation, affective computing and human computer interface. In this thesis, we aim at analyzing facial expressions of a face using images and video sequences. We divided the problem into three leading parts.First, we study Macro Facial Expressions for Emotion Recognition and we propose three different levels of feature representations. Low-level feature through a Bag of Visual Word model, mid-level feature through Sparse Representation and hierarchical features through a Deep Learning based method. The objective of doing this is to find the most effective and efficient representation that contains distinctive information of expressions and that overcomes various challenges coming from: 1) intrinsic factors such as appearance and expressiveness variability and 2) extrinsic factors such as illumination, pose, scale and imaging parameters, e.g., resolution, focus, imaging, noise. Then, we incorporate the time dimension to extract spatio-temporal features with the objective to describe subtle feature deformations to discriminate ambiguous classes.Second, we direct our research toward transfer learning, where we aim at Adapting Facial Expression Category Models to New Domains and Tasks. Thus we study domain adaptation and zero shot learning for developing a method that solves the two tasks jointly. Our method is suitable for unlabelled target datasets coming from different data distributions than the source domain and for unlabelled target datasets with different label distributions but sharing the same context as the source domain. Therefore, to permit knowledge transfer between domains and tasks, we use Euclidean learning and Convolutional Neural Networks to design a mapping function that map the visual information coming from facial expressions into a semantic space coming from a Natural Language model that encodes the visual attribute description or use the label information. The consistency between the two subspaces is maximized by aligning them using the visual feature distribution.Third, we study Micro Facial Expression Detection. We propose an algorithm to spot micro-expression segments including the onset and offset frames and to spatially pinpoint in each image space the regions involved in the micro-facial muscle movements. The problem is formulated into Anomaly Detection due to the fact that micro-expressions occur infrequently and thus leading to few data generation compared to natural facial behaviours. In this manner, first, we propose a deep Recurrent Convolutional Auto-Encoder to capture spatial and motion feature changes of natural facial behaviours. Then, a statistical based model for estimating the probability density function of normal facial behaviours while associating a discriminating score to spot micro-expressions is learned based on a Gaussian Mixture Model. Finally, an adaptive thresholding technique for identifying micro expressions from natural facial behaviour is proposed.Our algorithms are tested over deliberate and spontaneous facial expression benchmarks

Cette thèse traite de la détection multimodale des anomalies dans le discours en utilisant les expressions faciales et l'expressivité dans la voix. Ces deux modalités sont des vecteurs d’émotions, des intentions, et peuvent refléter l'état d'esprit d'un être humain. Dans ce travail, un corpus de discours contenant des anomalies induites ou actées a été construit. Il a permis de mettre à l'épreuve une chaîne de détection à base de classification semi-supervisée. GMM, One Class SVM et Isolation Forest sont quelques exemples de modèles utilisés. Cela a également permis d'étudier la contribution de chacune des modalités et leur apport conjoint sur l'efficacité de la détection
This thesis is about multimodal anomaly detection in discourse using facial expressions ans speech expressivity. These two modalities are vectors of emotions, intentions, and can reflect the state of mind of a human being. In this work, a corpus on discourse containing some induced and acted anomalies has been built. This corpus has enabled testing a detection chain based on semi-supervised classification. GMM, One class SVM and Isolation forest are examples of models that have been used. It also has enabled to study the contribution of each modality and their joint contribution to the detection efficiency

Nous traitons dans cette thèse la modélisation de la coarticulation par les réseaux de neurones, dans l’objectif de synchroniser l’animation d’un visage virtuel 3D à de la parole. La prédiction de ces mouvements articulatoires n’est pas une tâche triviale, en effet, il est bien établi en production de parole que la réalisation d’un phonème est largement influencée par son contexte phonétique, phénomène appelé coarticulation. Nous proposons dans cette thèse un modèle de coarticulation, c’est-à-dire un modèle qui prédit les trajectoires spatiales des articulateurs à partir de la parole. Nous exploiterons pour cela un modèle séquentiel, les réseaux de neurones récurrents (RNN), et plus particulièrement les Gated Recurrent Units, capables de considérer la dynamique de l’articulation au cœur de leur modélisation. Malheureusement, la quantité de données classiquement disponible dans les corpus articulatoires et audiovisuels semblent de prime-abord faibles pour une approche deep learning. Pour pallier cette difficulté, nous proposons une stratégie permettant de fournir au modèle des connaissances sur les gestes articulatoires du locuteur dès son initialisation. La robustesse des RNNs nous a permis d’implémenter notre modèle de coarticulation pour prédire les mouvements des lèvres pour le français et l’allemand, et de la langue pour l’anglais et l’allemand. L’évaluation du modèle fut réalisée par le biais de mesures objectives de la qualité des trajectoires et par des expériences permettant de valider la bonne réalisation des cibles articulatoires critiques. Nous avons également réalisé une évaluation perceptive de la qualité de l’animation des lèvres du visage parlant. Enfin, nous avons conduit une analyse permettant d’explorer les connaissances phonétiques acquises par le modèle après apprentissage
This thesis deals with neural network based coarticulation modeling, and aims to synchronize facial animation of a 3D talking head with speech. Predicting articulatory movements is not a trivial task, as it is well known that production of a phoneme is greatly affected by its phonetic context, a phoneme called coarticulation. We propose in this work a coarticulation model, i.e. a model able to predict spatial trajectories of articulators from speech. We rely on a sequential model, the recurrent neural networks, and more specifically the Gated Recurrent Units, which are able to consider the articulation dynamic as a central component of its modeling. Unfortunately, the typical amount of data in articulatory and audiovisual databases seems to be quite low for a deep learning approach. To overcome this difficulty, we propose to integrate articulatory knowledge into the networks during its initialization. The RNNs robustness allow uw to apply our coarticulation model to predict both face and tongue movements, in french and german for the face, and in english and german for the tongue. Evaluation has been conducted through objective measures of the trajectories, and through experiments to ensure a complete reach of critical articulatory targets. We also conducted a subjective evaluation to attest the perceptual quality of the predicted articulation once applied to our facial animation system. Finally, we analyzed the model after training to explore phonetic knowledges learned

Les techniques d'analyse du visage nécessitent généralement une représentation pertinente des images, notamment en passant par des techniques de réduction de la dimension, intégrées dans des schémas plus globaux, et qui visent à capturer les caractéristiques discriminantes des signaux. Dans cette thèse, nous fournissons d'abord une vue générale sur l'état de l'art de ces modèles, puis nous appliquons une nouvelle méthode intégrant une approche non-linéaire, Kernel Similarity Principle Component Analysis (KS-PCA), aux Modèles Actifs d'Apparence (AAMs), pour modéliser l'apparence d'un visage dans des conditions d'illumination variables. L'algorithme proposé améliore notablement les résultats obtenus par l'utilisation d'une transformation PCA linéaire traditionnelle, que ce soit pour la capture des caractéristiques saillantes, produites par les variations d'illumination, ou pour la reconstruction des visages. Nous considérons aussi le problème de la classification automatiquement des poses des visages pour différentes vues et différentes illumination, avec occlusion et bruit. Basé sur les méthodes des représentations parcimonieuses, nous proposons deux cadres d'apprentissage de dictionnaire pour ce problème. Une première méthode vise la classification de poses à l'aide d'une représentation parcimonieuse active (Active Sparse Representation ASRC). En fait, un dictionnaire est construit grâce à un modèle linéaire, l'Incremental Principle Component Analysis (Incremental PCA), qui a tendance à diminuer la redondance intra-classe qui peut affecter la performance de la classification, tout en gardant la redondance inter-classes, qui elle, est critique pour les représentations parcimonieuses. La seconde approche proposée est un modèle des représentations parcimonieuses basé sur le Dictionary-Learning Sparse Representation (DLSR), qui cherche à intégrer la prise en compte du critère de la classification dans le processus d'apprentissage du dictionnaire. Nous faisons appel dans cette partie à l'algorithme K-SVD. Nos résultats expérimentaux montrent la performance de ces deux méthodes d'apprentissage de dictionnaire. Enfin, nous proposons un nouveau schéma pour l'apprentissage de dictionnaire adapté à la normalisation de l'illumination (Dictionary Learning for Illumination Normalization: DLIN). L'approche ici consiste à construire une paire de dictionnaires avec une représentation parcimonieuse. Ces dictionnaires sont construits respectivement à partir de visages illuminées normalement et irrégulièrement, puis optimisés de manière conjointe. Nous utilisons un modèle de mixture de Gaussiennes (GMM) pour augmenter la capacité à modéliser des données avec des distributions plus complexes. Les résultats expérimentaux démontrent l'efficacité de notre approche pour la normalisation d'illumination
Face analysis techniques commonly require a proper representation of images by means of dimensionality reduction leading to embedded manifolds, which aims at capturing relevant characteristics of the signals. In this thesis, we first provide a comprehensive survey on the state of the art of embedded manifold models. Then, we introduce a novel non-linear embedding method, the Kernel Similarity Principal Component Analysis (KS-PCA), into Active Appearance Models, in order to model face appearances under variable illumination. The proposed algorithm successfully outperforms the traditional linear PCA transform to capture the salient features generated by different illuminations, and reconstruct the illuminated faces with high accuracy. We also consider the problem of automatically classifying human face poses from face views with varying illumination, as well as occlusion and noise. Based on the sparse representation methods, we propose two dictionary-learning frameworks for this pose classification problem. The first framework is the Adaptive Sparse Representation pose Classification (ASRC). It trains the dictionary via a linear model called Incremental Principal Component Analysis (Incremental PCA), tending to decrease the intra-class redundancy which may affect the classification performance, while keeping the extra-class redundancy which is critical for sparse representation. The other proposed work is the Dictionary-Learning Sparse Representation model (DLSR) that learns the dictionary with the aim of coinciding with the classification criterion. This training goal is achieved by the K-SVD algorithm. In a series of experiments, we show the performance of the two dictionary-learning methods which are respectively based on a linear transform and a sparse representation model. Besides, we propose a novel Dictionary Learning framework for Illumination Normalization (DL-IN). DL-IN based on sparse representation in terms of coupled dictionaries. The dictionary pairs are jointly optimized from normally illuminated and irregularly illuminated face image pairs. We further utilize a Gaussian Mixture Model (GMM) to enhance the framework's capability of modeling data under complex distribution. The GMM adapt each model to a part of the samples and then fuse them together. Experimental results demonstrate the effectiveness of the sparsity as a prior for patch-based illumination normalization for face images

Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée dans le groupe ISPR (ImageS, Perception systems and Robotics) de l'Institut Pascal au sein de l'équipe ComSee (Computers that See). Ces travaux s'inscrivent dans le cadre du projet Bio Rafale initié par la société clermontoise Vesalis et financé par OSEO. Son but est d'améliorer la sécurité dans les stades en s'appuyant sur l'identification des interdits de stade. Les applications des travaux de cette thèse concernent la détection de visages. Elle représente la première étape de la chaîne de traitement du projet. Les détecteurs les plus performants utilisent une cascade de classifieurs boostés. La notion de cascade fait référence à une succession séquentielle de plusieurs classifieurs. Le boosting, quant à lui, représente un ensemble d'algorithmes d'apprentissage automatique qui combinent linéairement plusieurs classifieurs faibles. Le détecteur retenu pour cette thèse utilise également une cascade de classifieurs boostés. L'apprentissage d'une telle cascade nécessite une base d'apprentissage ainsi qu'un descripteur d'images. Cette description des images est ici assurée par des matrices de covariance. La phase d'apprentissage d'un détecteur d'objets détermine ces conditions d'utilisation. Une de nos contributions est d'adapter un détecteur à des conditions d'utilisation non prévues par l'apprentissage. Les adaptations visées aboutissent à un problème de classification avec données manquantes. Une formulation probabiliste de la structure en cascade est alors utilisée pour incorporer les incertitudes introduites par ces données manquantes. Cette formulation nécessite l'estimation de probabilités a posteriori ainsi que le calcul de nouveaux seuils à chaque niveau de la cascade modifiée. Pour ces deux problèmes, plusieurs solutions sont proposées et de nombreux tests sont effectués pour déterminer la meilleure configuration. Enfin, les applications suivantes sont présentées : détection de visages tournés ou occultés à partir d'un détecteur de visages de face. L'adaptation du détecteur aux visages tournés nécessite l'utilisation d'un modèle géométrique 3D pour ajuster les positions des sous-fenêtres associées aux classifieurs faibles.