Rozprawy doktorskie na temat „Human Signed Language”

Os surdos possuem a capacidade de utilizar a língua oral para se comunicar limitada e por isso tem como língua materna as línguas gestuais. Isso dificulta a utilização, de maneira satisfatória, dos serviços básicos, bem como a inserção na sociedade ouvinte, que é composta pela maioria da população. Devido ao fato desta língua ser gestual, é viável afirmar que se pode simular seus sinais através de animação de humanos virtuais, sem perder a percepção correta do significado do mesmo (que palavra o sinal representa). O presente trabalho descreve uma técnica de animação aplicada em LIBRAS. A idéia principal é, baseado na descrição da animação de um determinado sinal, executar seu movimento de forma mais, ou menos ampla para que se consiga aproveitar o espaço disponível para a gesticulação, sem entretanto perder o significado do sinal. A animação computacional de um sinal deve o mais próximo possível do real, ou seja, seu significado deve ser facilmente entendido e sua execução deve ser natural (suave e contínua). Para isso os sinais devem ser definidos de acordo com as limitações de movimentação das articulações humanas, bem como ao campo de visão do receptor. Além disso alguns parâmetros devem ser analisados e definidos: velocidade do movimento, tempo e amplitude dos sinais. Outro aspecto importante a ser tratado é o espaço que é disponível para a execução do sinal: dependendo do espaço, o sinal deve ser animado de forma a se adequar a ele. A implementação da técnica resultou em um sistema de animação para LIBRAS composto por três módulos: • um modelador do humano virtual, de forma que as articulações e DOFs deste sejam anatomicamente coerentes com a realidade; • um gerador de gestos, o qual é responsável pela transformação dos parâmetros como velocidade, tempo de execução do gesto, configuração das juntas, em um arquivo que descreve a animação da pose. Cabe ressaltar que as palavras em LIBRAS são conhecidas como sinais. Já um sinal é composto por um ou vários gestos e estes são compostos por poses; • um animador, o qual é responsável por gerar a animação de um sinal previamente criado, adequando (se necessário) a amplitude deste sinal ao espaço disponível para a execução do mesmo. O sistema criado foi submetido a testes para que a técnica fosse validada. O que se buscou com os testes foi verificar se os sinais gerados eram passíveis de entendimento, ou seja, se a animação gerada representava determinada palavra. Todos os aspectos acima mencionados são apresentados e analisados em detalhes.
Deaf people have a limited capacity of using oral language to communicate. Because of this, they use gestural languages as their native language. This makes it especially difficult for them to make use of basic services in a satisfactory way and to properly integrate the hearing world, to which the majority of the population belongs. Due to the fact that this language is only gestural, it is possible to say that the signs it comprises of can be simulated with the animation of virtual humans without losing the correct perception of their inherent meanings (what words they represent). This work describes a technique of animation for LIBRAS. The main idea is to take the movement of a sign from a description of its animation and execute it in a more or less wide manner in order to better use the available space for gesticulation without losing the meaning. The computer animation of a sign must be as close to the real gesture as possible. Its meaning must be easily understood and its execution must be natural (smooth and continuous). For that, the signs must be defined in accordance with the movement limitations imposed by the human joints, and the field of view of the receiver. Besides that, some relevant parameters must be analyzed and defined: speed of the movement, time and amplitude of the signs. Another important aspect to be addressed is the space that is available for the execution of the sign: depending on the area, the sign must be animated in a manner that makes it properly fit in it. The implementation of the technique resulted in a animation system for LIBRAS, that consists of three modules: • a virtual human modeler, so that the joints and DOFs are anatomically consistent with reality; • a gesture generator, which is responsible for the processing of parameters such as speed, time of execution of the gesture, joint configuration, in a file that describes the animation of the pose. It is worth emphasizing that the words in LIBRAS are known as signs. Already a sign is composed of one or more gestures and they are composed of poses; • an animator, which is responsible for generating the animation of a previously created sign, fitting (if necessary) the sign amplitude to the space available for its animation. The generated system has been submitted for tests in order to validate the technique. The goal of the tests was to check whether the generated signs were understandable - if the generated animation represented a certain word. All aspects above are presented and analyzed in detail.

Dans le cadre du geste communicatif, la langue des signes française (LSF) constitue un sujet d'étude privilégié, par la richesse que lui confère précisément son statut de langue. Notre étude vise à obtenir un système de synthèse de phrases en LSF à partir d'une représentation textuelle intermédiaire, dans l'optique d'une traduction globale du français en signes. Issue des traits linguistiquement pertinents, une grammaire formelle est proposée pour spécifier le signe, avec pour principe la décomposition en primitives formationnelles (configurations manuelles, mouvement, ...). La description hiérarchique obtenue inclut des caractéristiques spatio-temporelles (points corporels, symétrie des articulateurs, répétition); une étude poussée des profils de vitesse a par ailleurs été effectuée pour représenter finement la dynamique du mouvement. Au niveau du discours interviennent les processus grammaticaux propres aux langues gestuelles : le paramétrage des signes permet, outre de décrire des items lexicaux génériques, de prendre en charge les mécanismes de localisation ou de référence pronominale. Afin de marquer le type de clause, l'expressivité non-manuelle – notamment faciale – est de première importance. Le système a été intégralement implanté pour aboutir à l'animation d'un signeur virtuel. L'exigence de configurations naturelles pour les chaînes articulaires a nécessité le développement d'un modèle réaliste pour l'avatar, et de méthodes spécifiques de cinématique inverse pour l'orientation et le positionnement manuels. L'ensemble, de l'analyseur syntaxique au module de génération graphique tridimensionnelle, constitue un prototype performant d'obtention de phrases signées. Doté d'une interface graphique, il laisse entrevoir (comme le prouve un exemple illustratif) toute une gamme d'applications pour lesquelles la vidéo n'est pas adaptée, tirant principalement profit de la compacité de l'encodage et de la rapidité avec laquelle sont produits les signes.

La langue des signes (LS) est encore une langue peu décrite, en particulier ce qui concerne le mouvement des articulateurs. La recherche sur la LS s’est concentrée sur la compréhension et la modélisation des propretés linguistiques. Peu d’études ont essayé de comprendre la cinématique et la dynamique du mouvement en lui-même et ce que cela apporte à compréhensibilité de la LS générée par des modèles. Cette thèse porte sur l’analyse du mouvement en Langue des Signes Française (LSF) tant des points de vue de sa production et de sa compréhension par les individus sourds.Mieux appréhender le mouvement en LS nécessite la création de nouvelles ressources pour la communauté scientifique étudiant les LSF. Dans cette perspective, nous avons créé et annoté un corpus de données de mouvements 3D de la partie supérieure du corps et du visage, à l'aide du système de capture de mouvement. Le traitement de ce corpus a permis de spécifier la cinématique du mouvement en LSF durant les signes et les transitions.La question posée dans la première partie de cette thèse était de quantifier dans quelle mesure certaines lois classiques connues en contrôle moteur restaient valides durant les mouvements de LS, afin de savoir si les connaissances acquises en contrôle moteur pouvaient être réutilisées en LS.Trouver quelles informations du mouvement sont cruciales pour la compréhension de la LS a constitué la deuxième partie de cette thèse. L’intérêt était de savoir quels aspects du mouvement des modèles de production de LS devraient reproduire en priorité. Dans cette démarche, nous avons étudié dans quelle mesure des individus sourds, signeurs ou non, parvenaient à comprendre la LS en fonction de la quantité d’informations qui leur est disponible
Nowadays, Sign Language (SL) is still little described, particularly for what concerns the movement of articulators. Research on SL has focused on understanding and modeling linguistic properties. Few investigations have been carried out to understand the kinematics and dynamics of the movement itself and what it brings to understand the LS SL generated by models. This thesis deals with the analysis of movement in the French Sign Language LSF with a main focus on its production as well as its understanding by deaf people.Better understanding the movement in SL requires the creation of new resources for the scientific community studying SL. In this framework, we have created and annotated a corpus of 3D motion data from the upper body and face, using a motion capture system. The processing of this corpus made it possible to specify the kinematics of the movement in SL during the signs and the transitions.The first contribution of this thesis was to quantify to what extent certain classical laws, known in motor control, remained valid during the movements of SL, in order to know if the knowledge acquired in motor control could be exploited in SL.Finding relevant information of the movement that is crucial for understanding SL represented the second part of this thesis. We were basically interested to know which aspects of the movement of SL production models should be replicated as a priority. In this approach, we have examined to what extent deaf individuals, whether signers or not, were able to understand SL according to the amount of information available to them

Les recherches et les logiciels présentés dans cette étude s'adressent à une importante minorité au sein de notre société, à savoir la communauté des sourdes. De nombreuses recherches démontrent que les sourdes se heurtent à de grosses difficultés avec la langue vocale, ce qui explique pourquoi la plu- part d'entre eux préfère communiquer dans la langue des signes. Du point de vue des sciences de l'information, les LS constituent un groupe de minorités linguistiques peu représentées dans l'univers du numérique. Et, de fait, les sourds sont les sujets les plus touchés par la fracture numérique. Cette étude veut donc être une contribution pour tenter de resserrer cette fracture numérique qui pénalise les sourdes. Pour ce faire, nous nous sommes principalement concentrés sur l'informatisation de SignWriting, qui constitue l'un des systèmes les plus prometteurs pour écrire la LS
The studies and the software presented in this work are addressed to a relevant minority of our society, namely deaf people. Many studies demonstrate that, for several reasons, deaf people experience significant difficulties in exploiting a Vocal Language (VL English, Chinese, etc.). In fact, many of them prefer to communicate using Sign Language (SL). As computer scientists, we observed that SLs are currently a set of underrepresented linguistic minorities in the digital world. As a matter of fact, deaf people are among those individuals which are mostly affected by the digital divide. This work is our contribution towards leveling the digital divide affecting deaf people. In particular, we focused on the computer handling of SignWriting, which is one of the most promising systems devised to write SLs

Relating statistical machine learning approaches to the automatic analysis of multiparty communicative events, such as meetings, is an ambitious research area. We have investigated automatic meeting segmentation both in terms of “Meeting Actions” and “Dialogue Acts”. Dialogue acts model the discourse structure at a fine grained level highlighting individual speaker intentions. Group meeting actions describe the same process at a coarse level, highlighting interactions between different meeting participants and showing overall group intentions. A framework based on probabilistic graphical models such as dynamic Bayesian networks (DBNs) has been investigated for both tasks. Our first set of experiments is concerned with the segmentation and structuring of meetings (recorded using multiple cameras and microphones) into sequences of group meeting actions such as monologue, discussion and presentation. We outline four families of multimodal features based on speaker turns, lexical transcription, prosody, and visual motion that are extracted from the raw audio and video recordings. We relate these lowlevel multimodal features to complex group behaviours proposing a multistreammodelling framework based on dynamic Bayesian networks. Later experiments are concerned with the automatic recognition of Dialogue Acts (DAs) in multiparty conversational speech. We present a joint generative approach based on a switching DBN for DA recognition in which segmentation and classification of DAs are carried out in parallel. This approach models a set of features, related to lexical content and prosody, and incorporates a weighted interpolated factored language model. In conjunction with this joint generative model, we have also investigated the use of a discriminative approach, based on conditional random fields, to perform a reclassification of the segmented DAs. The DBN based approach yielded significant improvements when applied both to the meeting action and the dialogue act recognition task. On both tasks, the DBN framework provided an effective factorisation of the state-space and a flexible infrastructure able to integrate a heterogeneous set of resources such as continuous and discrete multimodal features, and statistical language models. Although our experiments have been principally targeted on multiparty meetings; features, models, and methodologies developed in this thesis can be employed for a wide range of applications. Moreover both group meeting actions and DAs offer valuable insights about the current conversational context providing valuable cues and features for several related research areas such as speaker addressing and focus of attention modelling, automatic speech recognition and understanding, topic and decision detection.

Les travaux présentés dans cette thèse sont dédiés à la conception et l'animation d'entités virtuelles autonomes et réalistes, capables de générer des gestes de la Langue des Signes. L'accent est mis sur la qualité expressive des gestes. Nous montrons que les aspects expressifs du geste, en plus de conférer au mouvement un aspect réaliste, participent à la construction du sens dans le cadre de la visée iconisatrice de la langue des signes. Nous proposons un modèle du discours prenant en compte les visées illustrative et non illustrative de la langue des signes ainsi que ses principales structures de grande iconicité. Ce modèle appelle une spécification des gestes capable de gérer les différentes modes expressifs. Une phase d'analyse nous permet ensuite d'identifier certains paramètres d'expressivité. Cette analyse s'applique sur une séquence de gestes en langue des signes française réalisée par un locuteur sourd selon différentes qualités expressives. Enfin, nous proposons une méthode de génération de mouvement compatible avec le modèle de description des gestes. Cette méthode de génération met en oeuvre différentes méthodes de génération de mouvement dont un modèle de contrôle sensorimoteur capable de s'adapter aux variabilités spatiales et temporelles induites par les paramètres d'expressivité.

La question fondamentale à laquelle cette thèse cherche à proposer des éléments de réponse est la suivante : existe-t-il dans le lexique actuel anglais des traces d'une invariance notionnelle qui aurait pu perdurer depuis un stade très antérieur de la langue ? Nous construisons notre réponse à travers l'étude de trois segments consonantiques initiaux : bl-, kn-, et sk-. Dans ce but, nous avons constitué trois classes heuristiques, celle des ‘mots en bl-', des ‘mots en kn-', et des ‘mots en SK-', cette dernière englobant les lexèmes commençant par sc-, sch-, sh-, sk-, et sq-. Le choix de ces segments consonantiques est dicté par le souci de présenter un schéma représentatif du phénomène ; bl-, kn-, et sk- constituant un échantillon de chaque type de phonesthèmes anglais (CR-, ØR-, et SC-). Notre objectif global est de tenter de montrer que l'invariance sémiologique de chacune de ces trois classes véhicule une invariance notionnelle en profondeur : ces segments, submorphémiques, seraient la trace en surface d'une invariance qui reposerait sur une conceptualisation et une nominalisation très anciennes du corps humain. Notre étude comprend quatre dimensions : nous partons du plan lexicologique, puis procédons à l'analyse sémantique, et à l'analyse étymologique. Enfin, à la lumière de théories issues de divers courants de la linguistique ‘cognitive', nous proposons une description de la façon dont le cerveau conceptualise les référents désignés par les lexèmes des trois classes examinées. Nous nous appuyons dans ce domaine sur les travaux de Lakoff & Johnson, de Fauconnier & Turner, ainsi que sur ceux de Langacker et de Talmy
The fundamental question this thesis sets out to explore is the following: does the lexicon of contemporary English exhibit traces of a notional invariance possiby dating back to a very early stage of the language? The answer is provided through the study of three initial consonant segments: bl-, kn-, and sk-. With this aim in view, three heuristic classes are set up, namely ‘bl- words', ‘kn- words', and ‘SK- words', the latter including lexemes beginning in sc-, sch-, sh-, sk-, and sq-. These three initial consonant segments have been chosen because they are representative of the three main types of English phonesthemes (CR-, ØR-, and SC-). The overall objective is to show that the semiological invariance of each of these classes corresponds to a notional invariance: I claim that these submorphemic segments are the surface marks of an invariance whose source may be traced back to a very ancient process of conceptualization and nomination of the human body. My study involves four dimensions: a lexicological analysis leading on to semantic and etymological analyses. Finally, drawing on various approaches of ‘cognitive' linguistics, I suggest a description of the way the brain conceptualizes the referents of the lexemes belonging to the three classes examined, based on the works of Lakoff & Johnson, Fauconnier & Turner, Langacker, and Talmy

Le visage joue un rôle prépondérant en langue des signes, notamment par le sens porté par ses expressions. Peu d'études existent sur les expressions faciales en langue des signes ; cela est dû au manque d'outil de description. Dans cette thèse, il s'agit de développer des méthodes permettant la description la plus précise et exhaustive possible des différents mouvements faciaux observables au cours d'une séquence vidéo de langue des signes.

Le formalisme des modèles à apparence active (Active Appearance Models - AAM) est utilisé ici pour modéliser le visage en termes de déplacements d'un certain nombre de points d'intérêt et en termes de variations de texture. Quand il est associé à une méthode d'optimisation, ce formalisme permet de trouver les coordonnées des points d'intérêt sur un visage. Nous utilisons ici une méthode d'optimisation dite "à composition inverse", qui permet une implémentation efficace et l'obtention de résultats précis.

Dans le contexte de la langue des signes, les rotations hors-plan et les occultations manuelles sont fréquentes. Il est donc nécessaire de développer des méthodes robustes à ces conditions. Il existe pour cela une variante robuste des méthodes d'optimisation d'AAM qui permet de considérer une image d'entrée éventuellement bruitée.
Nous avons étendu cette variante de façon à ce que la détection des occultations puisse se faire de manière automatique, en supposant connu le comportement de l'algorithme dans le cas non-occulté.
Le résultat de l'algorithme est alors constitué des coordonnées 2D de chacun des points d'intérêt du modèle en chaque image d'une séquence vidéo, associées éventuellement à un score de confiance. Ces données brutes peuvent ensuite être exploitées dans plusieurs applications.

Nous proposons ainsi comme première application de décrire une séquence vidéo expressive en chaque instant par une combinaison de déformations unitaires activées à des intensités différentes. Une autre application originale consiste à traiter une vidéo de manière à empêcher l'identification d'un visage sans perturber la reconnaissance de ses expressions.

La question qui est au cœur de cette thèse peut donc être formulée d'une manière apparemment simple, à savoir : si la langue est un système, quels sont les éléments qui la constituent ? Cette simplicité n'est pourtant qu'apparente, et dissimule, en réalité, une grande complexité. Une réponse acceptable à cette question consisterait en effet non simplement en une affirmation qui précise, par exemple, que les éléments du système Langue sont tels et tels. Elle devrait comporter, également, une explication de leur mode (ou leurs modes) d'interaction, une formulation de leurs lois, une définition de leurs propriétés intrinsèques et de leurs caractéristiques communes, bref une explicitation de tout ce qui justifie que l'on soit autorisé à parler d'« éléments » faisant partie d'un « système » (en l'occurrence, d'une langue), et d'un « système » composé de ce(s) type(s) d'« éléments ». La description d'un élément équivaut – c'est Saussure qui l'a enseigné – à une description du système auquel cet élément participe, c'est-à-dire à une détermination des (types de) rapports qui relient les éléments entre eux. De ce point de vue, la question de savoir quelles sont les entités qui composent le système Langue est une problématique qui porte de manière directe sur la notion du système « Langue », tout court, tel que Saussure le concevait. Cette thèse comporte trois parties. La première, consacrée à la notion de « système », essaye de montrer qu'il existe chez Saussure des fluctuations, et qu'il est possible de dégager au moins deux configuration nettement différentes : l'une nommée par Saussure « système d'oppositions », l'autre « système » (ou « mécanisme », ou encore « organisme ») « grammatical ». La deuxième partie, consacrée à la notion de « valeur », tente de montrer qu'il est possible de trouver, chez Saussure, au moins deux configurations différentes : l'une suivant une voie purement négative et différentielle ; l'autre, plus complexe, comportant des éléments non réductibles à des différences pures. Notre hypothèse a été que ces configurations théoriques distinctes sont issues, chez Saussure, du traitement de problématiques différentes, comportant des éléments définissables, par conséquent, de manière différente. Le pari de notre travail a été de tenter d'expliquer ces deux configurations en prenant pour base la notion d'« entité », dont la définition, disait Saussure, est « la première tâche » de la linguistique.

Le LPC est un complément à la lecture labiale qui facilite la communication des malentendants. Sur le principe, il s'agit d'effectuer des gestes avec une main placée à côté du visage pour désambigüiser le mouvement des lèvres, qui pris isolément est insuffisant à la compréhension parfaite du message. Le projet RNTS TELMA a pour objectif de mettre en place un terminal téléphonique permettant la communication des malentendants en s'appuyant sur le LPC. Parmi les nombreuses fonctionnalités que cela implique, il est nécessaire de pouvoir reconnaître le geste manuel du LPC et de lui associer un sens. L'objet de ce travail est la segmentation vidéo, l'analyse et la reconnaissance des gestes de codeur LPC en situation de communication. Cela fait appel à des techniques de segmentation d'images, de classification, d'interprétation de geste, et de fusion de données. Afin de résoudre ce problème de reconnaissance de gestes, nous avons proposé plusieurs algorithmes originaux, parmi lesquels (1) un algorithme basé sur la persistance rétinienne permettant la catégorisation des images de geste cible et des images de geste de transition, (2) une amélioration des méthodes de multi-classification par SVM ou par classifieurs unaires via la théorie de l'évidence, assortie d'une méthode de conversion des probabilités subjectives en fonction de croyance, et (3) une méthode de décision partielle basée sur la généralisation de la Transformée Pignistique, afin d'autoriser les incertitudes dans l'interprétation de gestes ambigus.

En subissant un cumul de vulnérabilités, les personnes sourdes détenues nous invitent à examiner leur situation. Dans quelle mesure leur condition juridique tient compte de celle-ci ? Quelle régulation effective le droit public peut-il aménager à leur égard ? Insensibles aux bruits qui caractérisent le milieu carcéral, les personnes sourdes détenues sont malgré tout, sensibles au silence qui les concernent. Enfermé dans une conception médicale du handicap, le droit français ne peut pas entendre les besoins de ces personnes. Sourde à leurs sollicitations et aux obligations internationales qu’elle a acceptées, la France maintient ces personnes dans des conditions de détention inhumaines et dégradantes. L’isolement social qui en découle n’est que le reflet d’une société inaccessible à la surdité et le constat d’une absence de reconnaissance juridique effective
By being subjected to a combination of vulnerabilities, deaf persons in jail are calling for a review of their situation. To what extent does their legal status take this into consideration? How can public law effectively accommodate them through its regulatory role? While deaf persons in jail may be insensitive to the noises which characterize the prison environment, they are nevertheless sensitive to the silence which surrounds them. Locked into the medical vision of disability, French law is unable to listen to nor meet their needs. Deaf to their requests and to those international obligations to which it has committed itself, France keeps these people in inhuman and degrading conditions of detention. The social isolation which derives from this reflects a society inaccessible to deafness and an absence of effective legal recognition

Sign language is used as a communication medium among deaf & dumb people to convey the message with each other. A person who can talk and hear properly (normal person) cannot communicate with deaf & dumb person unless he/she is familiar with sign language. Same case is applicable when a deaf & dumb person wants to communicate with a normal person or blind person. In order to bridge the gap in communication among deaf & dumb community and normal community, researchers are working to convert hand signs to voice and vice versa to help communication at both ends. A lot of research work has been carried out to automate the process of sign language interpretation with the help of image processing and pattern recognition techniques. The approaches can be broadly classified into “Data -Glove based” and “Vision-based” .Tracking bare hand and operations to detect hand from image frames. The main drawback of this method lies in its huge computational complexity which is further handled with the concept of integral image. The use of integral image for hand detection in viola-Jones method reduces computational complexity and shows satisfactory performance only in a controlled environment. To detect hand in a cluttered background, many researchers used color information and histogram distribution model. Some Local orientation histogram technique is also used for static gesture recognition. These algorithms perform well in a controlled lighting condition, but fails in case of illumination changes, scaling and rotation. To resist illumination changes, Elastic graphs are applied to represent different hand gestures An Analytical Approach towards Conversion of Human SL to Text using Modified SIFT │ xi with local jets of Gabor Filters. Adaboost for wearable computing is insensitive to camera movement and user variance. Their hand tracking is promising, but segmentation is not reliable. Fourier descriptors of binary hand blobs used as feature vector to Radial Basis Function (RBF) classifier for pose classification and combined HMM classifiers for gesture classification. Even though their system achieves good performance, it is not robust against multi variations during hand movement. To overcome the problem of multi variations like rotation, scaling, translation some popular techniques like SIFT, Haar-like features with Adaboost classifiers, Active learning and appearance based approaches are used. However, all these algorithms suffer from the problem of time complexity. To increase the accuracy of the hand gesture recognition system, combined feature selection approach is adopted. My thesis proposes new approach of hand gesture recognition which will recognize sign language gestures in a real time environment. A hybrid feature approach, which combines the advantages of SIFT, Principal Component Analysis, Histogram and they are used as a combined feature set to achieve a good recognition rate. To increase the recognition rate and make the recognition system resilient to view-point variations, the concept of principal component analysis introduced. K-Nearest Neighbors (KNN[11]) is used for hybrid classification of single signed letter. In addition, integration of color detection method is under progress to increase the accuracy further. The performance analysis of the proposed approache is presented along with the experimental results. Comparative study of these methods with other popular techniques shows that the real time efficiency and robustness are better.