Tesis sobre el tema "Synthèse de gestes"

La réalité virtuelle est une technologie qui voit ses applications s'étendre à de nombreux domaines (médical, automobile, etc.). Cette thèse se place dans le contexte des espaces virtuels complètement immersifs, et a pour but d'étudier les effets des deux principaux types d'interfaces proposés (manette avec 6 degrés de liberté, et système de suivi de doigts) sur l'expérience des utilisateurs, dans le cadre de la manipulation d'objets 3D. Nous nous intéressons à des paramètres tels que la facilité d'utilisation, la sensation d'immersion, la rapidité et la précision offertes... Pour cela, nous proposons des expériences évaluant ces paramètres à travers des tâches dont le succès est mesurable, et qui ne sont pas spécifiques à un domaine. Dans une première étude, nous nous intéressons aux tâches complexes d'ordre général, faisant appel à des compétences requises dans les manipulations quotidiennes, telles que le fait d'attraper, de relâcher, de translater, de tourner et de maintenir en équilibre des objets tout en se déplaçant. Nous affinons ensuite notre étude en observant les effets de ces interfaces sur les mouvements eux-mêmes, en les décomposant en degrés de liberté individuels et groupés. Enfin, nous testons l'applicabilité de notre système de manipulation directe dans le cadre d'une étude préliminaire sur l'utilisation de la réalité virtuelle pour le traitement de la maladie d'Alzheimer. Ces études analysent les propriétés de ces interfaces dans le but de fournir des indications aidant au choix de l'interface la plus appropriée pour des applications futures.

Cette thèse s'est intéressée aux relations entre les mouvements biologiques et la perception sonore en considérant le cas spécifique des mouvements graphiques et des sons de frottement qu'ils génèrent. L'originalité de ces travaux réside dans l'utilisation d'un modèle de synthèse sonore basé sur un principe perceptif issu de l'approche écologique de la perception et contrôlé par des modèles de gestes. Des stimuli sonores dont le timbre n'est modulé que par des variations de vitesse produites par un geste ont ainsi pu être générés permettant de se focaliser sur l'influence perceptive de cet invariant transformationel. Une première étude a ainsi montré que l'on reconnait la cinématique des mouvements biologiques (la loi en puissance 1/3), et que l'on peut discriminer des formes géométriques simples juste à partir des sons de frottement produits. Une seconde étude a montré l'existence de prototypes dynamiques sonores caractérisant les trajectoires elliptiques, mettant ainsi en évidence que les prototypes géométriques peuvent émerger d'un couplage sensorimoteur. Enfin, une dernière étude a montré qu'une cinématique évoquée par un sonore influence significativement la cinématique et la géométrie d'un geste dans une tâche de reproduction graphique du mouvement d'un point lumineux. Ce résultat révèle l'importance de la modalité auditive dans l'intégration multisensorielle des mouvements continus dans une situation jamais explorée. Ces résultats ont permis le contrôle de modèles de synthèse par des descriptions gestuelles et la création d'outils de sonification pour l'apprentissage de gestes et la réhabilitation d'une pathologie motrice, la dysgraphie
This thesis focused on the relations between biological movements and auditory perception in considering the specific case of graphical movements and the friction sounds they produced. The originality of this work lies in the use of sound synthesis processes that are based on a perceptual paradigm and that can be controlled by gesture models. The present synthesis model made it possible to generate acoustic stimuli which timbre was directly modulated by the velocity variations induced by a graphic gesture in order to exclusively focus on the perceptual influence of this transformational invariant. A first study showed that we can recognize the biological motion kinematics (the 1/3 power law) and discriminate simple geometric shapes simply by listening to the timbre variations of friction sounds that solely evoke velocity variations. A second study revealed the existence of dynamic prototypes characterized by sounds corresponding to the most representative elliptic trajectory, thus revealing that prototypical shapes may emerged from sensorimotor coupling. A final study showed that the kinematics evoked by friction sounds may significantly affect the dynamic and geometric dimension in the visuo-motor coupling. This shed critical light on the relevance of auditory perception in the multisensory integration of continuous motion in a situation never explored. All of these theoretical results enabled the gestural control of sound synthesis models from a gestural description and the creation of sonification tools for gesture learning and rehabilitation of a graphomotor disease, dysgraphia

Ce travail de thèse se situe dans le cadre général de la communication et de l’interaction en environnement de réalité virtuelle. Nous nous intéressons particulièrement à la communication non-verbale entre l’humain et un acteur virtuel autonome. Nos travaux se positionnent dans un contexte d’interaction gestuelle qui soit la plus naturelle possible. Notre problématique consiste alors à percevoir et reconnaître un geste ou une séquence de gestes en temps-réel. Dans ce contexte, nous proposons de mettre en oeuvre un modèle de reconnaissance gestuelle efficace. Il existe actuellement de véritables difficultés pour créer une analyse de la dynamique des gestes. Les travaux issus de l’état de l’art décrit reposent sur la transcription des gestes en symboles. Un systéme de reconnaissance efficace devra répondre à un apprentissage simple, une reconnaissance temps-réel, une segmentation automatique du flux de mouvements, une extensibilité de la base de gestes aisée. Notre proposition est de fonder le notre sur une gestion de signature de geste. Nous montrons que grâce à une technique de compression basée sur I’ACP et une représentation géométrique appropriée, nous obtenons une image du geste contenant les informations nécessaires pour le caractériser et ainsi faciliter la comparaison avec l’observation temps-réel du flux continu. Nous introduisons une nouvelle technique de segmentation du flux associant la signature à un modèle d’agents. Nous avons appliqué avec succès nos travaux à une évaluation en condition de laboratoire puis devant un public dans un contexte de théâtre virtuel basé sur un scénario de Capoeira
This work takes place in the general framework of communication and interaction in virtual reality environment. We are particularly interested in the nonverbal communication between humans and autonomous virtual actor. We position our work in the field of gesture interaction that is as natural as possible. Then, our problematic is to perceive and recognize a gesture or a sequence of gestures in realtime. In this context, we search to implement an effective model of gesture recognition. There are currently difficulties on the analysis of dynamic gestures. All studies from the state of the art described in this thesis refer all on the transcription of gestures into symbols. An effective recognition system should respond to: quick and easy learning stage; real-time recognition; automatic segmentation of the flow of movements; scalability of the database. To our knowledge, no system meet all these characteristics simultaneously. Our proposal is to base our model on gesture signature. This summerize the essence of the gesture. We show that using a compression technique based on PCA and a proper geometric adjustement we can compute a representation containing the information needed to characterize the gesture and faciitate the comparison with the observation of real-time flow. We introduce a new technique for segmenting the real-time flow based on the combination of the signature and an agent model. We applied our work, with success, on laboratory conditions evaluations and then in front of an audience in a play based on a Capoeira script in a theater

Le travail de cette thèse porte sur la modélisation de la production et du contrôle de voix chantée synthétique dans la perspective de la lutherie numérique. Nous présentons deux instruments : le Cantor Digitalis, se focalisant sur le contrôle de voyelles chantées et sur l'individualisation des voix ; et le Digitartic, destiné au contrôle de l'articulation de syllabes de type Voyelle-Consonne-Voyelle. Ils permettent, à l'aide de tablettes graphiques augmentées, des applications musicales interactives nécessitant un contrôle temporel fin des paramètres de la production vocale. La pertinence musicale de ces instruments a été établie avec notre ensemble Chorus Digitalis en participant à plusieurs concerts. Nous avons étudié en situation musicale la justesse inter-musiciens et les gestes utilisés pour réaliser les tâches musicales nécessaires à la reproduction d'un large répertoire, constitué de musiques actuelles et traditionnelles (chorale baroque, chant khayal d'Inde du Nord). Notamment, une expérience visant à analyser la faculté à contrôler la fréquence fondamentale du Cantor Digitalis a été entreprise. Les sujets devaient imiter des intervalles et quelques mélodies suivant trois modalités (avec leur propre voix, à la tablette sans et avec retour audio). Les résultats montrent une aptitude plus grande des sujets à jouer de manière précise avec la tablette plutôt qu'avec leur propre voix, tandis que l'apport de l'audio sur le jeu à la tablette est nulle dans ces conditions expérimentales. Les deux instruments sont regroupés dans une application écrite en Max/MSP fournissant également un outil pédagogique audio-visuel et interactif sur le fonctionnement de la voix.

La reconnaissance de mouvements naturels est de toute première importance dans la mise en oeuvre d'Interfaces Homme-Machine intelligentes et efficaces, utilisables de manière intuitive en environnement virtuel. En effet, elle permet à l'utilisateur d'agir de manière naturelle et au système de reconnaitre les mouvements corporel effectués tels qu'ils seraient perçu par un humain. Cette tâche est complexe, car elle demande de relever plusieurs défis : prendre en compte les spécificités du dispositif d'acquisition des données de mouvement, gérer la variabilité cinématique dans l'exécution du mouvement, et enfin gérer les différences morphologiques inter-individuelles, de sorte que les mouvements de tout nouvel utilisateur puissent être reconnus. De plus, de part la nature interactive des environnements virtuels, cette reconnaissancedoit pouvoir se faire en temps-réel, sans devoir attendre la fin du mouvement. La littérature scientifique propose de nombreuses méthodes pour répondre aux deux premiers défis mais la gestion de la variabilité morphologique est peu abordée. Dans cette thèse, nous proposons une description du mouvement permettant de répondre à cette problématique et évaluons sa capacité à reconnaitre les mouvements naturels d'un utilisateur inconnu. Enfin, nous proposons unenouvelle méthode permettant de tirer partie de cette représentation dans une reconnaissance précoce du mouvement

La synthèse de parole expressive constitue aujourd'hui un nouveau défi . Un moyen direct de rendre la synthèse expressive consiste à la contrôler en temps réel par les gestes d'un opérateur. Notre recherche s'est donc déroulée selon deux axes : d'une part la modi fication prosodique (hauteur et durée) de la parole enregistrée, et d'autre part la synthèse de voyelles à partir d'un modèle de source glottique. Concernant la modifi cation prosodique, nous avons implémenté un algorithme temps réel permettant la modifi cation conjointe de la hauteur et de la durée d'une phrase enregistrée. Grâce à cet outil, nous avons mené des expériences visant à valider la possibilité de modi fier la prosodie grâce au geste. Nos expériences ont montré la possibilité de reproduire avec précision une intonation donnée grâce au geste manuel. Le second axe de notre recherche s'est focalisé sur la réalisation d'un synthétiseur de voyelles, dont on peut modi fier la qualité vocale. La première étape a consisté à implémenter une version temps réel de la synthèse de l'onde de débit glottique, ainsi que des apériodicités de la source vocale. Nous pouvons ainsi contrôler la fréquence fondamentale, l'eff ort vocal, la tension, le souffle, les apériodicités structurelles et les di fférents mécanismes laryngés. Une attention particulière a été apportée à la réalisation du phonétogramme, ainsi qu'aux correspondances perceptives entre les paramètres du modèle et les dimensions vocales. Notre étude permet d'envisager à terme la modifi cation conjointe, interactive, des composantes prosodiques et de qualité vocale.

L'importance de considérer l'émotion dans l'interaction homme-robot comme base pour le comportement généré du robot, est la nature floue de l'émotion. Cela peut entraîner le robot à générer un comportement inapproprié au contexte de l'interaction en méconnaissant une émotion observée. Cela ouvre la porte vers une nouvelle méthodologie floue à base pour détecter l'émotion plus précisément. Cette méthodologie décide si l'émotion observée a besoin d'un nouveau comportement à synthétiser au cas où elle constitue une nouvelle classe non apprise auparavant, ou si elle peut être attribuée à un comportement existant dans la mémoire d'action du robot. D'autre part, l'effet à long terme de la personnalité sur le comportement verbal et non verbal de l’homme, le rend fiable pour être considéré comme un facteur déterminant pour le comportement multimodal synthétisé du robot. Par conséquent, l'adaptation du comportement généré verbal et non verbal du robot à la personnalité de l'homme comme étant introverti ou extraverti, pourrait bien améliorer l'attraction de l'homme au robot. Le processus de génération du comportement multimodal synchronisé du robot à travers la parole, les gestes, et les expressions faciales en fonction du profil de l'homme, subit un modèle cognitif de calcul. Ce modèle simule les fonctionnalités cognitives de l'homme, qui apprennent l'objectif et le mécanisme des actions multimodales effectuées par des hommes dans le milieu environnant. Par conséquent, lors d'une interaction, le robot devient capable de synthétiser par lui-même, un comportement multimodal basé sur le profil de l'homme, le contexte de l'interaction, et les expériences enregistrées dans sa mémoire d'action
Robots become more and more omnipresent in our life and society, and many challenges arise when we try to use them in a social context. This thesis focuses on how to generate an adapted robot’s behavior to human’s profile so as to enhance the human-robot relationship. This research addresses a wide range of complex problems varying from analyzing and understanding human’s emotion and personality to synthesizing a complete synchronized multimodal behavior that combines gestures, speech, and facial expressions. Our methodologies have been examined experimentally with NAO robot from Aldebaran Robotics and ALICE robot from Hanson Robotics. The first part of this thesis focuses on emotion analysis and discusses its evolutionary nature. The fuzzy nature of emotions imposes a big obstacle in front of defining precise membership criteria for each emotion class. Therefore, fuzzy logic looks appropriate for modeling these complex data sets, as it imitates human logic by using a descriptive and imprecise language in order to cope with fuzzy data. The variation of emotion expressivity through cultures and the difficulty of including many emotion categories inside one database, makes the need for an online recognition system of emotion as a critical issue. A new online fuzzy-based emotion recognition system through prosodic cues was developed in order to detect whether the expressed emotion confirms one of the previously learned emotion clusters, or it constitutes a new cluster (not learned before) that requires a new verbal and/or nonverbal action to be synthesized. On the other hand, the second part of this thesis focuses on personality traits, which play a major role in human social interaction. Different researches studied the long term effect of the extraversion-introversion personality trait on human’s generated multimodal behavior. This trait can, therefore, be used to characterize the combined verbal and nonverbal behavior of a human interacting with a robot so as to allow the robot to adapt its generated multimodal behavior to the interacting human’s personality. This behavior adaptation could follow either the similarity attraction principle (i. E. , individuals are more attracted by others who have similar personality traits) or the complementarity attraction principle (i. E. , individuals are more attracted by others whose personalities are complementary to their own personalities) according to the context of interaction. In this thesis, we examine the effects of the multimodality and unimodality of the generated behavior on interaction, in addition to the similarity attraction principle as it considers the effect of the initial interaction between human and robot on the developing relationship (e. G. , friendship), which makes it more appropriate for our interaction context. The detection of human’s personality trait as being introverted or extraverted is based on a psycholinguistic analysis of human’s speech, upon which the characteristics of the generated robot’s speech and gestures are defined. Last but not least, the third part of this thesis focuses on gesture synthesis. The generation of appropriate head-arm metaphoric gestures does not follow a specific linguistic analysis. It is mainly based on the prosodic cues of human’s speech, which correlate firmly with emotion and the dynamic characteristics of metaphoric gestures. The proposed system uses the Coupled Hidden Markov Models (CHMM) that contain two chains for modeling the characteristic curves of the segmented speech and gestures. When a speech-test signal is present to the trained CHMM, a corresponding set of adapted metaphoric gestures will be synthesized. An experimental study (in which the robot adapts the emotional content of its generated multimodal behavior to the context of interaction) is set for examining the emotional content of the generated robot’s metaphoric gestures by human’s feedback di- rectly. Besides, we examine the effects of both the generated facial expressions using the expressive face of ALICE robot, and the synthesized emotional speech using the text to speech toolkit (Mary-TTS) on enhancing the expressivity of the robot, in addition to comparing between the effects of the multimodal interaction and the interaction that employs less affective cues on human. Generally, the research on understanding human’s profile and generating an adapted robot’s behavior opens the door to other topics that need to be addressed in an elaborate way. These topics include, but not limited to: developing a computational cognitive architecture that can simulate the functionalities of the human brain areas that allow understanding and generating speech and physical actions appropriately to the context of interaction, which constitutes a future research scope for this thesis

Une analyse preliminaire sur la typologie du geste instrumental a conduit a proposer un codage du geste qui traduit une organisation spatiale et temporelle des donnees gestuelles captees. Un systeme materiel et logiciel permettant la capture, le codage et le pretraitement en temps reel des signaux gestuels est propose. Recherche d'un espace de representation structurelle du geste. Proposition d'une methode qui consiste a identifier le comportement de l'operateur a un modele mecanique simple mais evolutif

Dans le cadre du geste communicatif, la langue des signes française (LSF) constitue un sujet d'étude privilégié, par la richesse que lui confère précisément son statut de langue. Notre étude vise à obtenir un système de synthèse de phrases en LSF à partir d'une représentation textuelle intermédiaire, dans l'optique d'une traduction globale du français en signes. Issue des traits linguistiquement pertinents, une grammaire formelle est proposée pour spécifier le signe, avec pour principe la décomposition en primitives formationnelles (configurations manuelles, mouvement, ...). La description hiérarchique obtenue inclut des caractéristiques spatio-temporelles (points corporels, symétrie des articulateurs, répétition); une étude poussée des profils de vitesse a par ailleurs été effectuée pour représenter finement la dynamique du mouvement. Au niveau du discours interviennent les processus grammaticaux propres aux langues gestuelles : le paramétrage des signes permet, outre de décrire des items lexicaux génériques, de prendre en charge les mécanismes de localisation ou de référence pronominale. Afin de marquer le type de clause, l'expressivité non-manuelle – notamment faciale – est de première importance. Le système a été intégralement implanté pour aboutir à l'animation d'un signeur virtuel. L'exigence de configurations naturelles pour les chaînes articulaires a nécessité le développement d'un modèle réaliste pour l'avatar, et de méthodes spécifiques de cinématique inverse pour l'orientation et le positionnement manuels. L'ensemble, de l'analyseur syntaxique au module de génération graphique tridimensionnelle, constitue un prototype performant d'obtention de phrases signées. Doté d'une interface graphique, il laisse entrevoir (comme le prouve un exemple illustratif) toute une gamme d'applications pour lesquelles la vidéo n'est pas adaptée, tirant principalement profit de la compacité de l'encodage et de la rapidité avec laquelle sont produits les signes.

L’objectif de cette thèse est l’étude et la conception d’une plateforme de synthèse de parole expressive.Le système de synthèse — LIPS3, développé dans le cadre de ce travail, incorpore deux éléments : un module linguistique et un module de synthèse paramétrique par apprentissage statistique (construit à l’aide de HTS et de STRAIGHT). Le système s’appuie sur un corpus monolocuteur conçu, enregistréet étiqueté à cette occasion.Une première étude, sur l’influence de la qualité de l’étiquetage du corpus d’apprentissage, indique que la synthèse paramétrique statistique est robuste aux erreurs de labels et d’alignement. Cela répond au problème de la variation des réalisations phonétiques en parole expressive.Une seconde étude, sur l’analyse acoustico-phonétique du corpus permet la caractérisation de l’espace expressif utilisé par la locutrice pour réaliser les consignes expressives qui lui ont été fournies. Les paramètres de source et les paramètres articulatoires sont analysés suivant les classes phonétiques, ce qui permet une caractérisation fine des phonostyles.Une troisième étude porte sur l’intonation et le rythme. Calliphony 2.0 est une interface de contrôlechironomique temps-réel permettant la modification de paramètres prosodiques (f0 et tempo) des signaux de synthèse sans perte de qualité, via une manipulation directe de ces paramètres. Une étude sur la stylisation de l’intonation et du rythme par contrôle gestuel montre que cette interface permet l’amélioration, non-seulement de la qualité expressive de la parole synthétisée, mais aussi de la qualité globale perçue en comparaison avec la modélisation statistique de la prosodie.Ces études montrent que la synthèse paramétrique, combinée à une interface chironomique, offre une solution performante pour la synthèse de la parole expressive, ainsi qu’un outil d’expérimentation puissant pour l’étude de la prosodie
The subject of this thesis was the study and conception of a platform for expressive speech synthesis.The LIPS3 Text-to-Speech system — developed in the context of this thesis — includes a linguistic module and a parametric statistical module (built upon HTS and STRAIGHT). The system was based on a new single-speaker corpus, designed, recorded and annotated.The first study analyzed the influence of the precision of the training corpus phonetic labeling on the synthesis quality. It showed that statistical parametric synthesis is robust to labeling and alignment errors. This addresses the issue of variation in phonetic realizations for expressive speech.The second study presents an acoustico-phonetic analysis of the corpus, characterizing the expressive space used by the speaker to instantiate the instructions that described the different expressive conditions. Voice source parameters and articulatory settings were analyzed according to their phonetic classes, which allowed for a fine phonostylistic characterization.The third study focused on intonation and rhythm. Calliphony 2.0 is a real-time chironomic interface that controls the f0 and rhythmic parameters of prosody, using drawing/writing hand gestures with a stylus and a graphic tablet. These hand-controlled modulations are used to enhance the TTS output, producing speech that is more realistic, without degradation as it is directly applied to the vocoder parameters. Intonation and rhythm stylization using this interface brings significant improvement to the prototypicality of expressivity, as well as to the general quality of synthetic speech.These studies show that parametric statistical synthesis, combined with a chironomic interface, offers an efficient solution for expressive speech synthesis, as well as a powerful tool for the study of prosody

La génération de gestes expressifs permet aux agents conversationnels animés (ACA) d'articuler un discours d'une manière semblable à celle des humains. Le thème central du manuscrit est d'exploiter et contrôler l'expressivité comportementale des ACA en modélisant le comportement multimodal que les humains utilisent pendant la communication. Le but est (1) d’exploiter la prosodie de la parole, la prosodie visuelle et le langage dans le but de synthétiser des comportements expressifs pour les ACA; (2) de contrôler le style des gestes synthétisés de manière à pouvoir les générer avec le style de n'importe quel locuteur. Nous proposons un modèle de synthèse de gestes faciaux à partir du texte et la parole; et entraîné sur le corpus TEDx que nous avons collecté. Nous proposons ZS-MSTM 1.0, une approche permettant de synthétiser des gestes stylisés du haut du corps à partir du contenu du discours d'un locuteur source et correspondant au style de tout locuteur cible. Il est entraîné sur le corpus PATS qui inclut des données multimodales de locuteurs ayant des styles de comportement différents. Il n'est pas limité aux locuteurs de PATS, et génère des gestes dans le style de n'importe quel nouveau locuteur vu ou non par notre modèle, sans entraînement supplémentaire, ce qui rend notre approche «zero-shot». Le style comportemental est modélisé sur les données multimodales des locuteurs - langage, gestes et parole - et indépendamment de l'identité du locuteur. Nous proposons ZS-MSTM 2.0 pour générer des gestes faciaux stylisés en plus des gestes du haut du corps. Ce dernier est entraîné sur une extension de PATS, qui inclut des actes de dialogue et des repères faciaux en 2D
The generation of expressive gestures allows Embodied Conversational Agents (ECA) to articulate the speech intent and content in a human-like fashion. The central theme of the manuscript is to leverage and control the ECAs’ behavioral expressivity by modelling the complex multimodal behavior that humans employ during communication. The driving forces of the Thesis are twofold: (1) to exploit speech prosody, visual prosody and language with the aim of synthesizing expressive and human-like behaviors for ECAs; (2) to control the style of the synthesized gestures such that we can generate them with the style of any speaker. With these motivations in mind, we first propose a semantically aware and speech-driven facial and head gesture synthesis model trained on the TEDx Corpus which we collected. Then we propose ZS-MSTM 1.0, an approach to synthesize stylized upper-body gestures, driven by the content of a source speaker’s speech and corresponding to the style of any target speakers, seen or unseen by our model. It is trained on PATS Corpus which includes multimodal data of speakers having different behavioral style. ZS-MSTM 1.0 is not limited to PATS speakers, and can generate gestures in the style of any newly coming speaker without further training or fine-tuning, rendering our approach zero-shot. Behavioral style is modelled based on multimodal speakers’ data - language, body gestures, and speech - and independent from the speaker’s identity ("ID"). We additionally propose ZS-MSTM 2.0 to generate stylized facial gestures in addition to the upper-body gestures. We train ZS-MSTM 2.0 on PATS Corpus, which we extended to include dialog acts and 2D facial landmarks

Cette thèse porte sur le contrôle de la synthèse sonore par modélisation physique des instruments à corde frottée. Un modèle physique basé sur la résolution modale de l'équation de la corde est d'abord présenté et implémenté pour la synthèse sonore du violon. L’exploration systématique de l'influence des paramètres de contrôle sur le comportement du modèle permet ensuite de définir des régions optimales pour le jeu et d’en décrire les propriétés sonores. D’autre part, un capteur est mis au point pour mesurer la force d'appui de l'archet sur la corde, et combiné avec un système de capture du mouvement afin de mesurer les paramètres de jeu du violoniste dans un contexte de jeu réel. L’analyse du contrôle effectif qu'exerce l'instrumentiste permet finalement de décrire les propriétés de son geste et de proposer un contrôle réaliste de la synthèse sonore pour différents modes de jeu et différentes tâches musicales.

Cette thèse porte sur le contrôle de la synthèse sonore par modélisation physique des instruments à corde frottée. Elle se base, d'une part, sur l'exploration systématique de l'influence des paramètres de contrôle (pression d'archet, vitesse de l'archet et distance au chevalet) sur le comportement du modèle, et d'autre part, sur la mesure du contrôle effectif qu'exerce l'instrumentiste afin d'obtenir un contrôle réaliste du modèle physique. Un modèle physique basé sur la résolution modale de l'équation de la corde est d'abord présenté et implémenté pour la synthèse sonore du violon. Le comportement du modèle physique est ensuite examiné en effectuant des simulations et se concentre sur deux aspects: la ``jouabilité", c'est-à-dire l'espace des paramètres de contrôle dans lequel un mouvement de Helmholtz périodique est obtenu, et les variations des propriétés du son synthétisé (fréquence d'oscillation, niveau sonore et centroïde spectral) à l'intérieur de cet espace de paramètres. La deuxième partie de ce travail concerne la mise au point d'un capteur pour mesurer la force d'appui de l'archet sur la corde dans un contexte de jeu réel. Le capteur est ensuite combiné avec un système optique de capture du mouvement afin de mesurer l'ensemble complet des paramètres de jeu du violoniste. La dernière partie présente l'analyse des mesures de ces paramètres de contrôle pour des modes de jeu typiques (sautillé, spiccato, martelé, tremolo, détaché). Ces mesures permettent de décrire certaines propriétés du geste instrumental et de proposer un contrôle réaliste de la synthèse sonore pour différents modes de jeu et différentes tâches musicales.

Ce travail de thèse porte sur la théorie, la mise en œuvre et les applications musicales des effets audionumériques adaptatifs. Dans la première partie, nous plaçons le sujet dans le contexte des transformations sonores. Un grand nombre de techniques de traitement du signal sonore numérique se complètent et fournissent un ensemble d'algorithmes permettant de transformer le son. Ces transformations sont appliquées selon les dimensions perceptives du son musical, à savoir la dynamique, la durée, la hauteur, la spatialisation et le timbre. Pour quelques effets, les contrôles évoluent de manière automatique ou périodique, et ce contrôle est intégré à l'algorithme. Le contrôle offert à l'utilisateur porte sur les valeurs de certains paramètres de l'algorithme. Il se réalise à l'aide de contrôleurs réels, tels des potentiomètres, des interrupteurs, ou à l'aide de contrôleurs virtuels, telles les interfaces graphiques sur écran d'ordinateur. En synthèse sonore, l'un des sujets majeurs d'étude à l'heure actuelle est le mapping : il s'agit de savoir comment mettre en correspondance les paramètres d'un contrôleur gestuel et les paramètres d'un algorithme de synthèse. Notre étude se situe à l'intersection entre les effets audionumériques, le contrôle adaptatif et gestuel, et la description de contenu sonore. Dans la seconde partie, nous présentons les effets audionumériques adaptatifs tels que nous les avons formalisés et développés. Ce sont des effets dont le contrôle est automatisé en fonction de descripteurs sonores. Nous avons étudié puis utilisé de nombreux algorithmes de traitement, certains en temps-réel et d'autres hors temps-réel. Nous les avons améliorés afin de permettre l'utilisation de valeurs de contrôle variables. Une réflexion a été menée pour choisir une classification des effets qui ait du sens pour le musicien ; elle a logiquement abouti à la taxonomie perceptive. Parallèlement, nous avons étudié les descripteurs sonores et les moyens de contrôle d'un effet, par le son et par le geste. Nous avons rassemblé de nombreux descripteurs sonores, utilisés en psychoacoustique, en analyse-synthèse, pour la segmentation et la classification d'extraits sonores, et pour la transcription automatique de partition. Nous proposons un contrôle généralisé pour les effets adaptatifs, hiérarchisé en deux niveaux. Le premier niveau de contrôle est le niveau d'adaptation : le contrôle de l'effet est effectué par des descripteurs du son, à l'aide de fonctions de mapping. Nous indiquons des fonctions de conformation (fonctions de transfert non linéaires) permettant de transformer la courbe d'évolution temporelle d'un descripteur, des fonctions de combinaisons des descripteurs ainsi que des fonctions de conformations spécifiques des paramètres de contrôle. Le second niveau de contrôle est celui du contrôle gestuel : le geste agit sur les fonctions de mapping, soit sur la combinaison, soit sur la conformation spécifique des contrôles. De cette étude, il ressort non seulement une généralisation du contrôle des effets audionumériques, mais aussi la réalisation d'outils pour la composition, et leur utilisation en situation musicale. De nombreuses expériences et illustrations sonores ont été réalisées, parmi lesquelles une spatialisation adaptative contrôlée par une danseuse, et un équalisateur stéréophonique adaptatif. Les expériences confirment l'intérêt d'un tel contrôle adaptatif et gestuel, notamment pour modifier l'expressivité d'une phrase musicale, ou pour créer des sons inouïs.

Les instruments de musique numériques se présentent comme des objets complexes, qui se situent à la fois dans une continuité historique avec l'histoire de la lutherie tout en étant marqués par une rupture forte provoquée par le numérique et ses conséquences en terme de possibilités sonores, de relations entre le geste et le son, de situations d'écoute, de re-configurabilité des instruments, etc. Ce travail de doctorat propose une analyse des caractéristiques émanant de l'intégration du numérique dans les instruments de musique, en s'appuyant notamment sur une réflexion musicologique, sur des développements logiciels et matériels et sur une pratique musicale, ainsi que sur des échanges avec d'autres musiciens, luthiers, compositeurs et chercheurs
Digital musical instruments appear as complex objects, being positioned in a continuum with the history of lutherie as well as marked with a strong disruption provoked by the digital technology and its consequences in terms of sonic possibilities, relations between gesture and sound, listening situations, reconfigurability of instruments and so on. This doctoral work tries to describe the characteristics originating from the integration of digital technology into musical instruments, drawing notably on a musicological reflection, on softwares and hardwares development, on musical practice, as well as a number of interactions with other musicians, instruments makers, composers and researchers

Cette thèse présente un système de suivi automatique des gestes labiaux à partir d'une séquence vidéo d'un locuteur. Le système combine une analyse ascendante et descendante de la forme des lèvres. Une première étape d'analyse chromatique, basée sur un apprentissage statistique, fournit une image en niveaux de gris où le contraste entre lèvres et peau est rehaussé. Parallèlement, un modèle linéaire 3D des gestes labiaux est appris pour un locuteur à partir de formes clés phonétiquement pertinentes. Le modèle est alors synthétisé et projeté sur l'image imposant a priori les caractéristiques de la forme des lèvres. Il est adapté sur l'image rehaussée des lèvres par optimisation de ses paramètres de contrôle. Ce système combine ainsi de manière hybride la précision de l'analyse chromatique et la robustesse imposée par le modèle. Ce système est évalué sous divers aspects : ses capacités à s'adapter à la morphologie labiale et aux stratégies articulatoire de plusieurs locuteurs, la qualité des mesures géométriques délivrées et sa rapidité d'analyse. Le système complet a été implanté et testé en langage C sur une station de travail monoprocesseur. L'exécution est évaluée en nombre d'instructions à partir du code machine généré par le compilateur du système de la station. Ces résultats ont permis d'identifier les zones critiques de traitement pour lesquels des optimisations sont proposées. Compte tenu de ces optimisations, il apparaît que la cadence de 50 images par seconde est alors accessible sans avoir recours à une implantation matérielle spécialisée.

Within an extremely competitive market facing large economical constraints in Portugal, betting on quality of service can be a differentiating factor for companies. This study analysis the quality of service provided by DePuy Synthes Spine, a business unit from the Johnson & Johnson group, through a questionary built to match the specificity of the sector. The sample of interviewees is made from 50 clients of DePuy Synthes Spine (of which 18 nurses, 21 medical doctors and 11 administrative personnel). The results obtained show that all interviewees are, on average, very satisfied with the multiple items of the quality of service in analysis. It was found that nurses, orthopedists and neurosurgeons demonstrate the same level of satisfaction regarding all aspects of the quality of service in analysis. Differences in level of agreement were observed between genders in the items: "the visiting DePuy Synthes consultant has the technical knowledge required to answer the questions he is asked", "the instruments work adequately", "when an issue occurs with a product, the consultant shows a sincere interest in finding a solution", "the DePuy Synthes consultants convey confidence". With regards to the workplace, the interviewees working at a public hospital show the level of satisfaction as the interviewees working at a private hospital. The results also suggest that the higher the number of years using the products, the lower the level of agreement with the items: "the posture of the visiting consultant is adequate" and "when an issue occurs with a product, the consultant shows a sincere interest in finding a solution".
Num mercado extremamente competitivo, e que enfrenta grandes constrangimentos económicos em Portugal, a aposta na qualidade de serviço pode ser o factor diferenciador para as empresas. Este estudo analisa a qualidade de serviço prestado pela DePuy Synthes Spine, unidade de negócio pertencente ao grupo de companhias da Johnson & Johnson, através de um questionário criado de acordo com as especificidades do sector. A amostra é composta por 50 clientes da DePuy Synthes Spine (dos quais 18 enfermeiros, 21 médicos e 11 administrativos). Os resultados obtidos mostram que todos os inquiridos estão, em média, muito satisfeitos com os vários items da qualidade de serviço em análise. Verificou-se que enfermeiros, ortopedistas e neurocirurgiões apresentam o mesmo grau de satisfação relativamente a todos os aspectos da qualidade de serviços em análise. Observaram-se diferenças no grau de concordância entre os indivíduos do género masculino e feminino nos items “o consultor DePuy Synthes que o visita tem conhecimentos técnicos para responder às perguntas que lhe faz”, “os instrumentos funcionam devidamente”, “Quando tem um problema com os produtos, o consultor mostra um interesse sincero em solucioná-lo”, “os colaboradores da DePuy Synthes transmitemlhe confiança”. Relativamente ao local de trabalho,os indivíduos que trabalham no hospital público apresentam o mesmo nível de satisfação que os inquiridos que trabalham no hospital privado. Os resultados sugerem também que quanto maior o número de anos de utilização dos produtos, menor o grau de concordância com os items “a postura do consultor que o visita é adequada” e “quando tem um problema com os produtos, o consultor mostra um interesse sincero em solicioná-lo”.