Littérature scientifique sur le sujet « Modèle humain virtuel »

Ce travail de thèse se situe dans le cadre général de la communication et de l’interaction en environnement de réalité virtuelle. Nous nous intéressons particulièrement à la communication non-verbale entre l’humain et un acteur virtuel autonome. Nos travaux se positionnent dans un contexte d’interaction gestuelle qui soit la plus naturelle possible. Notre problématique consiste alors à percevoir et reconnaître un geste ou une séquence de gestes en temps-réel. Dans ce contexte, nous proposons de mettre en oeuvre un modèle de reconnaissance gestuelle efficace. Il existe actuellement de véritables difficultés pour créer une analyse de la dynamique des gestes. Les travaux issus de l’état de l’art décrit reposent sur la transcription des gestes en symboles. Un systéme de reconnaissance efficace devra répondre à un apprentissage simple, une reconnaissance temps-réel, une segmentation automatique du flux de mouvements, une extensibilité de la base de gestes aisée. Notre proposition est de fonder le notre sur une gestion de signature de geste. Nous montrons que grâce à une technique de compression basée sur I’ACP et une représentation géométrique appropriée, nous obtenons une image du geste contenant les informations nécessaires pour le caractériser et ainsi faciliter la comparaison avec l’observation temps-réel du flux continu. Nous introduisons une nouvelle technique de segmentation du flux associant la signature à un modèle d’agents. Nous avons appliqué avec succès nos travaux à une évaluation en condition de laboratoire puis devant un public dans un contexte de théâtre virtuel basé sur un scénario de Capoeira<br>This work takes place in the general framework of communication and interaction in virtual reality environment. We are particularly interested in the nonverbal communication between humans and autonomous virtual actor. We position our work in the field of gesture interaction that is as natural as possible. Then, our problematic is to perceive and recognize a gesture or a sequence of gestures in realtime. In this context, we search to implement an effective model of gesture recognition. There are currently difficulties on the analysis of dynamic gestures. All studies from the state of the art described in this thesis refer all on the transcription of gestures into symbols. An effective recognition system should respond to: quick and easy learning stage; real-time recognition; automatic segmentation of the flow of movements; scalability of the database. To our knowledge, no system meet all these characteristics simultaneously. Our proposal is to base our model on gesture signature. This summerize the essence of the gesture. We show that using a compression technique based on PCA and a proper geometric adjustement we can compute a representation containing the information needed to characterize the gesture and faciitate the comparison with the observation of real-time flow. We introduce a new technique for segmenting the real-time flow based on the combination of the signature and an agent model. We applied our work, with success, on laboratory conditions evaluations and then in front of an audience in a play based on a Capoeira script in a theater

Dans cette thèse, nous présentons MEMORIA, un modèle de représentation de la mémoire de l’apprenant pour les systèmes tutoriels intelligents et adaptatifs. La contribution principale de ce modèle est une formalisation et une implémentation du modèle de l’apprenant sous forme de mémoires qui stockent les informations perçues par l’apprenant dans un environnement virtuel et les instructions émises par le tuteur. La conception de notre modèle est basée sur les quatre composantes classiques d’un système tutoriel intelligent. Le modèle du domaine est représenté par les connaissances métiers formalisées à l'aide de MASCARET. Afin de rendre naturelles les interactions entre le tuteur et l'apprenant, nous représentons le modèle de l'interface par l'intermédiaire d'un agent conversationnel animé à l'aide de la plate-forme Greta. Le modèle de l'apprenant est constitué de l'ensemble des connaissances acquises par l'apprenant en cours de simulation. Ces connaissances sont organisées dans trois mémoires : la mémoire sensorielle, la mémoire de travail et la mémoire à long terme. Notre enjeu majeur porte sur la formalisation de l'encodage des informations dans ces mémoires, ainsi que le flux de données entre celles-ci. Cette formalisation est basée sur la théorie de la mémoire humaine proposée par Atkinson et Shiffrin et inspirée de l'architecture cognitive ACT-R. Le modèle de tuteur que nous proposons est centré sur la réalisation d'un comportement qui adapte l'exécution du scénario en fonction des connaissances de l'apprenant et de ses interactions avec le tuteur. Une étude expérimentale a été menée pour valider notre modèle. Nous avons comparé deux groupes de participants. Dans le premier groupe, nous avons intégré un tuteur adaptatif utilisant notre modèle, qui adapte l'exécution du scénario pédagogique et dans le second groupe, un tuteur non adaptatif qui réalise un scénario pédagogique figé. Les résultats de cette étude permettent de conclure quant à l'efficacité de notre modèle pour un apprentissage de procédure<br>In this thesis, we present MEMORIA, a model of the learner’s memory representation for adaptive and intelligent tutoring systems. The main contribution of this model is a formalization and an implementation of the learner's model using memories that store the information perceived by the learner in a virtual environment and the instructions given by the tutor. The design of our model is based on the four classic components of an intelligent tutorial system.The domain model is represented by the domain knowledge that is formalized using MASCARET. In order to make the interactions between the tutor and the learner natural, we represent the interface model through an embodied conversational agent using GRETA. The learner's model is made of all the knowledge acquired by the learner during the simulation. This knowledge is organized into three memories: sensory memory, working memory, and long-term memory. Our major challenge is to formalize the encoding of information in these memories, as well as the data flow between them.This formalization is based on the theory of human memory proposed by Atkinson and Shiffrin and inspired by the cognitive architecture ACT-R. Our proposed tutor model focuses on the realization of a behavior that adapts the execution of the pedagogical scenario according to the learner's knowledge and the interactions with the tutor. An experimental study was conducted to validate our model. We compared two groups of participants. In the first group, we integrated an adaptive tutor using our model which adapts the execution of the pedagogical scenario and in the second group, a non-adaptive tutor who applied a fixed pedagogical scenario. The results of this study allow us to conclude on the effectiveness of our model for procedural learning

Plus que le sport, l’haltérophilie et la force athlétique sont largement utilisées dans la préparation physique pour la performance sportive. Comme ils consistent tous deux à soulever des charges importantes, ils doivent être bien exécutés pour éviter les blessures et améliorer la forme physique et les performances. A ce jour, les conseils de coachs expérimentés ou diplômés ou autoproclamés pullulent dans les salles de sport et sur le web, mais très peu s'appuient sur des connaissances scientifiques. Les mêmes instructions techniques sont souvent données à des hommes et des femmes ayant des caractéristiques anthropométriques et des formations différentes. Comme elles ne sont pas individualisées, ces instructions pourraient être au mieux non optimales pour la plupart des athlètes, ne leur permettant pas d'exprimer tout leur potentiel et, au pire, dangereuses et provoquant des blessures. L'objectif central de notre projet est le développement et la validation d'un modèle humain virtuel personnalisé optimisé. D’une part, un modèle mécanique virtuel d’un athlète effectuant un squat a été conçu numériquement et mis en mouvement par le développement d’un algorithme génétique minimisant une fonction de coût. D’autre part, une expérience a été conçue pour mesurer la cinématique du squat d’athlètes expérimentés. Les résultats de la simulation et de l'expérimentation ont ensuite été confrontés, les différences expliquées et les axes d'amélioration répertoriés<br>More than sports, weightlifting and powerlifting are widely used in fitness/resistance training for sport performance. As they both consist of lifting additional weights they must be well executed to avoid injuries and enhance fitness and performance. To date, pieces of advice from experienced or graduated or self - proclaimed coaches, swarm in gyms and on the web, but very little are based on scientific knowledge. The same technical instructions are often given to men and women with different anthropometry and training history. As they are not individualized, these instructions could be at best suboptimal for most athletes, not enabling them to express their full potential and, at worst, dangerous and causing injuries. The central objective of our project is the development and validation of an optimised personalized virtual human model. On the one hand, a virtual mechanical model of an athlete squatting was numerically designed and set into motion by the development of a genetic algorithm minimizing a cost function. On the other hand, an experiment was designed to measure the squat kinematics of experienced athletes. The results of the simulation and experimentation were then confronted, the differences explained and areas of improvement listed

La sélection de cibles en mouvement a été peu abordée dans la littérature scientifique, car les facteurs qui caractérisent ce mouvement sont nombreux. Si certains modèles tels que la loi de Fitts permettent d’estimer le temps de sélection de cibles statiques, ils en sont incapables pour des cibles mobiles, et l’influence de la nature des mouvements d’une cible sur les performances de sélection reste à déterminer. Nous proposons un état de l’art des techniques de sélection de cibles, dont nous avançons une proposition de taxinomie, ainsi qu’une classification des cibles mobiles et de leurs environnements. Nous avons proposé un modèle de description et de génération de mouvement, et l’avons exploité pour extraire les paramètres de mouvement essentiels de cibles mobiles, afin d’estimer la difficulté de les sélectionner. Ce modèle (VFA) comprend la vitesse(V), la période entre chaque changement de direction et la fréquence (F) correspondante, ainsi que l’amplitude angulaire maximale (A) de ces changements de direction. Le modèle VFA nous a permis de mesurer l’influence de ces paramètres sur les performances de sélection, les impressions subjectives des utilisateurs, et leurs stratégies d’anticipation. Ces résultats ont conduit à rechercher des critères dépendant des paramètres VFA, comme l’aire de l’enveloppe convexe de la trajectoire de la cible sur une période donnée, permettant de prédire les performances de sélection. Nous observons que la distance du modèle de Fitts n’a que peu d’influence sur les performances de sélection de cibles mobiles vives et imprévisibles, et validons notre prédiction des performances de sélection en montrant qu’il est possible de les améliorer en ajustant les tailles des cibles selon la difficulté prédite, ou d’utiliser celle-ci pour biaiser l’heuristique d’une technique de prédiction de l’intention. Nous étudions également l’apport d’une assistance pseudo-haptique ajoutée à une technique de prédiction de l’intention, et observons qu’il dépend du compromis vitesse-précision choisi par l’utilisateur. Nous montrons enfin qu’une technique fondée sur l’ élimination manuelle des distracteurs en parallèle de la prédiction de l’intention permet d’obtenir d’excellentes performances de sélection avec un effort physique très réduit. Ces résultats conduisent à la proposition de recommandations pour la conception de nouvelles techniques de sélection plus adaptées aux cibles mobiles<br>The selection of moving targets has received little attention in the literature, as the factors that influence motion are numerous and complex. Though models such as Fitts’ Law can estimate selection time for static targets, they fail to do so for moving ones, and the influence of a target’s movements on its associated selection performance remains to be determined. Here we propose a state of the art of moving target selection techniques, a taxonomy thereof, as well as a classification of moving targets and their environments. We propose a model for the description and generation of movement, a use it to extract essential motion parameters from moving targets, in order to estimate their selection difficulty. This model (SFA) includes speed (S), the period between each change in direction and its associated frequency (F), as well as the maximum angular amplitude of these changes (A).Thanks to the SFA model, we measured the influence of these parameters on selection performance, the subjective impressions of users, and their anticipation strategies. These results led us to look for SFA dependent criteria, such as the area of the target’s trajectory’s convex hull over a given period of time, which can predict selection performance. We note that Fitts’s distance has little influence on selection performance for quick, unpredictable moving targets, and validate our estimate of selection performance by showing that this estimate can be used to improve selection performance by adjusting the size of targets accordingly, or by using it to bias an intention prediction heuristic. We also assess the benefits of pseudo-haptic assistance coupled with intention prediction, and show that it depends on the speed accuracy trade-off chosen by a given user. We finally show that a technique based on the manual elimination of distractors running concurrently with intention prediction allows for excellent selection performance, and drastically reduced physical effort. We conclude by offering advice on the design of new selection techniques that would be better suited to moving targets

Nos contributions visent à améliorer la collaboration dans les environnements virtuels tant au niveau de l'architecture distribuée qu'au niveau des métaphores de collaboration. Pour garantir que tous les utilisateurs perçoivent le même état de l'environnement virtuel au même moment, nous proposons un premier modèle d'adaptation dynamique de la distribution des données sur le réseau. Nous proposons un deuxième modèle d'architecture logicielle qui sépare les données de l'environnement virtuel de cette partie réseau et des composants spécifiques à chaque utilisateur. Pour permettre à des utilisateurs utilisant des dispositifs matériels différents de collaborer, nous avons défini un troisième modèle qui intègre chaque utilisateur dans l'environnement virtuel en tenant compte de son environnement réel. Dans le cadre du projet ANR Collaviz, ces trois modèles ont permis de mettre en œuvre un framework qui a été utilisé pour réaliser plusieurs expérimentations de collaboration à distance.

Depuis quelques années, la plupart des constructeurs automobiles innovent en faisant appel aux techniques de la réalité virtuelle (RV). Cette approche possède un fort potentiel en termes de gain de temps et de réduction des coûts. Elle permet également d'évaluer de nouvelles approches liées au processus de conception lui-même. Cependant, un certain nombre de verrous technologiques et méthodologiques subsistent. Ils concernent en particulier (i) la simplification et la physicalisation des maquettes numériques issues des logiciels de CAO, (ii) le développement de configurations visuo-haptiques adaptées aux différentes tâches impliquées par le prototypage virtuel, et (iii) l'identification des retours sensoriels les plus pertinents, permettant à l'opérateur d'effectuer ces tâches efficacement. Un ensemble de problématiques soulevées par le service R&D de Valeo Lighting Systems (Angers) nous a conduit à traiter les trois aspects évoqués ci-dessus. Les tâches étudiées sont l'accessibilité, l'extraction et la manipulation de lampes sur prototype virtuel à l'échelle 1:1. Dans le manuscrit, nous commençons par aborder les limites du prototypage réel et les apports liés au prototypage virtuel. Ces apports sont examinés en particulier pour les phases de création et de validation des prototypes. Puis, nous présentons un état de l'art exhaustif des dispositifs d'affichage et des interfaces à retour d'effort, que nous avons classées en fonction de leur architecture mécanique et de leur support de référence. Ensuite, nous traitons la simplification et l'intégration de maquettes virtuelles ainsi que l'intégration du modèle biomécanique de l'opérateur humain. Différentes simulations permettant de valider la méthodologie d'intégration proposée sont décrites. Celles-ci sont basées sur l'utilisation de notre plate-forme de réalité virtuelle. Enfin, nous décrivons une série cohérente et progressive d'expérimentations permettant d'évaluer la pertinence et l'influence de différentes modalités sensorielles (visuelle, sonore, vibro-tactile, et kinesthésique) sur la performance humaine. L'objectif est d'identifier les avantages et inconvénients de ces retours d'information dans différentes configurations matérielles. Les résultats sont analysés via différents indicateurs de performance (temps de réalisation des tâches, précision de placement). Des données subjectives sont également recueillies via l'observation des sujets pendant l'exécution des tâches et à partir de questionnaires.

Nos travaux traitent de la génération dynamique de situations critiques en environnements virtuels. Parmi les dimensions qui caractérisent les situations critiques, nous nous intéressons particulièrement aux dilemmes et aux situations ambiguës. L’enjeu informatique de nos travaux consiste à générer automatiquement des dilemmes et des situations ambiguës à partir de modèles qui ne sont pas destinés, à priori, pour décrire ces deux types de situations. Un dilemme est souvent défini comme étant une situation à choix difficile, où l’individu doit choisir entre deux options, ou plus, qui présentent toutes des inconvénients. L’ambiguïté quant à elle, se réfère aux situations qui sont sujettes à plusieurs interprétations. Dans le cadre de nos travaux, nous proposons tout d’abord un modèle formel de ces deux notions en se reposant sur des théories issues des sciences humaines et sociales. A partir de cette formalisation, nous proposons un ensemble d’algorithmes et de techniques de génération qui raisonnent sur des modèles de connaissances—manipulés par les experts du domaine — qui ne sont pas destinés, à priori, pour la description des dilemmes ou des situations ambiguës. Le raisonnement sur ces modèles sémantiques permet d’inférer de nouvelles connaissances. Elles permettent d’identifier les entités (e.g. actions, événements, objets) susceptibles de créer, si combinées ensemble, des situations qui vérifient les propriétés énoncées dans la formalisation des dilemmes et de l’ambiguïté<br>Our work is related to dynamic generation of critical situations in virtual environments. We focus on two particular types of critical situations: dilemmas and ambiguous situations. The challenge of this work is to generate automatically these situations using models that are not intended to describe dilemmas and ambiguous situations. A dilemma is defined as a situation that includes a difficult choice. It refers to a situation where individuals have to choose between two, or more, inconvenient options. Ambiguity refers to situations that can be interpreted in different ways. In the context of this thesis, we propose a formal model for the two notions that is inspired by humanities and social sciences. Using this formalization, we propose a set of algorithms and generation technics that use knowledge models — manipulated by domain experts — that are not intended to describe dilemmas and ambiguous situations. The use of these models enables the generation engine to infer new knowledge used to extract the entities (e.g. actions, events, objects) that can potentially produce situations that meet the properties defined in the dilemma and ambiguity formalization. In order to propose a content adapted to each learner, it is necessary to take into consideration the value system of each person in the dilemma generation process. Thus, we propose to operationalize the theory of universal values of Schwartz. Concerning the ambiguity, it is necessary to take into account the level of knowledge of the learner regarding the world variables. Thus, we propose to model the mental representation of the learner. In order to consider the uncertainties in this representation, we propose to use the belief functions theory that is well-suited for this matter

This work aims at providing some cues in order to address the essential requirements about the design of 3D Collaborative Virtual Environments (CVE). We have identified six essential topics that must be addressed when designing a CVE. For each of them, we present a state of the art about the solutions that can address this topic, then we show our own contributions: how we improve existing solutions and what are our new propositions. 1 - Choosing a model for the distribution of a CVE We need a distribution model to distribute as efficiently as possible the content of a CVE among all the nodes involved in its execution, including the machines of the distant users. Our proposition is to allow CVE designers to mix in a same CVE the three main distribution models usually encountered: centralized on a server, totally replicated on each site, or distributed according to a hybrid distribution model. 2 - Choosing a model for the synchronization of these nodes To maintain consistency between all the nodes involved in the execution of a CVE, we must choose between a strong synchronization or a relaxed one, or an in-between solution. Our proposition is to manage some temporary relaxation of the synchronization due to network breakdowns, with several synchronization groups of users, making them aware of these network breakdowns, and to allow some shared objects to migrate from one site to another. 3 - Adapting the Virtual Environment to various hardware systems VR applications must be adapted to the software and to the hardware input and output devices that are available at run-time, in order to be able to deploy a CVE onto di fferent kinds of hardware and software. Our solution is the PAC-C3D software architectural model which is able to deal with the three main distribution modes encountered in CVE. 4 - Designing interaction and collaboration in the VE Expressing the interactive and collaborative capabilities of the content of a CVE goes one step beyond geometric modeling, by adding interactive and collaborative features to virtual objects. We propose a unified model of dialog between interactive objects and interaction tools, with an extension to Collada in order to describe interactive and collaborative properties of these interactive objects and interaction tools. 5 - Choosing the best metaphors for collaborative interactions Most of the time single-user interaction tools and metaphors are not adapted to off er effi cient collaboration between users of a CVE. We adapt some of these tools and metaphors to collaborative interactions, and we propose new really collaborative metaphors to enhance real multi-user collaborative interactions, with dedicated collaborative feedback. 6 - Embedding the users' physical workspaces within the CVE Taking into account users' physical workspaces makes it possible to adapt a CVE to the hardware input and output devices of the users, and to make them aware of their physical limitations and of those of the other users, for better interaction and collaboration. We propose the Immersive Interactive Virtual Cabin (IIVC) concept to embed such 3D representations in CVE.

Ambientes virtuais tridimensionais imersivos são frequentemente utilizados como apoio às estratégias de treinamento ou educação conduzidas em ambientes reais. Técnicas estereoscópicas como as de anaglifos, obturação e polarização da luz são recursos que oferecem a sensação de imersão nesses ambientes virtuais. É crescente o interesse em pesquisas acerca de como os humanos percebem o espaço e interagem em ambientes virtuais, investigando como componentes de sistemas imersivos afetam a percepção humana. Essa percepção é importante para várias tarefas, como mover objetos e identificar estruturas, que requerem a interpretação e entendimento das informações do espaço. Apesar de tal interesse, não são encontrados na literatura modelos de mensuração de tal percepção. Este cenário constitui um desafio no que concerne à necessidade de criação de modelos para mensurar, independentemente da aplicação, a percepção da tridimensionalidade proporcionada pelas técnicas estereoscópicas citadas. Este projeto de mestrado define, implementa e valida um modelo extensível capaz de avaliar a percepção da tridimensionalidade em sistemas de realidade virtual estereoscópicos no contexto de ambientes que envolvem interação com manipulação de objetos. O escopo da presente pesquisa foi definido mediante a realização de uma Revisão Sistemática, que identificou métodos e parâmetros utilizados na avaliação de ambientes estereoscópicos. Para atingir os objetivos deste trabalho, foram conduzidos experimentos que serviram de base para a definição do modelo. Os resultados dos experimentos indicaram que o modelo elaborado é capaz de compor um veredicto sobre a percepção de tridimensionalidade fornecida por uma técnica, assim como auxiliar na tomada de decisões acerca da utilização de técnicas estereoscópicas em sistemas de RV<br>Three-Dimensional immersive virtual environments are often used as support for training strategies or education conducted in real environments. Stereoscopic techniques such as anaglyph, shutter glasses and polarized glasses can offer a sense of immersion in these virtual environments. There is a growing interest in research how humans perceive space and interact in virtual environments, investigating how components of immersive systems affect different understanding of space in virtual reality systems. This perception is important for various tasks, such as moving objects and identify structures that require interpretation and understanding of space information. This scenario is a challenge regarding the establishment of models to measure, independently of the application, the perception of three-dimensionality provided by the stereoscopic techniques cited. This master project defines and validates an extensible model able to evaluate the three-dimensionality perception in different virtual reality systems with stereoscopy that involves objects manipulation. The scope of this study was defined with a systematic review that identified methods and parameters used to assess stereoscopic environments. To achieve the objectives of this study, experiments was conducted as the basis to define the model. The results of the experiments indicated that the model developed is able to set a verdict about three-dimensionality perception provided by a stereoscopic technique and assist decision-making regarding the use of stereoscopic techniques in VR systems