Siga este enlace para ver otros tipos de publicaciones sobre el tema: Multimodality in interactions.
Tesis sobre el tema "Multimodality in interactions"
Crea una cita precisa en los estilos APA, MLA, Chicago, Harvard y otros
Consulte los 50 mejores tesis para su investigación sobre el tema "Multimodality in interactions".
Junto a cada fuente en la lista de referencias hay un botón "Agregar a la bibliografía". Pulsa este botón, y generaremos automáticamente la referencia bibliográfica para la obra elegida en el estilo de cita que necesites: APA, MLA, Harvard, Vancouver, Chicago, etc.
También puede descargar el texto completo de la publicación académica en formato pdf y leer en línea su resumen siempre que esté disponible en los metadatos.
Explore tesis sobre una amplia variedad de disciplinas y organice su bibliografía correctamente.
1
Filho, Valdinar CustÃdio. "Multiple factors, different interactions: scrutinizing the heterogeneous nature of referentiation". Universidade Federal do CearÃ, 2011. http://www.teses.ufc.br/tde_busca/arquivo.php?codArquivo=6377.
Texto completoResumen
CoordenaÃÃo de AperfeiÃoamento de Pessoal de NÃvel SuperiorThis work aims to describe the integration of multiple factors for the construction of reference. We consider that referentiation is built by the social-cognitive work undertaken by individuals in order to establish objects of discourse. Thus, we argue that such action is carried out through complex strategies, which are not limited to the presence or value of nominal expressions that take part on textual surface. The fundamental theoretical background is the social-cognitive paradigm, from which we propose a new view on analysis taken by Text Linguistics researchers. On one hand, we sustain that other semiosis, besides the verbal one, once they are part of textual materiality, can accomplish the same strategies normally described with an exclusive focus on linguistic constructions. On the other hand, we suggest that observation of texts different from those usually analyzed could provide new proposals about the description of referential processes. We analyze, in this thesis, a complete short tale and four episodes of a TV series, in order to investigate how material elements, linked to context, promote the introduction and reformulation of objects built in texts. For such analysis, we elect three main assumptions: 1) the verbal content which takes part in referential processes is not limited to anaphoric relations between referential expressions; 2) image, when it is part of the text, must be considered as textual materiality to be analyzed; 3) the referent transformation is a process more discursive than formal; thus it is inherently not linear. Through the application of these principles to the analysis of our sample, we define four general steps of referentiation: presentation, addition, correction and confirmation.
Este trabalho tem como objetivo descrever a integraÃÃo de mÃltiplos fatores para a construÃÃo da referÃncia. Partindo da concepÃÃo de que a referenciaÃÃo contempla o trabalho sociocognitivo empreendido pelos sujeitos para a construÃÃo dos objetos de discurso, defendemos que tal aÃÃo à realizada por meio de estratÃgias complexas, as quais nÃo se limitam à presenÃa ou ao valor dos sintagmas nominais que fazem parte da superfÃcie textual. Como pressuposto teÃrico fundamental, elegemos o Sociocognitivismo, a partir do qual propomos um redimensionamento acerca das anÃlises efetivadas em LinguÃstica Textual. De um lado, sustentamos que os outros modos de enunciaÃÃo, alÃm do verbal, por fazerem parte da materialidade do texto, podem efetivar as mesmas estratÃgias normalmente descritas apenas com foco nas construÃÃes linguÃsticas. De outro, sugerimos que a reflexÃo sobre textos diferentes dos normalmente analisados pode fornecer novas propostas descritivas dos processos referenciais. Optamos por analisar, nesta tese, um conto completo e quatro episÃdios de um seriado de televisÃo, a fim de verificarmos como os elementos da materialidade, conjugados ao aparato contextual, promovem a apresentaÃÃo e a reformulaÃÃo dos objetos textualmente acionados. Partimos das ideias de que 1) o conteÃdo verbal que participa da aÃÃo de referir nÃo se limita Ãs relaÃÃes anafÃricas entre expressÃes referenciais; 2) a materialidade textual analisada deve considerar o modo de enunciaÃÃo visual, quando este fizer parte do texto; e 3) o processo de transformaÃÃo dos referentes à mais discursivo que formal, por isso à constitutivamente nÃo linear. A partir desses princÃpios aplicados à anÃlise de nossa amostra, definimos quatro etapas gerais do processo de um referente: apresentaÃÃo, acrÃscimo, correÃÃo e confirmaÃÃo.
2
Jhaj, Sunjum. "Interactions with Culturally Relevant Children's Literature: A Punjabi Perspective". Thesis, Université d'Ottawa / University of Ottawa, 2020. http://hdl.handle.net/10393/40563.
Texto completoResumen
This research investigated Punjabi children’s meaning-making processes as they engaged with culturally relevant literature, and presents a critical evaluation of Punjabi and Sikh representation in children’s literature. The Punjabi community in Canada is growing rapidly, with Punjabi being the third most commonly spoken non-official language in Canada. Yet, this minority group remains underrepresented in educational research. Past research has shown the numerous benefits minority children experience when engaging with literature that authentically represents their cultural background (see Cunard, 1996; Goldblatt, 1999; Goo, 2018; Steiner, Nash & Chase, 2008; Zhang & Morrison, 2010). This study gave Punjabi children the opportunity to interact with culturally-relevant stories in multimodal ways, and express their understandings through multiple literacies. The children constructed and shared meanings through verbal discussions, multimodal artwork and the inclusion of movement and dramatizations. They drew on a variety of lived experiences to make meaning from the stories. Their meaning-making processes were further enhanced by the collaborative experience of reading, constructing and sharing meanings. This study opens the door to future research into ways of using literature to foster engagement in the classroom and support children’s meaning-making processes.
3
Hugol-Gential, Clémentine. "Le service au restaurant : analyse linguistique et multimodale des interactions entre personnel de service et clients". Thesis, Lyon 2, 2012. http://www.theses.fr/2012LYO20011.
Texto completoResumen
Le service, basé sur de nombreuses ressources verbales et multimodales, est déterminant dans l’organisation de la prise de repas au restaurant. Dans le cadre de ce travail de recherche, nous nous sommes particulièrement intéressée aux interactions se déroulant entre le personnel de service et la clientèle grâce à la collecte d’un corpus d’enregistrements vidéo réalisée en situation naturelle, au sein de plusieurs restaurants. Ce travail empirique, mené dans une perspective praxéologique et interactionnelle, nous a permis de dégager plusieurs phénomènes interactionnels constitutifs des pratiques professionnelles de service. Les phénomènes dégagés nous permettent de souligner l’importance et la complexité des différentes ressources mises en œuvre par les participants dans l’organisation et l’ordonnancement de leurs activités. L’analyse se focalise tout d’abord sur les pratiques par lesquelles le personnel de service ouvre régulièrement l’interaction avec les clients, puis aux différents usages de la carte, et enfin à l’organisation du choix et à l’emploi de catégories ad hoc lors de la prise de commande des plats et des vins. L’enjeu de ce travail est de comprendre l’organisation détaillée des interactions entre personnel de service et clients et ainsi, de souligner leurs caractères fondamental et structurant dans l’expérience de restaurationBased on a rich array of verbal and multimodal resources, the service is crucial in the organization of the meal at restaurant. Within this study, we are particularly interested in the interactions taking place between service staff and customers. On the basis of a corpus of video recordings realized in natural settings within several restaurants, the empirical analyses have been carried out within a praxeological and interactional perspective. Several interactional patterns within professional practices of service have been identified. These phenomena allow us to underline the importance and the complexity of various multimodal resources implemented by the participants in the organization and the coordination of their activities. This study is interested first of all in the practices by which service staff opens regularly the interaction with customers, then in the various uses of menu, and finally in the organization of the choice and the use of ad hoc categories during the order-taking of dishes and wines. The issue is to understand the detailed organization of the interactions between service staff and customers and so, to underline their fundamental and structuring character for the dining experience
4
De, Koning Marieke. "La multimodalité comme ressource en interprétation de dialogue : une étude de simulations d'interactions médiées par interprète en (cours de) formation". Electronic Thesis or Diss., Université Grenoble Alpes, 2024. http://www.theses.fr/2024GRALH015.
Texto completoResumen
Cette recherche doctorale questionne les compétences interactionnelles multimodales dans la formation des interprètes. Des recherches antérieures ont mis en exergue la contribution des ressources sémiotiques non verbales telles que le regard, les gestes et le positionnement du corps dans les interactions médiées par interprète (Wadensjö 1998, 2001). La co-construction de la coordination (Baraldi & Gavioli, 2012) et la position centrale de l'interprète dans ces rencontres triadiques plurilingues requièrent, outre des compétences de traduction, des compétences interactionnelles spécifiques qui incluent l'utilisation de la multimodalité comme ressource. Cependant, cette ressource est rarement prise en compte dans la formation des interprètes (Krystallidou, 2014). Par conséquent, nous nous demandons si, et de quelle manière, les étudiants en interprétation acquièrent ces compétences. Ainsi, nous avons mené une étude qualitative auprès d'un groupe de dix étudiants-interprètes de l'Université de Bologne. Leurs performances lors des sessions de jeux de rôle dans un contexte d'apprentissage ont été filmées et analysées afin de répondre aux questions suivantes : quelles sont les ressources sémiotiques non verbales mises en oeuvre par les étudiants lorsqu'ils simulent des interactions médiées par interprète dans un contexte d'apprentissage ? À quoi servent-elles ? Comment varient-elles ? Suite au codage, avec le logiciel ELAN1, des données vidéo, une analyse descriptive a été réalisée sur l'utilisation des ressources multimodales par les étudiants lors des jeux de rôle. Ceci a permis, dans un deuxième temps, de sélectionner une collection d'extraits qui ont été analysés en suivant la méthode d'analyse conversationnelle multimodale (Mondada, 2018, 2019). Cette analyse, d’une granularité très fine, a permis de mettre en lumière une série de situations caractéristiques de la façon dont la multimodalité reflète le caractère situé des interactions et comment elle contribue à la qualité de ces dernières. De plus, les étudiants ont participé à des entretiens semi-dirigés d'autoconfrontation qui nous ont permis d’accéder à leurs critères d’auto-évaluation. Globalement, les résultats montrent un recours plutôt faible à la multimodalité comme ressource. Cependant, l'analyse met en évidence de nombreuses différences individuelles. Elle permet en outre d'identifier les questions qui devraient être prises en compte afin d'optimiser les activités de jeu de rôle dans la formation des interprètes et l'inclusion de la multimodalité en tant que ressourceThis PhD research focuses on multimodal interactional competences in interpreters’ education. Previous research has shown that non-verbal semiotic resources like gaze, gesture, and body positioning play an important role in communication outcome during interpreter-mediated interactions (Wadensjö 1998, 2001). The co-construction of coordinating actions (Baraldi & Gavioli, 2012) and the central position of the interpreter in these plurilingual triadic encounters require, in addition to translation skills, specific interactional skills which include the use of multimodality as a resource. However, this resource is rarely taken into account in interpreter training and education (Krystallidou, 2014). Consequently, we may question if and how interpreter students acquire these skills. To this end, a qualitative study was carried out with a group of 10 interpreter students at the University of Bologna. Their performances during the role play sessions in a learning context were filmed and analysed in order to answer the following research questions: what nonverbal semiotic resources are found in dialogue interpreting students when simulating interpreter-mediated interactions in a learning context? What purpose do they serve? How do they vary? After transcription and annotation with ELAN2 software, a descriptive analysis was carried out on students’ use of multimodal resources during role plays. This allowed a selection of excerpts to be analysed following a Multimodal Conversation Analysis Method (Mondada, 2018, 2019). This fine-grained analysis shed light on a series of salient situations and the different ways in which the embodied and situated actions impact their outcome. In addition, the students took part in semi-directed self-reflection interviews which were also recorded. These were designed to give us access to the students’ criteria and level of multimodal interactional awareness. The overall results show relatively little usage of multimodality as a resource. However, the analysis highlights numerous individual differences and allows identification of issues that should be considered in order to optimise role play activities in dialogue interpreter training with the inclusion of multimodality as a resource
5
Martin, Laurence. "S'entraîner à expliquer une procédure instrumentale : ethnographie multisituée d'un projet filmique mené avec des aides à domicile engagées dans une formation en français langue étrangère". Thesis, Montpellier 3, 2020. http://www.theses.fr/2020MON30023.
Texto completoResumen
Cette recherche porte sur des activités fortement multimodales constituantes d’un projet vidéo mené en collaboration avec des aides à domicile, dans le contexte de la formation linguistique des adultes. Ces activités centrées sur l’explication de procédures sont réalisées dans diverses situations, faiblement ou fortement instrumentées (oral spontané en groupe, simulation, tournage face caméra) et participent au processus d’appropriation de la langue en plaçant l’apprenant dans un rôle d’expert. Des observations participantes, menées dans une approche ethnographique, soutenues par des enregistrements audiovisuels, ont permis de rassembler un corpus que nous avons organisé en deux collections principales. Nos analyses qui s’appuient sur ces données, s’intéressent à la dynamique des actions et des interactions situées et multisenrorielles (actions verbales, gestes, manipulation des objets, disposition des corps, déplacements), développées par les participantes dans ces situations. Elles interrogent les notions goffmaniennes de cadre, de position, d’engagement et de réitération. Cette approche écologique de l’activité humaine, assez récente en science du langage, met en évidence la multimodalité des ressources déployées lors de ces activités didactiques, ainsi que leur articulation à l’environnement dans sa dimension sociale et matérielleThis research examines highly multimodal activities constituting a video project conducted in collaboration with home helpers, in the context of adult language training. The activities under study focus on explaining procedures carried out in various situations, weakly or heavily instrumented (spontaneous group oral, simulation, camera-facing shooting) and participate in the process of appropriation of the foreign language by placing the learner in an expert role. Participant observations in an ethnographic approach, supported by audiovisual recordings of these activities, brought together a corpus that we organized into two main collections. They are based primarily on these data. They deal with the dynamics of multi-sensory, situated actions and interactions (verbal actions, gestures, object manipulations, body placements, movements), as they were developed by the participants. They also discuss the Goffmanian notions of framework, position, commitment and reiteration. This ecological approach to human activity, relatively recent in language science, highlights the multimodality of the resources deployed in those educational situations, and shows their connection with the environment in its social and material dimensions
6
Vincent, Caroline. "Interactions pédagogiques "fortement multimodales" en ligne : le cas de tuteurs en formation". Phd thesis, Ecole normale supérieure de lyon - ENS LYON, 2012. http://tel.archives-ouvertes.fr/tel-00765986.
Texto completoResumen
Les activités interactives en ligne connaissent une utilisation grandissante, notamment dans le domaine de l'enseignement des langues. L'amélioration technique des dispositifs permet en effet aujourd'hui des échanges synchrones à distance avec un locuteur natif.Le tuteur inscrit dans une communication via une plateforme synchrone en ligne doit alors coordonner un ensemble complexe d'opérations à des fins d'apprentissage. Différents modes de communication (textuel, visuel, auditif) sont à sa disposition et il les combine dans son discours. Nous analysons, dans le cadre de cours de français à distance via Skype, quels modes sont utilisés par chacun des quatre tuteurs qui composent notre étude. Nous postulons que les modes sont utilisés différemment par chaque tuteur et nous cherchons donc à savoir dans quelle proportion et avec quel " degré d'investissement " (Develotte, Guichon, Vincent, 2011). Nous cherchons également à comprendre quelles conséquences ces choix d'utilisations des modes ont sur la nature de l'interaction. Nous émettons en effet deux hypothèses. Premièrement, nous pensons que le profil initial des tuteurs (compétences individuelles, expériences professionnelles en présentiel ou à distance, habitude de l'environnement informatique) et le contexte des interactions (perturbations extérieures, problèmes techniques, type de tâche, besoin exprimé des apprenants) ont une influence sur la façon dont le tuteur utilise les modes à disposition.Deuxièmement, nous pensons que les choix d'utilisations influencent la nature de l'interaction et la relation entre tuteurs et apprenants. Nous proposons ainsi une grille d'analyse des interactions multimodales en ligne, afin d'apporter des réponses à nos hypothèses de recherche.
7
Chen, Wei-Ching. "Les interactions verbales au cours du repas : analyse de la co-construction des activités de "manger et parler"". Thesis, Lyon 2, 2015. http://www.theses.fr/2015LYO20045.
Texto completoResumen
Notre thèse, qui s’inscrit dans le champ de la linguistique interactionnelle. Elle porte sur les interactions au cours du repas entre amis dans les invitations en France. Basée sur les données audio et vidéo enregistrées en situation naturelle, cette étude empirique se donne pour but de montrer les modalités par lesquelles les participants co-construisent les deux activités principales déployées à table : « manger » et « parler ». Concernant l’activité de « manger », notre travail décrit en détail les interactions à partir du moment où les mangeurs s’installent à table jusqu’au moment où ils finissent le repas. Grâce à l’analyse verbale et multimodale, notre étude dégage les ressources linguistiques et multimodales mises en œuvre par les hôtes et les invités pour assurer le bon déroulement du repas. Quant à l’activité de « parler », elle est abordée à travers l’évaluation des plats servis. Notre analyse montre qu’à travers cette activité, les locuteurs expriment leur appréciation personnelle vis-à-vis des mets, en même temps qu’ils réalisent différents actions telles que complimenter, critiquer, s’auto-complimenter et s’auto-déprécier. L’enjeu de cette thèse est de mettre en lumière les principes connus mais inaperçus par lesquels les locuteurs français construisent l’interaction à tableMy dissertation, which lies within the framework of international linguistics, is about the interaction during meals among friends in invitations in France. Based on audio and video data recorded in naturally-occurring situations, this empirical study aims to show the modalities by which the participants co-construct the two main activities observed at table: eating and talking. Concerning eating, the study describes in detail the interactions since the eaters sit down at the table until they finish the meal. On the basis of verbal and multimodal analysis, this study brings out the linguistic and multimodal resources used by the hosts and the guests in order to make sure of the course of the meal. As for talking, this dissertation focuses on the assessment on the dishes served. The analysis shows that through the assessment on the dishes served, the speakers express their personal observation about the food, as well, they realize various actions such as complimenting, criticizing, self-complimenting and self-depreciating. The key issue of this study is to shed light on the principles seen but unnoticed by which the French speakers construct interaction at table
8
Drissi, Samira. "Apprendre à enseigner par visioconférence : étude d'interactions pédagogiques entre futurs enseignants et apprenants de FLE". Thesis, Lyon, École normale supérieure, 2011. http://www.theses.fr/2011ENSL0678.
Texto completoResumen
Cette thèse vise à décrire et analyser des interactions pédagogiques par visioconférence poste à poste ayant eu lieu dans le cadre d’échanges entre des apprenants de Berkeley (UCB) et des apprentis- tuteurs/enseignants de Lyon (Université Lyon 2). Notre travail accorde un intérêt particulier aux stratégies communicationnelles mobilisées par les tuteurs pour conduire des séances d’enseignement/apprentissage du Français Langue Etrangère à distance.Notre approche de la question puise des bases théoriques en sciences de l’éducation (formation à distance, concept de présence pédagogique à distance), en didactique des langues (acquisition d’une L2), et en sciences du langage (analyse des interactions pédagogiques) (cadre conceptuel, Partie 1). Les échanges pédagogiques ont été recueillis par le biais de captures d’écran dynamique et fournissent la matière pour étudier l’émergence de stratégies pédagogiques et communicationnelles (cadre méthodologique, Partie 2). Dans le cadre de ces échanges, les tuteurs produisent des énoncés et des actions qui orientent l’activité d’apprentissage. Nous décrivons ces régulations à partir du concept de présence pédagogique (décliné sous trois aspects : présence enseignante, présence sociale et présence cognitive) qui nous permet d’identifier les pratiques pédagogiques observables lors d’interactions par visioconférence poste à poste (analyse de la présence pédagogique, Partie 3). Cette recherche, menée à partir de transcriptions multimodales des données enregistrées, permet de mettre au jour certains des ressorts de la pédagogie synchrone en ligne. Elle aboutit, en outre, à proposer des critères d’évaluation des pratiques pédagogiques identifiées, décrites et analysées dans cette thèse en vue d’améliorer certains aspects de la formation au tutorat de langue en ligneThe aim of this thesis is to describe and analyse desktop videoconferencing pedagogical interactions that took place as between, learners of French students in Berkeley (UCB) at one end and French as a foreign language instructor trainees in Lyon (University Lyon 2) at the other end. Our work particularly focuses on communicational strategies mobilized by the trainees to conduct distance teaching/learning language sessions.Our approach draws on theoretical issues in education studies (online education, the concept of pedagogical presence within the community of inquiry framework), second language acquisition, and language sciences (pedagogical interaction analysis) (conceptual framework, Part 1). Instances of educational exchanges were collected through dynamic screenshots and provide material for studying emerging pedagogical and communicational strategies (methodological framework, Part 2). As part of these exchanges, tutors produce utterances and actions that shape the learning activities. We describe these regulations from the concept of pedagogical presence -declined in three aspects: teaching presence, social presence and cognitive presence- that allows us to identify pedagogical practices observed during desktop videoconferencing interactions (analysis of the pedagogical presence, Part 3). This research, conducted with multimodal transcripts of the recorded data allows us to uncover some of the aspects of online synchronous teaching. It also allows us to propose criteria for evaluating the pedagogical practices identified, described and analysed in this thesis to improve some facets of language training in tutoring online
9
Vidal, Julie. "Etude des séquences de rétroaction corrective dans un dispositif en ligne d'enseignement/apprentissage du français langue étrangère : une approche multimodale de l'oral". Thesis, Lyon, 2018. http://www.theses.fr/2018LYSE2125.
Texto completoResumen
L’étude de la rétroaction corrective constitue un enjeu important dans la recherche en didactique des langues et a été en partie renouvelée par l’utilisation des technologies. Or, peu de recherches se sont penchées sur la manière dont les enseignants fournissent une rétroaction corrective sur la production orale des apprenants lors d’interactions en ligne. C’est pourquoi nous nous proposons d’analyser six semaines d’interactions entre des apprentis enseignants en formation dans un master de didactique de français langue étrangère (désormais FLE) d’une université française (Lyon 2) et des apprenants de FLE d’une université étrangère (DCU). Notre étude relevant d’une recherche qualitative s’appuie un corpus complexe comprenant des interactions en ligne transcrites et annotées au moyen du logiciel ELAN, des bilans multimodaux réalisés par les enseignants et les discours des participants. Nous avons analysé ces données dans une perspective multimodale selon laquelle toutes les ressources sémiotiques contribuent à produire du sens, sans hiérarchisation de celles-ci a priori. En somme, ce travail vise à étudier les effets de la multimodalité sur la manière dont les apprentis enseignants et les apprenants coconstruisent les séquences de rétroactions correctives en ligne afin, dans un deuxième temps, de faire des propositions didactiques pour la formationThis work aims to analyze six weeks of videoconferenced pedagogical interaction between trainee teachers enrolled in a master's degree in teaching French as a foreign language (FLE) at a French university (Lyon 2) and learners of French at a foreign university (Dublin City University). Corrective feedback is an important issue in foreign language pedagogy, renewed by the use of technologies. However, there has been little research on how teachers provide corrective feedback on learners' oral production in online interactions. Our qualitative study is based on the analysis of ecological data, organized into a complex corpus of video interactions transcribed and annotated using the ELAN software. We observed multimodal assessments made by the teachers, as well as participants' commentary containing their perception of the corrective feedback. We analyzed these data from a multimodal perspective according to which all the semiotic resources contribute to make meaning without automatically prioritizing one mode over another. In sum, this work aims to understand how teachers and learners co-construct corrective feedback sequences. We also want to update the effects of multimodality on the interactions in order to make pedagogical proposals for the training of future teachers of French as a foreign language
10
Zhang, Zhuoming. "Improving mediated touch interaction with multimodality". Electronic Thesis or Diss., Institut polytechnique de Paris, 2022. http://www.theses.fr/2022IPPAT017.
Texto completoResumen
Comme l’un des plus importants canaux de communication non verbale, le toucher est largement utilisé à des fins différentes. Dans le développement physique et psychologique humain le toucher participe à la construction des liens sociaux et à la communication des émotions. Cependant, même si les technologies de l'information et de la communication actuels permettent l’utilisation de divers langages non verbaux, le soutien à la communication par le sens du toucher est encore insuffisant. Inspiré par les interactions intermodales dans la perception humaine, l’approche que j'adopte dans cette thèse est d’utiliser la multimodalité pour améliorer l’interaction tactile médiée. Suivant cette approche, je présente trois dispositifs qui fournissent des contributions empiriques à l’interaction tactile multimodaux : VisualTouch, SansTouch, et In-Flat. Afin de comprendre si les stimuli multimodaux peuvent améliorer la perception émotionnelle du toucher, je développe VisualTouch, et j'évalue quantitativement l’interaction entre la modalité visuelle et tactile. Pour étudier l’utilisation de différentes modalités dans la communication tactile, je présente SansTouch et fournis des aperçus empiriques sur l’interaction multimodale et la génération de contact cutané dans le contexte de la communication en face à face. Enfin, pour aller plus loin dans l’utilisation de stimuli multimodaux en interaction tactile, je présente In-Flat, une superposition tactile entrée/sortie pour smartphones. In-Flat fournit non seulement des informations supplémentaires sur la génération du toucher de la peau, mais aussi une meilleure compréhension du rôle que joue le toucher médié dans des contextes plus généraux. En résumé, cette thèse vise à combler le fossé entre la communication tactile et l’IHM, en contribuant à la conception et la compréhension des stimuli multimodaux dans l’interaction tactile médiéeAs one of the most important non-verbal communication channels, touch is widely used for different purposes. It is a powerful force in human physical and psychological development, shaping social structures as well as communicating emotions. However, even though current information and communication technology (ICT) systems enable the use of various non-verbal languages, the support of communicating through the sense of touch is still insufficient. Inspired by the cross-modal interaction of human perception, the approach I present in this dissertation is to use multimodality to improve mediated touch interaction. Following this approach, I present three devices that provide empirical contributions to multimodal touch interaction: VisualTouch, SansTouch, and In-Flat. To understand if multimodal stimuli can improve the emotional perception of touch, I present the VisualTouch device, and quantitatively evaluate the cross-modal interaction between the visual and tactile modality. To investigate the use of different modalities in real touch communication, I present the SansTouch device, which provides empirical insights on multimodal interaction and skin-like touch generation in the context of face-to-face communication. Going one step forward in the use of multimodal stimuli in touch interaction, I present the In-Flat device, an input/output touch overlay for smartphones. In-Flat not only provides further insights on the skin-like touch generation, but also a better understanding of the role that mediated touch plays in more general contexts. In summary, this dissertation strives to bridge the gap between touch communication and HCI, by contributing to the design and understanding of multimodal stimuli in mediated touch interaction
11
Clark, Jessica. "The Sensory Mechanisms of Crayfish (Orconectes rusticus) Used in Detecting Predatory Threats". Bowling Green State University / OhioLINK, 2017. http://rave.ohiolink.edu/etdc/view?acc_num=bgsu1490027671892276.
Texto completo
12
Ibnelkaïd, Samira. "Identité et altérité par écran : modalités de l’intersubjectivité en interaction numérique". Thesis, Lyon, 2016. http://www.theses.fr/2016LYSE2069.
Texto completoResumen
Notre recherche, bien qu’ancrée dans les Sciences du Langage s’inscrit dans une démarche interdisciplinaire entre Linguistique et Philosophie articulant Analyse des Interactions et Phénoménologie. Il s’agit d’étudier l’identité en interaction en tant que phénomène intersubjectif, langagier et technique. L’existence corporelle, sensorielle, relationnelle, et sociale des humains se trouvant désormais engagée dans des dispositifs d’interactions numériques, des modalités inédites d’intersubjectivité se déploient notamment par écran. C’est pourquoi nous nous proposons d’analyser les nouvelles dimensions constitutives de l’intersubjectivité et mises en jeu dans les interactions numériques. Dans la première partie de notre thèse, notre parcours théorique, il s’agit de saisir la nature de la co-construction identitaire, les enjeux de la rencontre interindividuelle en tant que phénomène intersubjectif et les spécificités des interactions numériques aux cadres spatio-temporels complexes. Nous proposons, en premier lieu, de définir, par une approche phénoménologique, l’événement de la rencontre avant de nous intéresser aux propriétés phénoménotechniques de l’intersubjectivité numérique. En second lieu, dans ce parcours théorique, par une approche interactionniste, nous nous attardons sur la place du langage dans la co-construction des identités ; une place importante est accordée à la séquentialité interactionnelle par laquelle les sujets façonnent l’interaction ainsi qu’à la corporéité de l’action hors et par écran. Nous soumettons alors, dans la seconde partie de notre thèse, ces théorisations à l’analyse des données de notre corpus. Dans ce parcours empirique, sont analysées des rencontres par écran entre participants géographiquement distants. Cette analyse nous permet notamment de dresser une topographie des espaces-temps impliqués dans l’interaction physico-numérique, une typologie des actes de prise d’existence à l’écran et une description du processus ontologique identitaire en interactionThough our research is firmly anchored within the field of linguistics, it constitutes an interdisciplinary approach as well, aiming to establish a dialogue between Interaction Analysis and Phenomenology. This research examines the complex notion of identity by defining it as a verbal, technical, and intersubjective phenomenon. The bodily, sensory, relational and social human existence is henceforth engaged in digital interaction devices inducing unprecedented modalities of intersubjectivity. Therefore, we propose to analyze the novel features of intersubjectivity involved in digital interactions. In the first part of our dissertation, the theoretical exploration, we seek to apprehend the nature of identity co-construction, the stakes of interindividual encounter understood as an intersubjective phenomenon, and the spatio-temporal characteristics of digital interactions. Firstly, through a phenomenological approach, we define the encounter as a meaningful event and we explore the phenomenotechnical properties of digital intersubjectivity. Secondly, through an interactionist approach, we focus on language and its role in identity co-construction, and more specifically on sequence organization and embodiment within physical and digital interactions. Thereafter, in the second part of our dissertation, those theorizations are submitted to a data analysis. This empirical exploration consists in studying online encounters between geographically distant participants. This study allows us to draw a topography of the spatio-temporal framework of phygital interaction, a typology of the acts of enacting existence on screen and a description of the ontological process of identity co-construction
13
Barchunova, Alexandra [Verfasser]. "Manual interaction: multimodality, decomposition, recognition / Alexandra Barchunova. Technische Fakultät". Bielefeld : Universitätsbibliothek Bielefeld, Hochschulschriften, 2013. http://d-nb.info/1031505245/34.
Texto completo
14
Nicolaev, Viorica. "L'apprentissage du FLE dans un dispositif vidéographique synchrone : étude des séquences métalinguistiques". Phd thesis, Ecole normale supérieure de lyon - ENS LYON, 2012. http://tel.archives-ouvertes.fr/tel-00793185.
Texto completoResumen
Cette recherche s'inscrit dans le champ de la didactique du FLE et de la communication médiée par ordinateur (CMO). L'étude se place dans une perspective interactionniste de l'acquisition d'une langue seconde (L2), selon laquelle l'apprentissage d'une L2 est facilité par les interactions interpersonnelles qui se produisent durant la réalisation d'une tâche. La recherche s'appuie sur le projet d'enseignement-apprentissage du FLE le " Français en 1ère ligne ", qui met en relation des tuteurs en France et des apprenants américains de Berkeley dans un dispositif de visioconférence. L'objectif de l'étude est d'évaluer le potentiel acquisitionnel de ce dispositif, à travers l'analyse des séquences métalinguistiques déclenchées aux cours des interactions. Celles-ci constituent des épisodes où les interlocuteurs traitent les problèmes de code liés à l'intercompréhension et à la production langagière. En nous appuyant sur les principes de l'analyse conversationnelle d'inspiration ethnométhodologique, notre étude est empirique et principalement descriptive. La catégorisation des séquences métalinguistiques, la description du contexte situationnel d'apparition et des configurations interactionnelles, ainsi que l'analyse de la nature discursive des procédés utilisés pour solliciter l'aide du partenaire et réparer interactivement les obstacles linguistiques indiquent que les interactions vidéographiques en ligne sont susceptibles de déclencher des séquences métalinguistiques, similaires à celles produites en face-à-face. L'analyse de la multimodalité du dispositif, et plus précisément la façon dont les interlocuteurs ont recours aux différents modes de communication pour résoudre les problèmes de communication, montre les effets positifs de celle-ci sur l'apprentissage d'une L2. En effet, la multimodalité permet à l'apprenant une meilleure focalisation sur la forme et une prise de conscience plus efficace des écarts entre son interlangue et la langue cible.
15
Saubesty, Jorane. "Analyses multimodales de l'interaction patient-médecin en situation de formation à l'annonce d'un événement indésirable grave : modélisation en vue d'implémenter un outil de formation par la réalité virtuelle". Thesis, Aix-Marseille, 2018. http://www.theses.fr/2018AIXM0010.
Texto completoResumen
Le projet ANR ACORFORMed, dans lequel s’inscrit cette thèse, a pour objectif la création (par des informaticiens) d’un agent conversationnel animé « patient » comme outil de formation à l’annonce, par la simulation et à l’aide d’un environnement virtuel. A l’aide de la méthodologie issue des études de la gestuelle et des apports de la littérature sur l’organisation des interactions, nous tentons de répondre à la question suivante : quelle est l’organisation structurelle globale de l’interaction patient-médecin, lorsque ce dernier se forme à l’annonce d’un dommage associé aux soins ? Les analyses menées dans cette thèse nous permettent de décrire l’interaction patient/médecin lors de formations à l’annonce en proposant différentes phases composants l’interaction, ainsi que des précisions quant à leur découpage et leurs articulations. Elles constituent une base indispensable et utilisable par les informaticiens pour concevoir et implémenter un agent conversationnel « patient » crédible qui pourra être utilisé dans la formation des médecins. Située au coeur d’un projet interdisciplinaire, cette thèse en linguistique permet donc de transposer les pratiques interactionnelles des médecins en vue de l’implémentation d’un agent virtuel par des informaticiensThe ACORFORMed ANR project, in which this PhD project is integrated, aims at the creation (by computer scientists) of a "patient" animated conversational agent as a training tool for announcing, simulating and using a virtual environment. Using the methodology resulting from gestures studies and contributions of the literature on the organisation of interactions, we try to answer the following question: what is the overall structural organisation of the doctor/patient interaction, when this last is training to break the news of a damage associated with care? The analyses carried out in this thesis allow us to describe the doctor/patient interaction during training to break the news by proposing different phases that make up the interaction, as well as details about their division and their articulations. They are an indispensable and usable base for computer scientists to design and implement a credible "patient" conversational agent that can be used in physician training. Located at the heart of an interdisciplinary project, this thesis in linguistics makes it possible to transpose the interactional practices of physicians with a view to the implementation of a virtual agent by computer scientists
16
Rodriguez, Bertha Helena. "Modèle SOA sémantique pour la multimodalité et son support pour la découverte et l'enregistrement de services d'assistance". Thesis, Paris, ENST, 2013. http://www.theses.fr/2013ENST0006/document.
Texto completoResumen
Les entrées et sorties unimodales dans les systèmes actuels ont atteint une maturité reconnue, avec les applications tactiles ou par les services distribués pour la géo-localisation ou la reconnaissance de la parole, du son ou l’'image. Cependant, l'intégration et l’instanciation de toutes ces modalités, manque d’une gestion intelligente du contexte d’acquisition et de restitution basée sur des notions fortement formalisées mais reflétant le sens commun. Ceci demande un comportement plus dynamique du système avec une approche plus adéquate pour gérer l'environnement de l'utilisateur. Cependant,la technologie nécessaire pour atteindre un tel objectif n’est pas encore disponible de façon standardisée, tant au niveau des descriptions fonctionnelles des services unimodaux que de leur description sémantique. Ceci est aussi le cas pour les architectures multimodales, où la composante sémantique est produite par chaque projet sans un accord commun pour assurer l’interoperabilité et est souvent limitée au traitement des entrées et sorties ou aux processus de fusion/fission strictement nécessaires au projet.Pour combler cette lacune, nous proposons une approche sémantique orientée services pour une architecture multimodale générique qui vise à améliorer la description et la découverte des composants de modalité pour les services d'assistance: l'architecture SOA2m. Cette architecture se veut entièrement focalisée sur la multimodalité et enrichie avec des technologies sémantiques car nous croyons que cette orientation permettra d'enrichir le comportement autonome des applications multimodales, avoir une perception robuste des échanges, et contrôler l'intégration sémantiqueUnimodal inputs and outputs in current systems have become very mature with touch applications or distributed services for geo-localization or speech, audio and image recognition. However, the integration and instantiation of all these modalities, lack of an intelligent management of the acquisition and restitution context, based on highly formalized notions reflecting common sense. This requires a more dynamic behavior of the system with a more appropriate approach to manage the user environment.However, the technology required to achieve such a goal is not yet available in a standardized manner, both in terms of the functional description of unimodal services and in terms of their semantic description. This is also the case for multimodal architectures, where the semantic management is produced by each project without a common agreement in the field to ensure inter-operability, and it is often limited to the processing of inputs and outputs or fusion / fission mechanisms. To fill this gap, we propose a semantic service-oriented generic architecture for multimodal systems. This proposal aims to improve the description and the discovery of modality components for assistance services: this is the architecture SOA2m. This architecture is fully focused on multimodality and it is enriched with semantic technologies because we believe that this approach will enhance the autonomous behavior of multimodal applications, provide a robust perception of the user-system exchanges, and help in the control of the semantic integration of the human-computer interaction.As a result, the challenge of discovery is addressed using the tools provided by the field of the semantic web services
17
Nigay, Laurence. "Modalité d'interaction et multimodalité". Habilitation à diriger des recherches, Université de la Méditerranée - Aix-Marseille II, 2001. http://tel.archives-ouvertes.fr/tel-00004696.
Texto completoResumen
Mes travaux sont résolument ancrés dans l'ingénierie de l'Interaction Homme-Machine. Ce faisant, les deux facettes, conception ergonomique et conception logicielle, sont apparentes dans mes contributions. Mon étude s'articule autour des termes de modalité d'interaction et de multimodalité. Je me suis appuyée sur des résultats généraux incluant la définition d'une modalité et d'un espace de composition de modalités et je les ai infléchis à deux axes de recherche, l'exploration visuelle d'espaces informationnels et la réalité augmentée. Pour chacun de ces axes, des propriétés ergonomiques, des règles et patrons de conception, des solutions architecturales et logicielles, ainsi que des techniques d'interaction comme la réalité cliquable et la ballade augmentée ont été conçus.
18
Zhang, Leticia Tian. "Understanding danmu: interaction, learning and multimodality in fan video comments". Doctoral thesis, Universitat Pompeu Fabra, 2020. http://hdl.handle.net/10803/669267.
Texto completoResumen
When watching television, many people use social media to share
real-time opinions and feelings. The mediated co-viewing is widely
studied under the name of “second screen” or “social TV”. In Japan
and China, a technology integrates social media—the comments
section—into the video screen, creating an unprecedented form of
participation called danmu or danmaku (“barrage”). This research
aims to describe the characteristics of this emergent discursive genre.
Using content and discourse analysis, we analyzed danmu from 1) a
television series and 2) a thread of “funny danmu” from popular
video sharing sites. The results revealed that users showed diverse
interests (plot, language, culture), appropriated multimodal resources
(color, position, symbols) to make fun, while constructing meaning
using unconventional discursive strategies. The study indicates the
potential of danmu as a space for informal learning, semiotic
creativity, and (para)social interaction, and calls for future research
into video sharing practices beyond YouTube.Cuando ven la televisión, muchas personas usan las redes sociales para compartir opiniones y emociones en tiempo real. La covisualización mediada se estudia ampliamente bajo la denominación de “segunda pantalla” o “televisión social”. En Japón y China, una reciente tecnología permite incrustar las redes sociales (la sección de comentarios) dinámicamente en las secuencias del video, creando una forma de participación sin precedentes llamada danmu o danmaku (“barrera de fuego”). Este trabajo se propone describir las características de este género discurso emergente. Utilizando el análisis del contenido y del discurso, analizamos danmu de: 1) una serie de televisión, y 2) un hilo de “danmu graciosos” de sitios populares de repositorios de videos. Nuestros resultados revelan que los usuarios tienen diversos intereses (trama, lenguaje, cultura), se apropian de recursos multimodales (color, posición, símbolos) para hacer humor y construyen significados usando estrategias discursivas originales. Este estudio muestra el potencial del danmu como un espacio para el aprendizaje informal, la creatividad semiótica y la interacción (para)social, además de motivar futuras investigaciones sobre las prácticas de compartir videos más allá de YouTube.
Quan veuen la televisió, moltes persones fan servir les xarxes socials per compartir opinions i emocions en temps real. La covisualització mediada s’estudia àmpliament sota la denominació de “segona pantalla” o “televisió social”. Al Japó i a la Xina, una tecnologia recent permet incrustar les xarxes socials (la secció de comentaris) dinàmicament a les seqüències de vídeo, creant una forma de participació sense precedents anomenada danmu o danmaku (“barrera de foc”). Aquest treball es proposa descriure les característiques d’aquest gènere discursiu emergent. Utilitzant l’anàlisi del contingut i del discurs, estudiem danmu de: 1) una sèrie de televisió, i 2) un fil de “danmu graciosos” de llocs populars de repositoris de vídeos. Els nostres resultats revelen que els usuaris tenen diversos interessos (trama, llenguatge, cultura), s’apropien dels recursos multimodals (color, posició, símbols) per fer humor i construeixen significats utilitzant estratègies discursives originals. Aquest estudi mostra el potencial del danmu com a espai per a l’aprenentatge informal, la creativitat semiòtica i la interacció (para)social, a més de motivar futures investigacions sobre les pràctiques de compartir vídeos més enllà de YouTube.
19
Jourde, Frédéric. "Collecticiel et multimodalité : spécification de l'interaction la notation COMM et l'éditeur e-COMM". Thesis, Grenoble, 2011. http://www.theses.fr/2011GRENM018/document.
Texto completoResumen
Dans le domaine de l'Interaction Homme-Machine, nos travaux concernent l'interaction multiutilisateur et multimodale. Exploitant les avancées importantes en terme de modalités d'interaction, de nombreux collecticiels reposent sur une combinaison de modalités, comme les systèmes multiutilisateurs autour d'une table augmentée. Néanmoins ces systèmes constituent des réalisations ad-hoc en l'absence d'outils de conception. Face à constat, nos contributions conceptuelles et logicielles concernent la phase de spécification de l'interaction multiutilisateur et multimodale. Nous présentons une notation de spécification notée COMM (COllaborative et MultiModale) qui est une extension de CTT par l'introduction de deux concepts, le rôle interactif et la tâche modale, et par la spécialisation des opérateurs temporels, en s'appuyant sur les relations de Allen. La notation COMM est instrumentée par un éditeur logiciel de spécifications COMM, nommé e-COMM ((http://iihm.imag.fr/demo/editeur/). COMM et e-COMM ont été utilisés dans un projet DGA de taille conséquente pour spécifier l'interaction au sein d'un poste de commande de drones militairesMulti-user multimodal interactive systems involve multiple users that can use multiple interaction modalities. Although multi-user multimodal systems are becoming more prevalent (especially multi-user multimodal systems involving multi-touch surfaces), their design is still ad-hoc without properly keeping track of the design process. Addressing this issue of lack of design tools, our doctoral research is dedicated to the specification of multi-user multimodal interaction. The doctoral research contributions include the COMM (Collaborative and MultiModal) notation and its on-line editor for specifying multi-user multimodal interactive systems. Extending the CTT notation, the salient features of the COMM notation include the concepts of interactive role and modal task as well as a refinement of the temporal operators applied to tasks using the Allen relationships. The COMM notation and its on-line editor e-COMM (http://iihm.imag.fr/demo/editeur/) have been successfully applied to a large scale project dedicated to a multimodal military command post for the control of unmanned aerial vehicles (UAV) by two operators
20
Gonseth, Chloe. "Multimodalité de la communication langagière humaine : interaction geste/parole et encodage de distance dans le pointage". Thesis, Grenoble, 2013. http://www.theses.fr/2013GRENS011/document.
Texto completoResumen
Désigner un objet à l’attention d’un interlocuteur est l’un des processus fondamentaux de la communication langagière. Ce processus est généralement réalisé à travers l’usage combiné de productions vocales et manuelles. Le but de ce travail est de comprendre et de caractériser les interactions entre la parole et le geste manuel dans des tâches de deixis spatiale, afin de déterminerde quelle façon l’information communicative est portée par chacun de ces deux systèmes,et de tester les principaux modèles de traitement du geste et de la parole.La première partie de l’étude concerne la production du pointage vocal et manuel. L’originalité de ce travail consiste à rechercher des paramètres d’encodage de la distance dans les propriétés acoustiques, articulatoires et cinématiques du pointage multimodal, et à montrer que ces différentes caractéristiques sont corrélées les unes aux autres, et sous-tendues par un même comportement moteur de base : désigner un objet distant implique de produire des gestes plus larges, qu’ils soient vocaux ou manuels. Ce patron moteur peut alors être rapporté à l’encodage phonologique de la distance dans les langues du monde. Le paradigme expérimental utilisé dans cette étude contraste des pointages bimodaux vs unimodaux vocaux vs unimodaux manuels, et la comparaison de ces différentes conditions révèle par ailleurs une coopération bi directionnelle entre les modalités vocales et manuelles, qui se répartissent la charge informative lorsqu’elles sont utilisées ensemble.La deuxième partie de l’étude explore le développement du pointage multimodal. Les propriétés du pointage multimodal sont analysées chez des enfants de 6 à 12 ans, dans une tâche expérimentale comparable à celle des adultes. Cette deuxième expérience atteste d’un développement progressif du couplage geste/parole pour la deixis spatiale. Elle révèle que la distance est encodée préférentiellement dans les gestes manuels des enfants, par rapport à leurs gestes vocaux(surtout chez les jeunes enfants). Elle montre également que l’usage coopératif des gestes manuels et de la parole est déjà à l’oeuvre chez les enfants, avec cependant plus d’influence du geste sur la parole que le patron inverse.Le troisième volet de ce travail considère les interactions sensorimotrices dans la perception de la deixis spatiale. Une étude expérimentale basée sur un principe d’amorçage intermodal montre que le geste manuel joue un rôle dans le mécanisme de perception/production des unités sémantiques du langage. Ces données sont mises en parallèle avec les études sur la naturesensorimotrice des représentations dans le traitement des unités sonores du langage.L’ensemble de ces résultats plaide pour une représentation fortement intégrée des gestes manuels et de la parole dans le cerveau langagier humain, et ce même à un stade relativement précoce du développement. Ils montrent également que l’encodage de la distance est un indice robuste,présent dans tous les aspects du pointage multimodalDesignating an object for the benefit of another person is one of the most basic processes inlinguistic communication. It is most of the time performed through the combined use of vocaland manual productions. The goal of this work is to understand and characterize the interactionsbetween speech and manual gesture during pointing tasks, in order to determine howmuch linguistic information is carried by each of these two systems, and eventually to test themain models of speech and gesture production.The first part of the study is about the production of vocal and manual pointing. The originalaspect of this work is to look for distance encoding parameters in the lexical, acoustic,articulatory and kinematic properties of multimodal pointing, and to show that these differentcharacteristics can be related with each other, and underlain by a similar basic motor behaviour: designating a distant object induces larger gestures, be they vocal or manual. This motorpattern can be related with the phonological pattern that is used for distance encoding in theworld’s languages. The experimental design that is used in this study contrasts bimodal vs. vocalmonomodal vs. monomodal manual pointings, and a comparison between these conditionsreveals that the vocal and manual modalities act in bidirectional cooperation for deixis, sharingthe informational load when used together.The second part of the study explores the development of multimodal pointing. The propertiesof multimodal pointing are assessed in 6-12 year-old children, in an experimental task similarto that of the adults. This second experiment attests a progressive evolution of speech/gestureinteractions in the development of spatial deixis. It reveals that distance is preferentially encodedin manual gestures in children, rather than in vocal gestures (and especially so in youngerchildren). It also shows that the cooperative use of speech and manual gesture in deixis is alreadyat play in children, though with more influence of gesture on speech than the reversedpattern.The third part of the study looks at sensorimotor interactions in the perception of spatial deixis.This experimental study, based on an intermodal priming paradigm, reveals that manual gestureplays a role in the production/perception mechanism associated with the semantic processingof language. These results can be related with those of studies on the sensorimotor nature ofrepresentations in the processing of linguistic sound units.Altogether, these studies provide strong evidence for an integrated representation of speech andmanual gestures in the human linguistic brain, even at a relatively early age in its development.They also show that distance encoding is a robust feature, which is also present in all aspectsof multimodal pointing
21
Fuchs, Yann. "Les quotatifs en interaction. Approche synchronique d'un paradigme en mouvement, dans un corpus d'anglais oral britannique et irlandais". Thesis, Paris 3, 2012. http://www.theses.fr/2012PA030139.
Texto completoResumen
Cette thèse propose une exploration synchronique du paradigme des quotatifs en anglais oral, suite à l’avènement dans ce groupe fonctionnel de deux nouvelles formes, GO et BE LIKE, apparues il y a moins de cinq décennies. Elle s’inscrit dans la continuité de plusieurs études antérieures visant à rendre compte du système quotatif de l’anglais depuis les phases précoces de ce changement linguistique désormais avéré. À partir d’un corpus de données originales, cette thèse examine les différentes fonctions pragmatiques, interactionnelles et discursives des quotatifs afin de mettre au jour certains facteurs de distribution de ces marqueurs en discours. L’approche adoptée est à la fois polysystémique, pluri-théorique et multimodale : la langue est un système complexe, dans lequel plusieurs sous-systèmes interagissent pour participer à la construction de l’interaction. Afin de rendre compte de cette multiplicité, l’application conjointe de plusieurs systèmes d’analyse et de plusieurs approches théoriques est indispensable. Cette thèse tient également compte de la dimension multimodale de la langue orale. Elle examine, qualitativement et quantitativement, les fonctions accomplies par les quotatifs en termes de représentation, de réitération d’événements antérieurs et de performance. Elle propose également un tour d’horizon des diverses stratégies narratives attribuables aux quotatifs lorsqu’ils participent conjointement à la construction de séquences dialoguées. Ce travail montre qu’en définitive, ce n’est que par la combinaison de plusieurs grilles d’analyse qu’il est possible de réduire le nombre d’événements imprévisibles dans les productions de la langue orale en interactionThis thesis gives a synchronic account of the quotative paradigm in oral English, subsequently to the recent arrival of the new introducers GO and BE LIKE less than five decades ago. It stands in the wake of earlier studies that have aimed at analysing the quotative system of English since the earliest phases of this recently attested change in progress. The study was carried out on a corpus of original data, the Cambridge Student Corpus, which contains semi-guided dyadic conversations between British and Irish native speakers. This thesis examines, from an empirical point of view, the various pragmatic, interactional and discourse functions of quotatives in order to shed light on their complementary distribution in oral interaction. The chosen approach is polysystemic, multi-theoretic and multimodal. Language is a complex system, within which several sub-systems interact to participate in building spoken interaction. In order to account for this complexity, it is necessary to apply several methods of analysis and various linguistic theories simultaneously. This thesis also takes into account the multimodal aspects of oral interaction. It gives a qualitative and quantitative account of quotatives with respect to their functions of representation, reiteration of prior events and multimodal performance. It also examines various narrative strategies that these markers may implement as they participate together in the elaboration of sequences of dialogue. This work illustrates the notion that only through a combination of different methods can the analyst reduce the number of unexplained events that occur in oral interaction
22
Helm, Francesca. "I'm not disagreeing, I'm just curious: Exploring identities through multimodal interaction in virtual exchange". Doctoral thesis, Universitat Autònoma de Barcelona, 2017. http://hdl.handle.net/10803/400763.
Texto completoResumen
Aquesta tesi explora l'aparició de la identitat en la interacció multimodal dins d'un context situat en un intercanvi virtual, és a dir "un programa d'educació persona-a-persona, sostingut i habilitat per la tecnologia". Considera que la identitat és construïda a través del discurs i reconstruïda cada cop que abordem una interacció, i que els contextos situats en una interacció poden limitar igual a augmentar les oportunitats dels individus per abordar l'ús del llenguatge i la construcció de la identitat. Entendre com els alumnes construeixen i representen identitats en determinats contextos pot ajudar-nos en el disseny educatiu i la implementació de processos de l'aprenentatge de la llengua.
La tesi comença presentant un marc per a l'anàlisi de la identitat en contextos "en línia", basat en propostes etnogràfiques i centrades en el discurs sobre la identitat en la interacció, la investigació en la Comunicació Mediada per l’Ordenador (CMO) i la multimodalitat. Aquest marc em permet explorar la identitat en l'intercanvi virtual en diversos nivells. Primer de tot miro els fonaments ideològics, polítics i teòrics d’un programa virtual que va ser dissenyat per gestionar la relació entre les "societats occidentals" i les "societats predominantment musulmanes". Posteriorment exploro el paper del mediador i la potencialitat de l'ús de tecnologies asíncrones i síncrones multimodals adoptades per a la interacció i la construcció de la identitat en el programa virtual. Finalment analitzo els patrons d'interacció i el posicionament de la identitat d'un grup particular de gent jove connectat des de Palestina, Tunísia, Egipte, Jordània, Qatar i els Estats Units per participar en el "diàleg facilitat" a l’intercanvi al llarg d'un període de 7 setmanes.
Els meus resultats indiquen que les identitats en aquest context són fluides i emergents, igual a les dinàmiques del poder dins de les interaccions. Les relacions de poder entre els facilitadors i els participants són asimètriques i això es reflecteix en certs intercanvis, però els facilitadors també gestionen les dinàmiques de poder creant un espai segur i, a través de ‘fer transcripcions’ de les interaccions en el xat de text, ajuden la comprensió entre els participants. En conseqüència, les dinàmiques de poder canvien, des de principi en les primeres sessions, quan els participants van iniciar les interaccions, i més endavant, quan van qüestionar, van desafiar i van construir el coneixement basades en les perspectives d'uns i d’altres. A intentar comprendre el 'altre', els participants fan rellevant el seu propi identitat i el de les identitats locals viscudes, per exemple ser un jove a Tunísia o Egipte en un moment històric quan la gent havia pres els carrers per demanar un canvi; o el fet de ser un jove americà que està en desacord amb, o sap poc sobre la política exterior del seu govern. El participants utilitzen aquestes identitats, dins del context d'un grup de diàleg, amb el mateix objectiu de compartir i adquirir una major comprensió de l'altre. El context de diàleg ajuda a molts dels participants trobar la seva pròpia veu, tot i que hi ha asimetries en termes de competències de la llengua, en les dinàmiques de poder i hi ha diferència de coneixements de la geopolítica.
La investigació en aquesta àrea és rellevant, particularment avui en dia que està marcat per la crisi dels refugiats, l'augment de les nacionalismes i les populismes, les alertes terroristes i la por de ‘l'altre'. Els polítics demanen als educadors que ajuden els estudiants a tenir una actitud positiva vers a la diferència, i que desenvolupin coneixements pràctics digitals i la consciència crítica. Evidentment hi ha una necessitat urgent per a una millor comprensió de com es pot fer això. Busco ressaltar com es poden aplicar algunes dels resultats d'aquest estudi en el disseny de contextos en línia i multimodals que ofereixin als alumnes la possibilitat de posicionar-se lliurement les seves diferents identitats.Esta tesis explora la aparición de la identidad en la interacción multimodal dentro de un contexto situado en un intercambio virtual, es decir “un programa de educación persona-a-persona, sostenido y habilitado por la tecnología”. Considera que la identidad es construida a través del discurso y reconstruida cada vez que abordamos una interacción, y que los contextos situados en una interacción pueden tanto limitar como aumentar las oportunidades de los individuos para abordar el uso del lenguaje y la construcción de la identidad. Entender como los alumnos construyen y representan identidades en determinados contextos puede ayudarnos en educación al diseñar y implementar los procesos del aprendizaje de la lengua. La tesis empieza presentando un marco para el análisis de la identidad en contextos “online”, basado en propuestas etnográficas y centradas en el discurso sobre la identidad en la interacción, la investigación en la Comunicación Mediada por el Ordenador (CMO) y la multimodalidad. Este marco me permite explorar la identidad en el intercambio virtual en varios niveles. Primero de todo miro los fundamentos ideológicos, políticos y teóricos del intercambio virtual, un programa virtual que fue diseñado para gestionar la relación entre las “sociedades occidentales” y las “sociedades predominantemente musulmanas”. Posteriormente exploro el papel de mediador y la potencialidad del uso de tecnologías asíncronas y síncronas multimodales adoptadas para la interacción y la construcción de la identidad en el intercambio virtual. Finalmente analizo los patrones de interacción y el posicionamiento de la identidad de un grupo particular de gente joven conectado desde Palestina, Túnez, Egipto, Jordania, Qatar y los Estados Unidos para participar en el “diálogo facilitado” en el intercambio a lo largo de un periodo de 7 semanas. Mis hallazgos indican que las identidades en este contexto son fluidas y emergentes, como lo son las dinámicas de poder dentro de las interacciones. Las relaciones de poder entre los facilitadores y los participantes son asimétricas y esto se refleja en ciertos intercambios , pero los facilitadores también gestionan las dinámicas de poder creando un espacio seguro y asumiendo el control de las interacciones apoyando la comprensión a través de transcripciones. En consecuencia las dinámicas de poder cambiaron desde las primeras sesiones, cuando los participantes no iniciaron muchas interacciones en comparación con sesiones posteriores, cuando empezaron cuestionar, desafiar y construir conocimientos basados en las perspectivas de unos y otros. Al intentar comprender el ‘otro’, los participantes hacen relevante suyo propio identidad y el de las identidades locales vividas, por ejemplo ser un joven en Túnez o Egipto en un momento histórico cuando la gente había tomado las calles para demandar un cambio; o el hecho de ser un joven americano que está en desacuerdo con o sabe poco sobre la politicaasimetríasexterior de su gobierno. Utiliza estas identidades, dentro del contexto de un grupo de diálogo, y tienen el mismo objetivo de compartir y adquirir una mayor comprensión del otro. El contexto les permitió a muchos de los participantes encontrar su propia voz, a pesar de las asimetrías en términos de competencias del lenguaje, en las dinámicas de poder y las diferencias de conocimientos de la geopolítica.
This thesis explores the emergence of identity in multimodal interaction within the situated context of a virtual exchange, that is a "technology-enabled, sustained, people-to-people education program". It takes the view that identity is discursively constructed and reconstituted every time we engage in interaction, and that the situated contexts of interaction can both limit and enhance opportunities for individuals to engage in language use and identity construction. Understanding how learners construct and enact identities in certain contexts can thus help us in the design and implementation of online language learning in education. This thesis begins by presenting a framework for the analysis of identity in online contexts, based on ethnographic and discourse-centred approaches to identity in interaction, research on CMC and multimodality. This framework allows me to explore identity in virtual exchange on various levels. I first of all of look at the ideological, political and theoretical underpinnings of a virtual exchange which was designed to address the relationship between ‘Western societies’ and ‘predominantly Muslim societies’. I then explore the mediating role and the affordances of the multimodal, asynchnronous and synchronous technologies adopted for interaction and identity construction in the exchange. Finally, I analyse the patterns of interaction and identity positionings of one particular group of young people connecting from Palestine, Tunisia, Egypt, Jordan, Qatar and the United States to engage in “facilitated dialogue” in the virtual exchange over a period of 7 weeks. Findings indicate that identities in this context are fluid and emergent, as are the power dynamics within interactions. The power relations between facilitators and participants are asymmetric and this is reflected in certain exchanges, but the facilitators also address power dynamics by supporting understanding through transcription, and supporting the participants in creating a safe space and to take control of the interactions. Power dynamics thus shifted as participants initiated interactions, questioned, challenged and built upon one another’s perspectives. In seeking to gain understanding of the “other”, interactants made relevant their own and each others’ local and lived identities, for example being a young person in Tunisia or Egypt at a historic time when people have been taking to the streets to demand change or being a young American who disagrees with or knows little about his government’s foreign policy. Orienting to these identities in the context of a facilitated dialogue group with the shared goal of acquiring greater understanding of the “other” allowed many of the participants to find a voice, despite the asymmetries in terms of language competence, quality of connection and knowledge of geopolitics. Research in this area is relevant, particularly in the current time which is marked by refugee crises, increased nationalisms and populisms, terror alerts and fear of the “other”. Policy makers are calling on educators to have students engage positively with difference, develop digital literacies and critical awareness and there is an urgent need for greater understanding as to how this can be done. I seek to highlight how we can apply some of the findings of this study to the design of learning in multimodal online contexts which offer learners a range of identity positionings.
23
Orso, Valeria. "Toward multimodality: gesture and vibrotactile feedback in natural human computer interaction". Doctoral thesis, Università degli studi di Padova, 2016. http://hdl.handle.net/11577/3424451.
Texto completoResumen
In the present work, users’ interaction with advanced systems has been investigated in different application domains and with respect to different interfaces. The methods employed were carefully devised to respond to the peculiarities of the interfaces under examination. We could extract a set of recommendations for developers.
The first application domain examined regards the home. In particular, we addressed the design of a gestural interface for controlling a lighting system embedded into a piece of furniture in the kitchen. A sample of end users was observed while interacting with the virtual simulation of the interface. Based on the videoanalysis of users’ spontaneous behaviors, we could derive a set of significant interaction trends
The second application domain involved the exploration of an urban environment in mobility. In a comparative study, a haptic-audio interface and an audio-visual interface were employed for guiding users towards landmarks and for providing them with information. We showed that the two systems were equally efficient in supporting the users and they were both well- received by them. In a navigational task we compared two tactile displays each embedded in a different wearable device, i.e., a glove and a vest. Despite the differences in the shape and size, both systems successfully directed users to the target. The strengths and the flaws of the two devices were pointed out and commented by users.
In a similar context, two devices supported Augmented Reality technology, i.e., a pair of smartglasses and a smartphone, were compared. The experiment allowed us to identify the circumstances favoring the use of smartglasses or the smartphone. Considered altogether, our findings suggest a set of recommendations for developers of advanced systems. First, we outline the importance of properly involving end users for unveiling intuitive interaction modalities with gestural interfaces. We also highlight the importance of providing the user the chance to choose the interaction mode better fitting the contextual characteristics and to adjust the features of every interaction mode. Finally, we outline the potential of wearable devices to support interactions on the move and the importance of finding a proper balance between the amount of information conveyed to the user and the size of the device.I sistemi computazionali hanno ormai da tempo abbandonato lo scenario immobile della scrivania e tendono oggi a coinvolgere sempre di più ambiti della vita quotidiana, in altre parole pervadono le nostre vite. Nel contesto del pervasive o ubiquitous computing, l’interazione tra l’utente e la macchina dipende in misura sempre minore da specifici sistemi di input (per esempio mouse e tastiera) e sfrutta sempre di più modalità di controllo naturali per operare con i dispositivi (per esempio tramite i gesti o il riconoscimento vocale). Numerosi sono stati i tentativi di trasformare in modo sostanziale il design dei computer e delle modalità di interazione tra cui l’impiego di sistemi per il riconoscimento dei comandi gestuali, dispositivi indossabili e la realtà aumentata. In tali contesti, i metodi tradizionalmente impiegati per lo studio della relazione uomo-macchina si rivelano poco efficaci e si delinea la necessità di una adeguata revisione di tali metodi per poter indagare adeguatamente le caratteristiche dei nuovi sistemi. Nel presente lavoro, sono state analizzate le modalità di interazione dell’utente con diversi sistemi innovativi, ciascuno caratterizzato da un diverso tipo di interfaccia. Sono stati inoltre considerati contesti d’uso diversi. I metodi impiegati sono stati concepiti per rispondere alle diverse caratteristiche delle interfacce in esame e una serie di raccomandazioni per gli sviluppatori sono state derivate dai risultati degli esperimenti. Il primo dominio di applicazione investigato è quello domestico. In particolare, è stato esaminato il design di una interfaccia gesturale per il controllo di un sistema di illuminazione integrato in un mobile della cucina. Un gruppo rappresentativo di utenti è stato osservato mentre interagiva con una simulazione virtuale del prototipo. In base all’analisi dei comportamenti spontanei degli utenti, abbiamo potuto osservare una serie di regolarità nelle azioni dei partecipanti. Il secondo dominio di applicazione riguarda l’esplorazione di un ambiente urbano in mobilità. In un esperimento comparativo, sono state confrontate un’interfaccia audio-aptica e una interfaccia audio- visiva per guidare gli utenti verso dei punti di interesse e per fornire loro delle informazioni a riguardo. I risultati indicano che entrambi i sistemi sono ugualmente efficienti ed entrambi hanno ricevuto valutazioni positive da parte degli utenti. In un compito di navigazione sono stati confrontati due display tattili, ciascuno integrato in un diverso dispositivo indossabile, ovvero un guanto e un giubbotto. Nonostante le differenze nella forma e nella dimensione, entrambi i sistemi hanno condotto efficacemente l’utente verso il target. I punti di forza e le debolezze dei due sistemi sono state evidenziate dagli utenti. In un contesto simile, sono stati confrontati due dispositivi che supportano la Realtà Aumentata, ovvero un paio di smartglass e uno smartphone. L’esperimento ci ha permesso di identificare le circostanze che favoriscono l’impiego dell’uno o dell’altro dispositivo. Considerando i risultati degli esperimenti complessivamente, possiamo quindi delineare una serie di raccomandazione per gli sviluppatori di sistemi innovativi. Innanzitutto, si evidenzia l’importanza di coinvolgere in modo adeguato gli utenti per indentificare modalità di interazione intuitive con le interfacce gesturali. Inoltre emerge l’importanza di fornire all’utente la possibilità di scegliere la modalità di interazione che meglio risponde alle caratteristiche del contesto insieme alla possibilità di personalizzare le proprietà di ciascuna modalità di interazione alle proprie esigenze. Infine, viene messa in luce le potenzialità dei dispositivi indossabili nelle interazioni in mobilità insieme con l’importanza di trovare il giusto equilibrio tra la quantità di informazioni che il dispositivo è in grado di inviare e la dimensione dello stesso.
24
Ursi, Biagio. "Le refus en interaction : une approche syntaxique et séquentielle de la négation". Thesis, Lyon, 2016. http://www.theses.fr/2016LYSE2184.
Texto completoResumen
Ancrée dans une perspective interactionnelle, cette thèse présente une analyse du phénomène de refus. À partir de sa caractérisation en tant que deuxième partie de paire adjacente, nous avons constitué une collection d’occurrences, issues de corpus audiovisuels documentant plusieurs types d’interaction (conversations entre amis, préparations de repas, interactions en site commercial, visites guidées). Nous avons proposé une transcription détaillée des extraits retenus, qui rend compte des productions verbales ainsi que de la multimodalité. Sous le double angle de vue de la linguistique interactionnelle et de la macrosyntaxe aixoise, nous avons mené une analyse combinée afin de proposer des caractérisations à la fois séquentielles et syntaxiques des actions initiatives et réactives dans les échanges comportant un refus. La première partie analytique de la thèse porte sur le refus d’un objet, la deuxième partie examine le refus d’une réponse incorporée dans la formulation d’une demande de confirmation. Nous avons ainsi fait dialoguer dans une démarche opérationnelle deux approches qui opèrent dans le champ de la langue parlée en interaction. Les analyses multimodales et interactionnelles nous ont conduit à l’individuation de motifs séquentiels, pour lesquels nous avons également pu dégager une caractérisation macrosyntaxique. Dans ce travail, la négation est étroitement liée à la réalisation du refus, elle est considérée à la fois à travers les ressources verbales qui permettent de l’exprimer et dans ses manifestations physiques (secouements de tête, gestes manuels, expressions mimiques)Our research focuses on rejection in conversation, from an interactional linguistic perspective. Rejection is sequentially characterized as a second pair part. Our analysis is based on a collection of instances from naturally occurring video data (ordinary conversations, dinner conversations, interactions in commercial settings, meal preparations, guided tours). We propose a fine-grained transcription of conversational excerpts, taking into account multimodal and verbal resources. From a perspective relying on interactional linguistics and Aix macrosyntax, we carry out a mixed analysis in order to study both sequential and syntactic characterizations of initiative and reactive actions in sequences involving rejection.The first part of our study focuses on the rejection of concrete offers dealing with objects, the second part concerns rejections of candidate answers dealing with confirmation requests. Our research is grounded in talk-in-interaction and we mobilize two approaches that operate in this field. The multimodal and interactional analysis allows us to highlight sequential patterns, which can also be characterized in macrosyntactic terms. In our data, negation is closely connected to the realization of rejection: it is considered both through the verbal resources that enable it to be expressed and in its physical manifestations (head shakes, hand gestures, facial expressions)
25
Rodriguez, Bertha Helena. "Modèle SOA sémantique pour la multimodalité et son support pour la découverte et l'enregistrement de services d'assistance". Electronic Thesis or Diss., Paris, ENST, 2013. http://www.theses.fr/2013ENST0006.
Texto completoResumen
Les entrées et sorties unimodales dans les systèmes actuels ont atteint une maturité reconnue, avec les applications tactiles ou par les services distribués pour la géo-localisation ou la reconnaissance de la parole, du son ou l’'image. Cependant, l'intégration et l’instanciation de toutes ces modalités, manque d’une gestion intelligente du contexte d’acquisition et de restitution basée sur des notions fortement formalisées mais reflétant le sens commun. Ceci demande un comportement plus dynamique du système avec une approche plus adéquate pour gérer l'environnement de l'utilisateur. Cependant,la technologie nécessaire pour atteindre un tel objectif n’est pas encore disponible de façon standardisée, tant au niveau des descriptions fonctionnelles des services unimodaux que de leur description sémantique. Ceci est aussi le cas pour les architectures multimodales, où la composante sémantique est produite par chaque projet sans un accord commun pour assurer l’interoperabilité et est souvent limitée au traitement des entrées et sorties ou aux processus de fusion/fission strictement nécessaires au projet.Pour combler cette lacune, nous proposons une approche sémantique orientée services pour une architecture multimodale générique qui vise à améliorer la description et la découverte des composants de modalité pour les services d'assistance: l'architecture SOA2m. Cette architecture se veut entièrement focalisée sur la multimodalité et enrichie avec des technologies sémantiques car nous croyons que cette orientation permettra d'enrichir le comportement autonome des applications multimodales, avoir une perception robuste des échanges, et contrôler l'intégration sémantiqueUnimodal inputs and outputs in current systems have become very mature with touch applications or distributed services for geo-localization or speech, audio and image recognition. However, the integration and instantiation of all these modalities, lack of an intelligent management of the acquisition and restitution context, based on highly formalized notions reflecting common sense. This requires a more dynamic behavior of the system with a more appropriate approach to manage the user environment.However, the technology required to achieve such a goal is not yet available in a standardized manner, both in terms of the functional description of unimodal services and in terms of their semantic description. This is also the case for multimodal architectures, where the semantic management is produced by each project without a common agreement in the field to ensure inter-operability, and it is often limited to the processing of inputs and outputs or fusion / fission mechanisms. To fill this gap, we propose a semantic service-oriented generic architecture for multimodal systems. This proposal aims to improve the description and the discovery of modality components for assistance services: this is the architecture SOA2m. This architecture is fully focused on multimodality and it is enriched with semantic technologies because we believe that this approach will enhance the autonomous behavior of multimodal applications, provide a robust perception of the user-system exchanges, and help in the control of the semantic integration of the human-computer interaction.As a result, the challenge of discovery is addressed using the tools provided by the field of the semantic web services
26
Pelurson, Sébastien. "Navigation multimodale dans une vue bifocale sur dispositifs mobiles". Thesis, Université Grenoble Alpes (ComUE), 2016. http://www.theses.fr/2016GREAM035/document.
Texto completoResumen
Les dispositifs mobiles sont aujourd’hui omniprésents dans notre quotidien. Leurs évolutions technologiques ainsi que les moyens de communication toujours plus rapides font que les utilisateurs manipulent toujours plus d’informations sur leurs dispositifs mobiles, modifiant ainsi l’usage qu’ils en font, et remplaçant petit à petit les ordinateurs de bureau. Cependant les dispositifs mobiles ne s’utilisent pas de la même manière que les ordinateurs de bureau et doivent faire face à des contraintes qui leur sont propres. En particulier, les écrans de taille réduite ne permettent pas d’afficher autant d’information que sur l’écran d’un ordinateur de bureau. De plus, ces écrans, tactiles pour la plupart, sont utilisés à la fois comme périphérique d’entrée et de sortie, entraînant ainsi des problèmes d’occultation d’une partie de l’écran lors de l’interaction. Ces constats et limitations posent ainsi le problème de la visualisation interactive de grandes quantités d’information sur dispositifs mobiles.Le problème s’articule donc selon deux axes fortement liés : d’une part la visualisation d’information et d’autre part l’interaction sur dispositifs mobiles. Pour le premier axe, nous nous sommes intéressés aux techniques de visualisation permettant de visualiser à la fois une vue globale de l’espace d’information et une sous-partie détaillée de celui-ci. En effet, visualiser uniquement une sous-partie de l’espace d’information rend sa compréhension difficile du fait du manque de contexte. A l’inverse, visualiser l’espace d’information complet à l’écran le rend illisible.Pour le second axe, nous nous sommes interessés aux techniques d’interaction pour naviguer dans l’espace d’information. En effet, la variété des capteurs disponibles aujourd’hui dans les dispositifs mobiles définit un large espace de possibilités en termes de modalités d’interaction.Nos travaux apportent deux types de contribution : conceptuelles et pratiques. Nous présentons tout d’abord un espace de conception des modalités de navigation en l’instanciant au cas des dispositifs mobiles : cet espace permet de décrire, comparer et concevoir des modalités d’interaction pour la tâche de navigation. Nous présentons ensuite un modèle conceptuel de navigation multimodale permettant de naviguer dans un espace d’information multi-échelles.Basé sur un état de l’art des techniques de visualisation sur dispositifs mobiles, nous avons conçu et évalué expérimentalement une technique de visualisation bifocale. Enfin, en nous reposant sur deux espaces conceptuels et l’état de l’art des modalités d’interaction sur dispositifs mobiles, nous proposons plusieurs techniques d’interaction multimodale conçues et évaluées expérimentalement pour naviguer dans un espace d’information multi-échellesMobile devices are now ubiquitous in everyday computing. Technological advances and increasing mobile network performance allow users to manipulate more and more information on their mobile devices, changing the use they make of these types of devices, which are gradually replacing desktop computers. However mobile devices are not used in the same way as desktops and face specific constraints. In particular, smaller screens fail to display as much information as a computer screen. In addition, these screens, mostly tactile, are used as both input and output devices, leading to occlusion of a portion of the screen during touch interaction. These findings and limitations give rise to the problem of interactive visualization of large amounts of information on mobile devices.We addressed this problem by considering two related research axes: on the one hand information visualization and on the other hand interaction on mobile devices.For the first axis, we focused on visualization techniques that provide an overview of the information space and a detailed subset of it. Indeed, only one view of a subset of the information space makes it difficult to understand it because of the lack of context. Conversely, visualizing the complete information space on the screen of a mobile device makes it unreadable.For the second axis, we studied interaction techniques for navigating an information space. Facing the variety of sensors available in todays mobile devices, there is a vast set of possibilities in terms of interaction modalities.We provide two types of contribution: conceptual and practical.First we present a design space of navigation techniques on mobile devices: this design space enables us to describe, compare and design interaction modalities for the task of navigation in an information space. Second we propose a conceptual model of multimodal navigation for navigating a multiscale information space.Based on a state of the art of visualization techniques on mobile devices, we designed, developed and experimentally tested a bifocal view on a mobile device. By relying on our design space and by operationalizing our conceptual model of navigation, we designed developed and experimentally compared several multimodal interaction techniques for navigating a multiscale information space
27
Notér, Hooshidar Annika. "Dansundervisning som förkroppsligad multimodal praktik : en studie om kommunikation och interaktion i dansundervisning". Licentiate thesis, Stockholms universitet, Institutionen för pedagogik och didaktik, 2014. http://urn.kb.se/resolve?urn=urn:nbn:se:su:diva-107135.
Texto completoResumen
Dansundervisning som förkroppsligad multimodal praktik En studie om kommunikation och interaktion i dansundervisning. ABSTRACT Dance teaching as embodied multimodal practice A study about communication and interaction in dance teaching. The overall aim of this study is to increase the knowledge about how communication and interaction between students and teachers is manifested in dance teaching and learning, with a special focus on the students’ agency and how that can be assumed to affect their conditions for learning. In a dance class, teachers and students engage in the dance practice by using different semiotic modes of communication; body movements and gestures, touch, hearing, gaze, sound and speech. The teaching and learning situation can be described as a complex multimodal configuration of signs in different time and space based modes. The object of study is to examine students’ and teachers’ interaction and communication in detail, with a focus on how different semiotic resources are being used and how that affects the design of the dance class. The data consist of video recordings of dance classes in dance college education and more specifically the daily dance practice, the dance class. Video recordings were made in jazz dance, contemporary dance and ballet classes. These genres are, in various degrees, bearers of a tradition of dance teaching where students repeat the movement material that the teacher demonstrates. I base my choice on the fact that this is a common way of teaching dance both in dance college education and elsewhere. By using a multimodal analysis, different modes of communication and their interplay were brought into focus. Employing the perspective of a social semiotic multimodal theory the analyzed data were interpreted and discussed. The result has shown the importance of the body in communication and interaction between students and teachers in dance teaching and learning. Communication and interaction involve and combine different embodied semiotic resources. Signs are being made, interpreted and remade/redesigned with, through and in the body. The way the teachers use their voices in combination with body movements and gestures in instructions and feedback, makes these resources appear hierarchically more important than the verbal language. The result shows that the students make rhetoric choices in their learning processes. It is shown by the way they choose to attend to what the teacher communicates. The students’ choices in responding are mostly by showing how they understand. Further the results show that the teacher is responsible for the overall design of the dance class. The study material consists mostly of movements that the teacher has created in relation to a genre’s esthetics, the teacher chooses what aspects to focus on and how time is disposed. The students’ agency seems limited in terms of how they can affect and influence the design of the dance class. This means that the knowledge that is produced to a great extent is dependent on the teacher’s choices, her esthetic values and her own knowledge. From a didactic point of view this needs to be addressed in dance education in terms of how dance classes are designed, it concerns questions of esthetics, values and power. Keywords: dance teaching and learning, communication, interaction, multimodality, semiotic resource, design
28
Debras, Camille. "L'expression multimodale du positionnement interactionnel (multimodal stance-taking) : étude d'un corpus oral vidéo de discussions sur l'environnement en anglais britannique". Thesis, Paris 3, 2013. http://www.theses.fr/2013PA030155.
Texto completoResumen
Cette recherche propose une analyse multimodale du positionnement interactionnel ou stance-taking. Le corpus de travail, filmé, transcrit et annoté par nos soins dans trois logiciels compatibles (CLAN, PRAAT, ELAN), est une collection de discussions semi-guidées sur le thème de l’environnement (2h 20 min). Les 16 locuteurs sont des étudiants locuteurs natifs d’anglais britannique qui discutent par deux et entre amis. Dans cette recherche, nous adoptons une définition large du « langage », en y incluant l’ensemble des ressources sémiotiques verbales et non-verbales mobilisées pour la co-construction dynamique et intersubjective du sens au cours de l’interaction orale. Nous montrons que les locuteurs intègrent une grande variété de ressources verbales (segments, énoncés), mais aussi vocales (intonation) et mimo-posturo-gestuelles (gestes, expressions du visage), en les synchronisant de manière tant simultanée que séquentielle, pour prendre position vis-à-vis de leur interlocuteur. Au plan théorique, notre approche multi-niveaux et multimodale tisse des liens entre théories françaises de l’énonciation (Benveniste, 1966, Morel et Danon-Boileau, 1998), théorie discursive-fonctionnelle du stance-taking (Kärkkäinen, 2006, Du Bois, 2007), analyse conversationnelle multimodale (C. Goodwin et M.H. Goodwin, 1992, Mondada, 2007), anthropologie linguistique (Ochs, 1996), et étude de la gestualité (Kendon, 2004, Müller, 2004, Streeck, 2009) ; au plan méthodologique, nous combinons analyse qualitative et codage systématique. Notre thèse pose d’abord les bases théoriques et méthodologiques d’une étude multimodale des stances (Partie 1), puis propose la possibilité d’un marquage visuel du positionnement intersubjectif (Partie 2), avant de montrer comment les locuteurs intègrent mots et syntaxe, voix, visage et corps pour prendre position en interaction (Partie 3)In this research, we propose a multimodal analysis of stance-taking based a collection of semi-guided discussions between pairs of friends who discuss environmental issues (2h 20 min). All 16 speakers are university students who are native speakers of British English. We filmed, transcribed and annotated this video corpus in three compatible software tools, CLAN, PRAAT and ELAN. In this research, we defend a broad understanding of “language”, defined as encompassing all verbal and non-verbal semiotic resources involved in the dynamic and intersubjective co-construction of meaning during spoken interaction. We show that speakers integrate a wide range of verbal resources (segments, utterances) as well as vocal (intonation) and visual ones (gestures, postures and facial expressions), and synchronize these resources simultaneously and sequentially so as to take stances with respect to their interlocutors. On a theoretical level, our multi-level, multimodal approach brings together French utterer-centred approaches to language (Benveniste, 1966, Morel and Danon-Boileau, 1998), discursive-functional theories of stance-taking (Kärkkäinen, 2006, Du Bois, 2007), multimodal conversation analysis (C. Goodwin and M.H. Goodwin, 1992, Mondada, 2007), linguistic anthropology (Ochs, 1996) and gesture studies (Kendon, 2004, Müller, 2004, Streeck, 2009); our methodology combines qualitative analysis with systematic coding. This thesis starts with laying the theoretical and methodological bases for a multimodal study of stance-taking (Part 1); it then proposes that some gestures and facial expressions can be used as intersubjective visual stance markers (Part 2), before showing how speakers integrate words and syntax, voice, facial expressions, gestures and physical posture to take stance in interaction (Part 3)
29
Jourde, Frederic. "Collecticiel et Multimodalité : spécification de l'interaction la notation COMM et l'éditeur e-COMM". Phd thesis, Université de Grenoble, 2011. http://tel.archives-ouvertes.fr/tel-00618919.
Texto completoResumen
Dans le domaine de l'Interaction Homme-Machine, nos travaux concernent l'interaction multiutilisateur et multimodale. Exploitant les avancées importantes en terme de modalités d'interaction, de nombreux collecticiels reposent sur une combinaison de modalités, comme les systèmes multiutilisateurs autour d'une table augmentée. Néanmoins ces systèmes constituent des réalisations ad-hoc en l'absence d'outils de conception. Face à constat, nos contributions conceptuelles et logicielles concernent la phase de spécification de l'interaction multiutilisateur et multimodale. Nous présentons une notation de spécification notée COMM (COllaborative et MultiModale) qui est une extension de CTT par l'introduction de deux concepts, le rôle interactif et la tâche modale, et par la spécialisation des opérateurs temporels, en s'appuyant sur les relations de Allen. La notation COMM est instrumentée par un éditeur logiciel de spécifications COMM, nommé e-COMM ((http://iihm.imag.fr/demo/editeur/). COMM et e-COMM ont été utilisés dans un projet DGA de taille conséquente pour spécifier l'interaction au sein d'un poste de commande de drones militaires.
30
Pietrzak, Thomas. "Contributions à la dissémination d'informations haptiques dans un environnement multimodal". Phd thesis, Université de Metz, 2008. http://tel.archives-ouvertes.fr/tel-00390057.
Texto completoResumen
La majorité des interfaces reposent essentiellement sur la vision pour transmettre des informations aux utilisateurs. Cependant certaines situations requièrent des techniques d'interactions permettant d'afficher des informations de manière non-visuelle. Nous avons donc étudié des solutions apportées par le sens du toucher. Après un aperçu sur le domaine de la conception d'interfaces, en particulier sur la notion de multimodalité, nous nous sommes intéressés à une modalité en particulier : l'haptique, qui utilise le sens du toucher. Notre contribution à ce domaine commence par la conception et l'évaluation d'icônes tactiles permettant de coder des informations à l'aide d'une matrice de picots. Elles ont été utilisées dans un système de guidage pour aider des utilisateurs à explorer des formes géométriques grâce au sens du toucher. Nous avons aussi conçu et évalué des icônes utilisant le retour de force d'un bras articulé. Ces deux systèmes d'icônes ont été utilisés dans une application d'exploration de schémas de circuits électriques. Cette application multimodale permet à plusieurs enfants déficients visuels ou voyants d'explorer des schémas de circuits électriques en collaboration. Ils disposent d'informations visuelles et haptiques pour comprendre la forme du circuits, ainsi que les composants présents. Cette application utilise une architecture logicielle multimodale, que nous avons conçue et détaillée. L'architecture en question propose des briques de base permettant de faciliter la conception et le développement d'application multimodales, et en particulier celles utilisant le retour haptique.
31
Touileb, Djaid Nadia. "Contribution à la mise en œuvre d’une architecture ambiante d’interaction homme-robot-environnement. Dans le cadre de la robotique d’aide à la personne dépendante". Thesis, Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLV037/document.
Texto completoResumen
Le sujet de cette thèse de doctorat consiste à proposer une architecture ambiante d’interaction homme-robot-environnement. Dans le cadre de la robotique d’aide à la personne dépendante. Cette architecture va permettre aux robots « Ubiquitous Networked Robots » de prendre en compte le contexte évolutif pour fournir continuellement du service à l'utilisateur. L'architecture proposée utilise le concept d'Ontologie du domaine pour la description de l'environnement. Nous avons choisi d'utiliser l'outil open source PROTEGE qui va nous permettre de définir l'ontologie ainsi que les moteurs de fusion et de fission. Les entrées multimodales seront fusionnées puis subdivisées en tâches élémentaires et envoyées comme commandes au fauteuil roulant muni d'un bras manipulateur. Cette architecture sera validée par des spécifications et des simulations via des réseaux de Pétri temporels et stochastiquesThe subject of this thesis is to provide an ambient architecture for the human-robotenvironment interaction, as part of thedependent person robotics help. This architecture will enable the robot to take into account the changing context and continually provide a service to the user. The architecture uses the concept of ontology for the descriptionof the environment. We have chosen to use the open source PROTEGE because it allows the definition of the ontology and the fusion and fission engines. Indeed, multimodal inputs will be merged and subdivided into elementary tasks and sent tocontrol the wheelchair with the manipulated arm. This architecture will be validated by specifications and simulations via temporal and stochastic Petri nets
32
Touileb, Djaid Nadia. "Contribution à la mise en œuvre d’une architecture ambiante d’interaction homme-robot-environnement. Dans le cadre de la robotique d’aide à la personne dépendante". Electronic Thesis or Diss., Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLV037.
Texto completoResumen
Le sujet de cette thèse de doctorat consiste à proposer une architecture ambiante d’interaction homme-robot-environnement. Dans le cadre de la robotique d’aide à la personne dépendante. Cette architecture va permettre aux robots « Ubiquitous Networked Robots » de prendre en compte le contexte évolutif pour fournir continuellement du service à l'utilisateur. L'architecture proposée utilise le concept d'Ontologie du domaine pour la description de l'environnement. Nous avons choisi d'utiliser l'outil open source PROTEGE qui va nous permettre de définir l'ontologie ainsi que les moteurs de fusion et de fission. Les entrées multimodales seront fusionnées puis subdivisées en tâches élémentaires et envoyées comme commandes au fauteuil roulant muni d'un bras manipulateur. Cette architecture sera validée par des spécifications et des simulations via des réseaux de Pétri temporels et stochastiquesThe subject of this thesis is to provide an ambient architecture for the human-robotenvironment interaction, as part of thedependent person robotics help. This architecture will enable the robot to take into account the changing context and continually provide a service to the user. The architecture uses the concept of ontology for the descriptionof the environment. We have chosen to use the open source PROTEGE because it allows the definition of the ontology and the fusion and fission engines. Indeed, multimodal inputs will be merged and subdivided into elementary tasks and sent tocontrol the wheelchair with the manipulated arm. This architecture will be validated by specifications and simulations via temporal and stochastic Petri nets
33
Tevissen, Yannis. "Diarisation multimodale : vers des modèles robustes et justes en contexte réel". Electronic Thesis or Diss., Institut polytechnique de Paris, 2023. http://www.theses.fr/2023IPPAS014.
Texto completoResumen
La diarisation du locuteur, c'est à dire la tache de déterminer automatiquement « qui parle, quand ? » dans un enregistrement audio ou vidéo, est un des piliers des systèmes modernes d'analyse des conversations. A la télévision, les contenus diffusés sont divers et couvrent à peu près tous les types de conversations, de la discussion calme entre deux personnes, aux débats passionnés, en passant par les interviews en terrain de guerre. L'analyse de ces contenus, réalisée par la société Newsbridge, requiert, en vue de leur archivage et de leur indexation, des méthodes de traitement robustes et justes. Dans ce travail, nous présentons deux nouvelles méthodes permettant d'améliorer la robustesse des systèmes via des approches de fusion. La première se concentre sur la détection d'activité vocale, prétraitement nécessaire à tout système de diarisation. La seconde est une approche multimodale qui tire notamment parti des dernières avancées en traitement du langage naturel. Nous voyons également que les récentes avancées des systèmes de diarisation rendent l'utilisation de la diarisation du locuteur réaliste y compris dans des secteurs critiques tels que l'analyse de larges archives audiovisuelles ou le maintien à domicile de personnes âgées. Enfin ce travail présente une nouvelle méthode d'évaluation de la justesse algorithmique de la diarisation du locuteur en vue de rendre son utilisation plus responsableSpeaker diarization, or the task of automatically determining "who spoke, when?" in an audio or video recording, is one of the pillars of modern conversation analysis systems. On television, the content broadcasted is very diverse and covers about every type of conversation, from calm discussions between two people to impassioned debates and wartime interviews. The archiving and indexing of this content, carried out by the Newsbridge company, requires robust and fair processing methods. In this work, we present two new methods for improving systems' robustness via fusion approaches. The first method focuses on voice activity detection, a necessary pre-processing step for every diarization system. The second is a multimodal approach that takes advantage of the latest advances in natural language processing. We also show that recent advances in diarization systems make the use of speaker diarization realistic, even in critical sectors such as the analysis of large audiovisual archives or the home care of the elderly. Finally, this work shows a new method for evaluating the algorithmic fairness of speaker diarization, with the objective to make its use more responsible
34
Wassrin, Maria. "Musicking : Kreativ improvisation i förskolan". Licentiate thesis, Stockholms universitet, Barn- och ungdomsvetenskapliga institutionen, 2013. http://urn.kb.se/resolve?urn=urn:nbn:se:su:diva-88733.
Texto completoResumen
This thesis draws on a video ethnography of music activities in a preschool setting in Sweden. It focuses on the participants’ co-construction of music activities and on their use of semiotic and material resources to constitute and sustain these activities. The videos document musicking (Small, 1998), that is, events involving a series of musical activities: work with instruments, dancing and movements, singing and listening. The data were collected during one year and includes 24 hours of video films (altogether 30 musicking events). The participants in the study are 1-3 years old children and their music pedagogues (preschool staff members who worked in the preschool on a daily basis). In terms of theoretical influence, the study is inspired by conversation analysis (Sacks, 1992), linguistic anthropology and work on aesthetic processes (Duranti & Black, 2012; Sawyer, 1997; 2003), as well as sociocultural theorizing (Lave, 1996; Rogoff, 1995; Wenger, 1998). The findings show that the individual young children (2-year-olds) engage in musicking, and that they also initiative various novel activities: such as conducting, dancing, singing, and exploring instruments. In these activities, mobility in the room is essential for the children`s access to instruments and other artifacts and for their possibility to participate in specific activities. The musicking events evolve as multimodal events, where different participation strategies are allowed and creative improvisations involve both musical and extra-musical actions. But a major finding is that the music pedagogues’ responsive uptake and creative improvisations are critical for the individual children`s ability to participate in specific activities and for bringing together the individual child and the group in collaborative musicking.Forskarskolan: Globalisering, literacy och utforskande lärprocesser: Förskolebarns språk, läsande, skrivande och matematiserande (GUL).
35
Mohand, Oussaïd Linda. "Conception et vérification formelles des interfaces homme-machine multimodales : applications à la multimodalité en sortie". Thesis, Chasseneuil-du-Poitou, Ecole nationale supérieure de mécanique et d'aérotechnique, 2014. http://www.theses.fr/2014ESMA0022/document.
Texto completoResumen
Les interfaces homme-machine (IHM) multimodales offrent à l’utilisateur la possibilité de combiner les modalités d’interaction afin d’augmenter la robustesse et l’utilisabilité de l’interface utilisateur d’un système. Plus particulièrement, en sortie, les IHM multimodales permettent au système de restituer à l’utilisateur, l’information produite par le noyau fonctionnel en combinant sémantiquement plusieurs modalités. Dans l’optique de concevoir de telles interfaces pour des systèmes critiques, nous avons proposé un modèle formel de conception des interfaces multimodales en sortie. Le modèle proposé se décompose en deux modèles : le modèle de fission sémantique qui décrit la décomposition de l’information à restituer en informations élémentaires, et le modèle d’allocation qui spécifie l’allocation des modalités et médias aux informations élémentaires. Nous avons également développé une formalisation B Événementiel détaillée des deux modèles : fission sémantique et allocation. Cette formalisation a été instanciée sur des études de cas puis généralisée dans un processus de développement B Événementiel cadre dans lequel s’inscrivent les modèles de fission sémantique et d’allocation. Cette formalisation a permis de procéder à la vérification de propriétés de sûreté, de vivacité et d’utilisabilitéMultimodal Human-Computer Interfaces (HCI) offer to users the possibility to combine interaction modalities in order to increase user interface robustness and usability. Specifically, output multimodal HCI allow system to return to the user, the information generated by the functional core by combining semantically different modalities. In order to design such interfaces for critical systems, we proposed a formal model for the design of output multimodal interfaces. The proposed model consists of two models: the semantic fission model describes the decomposition of the information to return into elementary information and the allocation model specifies the allocation of the elementary information with modalities and media. We have also developed a detailed Event B formalization for the two models: semantic fission and allocation. This formalization has been instantiated on case studies and generalized in an Event B development process framework including semantic fission and allocation models. This formalization allows to carry out safety, liveness and usability properties verification
36
Gherman, Tatiana I. "Spoken and embodied interaction in facilitated computer-supported workplace meetings". Thesis, Loughborough University, 2018. https://dspace.lboro.ac.uk/2134/36164.
Texto completoResumen
Almost 25 years ago, Clawson, Bostrom, and Anson (1993) drew attention to the fact that the ability to facilitate diverse human and technological interactions will be one of the most essential skills for leading and contributing to all levels of the organization in the future (p. 547). Today, there is an increased interest in studying facilitated meetings, wherein facilitation is most commonly understood as the process of helping groups work effectively to accomplish shared outcomes. Nevertheless, little of the existing research has provided empirically-grounded insights into the practice of facilitation. This thesis aims to close this gap by means of providing a detailed analysis of how facilitators go about doing facilitation work in facilitated computer-supported workplace meetings. The data comprise 53 hours of audio- and video-recorded multi-party interactions among facilitator(s) and participants, occurring during facilitated meetings in a business setting. The data were analysed using conversation analysis to examine the talk and embodied conduct of facilitators and meeting participants, as these unfold sequentially. The first analytic chapter reveals the macro-organization of the facilitated meetings, and it contrasts the practice view with the theoretical approach towards the organization of the facilitated meetings. The second analytic chapter investigates the interactional practices used by the facilitators to unpack participation that has already been elicited, captured, and displayed graphically on the public screen via the use of technology. In the third analytic chapter, I explore how the facilitators use computer software to build visual representations of the participants contributions. In the final analytic chapter, I investigate the practices of decision-making in meeting settings with multiple participants. Overall, this thesis makes innovative contributions to our understanding of the practice of facilitated computer-supported workplace meetings. It challenges existing literature on facilitation by finding that facilitators can orchestrate participant input, questioning the facilitator s role as content-neutral , as proposed by leading practitioners in the field of facilitation (e.g., Kaner et al., 2014). At the same time, it shows how the manipulation of computer software is an accountable action and how the decision-making process occasions or constrains the production of alignment between participant(s) and facilitator(s). The thesis also contributes to conversation analytic research on questioning, as well as the action of unpacking participation. I show that the notion that open-ended questions better elicit participation than interrogatives is generally not supported empirically, at least in this context. The thesis contributes to existing literature on multi-party meeting interaction, showing how the departure from the canonical next-speaker selection technique which involves the use of address terms and address positions in an utterance takes place. Further, it enhances our understanding of how computer software constrains and/or affords progressivity in interaction. In this sense, I enhance our understanding of the concept of agency of artefacts. Finally, I contribute to knowledge on group decision-making, an under-researched yet core activity in facilitated and other types of meetings. Here, I contribute to the body of work on the interplay between deontics and epistemics in interaction. This thesis shows the applicability of conversation analysis to the study of facilitation. By analysing talk and embodied conduct, communicative practices for accomplishing successful facilitated meetings are revealed and these should be of core interest to both professional and novice facilitators.
37
Jacquet, Christophe. "Présentation opportuniste et multimodale d'informations dans le cadre de l'intelligence ambiante". Paris 11, 2006. http://www.theses.fr/2006PA112267.
Texto completoResumen
Ce travail se place dans le domaine de l'interaction homme-machine et en particulier dans celui de la multimodalité et des systèmes ambiants. Il vise à concevoir un modèle théorique et une plate-forme pour la spécification et l'implémentation de services d'assistance à des utilisateurs mobiles. Nous introduisons le modèle KUP, dans lequel le noyau fonctionnel du système, les utilisateurs et les dispositifs de présentation (écrans, haut-parleurs, etc. ) sont représentés par des entités logiques. Ce modèle permet un découplage spatial et temporel entre d'une part la fourniture d'une information par le noyau fonctionnel à l'entité utilisateur, et d'autre part, la présentation de cette information par un dispositif adéquat, sur demande de l'entité utilisateur. Ces deux phases sont opportunistes: elles surviennent au gré des déplacements des utilisateurs. Lorsqu'un utilisateur se trouve à proximité de dispositifs de présentation, il faut déterminer quel dispositif et quelle modalité utiliser. Un premier algorithme, conçu de façon incrémentale, permet de choisir le dispositif tout en respectant trois contraintes ergonomiques: complétude, stabilité, optimisation de l'espace. Un second algorithme permet de sélectionner et d'instancier les modalités, en essayant de donner satisfaction aux utilisateurs concernés. Le modèle KUP et les algorithmes correspondants ont été implémentés dans la plate-forme PRIAM (PRésentation des Informations dans l'AMbiant), qui a permis de réaliser des évaluations en laboratoire. Celles-ci ont montré que des systèmes d'affichage dynamiques permettent à des utilisateurs de retrouver leurs informations bien plus rapidement que des affichages statiquesThis research work takes place in the domain of human-computer interaction, and particularly multimodal interaction and ambient intelligence. It aims at specifying a theoretical model and a platform for the design and implementation of mobile users assistance systems. We introduce the KUP model, in which the system's functional core, the users and the presentation devices (screens, loudspeakers, etc. ) are represented by logical entities. This model is original because it imposes no spatial nor temporal coupling between information providing by the functional core to the user entity on the one hand, and information presentation by a suitable device on the other hand. Both phases are opportunistic: they happen fortuitously, as (physical) users move around. When a user is located at proximity of a number of presentation devices, the system must determine which device and which modality shall be used to convey information. First, an incremental algorithm is responsible for choosing a device while abiding by three ergonomic constraints: completeness, stability and display space optimization. Second, a tree-based algorithm selects and instantiates a modality while satisfying users' preferences. The KUP model and the algorithms have been implemented in the PRIAM platform (PResentation of Information in AMbient Intelligence), which has enabled us to carry out evaluations in mock-up environments. The evaluations have shown that dynamic display systems enable users to look up their information far more quickly than static displays
38
Gonseth, Chloé. "Multimodalité de la communication langagière humaine : interaction geste/parole et encodage de distance dans le pointage". Phd thesis, Université de Grenoble, 2013. http://tel.archives-ouvertes.fr/tel-00949090.
Texto completoResumen
Désigner un objet à l'attention d'un interlocuteur est l'un des processus fondamentaux de la communication langagière. Ce processus est généralement réalisé à travers l'usage combiné de productions vocales et manuelles. Le but de ce travail est de comprendre et de caractériser les interactions entre la parole et le geste manuel dans des tâches de deixis spatiale, afin de déterminerde quelle façon l'information communicative est portée par chacun de ces deux systèmes,et de tester les principaux modèles de traitement du geste et de la parole.La première partie de l'étude concerne la production du pointage vocal et manuel. L'originalité de ce travail consiste à rechercher des paramètres d'encodage de la distance dans les propriétés acoustiques, articulatoires et cinématiques du pointage multimodal, et à montrer que ces différentes caractéristiques sont corrélées les unes aux autres, et sous-tendues par un même comportement moteur de base : désigner un objet distant implique de produire des gestes plus larges, qu'ils soient vocaux ou manuels. Ce patron moteur peut alors être rapporté à l'encodage phonologique de la distance dans les langues du monde. Le paradigme expérimental utilisé dans cette étude contraste des pointages bimodaux vs unimodaux vocaux vs unimodaux manuels, et la comparaison de ces différentes conditions révèle par ailleurs une coopération bi directionnelle entre les modalités vocales et manuelles, qui se répartissent la charge informative lorsqu'elles sont utilisées ensemble.La deuxième partie de l'étude explore le développement du pointage multimodal. Les propriétés du pointage multimodal sont analysées chez des enfants de 6 à 12 ans, dans une tâche expérimentale comparable à celle des adultes. Cette deuxième expérience atteste d'un développement progressif du couplage geste/parole pour la deixis spatiale. Elle révèle que la distance est encodée préférentiellement dans les gestes manuels des enfants, par rapport à leurs gestes vocaux(surtout chez les jeunes enfants). Elle montre également que l'usage coopératif des gestes manuels et de la parole est déjà à l'oeuvre chez les enfants, avec cependant plus d'influence du geste sur la parole que le patron inverse.Le troisième volet de ce travail considère les interactions sensorimotrices dans la perception de la deixis spatiale. Une étude expérimentale basée sur un principe d'amorçage intermodal montre que le geste manuel joue un rôle dans le mécanisme de perception/production des unités sémantiques du langage. Ces données sont mises en parallèle avec les études sur la naturesensorimotrice des représentations dans le traitement des unités sonores du langage.L'ensemble de ces résultats plaide pour une représentation fortement intégrée des gestes manuels et de la parole dans le cerveau langagier humain, et ce même à un stade relativement précoce du développement. Ils montrent également que l'encodage de la distance est un indice robuste,présent dans tous les aspects du pointage multimodal.
39
Salazar, Gómez Antonio José. "Développement d'une station d'imagerie médicale multimodalité et multimédia pour la téléradiologie interactive". Compiègne, 1996. http://www.theses.fr/1996COMPD907.
Texto completo
40
Rollet, Nicolas. "Analyse conversationnelle des pratiques dans les appels au Samu-Centre 15 : Vers une approche praxéologique d’une forme située « d’accord »". Thesis, Paris 3, 2012. http://www.theses.fr/2012PA030097/document.
Texto completoResumen
Dans le cadre d’une approche conversationnelle ethnographiquement orientée, mon travail porte sur la coordination dans l’interaction téléphonique dans les appels au 15. Deux aspects de cette coordination sont explorés : (1) l’organisation de l’interrogatoire en formats séquentiels «Question-Réponse-Accusé de réception» ; (2) la coordination entre la production de ces formats séquentiels ternaires et l’interaction avec le dispositif informatique.Cette recherche a été rendue possible par la complexité des données audiovisuelles recueillies au Centre de Réception et de Régulation des Appels (CRRA) du Samu de Versailles(France). Collecte effectuée, après six mois d’observations, en étroite collaboration avec les divers acteurs du Samu. Le premier aspect de la coordination (1) propose une analyse des différentes actions accomplies par un « d’accord » (ou ses équivalents) émergeant après une réponse à une question posée à un appelant (pompier, ambulancier ou particulier) par la permanencière. L’appellation « Accusé de réception » est là pour moindre appât : cette réponse après une réponse revêt une grande richesse tant dans les dimensions prospective que rétrospective, vis-à-vis du travail effectué par les participants pour produire du savoir sur un problème médical, se coordonner pour avancer pas-à-pas, creuser, inférer, marquer des transitions dans l’échange. Le deuxième aspect de la coordination (2) rend compte de la complexité de l’activité de la permanencière qui doit, de façon synchronisée, à la fois s’engager dans un échange conversationnel, organiser la récolte d’informations sur le problème médical, et utiliser des objets tels que souris, clavier, cahiersIn the context of a Conversational Analysis approach ethnographically oriented, my work deals withcoordination in the telephonic interaction of calls made to the French medical emergency call («15»). Two aspects of this coordination are explored : (1) organization of the questioning in the following ternary sequential format « Question-Answer-Acknowledgement » ; (2) coordination between the production of these ternary sequential formats and their interaction with the computerized system.This research is based on audio-visual data gathered at the Center of Reception and Regulation of Calls (in French : CRRA) of the SAMU of Versailles (France).The first aspect of the coordination (1) proposes an analysis of the various actions accomplished through an « OK » ( « d’accord », or its equivalent) which is itself the result of a question put to a caller (fireman, ambulance staff or a private individual) by the CRRA call takers ( »permanencière » in French). This response after an answer presents a wealth of prospective and retrospective features, in terms of the work performed by the participants to obtain and gather informations about a medical problem, to ensure coordination in order to advance step-by-step, to investigate further, to infer, and to establish transitions in the interaction.The second aspect of the coordination (2) illustrates the complexity of the activities of the CCRA staff who must, in a synchronized manner, be engaged in an exchange of a conversational nature, and at the same time organize the gathering of information on the medical problem, while using objects such as a computer mouse, a keyboard, notebooks
41
Clay, Alexis. "La branche émotion, un modèle conceptuel pour l’intégration de la reconnaissance multimodale d’émotions dans des applications interactives : application au mouvement et `a la danse augmentée". Thesis, Bordeaux 1, 2009. http://www.theses.fr/2009BOR13935/document.
Texto completoResumen
La reconnaissance d'émotions est un domaine jeune mais dont la maturité grandissante implique de nouveaux besoins en termes de modélisation et d'intégration dans des modèles existants. Ce travail de thèse expose un modèle conceptuel pour la conception d'applications interactives sensibles aux émotions de l'utilisateur. Notre approche se fonde sur les résultats conceptuels issus de l'interaction multimodale: nous redéfinissons les concepts de modalité et de multimodalité dans le cadre de la reconnaissance passive d'émotions. Nous décrivons ensuite un modèle conceptuel à base de composants logiciels s'appuyant sur cette redéfinition: la branche émotion, facilitant la conception, le développement et le maintien d'applications reconnaissant l'émotion de l'utilisateur. Une application multimodale de reconnaissance d'émotions par la gestuelle a été développée selon le modèle de la branche émotion et intégrée dans un système d'augmentation de spectacle de ballet sensible aux émotions d'un danseurComputer-based emotion recognition is a growing field which develops new needs in terms of software modeling and integration of existing models. This thesis describes a conceptual framework for designing emotionally-aware interactive software. Our approach is based upon conceptual results from the field of multimodal interaction: we redefine the concepts of modality and multimodality within the frame of passive emotion recognition. We then describe a component-based conceptual model relying on this redefinition. The emotion branch facilitates the design, development and maintenance of emotionally-aware systems. A multimodal, interactive, gesture-based emotion recognition software based on the emotion branch was developed. This system was integrated within an augmented reality system to augment a ballet dance show according to the dancer's expressed emotions
42
Pietrzak, Thomas. "Contributions à la dissémination d'informations haptiques dans un environnement multimodal". Electronic Thesis or Diss., Metz, 2008. http://www.theses.fr/2008METZ017S.
Texto completoResumen
La majorité des interfaces reposent essentiellement sur la vision pour transmettre des informations aux utilisateurs. Cependant certaines situations requièrent des techniques d'interactions permettant d'afficher des informations de manière non-visuelle. Nous avons donc étudié des solutions apportées par le sens du toucher. Après un aperçu sur le domaine de la conception d'interfaces, en particulier sur la notion de multimodalité, nous nous sommes intéressés à une modalité en particulier : l'haptique, qui utilise le sens du toucher. Notre contribution à ce domaine commence par la conception et l'évaluation d'icônes tactiles permettant de coder des informations à l'aide d'une matrice de picots. Elles ont été utilisées dans un système de guidage pour aider des utilisateurs à explorer des formes géométriques grâce au sens du toucher. Nous avons aussi conçu et évalué des icônes utilisant le retour de force d'un bras articulé. Ces deux systèmes d'icônes ont été utilisés dans une application d'exploration de schémas de circuits électriques. Cette application multimodale permet à plusieurs enfants déficients visuels ou voyants d'explorer des schémas de circuits électriques en collaboration. Ils disposent d'informations visuelles et haptiques pour comprendre la forme du circuits, ainsi que les composants présents. Cette application utilise une architecture logicielle multimodale, que nous avons conçue et détaillée. L'architecture en question propose des briques de base permettant de faciliter la conception et le développement d'application multimodales, et en particulier celles utilisant le retour haptiqueMost of cumputer interfaces mostly rely on vision to transmit information to users. However some situations require interaction techniques allowing to display information in a non visual manner. We studied solutions using the sense of touch. After an overview of the interface design domain, in particular the notion of multimodality, we focussed on a particular modality: haptics, that uses the sense of touch. Our contribution to this domain begins with the design and the evaluation of tactile icons that allows to encode information with pin matrices. They have been used in a guidance system to help users to explore geometric shapes thanks to the sense of touch. We also designed and evaluated force feedback icons that use a robot arm. These two icon systems have been used in an electric circuits exploration application. This application allows visually impaired users and sighted users to explore electric schematics together in collaboration. They are provided visual and haptic information to understand circuits' shapes and components. This application uses a software architecture we design and detailed. This architecture provides building blocks to ease the design and development of multimodal applications, and especially applications using haptic feedback
43
Appert, Damien. "Conception et évaluation de techniques d'interaction non visuelle optimisées pour de la transmission d'information". Thesis, Toulouse 3, 2016. http://www.theses.fr/2016TOU30095/document.
Texto completoResumen
Dans des situations où la perception visuelle est fortement contrainte ou déficiente, il est nécessaire de rendre perceptible l'information dans une modalité non visuelle, tout en prenant en compte des capacités sensorielles et mnésiques humaines. Par exemple, un non-voyant, souhaitant prendre connaissance d'un itinéraire, devra le parcourir de façon non visuelle et le mémoriser. Cependant, outre l'aspect matériel, la mise en œuvre de solutions alternatives (non visuelles) demeure confrontée aux capacités cognitives de l'utilisateur (compréhension, mémorisation, intégration de plusieurs informations, etc.). L'objet de cette thèse est de contribuer à la conception de techniques d'interactions permettant d'optimiser la transmission non visuelle d'informations. A ces fins, j'ai exploré l'apport de la multimodalité comme moyen d'optimisation permettant d'outrepasser les limites de la mémorisation. Je me suis concentré sur l'étude des techniques d'interaction basées sur les modalités auditives et tactiles, en limitant au maximum l'utilisation de la parole, afin de concevoir des techniques pour des environnements différents (flexibilité), d'optimiser l'utilisation de canaux perceptifs (exploitation des propriétés du son dans des messages audio pour transmettre plus d'informations, par exemple), d'éviter de limiter mes techniques par la barrière de la langue ou de sa compréhension et enfin, pour explorer d'autres solutions que la synthèse vocale seule. Les travaux de ma thèse ont mené à la conception, à l'implémentation et à l'évaluation de techniques d'interaction multimodale non visuelle, en réponse à différents contextes, dont, en particulier, ceux de la transmission d'informations de type , (couple de coordonnées) et (séquence de couples direction-distance). Pour parvenir à concevoir mes interactions, j'ai, tout d'abord, effectué une revue de la littérature, afin d'en extraire les principaux facteurs de conception de techniques d'interaction dédiées à la transmission non visuelle d'information. Puis, j'ai organisé ces facteurs sous la forme d'un cadre d'analyse, sur lequel je me suis appuyé pour concevoir chacune de mes techniques. Trois expériences distinctes ont permis d'évaluer l'influence de facteurs de conception sur l'efficacité des interactions et la satisfaction des utilisateurs vis-à-vis des techniques. Je peux, notamment, citer l'implication des utilisateurs (actif ou passif), la présence d'aides explicites", la transmission de plusieurs informations en parallèle et la modalité principale utilisée et, le type de codage dans lequel est encodée l'informationIn situations where the visual perception is strongly constraint or deficient, it is necessary to make perceptible the information with a "not visual form" while taking into account human sensory and mnesic capacities. For example, a blind person wishing to acquaint an itinerary must read it under a non visual form and memorize it. However, besides the material aspect, the implementation of alternatives (non-visual) still faces to the cognitive abilities of the user (comprehension, memorization, integration of various information, etc.). The purpose of this thesis is to contribute to the design of interaction techniques allowing to optimize the transmission not visual of the information. For these purposes, I explored the feature of multimodality as a means of optimization, allowing of exceeding the memorization limits. I focused on the study of interaction techniques based on auditory and tactile modalities and by minimizing the use of the speech, in order to develop techniques for different environments (flexibility), optimize the use of perceptual channels (operating the properties of sound in audio messages to transmit more information, for example), avoid limiting my techniques by the language barrier or understanding and finally, to explore alternatives to the synthesised voice alone. The works of my thesis led to the design, to the implementation and to the evaluation of interaction techniques "non-visual" and "multiform", in answer to different contexts, whom in particular those of the information transmission of type , (pair of coordinates) and (sequence of couples direction-distance). To achieve design my interactions, I have made a review of literature in order to extract the main factors of design of interaction techniques dedicated to the transmission not visual of the information. Then, I have organized these factors in an analytical framework on which I have relied to design each of my techniques. Three separate experiments were led to evaluate the influence of design factors on the effectiveness of interactions and satisfaction towards users of technology. I can give some of them, the involvement of users (active or passive), the presence of explicit help, the transmission of several information in parallel, the main modality used and the type of coding in which is encoded the information
44
Pruvost, Gaëtan. "Modélisation et conception d’une plateforme pour l’interaction multimodale distribuée en intelligence ambiante". Thesis, Paris 11, 2013. http://www.theses.fr/2013PA112017/document.
Texto completoResumen
Cette thèse s’inscrit dans le domaine de l’intelligence ambiante et de l’interaction homme-machine. Elle a pour thème la génération d’interfaces homme-machine adaptées au contexte d’interaction dans les environnements ambiants. Les travaux de recherche présentés traitent des problèmes rencontrés lors de la conception d’IHM dans l'ambiant et notamment de la réutilisation de techniques d’interaction multimodales et multi-périphériques. Ce travail se divise en trois phases. La première est une étude des problématiques de l’IHM spécifiques à l’Ambiant et des architectures logicielles adaptées à ce cadre théorique. Cette étude permet d’établir les limites des approches actuelles et de proposer, dans la seconde phase, une nouvelle approche pour la conception d’IHM ambiante appelée DAME. Cette approche repose sur l’association automatique de composants logiciels qui construisent dynamiquement une IHM. Nous proposons deux modèles complémentaires qui permettent de décrire les caractéristiques ergonomiques et architecturales des composants. La conception de ces derniers est guidée par une architecture logicielle composée de plusieurs couches qui permet d’identifier les différents niveaux d’abstraction réutilisables d’un langage d’interaction. Un troisième modèle, appelé modèle comportemental, permet de spécifier des recommandations quant à l’instanciation de ces composants. Nous proposons un algorithme permettant de générer des IHM adaptées au contexte et d’évaluer la qualité de celles-ci par rapport aux recommandations du modèle comportemental. Dans la troisième phase, nous avons implémenté une plateforme réalisant la vision soutenue par DAME. Cette implémentation est confrontée aux utilisateurs finaux dans une expérience de validation qualitative. De ces travaux ressortent des résultats encourageants, ouvrant la discussion sur de nouvelles perspectives de recherche dans le cadre de l’IHM en informatique ambianteThis thesis deals with ambient intelligence and the design of Human-Computer Interaction (HCI). It studies the automatic generation of user interfaces that are adapted to the interaction context in ambient environments. This problem raises design issues that are specific to ambient HCI, particularly in the reuse of multimodal and multidevice interaction techniques. The present work falls into three parts. The first part is an analysis of state-of-the-art software architectures designed to solve those issues. This analysis outlines the limits of current approaches and enables us to propose, in the second part, a new approach for the design of ambient HCI called DAME. This approach relies on the automatic and dynamic association of software components that build a user interface. We propose and define two complementary models that allow the description of ergonomic and architectural properties of the software components. The design of such components is organized in a layered architecture that identifies reusable levels of abstraction of an interaction language. A third model, called behavioural model, allows the specification of recommendations about the runtime instantiation of components. We propose an algorithm that allows the generation of context-adapted user interfaces and the evaluation of their quality according to the recommendations issued from the behavioural model. In the third part, we detail our implementation of a platform that implements the DAME approach. This implementation is used in a qualitative experiment that involves end-users. Encouraging preliminary results have been obtained and open new perspectives on multi-devices and multimodal HCI in ambient computing
45
Fricke, Ellen y Jana Bressem. "Gesten - gestern, heute, übermorgen. Vom Forschungsprojekt zur Ausstellung". Universitätsverlag Chemnitz, 2020. https://monarch.qucosa.de/id/qucosa%3A33959.
Texto completoResumen
Das Buch „Gesten -gestern, heute, übermorgen: Vom Forschungsprojekt zur Ausstellung', herausgegeben von Ellen Fricke und Jana Bressem, ist eine Publikation zwischen Katalog, Kunst und Wissenschaft. Aus unterschiedlichen Perspektiven wird ein Rundgang durch die Ausstellung „Gesten - gestern, heute, übermorgen' präsentiert, die im Industriemuseum Chemnitz sowie den Museen für Kommunikation in Berlin und Frankfurt zu sehen war und noch zu sehen ist. Artikel, Interviews und Fotodokumentationen stellen die Exponate in den Kontext von Forschung und ästhetischer Reflexion und möchten einen gesellschaftlichen Diskurs zur Welt von morgen und übermorgen anstoßen.:I Gesten – gestern, heute, übermorgen
II Hände und Objekte in Sprache, Kultur und Technik
III Wie Gesten und Hände sich wandeln: Evolution, Anthropologie, Technologie
IV Hände, Dinge und Gesten ästhetisch reflektiert: Interviews und Texte
V Industriekultur im Wandel: Vom Handgriff zur Gestensteuerung
VI DokumentationThe book „Gestures - past, present, future: From a research project to an exhibition', edited by Ellen Fricke and Jana Bressem, is a publication between catalogue, art, and science. From different disciplines, it presents a tour through the exhibition „gestures - past, present, future' that was and is shown in the Saxon Museum of Industry in Chemnitz and the Museums for Communication in Berlin and Frankfurt Main. Articles, interviews, and photo documentations put exhibits into the context of science as well as aesthetic reflection and hope to initiate a societal discourse about the world of tomorrow and the day after tomorrow.:I Gesten – gestern, heute, übermorgen II Hände und Objekte in Sprache, Kultur und Technik III Wie Gesten und Hände sich wandeln: Evolution, Anthropologie, Technologie IV Hände, Dinge und Gesten ästhetisch reflektiert: Interviews und Texte V Industriekultur im Wandel: Vom Handgriff zur Gestensteuerung VI Dokumentation
46
de, Roock Robert Santiago. "Literacy as an Interactional Achievement: The Material Semiotics of Making Meaning Through Technology". Diss., The University of Arizona, 2015. http://hdl.handle.net/10150/578718.
Texto completoResumen
This dissertation focuses on minoritized youth digital literacy practice and participation, drawing on an 8-month video ethnography in a 6th grade language arts classroom with primarily bilingual Mexican-American students in a Southwestern public middle school. The case study utilized ethnographic and video analysis methods to examine interactions through, with, and around laptops in a one-to-one laptop classroom. Multiple simultaneous videos of student onscreen activity and webcams paired with a tripod-mounted camera captured whole class and small group interactions. Students, sometimes in different classrooms, were captured communicating online while interacting with their peers around them. Interview data with individuals and small groups focus on out of school digital media use and involvement in participatory cultures. From the large corpus of data, a few literacy events were picked out to represent broader trends among students. I argue that informal digital literacy practices of one group of girls playing a fashion themed massively multiplayer online game (MMOG) were more complex than formal, assigned practice. Like many of their more affluent peers at other schools, the girls harnessed the affordances of digital media to connect with interest-driven online/offline communities, whereas their classmates generally did not connect deeply with participatory online cultures. In doing so, the focus peer group co-constructed a classroom underlife (Goffman, 1961) that simultaneously created space for their sub rosa (Gilmore, 1986) digital literacy practices while resisting without disrupting the official curriculum or their performance as successful students. I conclude that designers of learning environments, teachers included, can foster literacy development by utilizing technology to draw flexibly on student digital funds of knowledge (González et al., 2006) while providing a basis for broader social participation.
47
Song, Le. "Multimodal Interactional Practices in Live Streams on Twitter". Electronic Thesis or Diss., Institut polytechnique de Paris, 2024. http://www.theses.fr/2024IPPAT019.
Texto completoResumen
En tant que forme émergente d'interaction médiatisée, la diffusion en direct (live streaming) est devenue une pratique en pleine expansion qui combine les caractéristiques techniques et interactionnelles de l'interaction vidéo-médiatisée et du chat multi-participants. Le live streaming à l'aide d'appareils mobiles sur plusieurs plateformes est donc une pratique dans laquelle les diffuseurs (streamers) et les spectateurs interagissent sous des formes hautement asymétriques: l'affichage vidéo du diffuseur et le texte écrit du spectateur. Cette thèse de doctorat s'intéresse au live streaming en tant que phénomène interactionnel d'un point de vue séquentiel. S'appuyant sur des données vidéo enregistrées d'activités advenant naturellement dans des live streams orientés vers la vie quotidienne sur Twitter (maintenant ‘X') et sur l'ethnométhodologie et l'analyse conversationnelle (EMCA) comme perspective théorique et méthodologique, la thèse explore comment l'utilisation de multiples ressources (par exemple, parlées, écrites et corporelles), ainsi que la manipulation des ‘affordances' des appareils permettent de produire les cadres de participation propres aux live streams et l'accomplissement de différentes actions conjointes de manière séquentielle. La dissertation se compose de quatre articles de recherche principaux, traitant quatre phénomènes interactionnels caractéristiques des live streams. Le premier analyse les séquences d'ouverture des live streams. Contrairement aux conversations téléphoniques et leur séquence ‘canonique' d'ouverture, les ouvertures de live streams apparaissent plus variables, avec de multiples cadres de participation stratifiés, bien qu'il y ait généralement une phase d'installation reconnaissable où l'activité de diffusion commence. La thèse identifie des préoccupations interactionnelles spécifiques aux ouvertures, à savoir l'attente d'un public adéquat, par les streamers, la manière dont ceux-ci gèrent les interactions avec le public à la fois dans son ensemble, et de manière individuelle dans le cadre d'une relation invité/hôte, et les préoccupations affichées par les participants concernant l'intelligibilité immédiate du stream. L'article II discute de la manière dont les diffuseurs et les spectateurs démontrent attention et engagement en formulant ce que les streams rendent remarquables. Il examine ainsi comment les streamers et les spectateurs produisent des des séquences initiées par des remarques (noticings), et comment l'affinité particulière des live streams avec cette pratique à la fois attentionnelle et interactionnelle peut conduire à une 'effervescence attentionnelle' caractéristique. L'article III inspecte l'activité de dégustation dans le live streaming, où la dégustation est accomplie comme un processus interactif et multimodal qui combine l'expérience sensorielle individuelle avec une dimension publique, et intersubjective. L'article IV enquête les séquences de clôture dans le live streaming. Nous montrons comment les participants s'y orientent vers l'organisation des clôtures caractéristique de la conversation ordinaire, mais d'une manière très sensible aux affordances des diffusions vidéo en direct. La thèse fournit donc une analyse systématique des propriétés interactionnelles les plus caractéristiques du live streamingAs an emerging form of mediated interaction, live streaming has become a rapidly growing practice that combines the technical and interactional features of video-mediated interaction and multi-party chat. Live streaming with mobile devices on multiple platforms has thus been a practice in which streamers and viewers interact in highly asymmetric forms—the streamer's video display and the viewer's written text. This doctoral dissertation focuses on live streams as interactional phenomena from a sequential perspective. Drawing on video-recorded data from ordinary users' naturally unfolding activities in daily life-oriented live streams on Twitter (now ‘X') and taking ethnomethodology and conversation analysis (EMCA) as its theoretical and methodological perspective, the thesis explores how the use of multiple (e.g., spoken, written and embodied) resources, as well as the manipulation of affordance of the devices in establishing the participation framework of live streaming interactions and achieving different joint actions stepwise. The dissertation consists of four main research articles, each focusing on a typical interactional phenomenon in live streaming. All of the articles have been published or are under review. Article I investigates the openings of live streaming. Unlike phone conversations with a canonical opening sequence, live stream openings appear more variable, with laminated participation frames, although there is usually a recognizable "installation" phase where the stream activity begins. We also identified interactional concerns in the opening, that is, the streamers' wait for an adequate audience, their collective and individual management of viewers within a guest/host relationship, and the concern of participants regarding the immediate intelligibility of the stream. Article II discusses how streamers and viewers manage attention and engagement through noticing-based actions. It looks at how streamers and viewers produce noticing sequences and noticing-based sequences, and how the orientation towards noticing may lead to a distinctive form of ‘noticing effervescence.' Article III inspects the activity of tasting in live streaming, re-examining tasting in this particular ecology as an interactive process that combines individual sensory experience with a public, witnessable, and intersubjective dimension. Article IV investigates the organization of closing sequences in live streaming. It shows that while participants can be seen to orient to the sequential organization of closings in ordinary conversation, they do so in a way that is particularly sensitive to the affordances of live video streams. The thesis thus provides a systematic analysis of the most characteristic interactional properties of live streaming
48
Hudson, Nancie. "Practical Theology in an Interpretive Community: An Ethnography of Talk, Texts and Video in a Mediated Women's Bible Study". Scholar Commons, 2017. http://scholarcommons.usf.edu/etd/6713.
Texto completoResumen
This study of social interaction in a small religious group used ethnography of communication as a research method to collect and analyze data from 20 months of fieldwork. As a long-term participant-observer in a women-only interdenominational Bible study, I investigated the group’s patterned ways of speaking, how print and electronic learning materials influenced the practical application of Scripture to daily life, and how the contemporary format for women’s Bible study alters the traditional Bible study experience. Patterned ways of speaking in this setting included group discussions and conversational narratives about religion, motherhood and lack of time. Using affirmations of faith, mentoring advice and troubles talk that included indirect complaints, the women co-constructed new meanings in relational talk. The mediated Bible study experience shifts to women interpretive authority that has been dominated by clergy and men. Text and talk in the workbooks and videos stimulated interpretive conflict and reframing that gave the women intellectual autonomy and recognition for co-constructing knowledge as social worth. Storytelling in the workbooks, videos and local group membered the participants through shared identity, and multimodal learning materials stimulated critical thinking and mediated emotional intimacy in a national and global community. This interpretive community was therefore engaged in what I call women-centered practical theology, and their individual and collective reinterpretation of Scripture is characteristic of the postmodern reformation of Christianity.
49
Wallentin, Rebecca. "Lärares ledarskap och kommunikation : En interaktionsanalytisk studie av tillämpade ledarstrategier i klassrummet med fokus på multimodalitet". Thesis, Linköpings universitet, Institutionen för datavetenskap, 2013. http://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-96404.
Texto completoResumen
Studiens syfte är beskriva lärares olika tillämpning av kommunikationsmönster i klassrummet. Detta görs med avseende på kommunikativa resurser och på så sätt sammankoppla pedagogiska fält som ledarskap och pedagogik till multimodalitet. Modala utgångspunkter för analysen i avseende på kommunikativa förmågor är; ögonkontakt, hållning, placering, avstånd, gester och ansiktsuttryck. Dessa förmågor studeras genom att analysera lärarens användande av dessa i sin interaktion med eleverna samt hur lärarens användande skiljer sig beroende på dennes tillämpning av ledarstrategi. Datamaterialet består av ett antal videosekvenser filmade i ett klassrum med en lärare och en elevklass. Analysen av datamaterialet har genomförts genom en multimodalt interaktionsanalys, vilket har givit stort utrymme till kontextens inverkan på hur de sociala aktörerna använder kommunikativa förmågor. Resultaten visar att beroende på vilken ledarstrategi läraren tillämpar används modaliteter på olika sätt. De modaliteter som var mest distinkta beroende på val av ledarstrategi var; hur läraren spatialt placerade sig i klassrummet, hur läraren placerade sig i förhållande till eleverna och hur läraren använder sitt kroppsspråk. Dessa resultat påvisar hur modaliteter används på olika sätt beroende på pedagogisk tillämpning och situation. Resultaten av studien kan öka kunskapen och förståelsen för mänsklig kommunikation med avseende på multimodalitet. Denna studie kan ses som ett bidrag till arbetet med att utforma och designa en simulator (Simprovsansökan, 2012). Simulatorn skall fungera som ett hjälpmedel för lärarstudenter och möjliggöra förberedande färdigheter i ledarskap och konflikthantering i klassrummet.
50
Reboud, Alison. "Towards automatic understanding of narrative audiovisual content". Electronic Thesis or Diss., Sorbonne université, 2022. https://accesdistant.sorbonne-universite.fr/login?url=https://theses-intra.sorbonne-universite.fr/2022SORUS398.pdf.
Texto completoResumen
Aujourd'hui les histoires se disent en ligne et souvent par le biais de vidéos. Comprendre ces histoires reste un défi pour les systèmes automatiques. Avec la multimodalité comme thème transversal, cette thèse décompose la tâche de "compréhension" en traitant les défis suivants: prédire le degré de mémorabilité, résumer et modéliser la narration des contenus audiovisuelsModern storytelling is digital and video-based. Understanding the stories contained in videos remains a challenge for automatic systems. Having multimodality as a transversal theme, this research thesis breaks down the "understanding" task into the following challenges: Predicting memorability, summarising and modelling stories from audiovisual content