Dissertations / Theses on the topic 'Perception spatiale auditive'

Les effets de la dissociation des référentiels spatiaux sur la perception de l'espace multimodal sont évalués au moyen d'une tâche de fusion Visuo-Auditive (VA). Une étude princeps de fusion VA (Godfroy et al. , 2003) révèle une organisation symétrique de l'espace par rapport au plan sagittal médian. Les systèmes sensoriels visuel et auditif codent l’information spatiale dans des référentiels différents, oculo-centré pour la vision et céphalo-centré pour l'audition. Une première expérimentation montre que la dissociation des référentiels unimodaux, engendrée par une fixation visuelle latérale provoque un décalage de l'espace de fusion VA dont l'axe de symétrie s'établit en position intermédiaire entre l'orientation de la tête et du regard. Cet effet est reproduit dans une 2e expérimentation effectuée dans l’obscurité. Ce résultat conduit à proposer une prise en compte simultanée de la position de la tête et des yeux pour la présentation d'information VA. Pour contourner cette contrainte de conception, une 3e expérimentation analyse l'influence d'indices visuels structurant l'espace allocentré sur la fusion VA. L'effet de dissociation des référentiels spatiaux égocentrés sur la fusion VA est retrouvé, il est robuste et régulier, peu dépendant de l'environnement. La nature intégrative du processus de fusion VA est confirmée, sa résultante perceptive dépend du codage spatial de chacune des modalités. Le référentiel VA n'apparait pas comme le fruit d'une transformation incomplète d'une représentation crânio-centré vers une représentation oculocentrée mais, comme le suggèrent les données de l'électrophysiologie (Snyder, 2005), comme une représentation idiosyncratique de l’espace
Frames of reference dissociation effect on the multisensory space is estimated in a Visual-Auditory (VA) fusion task. Godfroy et al. (2003), showed that there is a symmetrical organization of the VA space relative to the mid sagittal plane. Spatial information is coded differently in visual and auditory sensory systems, eye-centred for vision, head-centred for audition. A first experiment shows a reference frame dissociation effect, VA fusion space is symmetrically organized relative to an intermediary axis inbetween head and eye position when fixation cross is laterally shifted. In a 2nd experiment in total darkness, this effect is also found. Hence, head and eye position for VA information displays need to be accounted for. To bypass this eye position effect, a third experiment investigates allocentric visual cues influence. Again, multisensory space perception still depends on the eye-in-head position. The dissociation of egocentric reference frames effect on VA fusion is robust and regular, visual cues provided by the environment are not so relevant. These results confirm that VA fusion is an integrative phenomenon; it depends on the spatial coding of each sensory modality. VA reference frame seems not to reflect an intermediate stage in a reference frame transformation from head-centred to eye-centred, but rather as electrophysiological data proposed (Snyder, 2005), an idiosyncratic representation of space

Notre perception du monde résulte de traitements des signaux environnementaux, se présentant sous des formes d'énergie variées (e. G. , énergie électromagnétique pour la lumière; énergie mécanique pour le son). Ces traitements impliquent des mécanismes de transduction, de codage et de propagation du message, spécifiques à chaque système sensoriel, et aboutissent à des expériences perceptives qualitativement distinctes les unes des autres. Malgré la spécificité de chaque système sensoriel, la perception des événements est unifiée grâce à des liens étroits entre les différentes modalités sensorielles. Cette hypothèse est aujourd'hui communément admise grâce aux résultats de nombreux travaux au niveau neurophysiologique et comportemental. En effet, l'existence de convergence de signaux provenant de différentes modalités sensorielles, vers certaines structures cérébrales, ainsi que la mise en évidence de mécanismes d'interaction multimodale, tant au niveau neuronal que comportemental, semble montrer que ces signaux sont intégrés dans des processus communs de la perception. Au niveau perceptif, l'interaction multimodale se traduit par la modification de la perception d'un événement pour une modalité sensorielle donnée, lorsqu'une stimulation, d'une ou plusieurs autres modalités sensorielles, est émise simultanément. De nombreux travaux ont notamment mis en évidence des processus d'interaction entre le système visuel et le système auditif, grâce à l'étude de certaines illusions perceptives. Par exemple, dans un environnement bruyant, nous pouvons aisément suivre le discours d'une personne, si nous regardons les mouvements de ses lèvres (Cherry, 1953). D'autres observations montrent que la localisation d'un stimulus auditif peut être déplacée en direction d'un stimulus visuel présenté simultanément (Radeau and Bertelson, 1974). Par exemple, lorsque nous regardons un film au cinéma, nous avons l'impression que les voix des acteurs proviennent de l'écran, alors qu'elles sont en fait émises par des haut-parleurs situés de part et d'autre de l'écran. Si ces effets semblent mettre en évidence une influence du système visuel sur le traitement spatial des signaux auditifs, l'effet inverse n'est pas observé. Il semblerait ainsi que le flux des informations visuelles domine celui des informations auditives dans le traitement spatial d'événements audiovisuels et que la vision joue un rôle prépondérant dans notre perception de l'espace. Afin de préciser le rôle joué par le système visuel dans le développement des aptitudes spatiales auditives, certains chercheurs ont étudié les performances de personnes aveugles dans des tâches de localisation auditive. Les premiers résultats montraient que les performances de sujets aveugles de naissance, à localiser des cibles auditives, sont inférieures, d'une part, à celles de sujets aveugles ayant eu une expérience visuelle, et, d'autre part, à celles de sujets normaux, privés au cours de la tâche de toute stimulation visuelle (Fisher, 1964; Warren, Anooshian et al. , 1973). De ce constat, Fisher (1964) conclut que le développement d'aptitudes spatiales auditives nécessite une expérience visuelle. Le système visuel n'étant pas fonctionnel dès la naissance chez les aveugles congénitaux, leurs aptitudes spatiales auditives seraient considérablement altérées. Cependant, d'autres observations contredisent fortement cette hypothèse en mettant en évidence le développement de compensations spatiales auditives suite à une cécité congénitale. D'une part, les aveugles de naissance développent des capacités leur permettant de détecter, de localiser et d'identifier un objet dans leur environnement, par l'analyse des signaux acoustiques se réverbérant sur cet objet (Hausfeld, Power et al. , 1982; Kellogg, 1962; Rice, 1967, 1969; Rice, Feinstein et al. , 1965). D'autre part, les aveugles ont de meilleures performances de localisation de cibles auditives que les voyants, lorsque les stimuli auditifs sont émis à partir de régions spatiales périphériques, c'est-à-dire situées en dehors du champs visuel des voyants (Ashmead, Wall et al, 1998; Lessard, Pare et al. , 1998; Röder, Teder-Salejarvi et al. , 1999). Un déficit total du système a donc pour conséquence la mise en place d'une compensation auditive dans les processus spatiaux. Cependant, nous ne pouvons déterminer à partir de ces seules observations, le rôle joué par la vision dans le développement d'aptitudes spatiales auditives, lorsque le système visuel est fonctionnel. La question de l'influence de l'expérience visuelle sur l'élaboration d'une représentation de l'espace acoustique constitue le cadre général du présent travail.

Notre étude présente une réflexion à propos de espaces musicaux composables. Cette réflexion inclue l'usage intentionnel des qualités sonores perçues dans la construction de sons et donc dans la composition musicale. Nos recherches se trouvent à l'intersection entre le son, comme phénomène physique qui se propage dans un espace, les sensations spatiales qui peuvent être engendrées par la perception auditive de certaines caractéristiques du son, et la pratique de la composition musicale d'espaces de sons dans les œuvres. Nous développons l'idée d'une entité sonore composable dès sa microstructure. Nous la concevons par analogie avec les objets du monde visible et palpable. Nous utilisons les idées de volume, forme et matière ainsi que celles de position et de mouvement des objets matériels, comme métaphore pour concevoir des entités sonores et des espaces musicaux composés dans lesquels elles seront intégrées. Cette entité sonore constituée d'un ensemble d'éléments disparates, permet le développement de réseaux opératoires manipulables dans la pratique par les compositeurs
Our research presents some ideas about composing musical spaces. This study includes the intentional use of the perceived sound qualities in sound construction, and, by the consequence, in musical composition. Our research is in the intersection between the sound as a physical phenomenon, the spatial sensations created by the auditory perception of some sound proprieties, and the musical composition of sound spaces. We develop the idea of a sound entity that we can compose from its microstructure to the macrostructure. We conceive it by means of an analogical thinking about the tangible world objects and the auditory sound sensations. We consider the ideas of volume, form and matter, positions and movements of the material objects. We used these ideas as metaphor to conceive sound entities integrated into and musical composed spaces. The conception of the sound entity as a group of heteroclite elements ; il make possible the conception of operational networks. The composer can use these networks for sound manipulations in his compositional work

Le maintien de la stabilité posturale est généralement décrit comme le résultat de l’intégration de plusieurs modalités sensorielles : vision, proprioception, tactile plantaire et système vestibulaire. Bien qu’étant une source riche d’informations spatiales, l’audition a été très peut étudiée dans ce cadre. Dans cette thèse, nous nous sommes intéressés à l’influence spécifique du son sur la posture.La première partie de ces travaux concerne la mise en place et la caractérisation perceptive d’un système de spatialisation ambisonique d’ordre 5. Ce système permet de générer et de déplacer des sons dans tout l’espace 3D entourant l’auditeur, ainsi que de synthétiser des espaces sonores immersifs et réalistes.Ensuite, ce système a été utilisé comme un outil pour la génération de stimuli adaptés à l’étude de l’influence du son sur la posture. Ainsi, la posture debout statique de sujets jeunes et en bonne santé a été étudiée dans un ensemble de cinq expériences posturales. Les résultats de ces différentes études montrent que l’information auditive spatiale peut être intégrée dans le système de régulation posturale, et permettre aux sujets d’atteindre une meilleure stabilité posturale.Deux pistes sont évoquées pour interpréter cette stabilisation : d’un côté, l’utilisation des indices acoustiques pour construire une carte spatiale de l’espace environnant, représentation par rapport à laquelle les sujets peuvent se stabiliser ; de l’autre, des phénomènes d’intégration multi-sensorielle, où la modalité auditive permettrait de potentialiser l’intégration des différentes informations fournies par les autres modalités impliquées dans le contrôle postural
Postural control is known to be the result of the integration by the central nervous system of several sensory modalities. In the literature, visual, proprioceptive, plantar touch and vestibular inputs are generally mentioned, and the role of audition is often neglected, even though sound is a rich and broad source of information on the whole surroundind 3D space. In the frame of this PhD, we focused on the specific role of sound on posture. The first part of this work is related to the design, the set-up and the perceptual evaluation of a fifth order ambisonics sound spatialization system. This system makes it possible to generate and move sound sources in the 3D space surrounding the listener and also to synthesize immersive and realistic sound environments. Then, this sound spatialization system was used as a tool to generate sound stimuli used in five different postural tests. In these tests, we studied the static upright stance of young and healthy subjects. The results of these studies show that the spatial auditory information can be integrated in the postural control system, allowing the subjects to reach a better stability.Two complementary trails are proposed to explain these stabilizing effects. Firstly, the spatial acoustic cues can contribute to the building of a mental representation of the surrounding environment; given this representation, the subjects could improve their stability. Secondly, we introduce multisensory integration phenomena: the auditory component could facilitate the integration of the other modalities implied in the postural control system

Dans ce travail de recherche, au croisement de 1 'urbanisme, de la géographie, de la sociologie, de la psycho-acoustique et de la psychologie cognitive, nous traitons la question du parcours sonore urbain. Notre dessein est de construire et d'élaborer des éléments de réponse à notre principale question : qu'est-ce que la mémoire sonore du parcours urbain ? Notre tâche serait alors de mettre en lumière les modes de construction et de constitution de la carte mentale sonore moyennant l'examen du parcours dans la ville. Pour mettre en valeur la synergie qui s'installe entre l'urbain et le chemin, entre le parcours et la sédimentabilité des évènements sonores. Après la réalisation et l'analyse des enquêtes effectuées à Grenoble, Strasbourg, Québec et Sousse (Tunisie), nous arrivons à la présentation et la définition de cinq nouvelles notions fondamentales dans le traitement de la carte mentale sonore à savoir, le Système sonore, le Coefficient Mnésique Sonore, la Synaptogénèse urbaine, le Spectre mental urbain et la Fractalité sonore. Ces notions sont élaborées à partir de l'étude de toutes les données théoriques et méthodologiques que nous avons abordées tout au long de notre réflexion. Elles nous permettent de comprendre le fonctionnement de la mémoire sonore du parcours urbain et de préciser ses caractéristiques et les modalités de son fonctionnement.

Les dispositifs de substitution sensorielle vision-vers-audition convertissent des informations visuelles en un paysage sonore dans le but de permettre de percevoir l’environnement à travers la modalité auditive lorsque la modalité visuelle est altérée. Ils constituent une solution prometteuse pour améliorer l’autonomie des personnes déficientes visuelles lors de leurs déplacements pédestres. Ce travail de thèse avait pour objectif principal de déterminer et d’évaluer un schéma d’encodage pour la substitution sensorielle permettant la perception spatiale 3-dimensionnelle en proposant des protocoles de familiarisation et d’évaluation dans des environnements virtuels plus ou moins complexes. Le premier objectif était de déterminer si la reproduction d’indices acoustiques pour la perception spatiale auditive était plus efficace que l’utilisation d’autres indices acoustiques impliqués dans des interactions audio-visuelles. La première étude a mis en évidence que la modulation de la hauteur tonale dans le schéma d’encodage permettait de compenser en partie les limites perceptives de la spatialisation pour la dimension de l’élévation. La deuxième étude a mis en évidence que la modification de l’enveloppe sonore pouvait permettre de compenser la perception compressée de la distance. Le deuxième objectif de ce travail de thèse était de déterminer dans quelle mesure le schéma d’encodage utilisé préservait les capacités de perception spatiale dans un environnement complexe composé de plusieurs objets. La troisième étude a mis en évidence que les capacités de ségrégation d'une scène visuelle complexe à travers le paysage sonore associé dépendaient de la signature spectrale spécifique des objets la composant lorsque la modulation de la hauteur tonale est utilisée comme indice acoustique dans le schéma d'encodage. Les travaux de cette thèse ont des implications pratiques pour l’amélioration des dispositifs de substitution concernant, d’une part, la possibilité de compenser les limites perceptives spatiales avec des indices acoustiques non-spatiaux dans le schéma d’encodage, et d’une autre part, la nécessité de réduire le flux d’informations auditives pour préserver les capacités de ségrégation du paysage sonore. Les protocoles de familiarisation et d’évaluation en environnement virtuel ayant été développés de sorte à être adaptés à la population déficiente visuelle, les travaux de cette thèse soulignent le potentiel des environnements virtuels pour évaluer précisément les capacités d’utilisation de dispositifs de substitution dans un contexte contrôlé et sécurisé
Visual-to-auditory sensory substitution devices convert visual information into soundscapes for the purpose of allowing the perception of the environment with the auditory modality when the visual modality is impaired. They constitute a promising solution for improving the autonomy of visually impaired people when traveling on foot. The main objective of this thesis work was to determine an encoding scheme for sensory substitution allowing 3-dimensional spatial perception by proposing familiarization and evaluation protocols in virtual environments with different complexities. The first aim was to determine whether the reproduction of acoustic cues for auditory spatial perception was more effective than the use of acoustic cues involved in audio-visual interactions. The first study demonstrated that the modulation of pitch in the encoding scheme could partly compensate for the perceptual limits of spatialization for the dimension of elevation. The second study showed that the modification of the sound envelope could partly compensate for the compressed perception of distance. The second objective was to determine to what extent the determined encoding scheme preserved spatial perception abilities in a complex environment where several objects were present. The third study demonstrated that the segregation capabilities of a complex visual scene through the soundscape depend on the specific spectral signature of the objects composing it when pitch modulation is used as an acoustic cue in the encoding scheme. The work of this thesis has practical implications for the improvement of substitution devices concerning, on the one hand, the possibility of compensating spatial perceptual limits with non-spatial acoustic cues in the encoding scheme, and on the other hand, the need to reduce the amount of auditory information to preserve the segregation abilities of the soundscape. The familiarization and evaluation protocols in a virtual environment having been developed to be adapted to the visually impaired population, the work of this thesis highlights the potential of virtual environments to precisely evaluate the abilities to use sensory substitution devices in a secure context

Cette recherche pose la question du lien entre expérience du mouvement et compréhension sensible de l'espace urbain. Située dans le champ des ambiances architecturales et urbaines, et placée dans le sillon épistémologique et théorique des travaux de sociologie des mobilités issus de l'Université de Lancaster, cette recherche part de l'hypothèse suivante : la compréhension de la perception en mouvement de l'espace urbain est un moyen de relier les échelles disparates du sensible – corporel et contextualisé – et de l'espace à une grande échelle. Des paroles de voyageurs ont été recueillies dans le métro de Paris et à bord d'un train à Lyon, à l'aide d'une adaptation de la méthode des parcours commentés ; des enregistrements sonores ont également été réalisés à bord de transports collectifs ferroviaires (métro, tramway, train) dans cinq villes du monde. De ce corpus empirique émerge une analyse de l'expérience sensible des transports organisée autour de différents registres à l'interface des sensibilités, du moyen de transport et de l'espace traversé. Deux résultats principaux émergent de cette démarche. Premièrement, le développement d'une métholodologie spécifique, capable de rendre compte à la fois de la perception en transports motorisés ainsi que de l'espace urbain à l'épreuve du mouvement. Secondement, des modalités d'analyse originales permettant la construction théorique compréhensive de l'espace urbain « inter-échelles ». L'objectif final de cette mise en confrontation consiste à avancer théoriquement sur la notion d'ambiance à une échelle urbaine.

Peu d'études ont été menées sur l'influence de la stéréoscopie sur la perception d'un mixage audio au cinéma. Les témoignages de mixeurs ou les articles scientifiques montrent pourtant une grande diversité d'opinions à ce sujet. Certains estiment que cette influence est négligeable, d'autres affirment qu'il faut totalement revoir notre conception de la bande-son, aussi bien au niveau du mixage que de la diffusion. Une première série d'expériences s'est intéressée à la perception des sons d'ambiance. 8 séquences, dans leurs versions stéréoscopiques (3D-s) et non-stéréoscopiques (2D), ont été diffusées dans un cinéma à des sujets avec plusieurs mixages différents. Pour chaque présentation, les sujets devaient évaluer à quel point le mixage proposé leur paraissait trop frontal ou au contraire trop « surround », le but étant de mettre en évidence une éventuelle influence de la stéréoscopie sur la perception de la balance frontal/surround d'un mixage audio. Les résultats obtenus ont rejoint ceux d'une expérience préliminaire menée dans un auditorium de mixage, où les sujets se trouvaient en situation de mixeur et devaient eux-mêmes régler la balance frontal/surround : l'influence de la stéréoscopie était faible et n'apparaissait que pour quelques séquences. Des études ont ensuite été menées sur la perception des objets sonores tels que dialogues et effets. Une quatrième expérience s'est intéressée à l'effet ventriloque en élévation : lorsque l'on présente à un sujet des stimuli audio et visuel temporellement coïncidents mais spatialement disparates, les sujets perçoivent parfois le stimulus sonore au même endroit que le stimulus visuel. On appelle ce phénomène l’effet ventriloque car il rappelle l'illusion créée par le ventriloque lorsque sa voix semble plutôt provenir de sa marionnette que de sa propre bouche. Ce phénomène a été très largement étudié dans le plan horizontal, et dans une moindre mesure en distance. Par contre, très peu d'études se sont intéressées à l'élévation. Dans cette expérience, nous avons présenté à des sujets des séquences audiovisuelles montrant un homme en train de parler. Sa voix pouvait être reproduite sur différents haut-parleurs, qui créaient des disparités plus ou moins grandes en azimut et en élévation entre le son et l'image. Pour chaque présentation, les sujets devaient indiquer si la voix semblait ou non provenir de la même direction que la bouche de l'acteur. Les résultats ont montré que l'effet ventriloque était très efficace en élévation, ce qui suggère qu'il n'est peut-être pas nécessaire de rechercher la cohérence audiovisuelle en élévation au cinéma
Few psychoacoustic studies have been carried out about the influence of stereoscopy on the sound mixing of movies. Yet very different opinions can be found in the cinema industry and in scientific papers. Some argue that sound needs to be mixed differently for stereoscopic movies while others pretend that this influence is negligible.A first set of experiments was conducted, which focused on the perception of ambience. Eight sequences - in their stereoscopic (s-3D) and non-stereoscopic (2D) versions, with several different sound mixes - were presented to subjects. For each presentation, subjects had to judge to what extent the mix sounded frontal or “surround.” The goal was to verify whether stereoscopy had an influence on the perception of the front/surround balance of ambience. Results showed that this influence was weak, which was consistent with a preliminary experiment conducted in a mixing auditorium where subjects had to mix the front/surround balance of several sequences themselves.Studies were then conducted on the perception of sound objects such as dialogs or on-screen effects. A fourth experiment focused on ventriloquism in elevation: when presented with a spatially discordant auditory-visual stimulus, subjects sometimes perceive the sound and the visual stimuli as coming from the same location. Such a phenomenon is often referred to as ventriloquism, because it evokes the illusion created by a ventriloquist when his voice seems to emanate from his puppet rather than from his mouth. While this effect has been extensively examined in the horizontal plane and to a lesser extent in distance, few psychoacoustic studies have focused on elevation. In this experiment, sequences of a man talking were presented to subjects. His voice could be reproduced on different loudspeakers, which created disparities in both azimuth and elevation between the sound and the visual stimuli. For each presentation, subjects had to indicate whether or not the voice seemed to emanate from the mouth of the actor. Ventriloquism was found to be highly effective in elevation, which suggests that audiovisual coherence in elevation might be unnecessary in theaters

La particularité et l'enjeu du sujet de recherche résident dans la confrontation entre vision urbanistique de l'espace public, approche physique de la mesure acoustique et prise en compte de la perception de l'environnement sonore. Notre étude de l'évaluation d'ambiances sonores urbaines a pour terrain plusieurs espaces publics. Nous problématisons notre réflexion autour de l'appréhension de la perception sonore et de son évaluation en vue d'en souligner certains paramètres influents. La méthodologie est élaborée dans le but de coupler données perceptives et mesures physiques. Ainsi, une première étape d'enquête in situ aboutit à un corpus composé de 174 questionnaires, 513 photographies et 18 entretiens non directifs de groupe. Puis des mesures acoustiques sont pratiquées aux mêmes temporalités. Enfin, une seconde étape d'entretiens individuels approfondis menés avec les 29 participants est complétée par la réalisation de 145 cartes mentales sonores. Cette méthodologie multi-facettes permet de déterminer l'influence de divers paramètres tels que la présence humaine, la naturalité, la minéralité, la saisonnalité et les formes urbaines sur l'évaluation spatiale et sonore au sein d'espaces publics
The particularity and challenge of this research subject lie in the confrontation between the urbanistic vision of the public space, the physical approach to acoustic measurement and the consideration of how the sonic environment is perceived. Several types of public spaces were used to study the assessment of urban sonic ambiances. We problematize our study of the understanding and assessment of sound perception in order to highlight some of its relevant parameters. The methodology was designed to combine perceptive data and physical measurements. The first stage of in situ investigation thus provided a corpus of 174 questionnaires, 513 photographs and 18 non-directive group interviews. Acoustic measurements were then made at the same temporalities. Finally, a second stage of in-depth individual interviews conducted with the 29 participants was completed with the realization of 145 mental mind maps. This multifaceted methodology helped to determine the influence of several parameters such as human presence, nature, the mineral aspect, seasonality and urban forms on the spatial and sonic assessment in public spaces

Dans cette thèse, nous proposons la mise en place d'un système de réalité augmentée fondé sur le son 3D et la sonification, ayant pour objectif de fournir les informations nécessaires aux non- voyants pour un déplacement fiable et sûr. La conception de ce système a été abordée selon trois axes. L'utilisation de la synthèse binaurale pour générer des sons 3D est limitée par le problème de l'individualisation des HRTF. Une méthode a été mise en place pour adapter les individus aux HRTF en utilisant la plasticité du cerveau. Évaluée avec une expérience de localisation, cette méthode a permis de montrer les possibilités d'acquisition rapide d'une carte audio-spatiale virtuelle sans utiliser la vision. La sonification de données spatiales a été étudiée dans le cadre d'un système permettant la préhension d'objet dans l'espace péripersonnel. Les capacités de localisation de sources sonores réelles et virtuelles ont été étudiées avec un test de localisation. Une technique de sonification de la distance a été développée. Consistant à relier le paramètre à sonifier aux paramètres d'un effet audio, cette technique peut être appliquée à tout type de son sans nécessiter d'apprentissage supplémentaire. Une stratégie de sonification permettant de prendre en compte les préférences des utilisateurs a été mise en place. Les " morphocons " sont des icônes sonores définis par des motifs de paramètres acoustiques. Cette méthode permet la construction d'un vocabulaire sonore indépendant du son utilisé. Un test de catégorisation a montré que les sujets sont capables de reconnaître des icônes sonores sur la base d'une description morphologique indépendamment du type de son utilisé.

Ce travail examine la flexibilité de l’intégration multi-sensorielle dans ses aspects spatiaux et temporels. Dans un premier temps, nous nous intéressons à l’intégration des informations visuelles et proprioceptives dans la localisation d’une position. La performance est étudiée dans une tâche de reproduction passive d’une position spatiale (Exp. 1) en croisant trois modalités d’encodage et de reproduction (visuelle, proprioceptive, visuo-proprioceptive). Dans un second temps, nous nous intéressons à l’intégration des informations visuelles et auditives au cours du temps. La performance est étudiée dans une double tâche de temps de réaction de choix visuoauditive. Deux tâches visuo-manuelle et auditivo-manuelle et une double tâche visuo- et auditivo-manuelle sont proposées en manipulant l’ordre de présentation des stimuli (Exp. 2), en introduisant une amorce sur l’ordre de présentation des stimuli (Exp. 3) et en recourant à une population d’experts en «Counter strike» (Exp. 4). Les principaux résultats ont montré que la similarité et la richesse bimodale des phases d’encodage et de reproduction sont optimales pour la local isation d’une position (Exp. 1). L’intégration visuo-auditive au cours du temps est influencée par les différences individuelles, en partie par la fiabilité de la modalité sensorielle et l’ordre de présentation des stimuli, et par l’expertise individuelle (Exp. 2, 3, 4). L’ensemble de ce travail met en évidence une flexibilité des processus d’intégration multi-sensorielle en fonction de multiples facteurs dont les uns agissent aussi bien sur l’intégration des informations spatiales que sur l’intégration des informations au cours du temps
This work examines the flexibility of multisensory integration in its spatial and temporal aspects. First, we are interested in the integration of visual and proprioceptive information in localizing a position. Performance is studied in a spatial position reproduction task (Exp. 1) crossing three conditions of encoding and reproduction (visual, proprioceptive, visuo-proprioceptive). Second, we are interested in the integration of visual and auditory information during time. Performance is studied in a visuo-auditory dual task of choice reaction time. Two visuo-manual and auditorymanual tasks and one visuo and auditory-manual dual task were proposed handling the stimuli presentation order (Exp. 2), introducing a cue about the stimuli presentation order (Exp. 3) and resorting to a population of experts in «Counter strike» (Exp. 4). Main results showed that the similarity and the bimodal richness of both encoding and reproduction phases are optimal for localizing a position (Exp. 1). Visuo-auditory integration during time is influenced by individual differences, partly by the reliability of sensory modality and the stimuli presentation order, and by expertise (Exp. 2, 3, 4). This work revealed flexibility in multisensory integration processes according to multiple factors of which some act as well on the integration of spatial information and on the integration of information during time

Pour interagir de manière efficace avec notre environnement, nous créons une représentation du monde dans lequel nous évoluons à partir d'informations issues de plusieurs de nos sens. Lorsque ces informations sont contradictoires, le conflit engendré peut se manifester par une dégradation du niveau de notre performance. Dans ce travail de recherche, nous nous sommes intéressés au conflit visuo-auditif et à l'une de ses conséquences : l'insensibilité aux alarmes auditives parfois observée chez les pilotes d'avion. Les questions qui ont motivé cette recherche sont les suivantes : Quelles sont les structures cérébrales impliquées dans la gestion de ce conflit ? A quelle étape des processus sensorimoteurs et cognitifs ces différentes structures interviennent-elles ? Quels processus physiologiques peuvent expliquer l'insensibilité aux alarmes sonores observée chez le pilote d'avion dans une phase de vol cruciale, l'atterrissage ? Nous avons mis en évidence que la gestion du conflit visuo-auditif implique un réseau cérébral pariéto-frontal supramodal. Nous avons également montré que des mécanismes attentionnels et pré-attentionnels peuvent modifier la façon dont le cerveau perçoit certaines informations, et ce, à travers des interactions multimodales à différentes échelles du traitement sensori-moteur. De plus, nous proposons un modèle simplifié du fonctionnement du réseau cérébral impliqué dans la gestion du conflit visuo-auditif. Enfin, nous avons pu mettre en évidence que l'insensibilité aux alarmes chez le pilote était à la fois liée à une modulation pré-attentionnelle du signal auditif, et à la complexité de la prise de décision dans un contexte difficile
The human cognitive system receives environmental information through multiple sensory channels. Most of the time, the channels provide congruent content, the integration of which helps build an unified perception of the world, but sometimes the environment provides inconsistent stimuli that perturb efficient interpretation. These situations generate a conflict associated with a behavioral cost, and sometimes severe consequences. In this research, we were interested in the visuo-auditory conflict and one of its consequences: the insensitivity to auditory alarms, sometimes observed in pilots. These were the questions that motivated this research: What are the brain structures involved in this conflict management? When do they act during the sensorimotor and cognitive processes? What are the physiological processes that may explain the insensitivity to auditory alarms sometimes observed in pilots during the landing, phase of the flight? We showed that the parieto-frontal network involved in unimodal conflict management is also involved in visual-auditory conflict. We also showed that both attentional and pre-attentional mechanisms can modify our perception. These modulations occur through multimodal interactions at different levels of the sensorimotor processing. Lastly, we showed that the insensitivity to alarms in pilots was related to both a pre-attentional modulation of auditory signal and to decision making difficulty in a complex environment. We finally proposed a simplified model of the functioning of the brain network involved in visual-auditory conflict management

Les principales techniques de spatialisation sonores sont pour la plupart orientées vers la reproduction de sources ponctuelles, l’étendue reste un sujet peu exploré. Cette thèse défend l’idée que les sources étendues sont pourtant des objets expressifs pouvant significativement contribuer à la richesse des pratiques de spatialisation, notamment en musique. Nous décomposerons cette thèse en trois hypothèses. La première, auditive, postulera que les sources étendues sont pertinentes perceptivement. C’est-à-dire qu’elles offrent la possibilité de faire varier de nouveaux attributs sonores et que l’auditeur est sensible à ces variations. La seconde, analytique, proposera que la polarisation des techniques de spatialisation les plus courantes vers la source ponctuelle n’est qu’arbitraire et que d’autres modèles de sources peuvent être considérés. La troisième, opérationnelle, suggèrera qu’il est possible de créer des outils permettant aux compositeurs de manier et de s’approprier les sources étendues à des fins musicales.Pour valider ces hypothèses, nous formaliserons les propriétés auditives et musicales de ces sources puis nous proposerons des méthodes concrètes pour les analyser et les synthétiser. Ces travaux seront considérés dans le cadre de la bibliothèque HOA, un ensemble d’outils de spatialisation de bas niveau que nous avons spécialement fondé à des fins d’expérimentations. Nous décrirons les spécificités de cette bibliothèque. Nous verrons notamment comment son architecture et ses différents modules permettent d’ouvrir l’ambisonie à de nouvelles pratiques éloignées du concept de ponctualité
Mainstream spatialization techniques are often oriented towards the reproduction of point sources; extension remains a relatively unexplored topic. This thesis advocates that extended sources are yet expressive objects that could contribute to the richness of spatialization practices, especially in the field of music. We’ll decompose this thesis in three hypotheses. A perceptive one, who postulates that extended sources are perceptually relevant, i.e., that they offer the possibility of varying new sound attributes and that the listener is sensitive to these variations. An analytical one, who proposes that the most common spatialization techniques focus to point sources is arbitrary and that other source’s models can be considered. And an operational one, who suggests that it’s possible to create tools for composers so they can handle and musicalize extended objects. To confirm these hypotheses, we’ll formalize the auditory and musical properties of extended sources and we’ll propose concrete methods for their analysis and synthesis. This work will be considered as part of the HOA library, a set of low-level spatialization tools we’ve founded for the purpose of experimentation. We’ll describe the specificities of this library and see how its architecture and its different modules allow the generalization of ambisonics to new practices away of punctuality

Cette thèse s'intéresse à la composition de rythmes urbains générés par la conception et la planification urbaine. Elle reconnaît les limitations temporelles du plan d'urbanisme qui a tendance à être statique et singulier dans la composition de l'expérience urbaine. Ainsi, elle propose l'intégration du rythme dans le processus de conception urbaine, dans le but d'améliorer la qualité temporelle de l'espace urbain. Pour représenter ces rythmes tels qu'ils sont produits dans la conception graphique, nous proposons leur sonification. Un outil de sonification des plans d'urbanisme (l'outil SUM) a été développé, et permet la sonification de plusieurs couches de cartes le long d'un certain nombre de parcours d'intérêt. Un code sonore urbain a été développé dans le but de relier les paramètres graphiques urbains aux paramètres sonores. Nous avons pris comme cas d'étude la ville de Paris et avons appliqué cette stratégie à sa sonification, afin de produire un ensemble de cartes sonifiées de la ville dont la composition spatio-temporelle pourrait être "écoutée". Des questions temporelles concernant le mouvement humain, les infrastructures de transport, la distribution d'activité, la structuration de la forme urbaine et les éléments de conception, peuvent être représentées et entendues. Nous avons ensuite étudié le potentiel de l'outil SUM comme outil de conception et de planification. Ainsi, grâce à l'intégration de la sonification dans la conception et la planification urbaine, ce travail de recherche permet la représentation spatio-temporelle et la composition de la forme urbaine
This thesis is concerned with the composition of the urban rhythms generated by urban design and planning. It recognises the temporal limitations of the graphic urban masterplan, with its tendency of being static and singular in the composition of urban expérience. Thus it proposes the integration of rhythm into the urban design and planning process, with the aim to improve the temporal quality of urban design. In order to represent these urban rhythms, as designed in the graphic masterplan, we propose their sonification. A Sonified Urban Masterplan (SUM) tool was developed, allowing the sonification of multiple layers of maps along a number of paths of interest. An urban sonic code was then developed in order to map the relevant graphic urban parameters into sound parameters. This sonification strategy was applied to the city of Paris as a case study, producing a sonified set of maps whose composition could be ‘listened’ to over time. Temporal issues concerning human movement, transport infrastructure, activity distribution, and the structuring of urban form and design elements could be represented and heard. We then investigated the potential of the SUM tool as a design and planning tool. Thus through the integration of sonification in urban design and planning, this thesis permits the spatio-temporal representation and composition of urban form

Doutoramento em Música
This thesis explores the possibilities of spatial hearing in relation to sound perception, and presents three acousmatic compositions based on a musical aesthetic that emphasizes this relation in musical discourse. The first important characteristic of these compositions is the exclusive use of sine waves and other time invariant sound signals. Even though these types of sound signals present no variations in time, it is possible to perceive pitch, loudness, and tone color variations as soon as they move in space due to acoustic processes involved in spatial hearing. To emphasize the perception of such variations, this thesis proposes to divide a tone in multiple sound units and spread them in space using several loudspeakers arranged around the listener. In addition to the perception of sound attribute variations, it is also possible to create rhythm and texture variations that depend on how sound units are arranged in space. This strategy permits to overcome the so called "sound surrogacy" implicit in acousmatic music, as it is possible to establish cause-effect relations between sound movement and the perception of sound attribute, rhythm, and texture variations. Another important consequence of using sound fragmentation together with sound spatialization is the possibility to produce diffuse sound fields independently from the levels of reverberation of the room, and to create sound spaces with a certain spatial depth without using any kind of artificial sound delay or reverberation.
Esta tese explora as possibilidades da Audição Espacial em relação à percepção do som e apresenta três composições acusmáticas baseadas numa estética musical que enfatiza esta relação e a incorpora como uma parte do seu discurso musical. A primeira característica importante destas composições é a utilização exclusiva de sinusóides e de outros sinais sonoros invariáveis no tempo. Embora estes tipos de sinais não apresentem variações no tempo, é possível percepcionar variações de altura, intensidade e timbre assim que estes se movem no espaço, devido aos processos acústicos envolvidos na audição espacial. Para enfatizar a percepção destas variações, esta tese propõe dividir um som em múltiplas unidades e espalhá-las no espaço utilizando vários monitores dispostos à volta da plateia. Além da percepção de variações de características do som, também é possível criar variações de ritmo e de textura que dependem de como os sons são dispostos no espaço. Esta estratégia permite superar o problema de “sound surrogacy” implícito na música acusmática, uma vez que é possível estabelecer relações causa-efeito entre o movimento do som e a percepção de variações de características do som, variações do ritmo e textura. Outra consequênça importante da utilização da fragmentação com a espacialização do som é a possibilidade de criar campos sonoros difusos, independentemente dos níveis de reverberação da sala, e de criar espaços sonoros com uma certa profundidade, sem utilizar nenhum tipo de delay ou reverberação artificiais.

Our perceptual system tends to associate higher-pitched sounds with upper spatial positions and smaller visual sizes, and lower pitched-sounds with lower positions and bigger visual sizes. This processes, known as crossmodal correspondences or crossmodal associations, emerges consistently and almost universally. The cognitive, developmental and neural mechanisms underlying these crossmodal correspondences were investigated in the present doctoral dissertation. In the present work, I studied how the crossmodal associations between auditory and visuospatial stimuli modulates cognitive processes in infancy and maturity. In addition, I investigated the impairments in auditory processing in population with visuospatial disorders. The presence of crossmodal associations between pitch and spatial elevation are solid in adults (see Spence, 2011), and can be observed in the ability of certain auditory stimuli to modulate visuospatial attention (e.g., rising sounds facilitate the detection of a visual stimuli in upper areas in the external space). However, it seems that higher- pitched sounds or sounds with rising frequencies have higher inherent spatial properties than lower-pitched or falling frequency sounds. These spatial properties of the sound could modulate the perceptual system and facilitate the detection of visual objects in superior positions of the visual field. We found evidence of the existence of crossmodal correspondences between auditory and visuospatial dimensions also in prelinguistic infants, at the age of 6 months. We observed that 4-month-old infants have not developed yet the mechanisms that facilitate audiovisual associations. This pattern of results suggests that the experience with the physical world and/or further maturation is needed to fully develop certain audiovisual crossmodal associations. Finally, in Study 3, I observed that patients with NLD, that show impairments in visuospatial skills, show a deficit in pitch-related tasks. These evidences could suggest that auditory and visuospatial processes share common mechanisms in some stages of the perceptual processing, that is, for example, that the impairment in visuospatial skills could disrupt the auditory processing.
Estudios previos sugieren la existencia de correspondencias transmodales entre la altura tonal y las dimensiones visuoespaciales (por ejemplo, la elevación espacial o el tamaño visual) (Gallace y Spence, 2006; Rusconi y cols., 2006). La investigación en neuroimagen ha puesto de manifiesto la activación de áreas parietales (por ejemplo, el surco intraparietal, IPS) tradicionalmente asociadas a funciones espaciales, durante la realización de tareas musicales relacionadas con la altura tonal (Foster y Zatorre, 2010a, 2010b). El objetivo de esta tesis doctoral fue investigar los mecanismos cognitivos, de desarrollo y neurales que subyacen a estas correspondencias transmodales. En la primera parte de la tesis, se estudió el papel de las correspondencias transmodales en la modulación de la atención. Exploramos cómo un sonido dinámico específico (por ejemplo, un sonido ascendente) modula exógenamente la localización espacial de un estímulo visual en un adulto. Los participantes realizaron una tarea que consistió en una modificación del paradigma clásico de Posner, en la que usamos sonidos ascendentes y descendentes como señales auditivas. En una segunda parte de la tesis se analizó el desarrollo de los mecanismos implicados en el procesamiento de las correspondencias transmodales. Más específicamente, se investigó si estas están presentes desde muy temprano en el desarrollo, o aparecen debido a al incremento de la experiencia en el entorno. Para ello, se observó la asociación entre la altura tonal y el tamaño visual en bebés de 4 y 6 meses de edad en un paradigma audiovisual de preferencia visual. Por último, en un intento por establecer el papel funcional de ciertas áreas del lóbulo parietal derecho en la asociación entre la altura tonal y la elevación espacial, analizamos si los síndromes neurológicos, asociados con una alteración funcional o estructural del lóbulo parietal derecho (por ejemplo, el trastorno de aprendizaje no verbal, TANV), pueden afectar al desempeño de tareas relacionadas con la altura tonal. Para lograr nuestros objetivos, se comparó el rendimiento en tareas visuoespaciales y auditivas de pacientes con pacientes con TANV y un grupo de control sin trastornos neurológicos o psiquiátricos. Los resultados de estos tres estudios que constituyen esta tesis sugieren: (1) que los sonidos ascendentes pueden ejercer mayor modulación del tiempo de reacción del sistema perceptivo respecto a los objetos visuales que los sonidos descendentes, (2) la existencia de asociaciones transmodales entre la altura tonal y el tamaño visual en bebés de 6 meses de edad, pero no en bebés más pequeños, lo que sugiere que la experiencia y/o maduración es necesaria para desarrollar plenamente esta asociación, y (3) que la alteración funcional o estructural de áreas parietales tiene un impacto negativo en las tareas de procesamiento auditivo, por ejemplo, discriminar alturas tonales. En conclusión, se confirmó que la altura tonal puede modular la atención espacial. En segundo lugar, las correspondencias transmodales están controladas por mecanismos básicos que están presentes desde temprana edad. Por último, también se encontró evidencia de que la percepción de la información auditiva compleja podría requerir áreas del cerebro relacionadas con trastornos neurológicos que afectan el procesamiento del espacio.

Les principales techniques de spatialisation sonores sont pour la plupart orientées vers la reproduction de sources ponctuelles, l’étendue reste un sujet peu exploré. Cette thèse défend l’idée que les sources étendues sont pourtant des objets expressifs pouvant significativement contribuer à la richesse des pratiques de spatialisation, notamment en musique. Nous décomposerons cette thèse en trois hypothèses. La première, auditive, postulera que les sources étendues sont pertinentes perceptivement. C’est-à-dire qu’elles offrent la possibilité de faire varier de nouveaux attributs sonores et que l’auditeur est sensible à ces variations. La seconde, analytique, proposera que la polarisation des techniques de spatialisation les plus courantes vers la source ponctuelle n’est qu’arbitraire et que d’autres modèles de sources peuvent être considérés. La troisième, opérationnelle, suggèrera qu’il est possible de créer des outils permettant aux compositeurs de manier et de s’approprier les sources étendues à des fins musicales.Pour valider ces hypothèses, nous formaliserons les propriétés auditives et musicales de ces sources puis nous proposerons des méthodes concrètes pour les analyser et les synthétiser. Ces travaux seront considérés dans le cadre de la bibliothèque HOA, un ensemble d’outils de spatialisation de bas niveau que nous avons spécialement fondé à des fins d’expérimentations. Nous décrirons les spécificités de cette bibliothèque. Nous verrons notamment comment son architecture et ses différents modules permettent d’ouvrir l’ambisonie à de nouvelles pratiques éloignées du concept de ponctualité
Mainstream spatialization techniques are often oriented towards the reproduction of point sources; extension remains a relatively unexplored topic. This thesis advocates that extended sources are yet expressive objects that could contribute to the richness of spatialization practices, especially in the field of music. We’ll decompose this thesis in three hypotheses. A perceptive one, who postulates that extended sources are perceptually relevant, i.e., that they offer the possibility of varying new sound attributes and that the listener is sensitive to these variations. An analytical one, who proposes that the most common spatialization techniques focus to point sources is arbitrary and that other source’s models can be considered. And an operational one, who suggests that it’s possible to create tools for composers so they can handle and musicalize extended objects. To confirm these hypotheses, we’ll formalize the auditory and musical properties of extended sources and we’ll propose concrete methods for their analysis and synthesis. This work will be considered as part of the HOA library, a set of low-level spatialization tools we’ve founded for the purpose of experimentation. We’ll describe the specificities of this library and see how its architecture and its different modules allow the generalization of ambisonics to new practices away of punctuality

Les terminaux mobiles offrent à ce jour des performances de plus en plus élevées (CPU, résolution de l’écran, capteurs optiques, etc.) Cela rehausse la qualité vidéo des services média, que ce soit pour le visionnage de contenu vidéo (streaming, TV, etc.) ou pour des applications interactives telles que le jeu vidéo. Mais cette évolution concernant l'image n'est pas ou peu suivie par l'intégration de systèmes de restitution audio de haute qualité dans ce type de terminal. Or, parallèlement à ces évolutions concernant l'image, des solutions de son spatialisé sur casque, à travers notamment la technique de restitution binaurale basée sur l'utilisation de filtres HRTF (Head Related Transfer Functions) voient le jour.Dans ce travail de thèse, nous nous proposons d’évaluer l’intérêt que peut présenter le son binaural lorsqu'il est utilisé sur une application mobile audiovisuelle. Une partie de notre travail a consisté à déterminer les différents sens que l’on pouvait donner au terme « application mobile audiovisuelle » et parmi ces sens ceux qui d’une part étaient pertinents et d’autre part pouvaient donner lieu à une évaluation comparative avec ou sans son binaural.Le couplage entre son binaural et visuel sur mobile occasionne en premier lieu une question d’ordre perceptive : comment peut-on organiser spatialement une scène virtuelle dont le son peut se déployer tout autour de l’utilisateur, et dont le visuel est restreint à un si petit écran ? La première partie de cette thèse est consacrée à cette question. Nous menons une expérience visant à étudier le découplage spatial possible entre un son binaural et un visuel rendus sur smartphone. Cette expérience révèle une forte tolérance de l’être humain face aux dégradations spatiales pouvant survenir entre les deux modalités. En particulier, l’absence d’individualisation des HRTF, ainsi qu’un très grand découplage en élévation ne semblent pas affecter la perception. Par ailleurs, les sujets semblent envisager la scène « comme si » ils y étaient eux-mêmes directement projetés, à la place de la caméra, et cela indépendamment de leur propre distance à l’écran. Tous ces résultats suggèrent la possibilité d’une association entre son binaural et visuel sur mobile dans des conditions d’utilisation proches du grand public.Dans la seconde partie de la thèse, nous tentons de répondre à la question de l’apport du binaural en déployant une expérience « hors les murs », dans un contexte plausible d’utilisation grand public. Trente sujets jouent dans leur vie quotidienne à un jeu vidéo de type Infinite Runner, développé pour l’occasion en deux versions, une avec du son binaural, et l’autre avec du son monophonique. L’expérience dure cinq semaines, à raison de deux sessions par jour. Ce protocole procède de la méthode dite "Experience Sampling Method", sur l’état de l’art de laquelle nous nous sommes appuyés. Nous calculons à chaque session des notes d’immersion, de mémorisation et de performance, et nous comparons les notes obtenues entre les deux versions sonores. Les résultats indiquent une immersion significativement meilleure pour le binaural. La mémorisation et la performance ne sont en revanche pas soumises à un effet statistiquement significatif du rendu sonore. Au-delà des résultats, cette expérience nous permet de discuter de la question de la validité des données en fonction de la méthode de déploiement, en confrontant notamment bien-fondé théorique et faisabilité pratique
In recent years, smartphone and tablet global performances have been increased significantly (CPU, screen resolution, webcams, etc.). This can be particularly observed with video quality of mobile media services, such as video streaming applications, or interactive applications (e.g., video games). However, these evolutions barely go with the integration of high quality sound restitution systems. Beside these evolutions though, new technologies related to spatialized sound on headphones have been developed, namely the binaural restitution model, using HRTF (Head Related Transfer Functions) filters.In this thesis, we assess the potential contribution of the binaural technology to enhance the quality of experience of an audiovisual mobile application. A part of our work has been dedicated to define what is an “audiovisual mobile application”, what kind of application could be fruitfully experienced with a binaural sound, and among those applications which one could lead to a comparative experiment with and without binaural.In a first place, the coupling of a binaural sound with a mobile-rendered visual tackles a question related to perception: how to spatially arrange a virtual scene whose sound can be spread all around the user, while its visual is limited to a very small space? We propose an experiment in these conditions to study how far a sound and a visual can be moved apart without breaking their perceptual fusion. The results reveal a strong tolerance of subjects to spatial discrepancies between the two modalities. Notably, the absence or presence of individualization for the HRTF filters, and a large separation in elevation between sound and visual don’t seem to affect the perception. Besides, subjects consider the virtual scene as if they were projected inside, at the camera’s position, no matter what distance to the phone they sit. All these results suggest that an association between a binaural sound and a visual on a smartphone could be used by the general public.In the second part, we address the main question of the thesis, i.e., the contribution of binaural, and we conduct an experiment in a realistic context of use. Thirty subjects play an Infinite Runner video game in their daily lives. The game was developed for the occasion in two versions, a monophonic one and a binaural one. The experiment lasts five weeks, at a rate of two sessions per day, which relates to a protocol known as the “Experience Sampling Method”. We collect at each session notes of immersion, memorization and performance, and compare the notes between the monophonic sessions and the binaural ones. Results indicate a significantly better immersion in the binaural sessions. No effect of sound rendering was found for memorization and performance. Beyond the contribution of the binaural, we discuss about the protocol, the validity of the collected data, and oppose theoretical considerations to practical feasibility

Les terminaux mobiles offrent à ce jour des performances de plus en plus élevées (CPU, résolution de l’écran, capteurs optiques, etc.) Cela rehausse la qualité vidéo des services média, que ce soit pour le visionnage de contenu vidéo (streaming, TV, etc.) ou pour des applications interactives telles que le jeu vidéo. Mais cette évolution concernant l'image n'est pas ou peu suivie par l'intégration de systèmes de restitution audio de haute qualité dans ce type de terminal. Or, parallèlement à ces évolutions concernant l'image, des solutions de son spatialisé sur casque, à travers notamment la technique de restitution binaurale basée sur l'utilisation de filtres HRTF (Head Related Transfer Functions) voient le jour.Dans ce travail de thèse, nous nous proposons d’évaluer l’intérêt que peut présenter le son binaural lorsqu'il est utilisé sur une application mobile audiovisuelle. Une partie de notre travail a consisté à déterminer les différents sens que l’on pouvait donner au terme « application mobile audiovisuelle » et parmi ces sens ceux qui d’une part étaient pertinents et d’autre part pouvaient donner lieu à une évaluation comparative avec ou sans son binaural.Le couplage entre son binaural et visuel sur mobile occasionne en premier lieu une question d’ordre perceptive : comment peut-on organiser spatialement une scène virtuelle dont le son peut se déployer tout autour de l’utilisateur, et dont le visuel est restreint à un si petit écran ? La première partie de cette thèse est consacrée à cette question. Nous menons une expérience visant à étudier le découplage spatial possible entre un son binaural et un visuel rendus sur smartphone. Cette expérience révèle une forte tolérance de l’être humain face aux dégradations spatiales pouvant survenir entre les deux modalités. En particulier, l’absence d’individualisation des HRTF, ainsi qu’un très grand découplage en élévation ne semblent pas affecter la perception. Par ailleurs, les sujets semblent envisager la scène « comme si » ils y étaient eux-mêmes directement projetés, à la place de la caméra, et cela indépendamment de leur propre distance à l’écran. Tous ces résultats suggèrent la possibilité d’une association entre son binaural et visuel sur mobile dans des conditions d’utilisation proches du grand public.Dans la seconde partie de la thèse, nous tentons de répondre à la question de l’apport du binaural en déployant une expérience « hors les murs », dans un contexte plausible d’utilisation grand public. Trente sujets jouent dans leur vie quotidienne à un jeu vidéo de type Infinite Runner, développé pour l’occasion en deux versions, une avec du son binaural, et l’autre avec du son monophonique. L’expérience dure cinq semaines, à raison de deux sessions par jour. Ce protocole procède de la méthode dite "Experience Sampling Method", sur l’état de l’art de laquelle nous nous sommes appuyés. Nous calculons à chaque session des notes d’immersion, de mémorisation et de performance, et nous comparons les notes obtenues entre les deux versions sonores. Les résultats indiquent une immersion significativement meilleure pour le binaural. La mémorisation et la performance ne sont en revanche pas soumises à un effet statistiquement significatif du rendu sonore. Au-delà des résultats, cette expérience nous permet de discuter de la question de la validité des données en fonction de la méthode de déploiement, en confrontant notamment bien-fondé théorique et faisabilité pratique
In recent years, smartphone and tablet global performances have been increased significantly (CPU, screen resolution, webcams, etc.). This can be particularly observed with video quality of mobile media services, such as video streaming applications, or interactive applications (e.g., video games). However, these evolutions barely go with the integration of high quality sound restitution systems. Beside these evolutions though, new technologies related to spatialized sound on headphones have been developed, namely the binaural restitution model, using HRTF (Head Related Transfer Functions) filters.In this thesis, we assess the potential contribution of the binaural technology to enhance the quality of experience of an audiovisual mobile application. A part of our work has been dedicated to define what is an “audiovisual mobile application”, what kind of application could be fruitfully experienced with a binaural sound, and among those applications which one could lead to a comparative experiment with and without binaural.In a first place, the coupling of a binaural sound with a mobile-rendered visual tackles a question related to perception: how to spatially arrange a virtual scene whose sound can be spread all around the user, while its visual is limited to a very small space? We propose an experiment in these conditions to study how far a sound and a visual can be moved apart without breaking their perceptual fusion. The results reveal a strong tolerance of subjects to spatial discrepancies between the two modalities. Notably, the absence or presence of individualization for the HRTF filters, and a large separation in elevation between sound and visual don’t seem to affect the perception. Besides, subjects consider the virtual scene as if they were projected inside, at the camera’s position, no matter what distance to the phone they sit. All these results suggest that an association between a binaural sound and a visual on a smartphone could be used by the general public.In the second part, we address the main question of the thesis, i.e., the contribution of binaural, and we conduct an experiment in a realistic context of use. Thirty subjects play an Infinite Runner video game in their daily lives. The game was developed for the occasion in two versions, a monophonic one and a binaural one. The experiment lasts five weeks, at a rate of two sessions per day, which relates to a protocol known as the “Experience Sampling Method”. We collect at each session notes of immersion, memorization and performance, and compare the notes between the monophonic sessions and the binaural ones. Results indicate a significantly better immersion in the binaural sessions. No effect of sound rendering was found for memorization and performance. Beyond the contribution of the binaural, we discuss about the protocol, the validity of the collected data, and oppose theoretical considerations to practical feasibility