Auswahl der wissenschaftlichen Literatur zum Thema „Individualisation binaurale“

Spatial sound perception in aided listeners partly relies on hearing-aid-related transfer functions (HARTFs), describing the directional acoustic paths between a sound source and the hearing-aid (HA) microphones. Compared to head-related transfer functions (HRTFs), the HARTFs of behind-the-ear HAs exhibit substantial differences in spectro-temporal characteristics and binaural cues such as interaural time differences (ITDs). Since assumptions on antipodal microphone placement on the equator of a three-concentric sphere are violated in such datasets, predicting the ITDs via Kuhn’s simple analytic harmonic model entails excessive errors. Although angular ear-canal offsets have been addressed in an extended Woodworth model, the prediction errors remain large if the frequency range does not comply with the model specifications. Tuned to the previously inaccurately modelled frequency range between 500 Hz and 1.5 kHz, we propose a hybrid multi-harmonic model to predict the ITDs in HRTFs and HARTFs for arbitrary directions in the horizontal plane with superior accuracy. The target model coefficients are derived from individual directional measurements of 30 adults, wearing two dual-microphone behind-the-ear HAs and two in-ear microphones. Model individualisation is facilitated by the availability of polynomial weights that are applied to subsets of individual anthropometric and HA features to estimate the target model coefficients. The model is published as part of the Auditory Modeling Toolbox (AMT, pausch2022) and supplemented with the individual features and directional datasets.

La synthèse binaurale est la technique de spatialisation sonore la plus proche de
l'écoute naturelle. Elle permet un rendu spatialisé d'une source monophonique à une po-
sition donnée avec seulement deux filtres qui correspondent aux oreilles gauche et droite :
les HRTF (Head Related Transfer Function). L'inconvénient majeur de la technique bi-
naurale repose sur le fait que les HRTF, liées à la morphologie de l'auditeur, sont propres
à chaque utilisateur. Une écoute avec des HRTF non-individuelles comporte des artefacts
audibles. Il faut donc acquérir des HRTF individuelles. Cette thèse aborde le problème
de l'individualisation de la synthèse binaurale dans le cadre de son implémentation en un
retard pur, la différence interaurale de temps (ITD), et un filtre à phase minimale déter-
miné par le module de la HRTF. Le travail sur l'ITD permet de valider l'implémentation
choisie même pour les positions où les HRTF sont mal décrites par des filtres à phase
minimale et permet de déterminer, parmi les méthodes classiques de calcul de l'ITD,
celles qui estiment une ITD proche de la perception. Une étude expérimentale est aussi
menée pour établir la résolution de l'ITD avec l'angle d'élévation. Les résultats indiquent
la nécessité perceptive de reproduire les variations de l'ITD en élévation. Une nouvelle
formule d'estimation de l'ITD créée sur la base d'un modèle de tête sphérique, la formule
de déplacement des oreilles (FDO), est développée pour rendre compte de ces variations.
L'optimisation des paramètres de cette formule aux ITD de toute une base de données
de HRTF permet d'entrevoir une formulation moyenne convenant pour un grand nombre
de personne et pour de nombreuses applications. L'étude s'est ensuite focalisée sur la
modélisation du module spectral (filtre à phase minimale). Le travail réalisé sur l'appli-
cation des méthodes de calcul par éléments de frontière (BEM pour Boundary Element
Method) pour l'acquisition de HRTF, indique que cette méthode, peut notamment être
utilisée en complément des mesures pour l'acquisition de la partie basse fréquence des
HRTF. Une approche originale, qui applique des techniques d'apprentissage statistique,
est proposée et étudiée pour la modélisation de HRTF. Un réseau de neurones artificiels
(RNA) est entra^³né pour calculer des HRTF d'un individu à partir de la connaissance
des HRTF mesurées en un nombre réduit de positions. Les premiers résultats sont en-
courageants : le modèle permet d'atteindre un degré assez fin d'individualisation, ce qui
suggère un protocole simplifié d'acquisition de HRTF. Un faible nombre de mesures est
acquis et les autres sont prédites par le modèle.

Avec la généralisation de l'écoute au casque, la technique binaurale apparaît comme une solution privilégiée pour démocratiser l'accès à des contenus sonores spatialisés. La synthèse binaurale repose sur l'utilisation de filtres appelés HRTFs qui restituent à l'auditeur l'ensemble des indices acoustiques de localisation. Ceux-ci possèdent une composante individuelle forte et l'utilisation de filtres non-individuels entraîne des défauts de localisation ou de timbre à la restitution. L’acquisition individuelle des HRTFs requiert un dispositif de mesure complexe. Les méthodes d’individualisation visent à offrir des solutions alternatives à cette mesure individuelle et reposent généralement sur l’exploitation de bases de données de HRTFs. A cet effet, une nouvelle base de données de HRTFs à haute résolution spatiale et fréquentielle a été constituée. Le développement d’un modèle visant à prédire les directions perçues de sources virtuelles synthétisées avec des HRTFs non-individuelles constitue le cœur du travail de thèse. La métrique utilisée pour quantifier la similarité entre HRTFs fait l’objet d’une attention particulière. L’objectif ultime est d’évaluer dans quelle mesure ce modèle peut être utilisé pour sélectionner le jeu de HRTFs optimal pour un individu à partir de ses réponses dans un test de localisation de sources sonores virtuelles synthétisées avec des HRTFs non-individuelles. La mise en place de tels tests implique l’utilisation d’une méthode de report, responsable d’une part d’erreur dans les réponses. La thèse comprend une étude comparative de 3 méthodes de report et la préconisation d’une méthode mieux adaptée au contexte de l’écoute binaurale au casque
With the spread of headphone listening, binaural technology appears as the most appropriate solution to democratize the access to spatialized audio contents. Binaural synthesis of virtual sound sources is based on the use of filters called HRTFs, which provide the listener with accurate localization cues. These cues are however highly listener-dependent and the use of non-individual HRTFs may lead to localization and timbre artefacts.Individual acquisition of HRTFs requires a complex measurement setup installed in an anechoic chamber which is incompatible with large scale deployment. Therefore, individualization methods have been devised in order to offer alternatives to this individual measurement. They are often based on the exploitation of large HRTFs databases. To this end, a new HRTFs database with high spatial and frequency resolution has been created. The development of a model that predicts the perceived direction of a virtual source synthesized with non-individual HRTFs is the core of the thesis work. The choice of the metric used for quantifying the similarity between HRTFs receives a particular attention. The ultimate goal is to evaluate how such a model can be used to select automatically the optimal HRTFs set for an individual, from the observation of his responses in a localization test of virtual sound sources synthesized with non-individual HRTFs. The implementation of such a test implies the use of a reporting method, which may introduce some bias in the responses. This thesis includes a comparative study of 3 reporting methods and the recommendation of a method more suitable in the context of binaural listening through headphones

Cette thèse se concentre sur l'individualisation des HRTF pour la synthèse binaurale. Les systèmes permettant de mesurer des HRTF sont difficiles d'accès au grand public, ce qui pose un problème pour la démocratisation de l'audio binaurale de haute qualité. C'est pour cette raison que nous recherchons une méthode permettant de calculer les HRTF d'une personne qu'à partir de la connaissance de sa morphologie. Ces travaux de thèse avancent sur les investigations visant à avoir une technique de personnalisation de l'audio binaurale. La technique de personnalisation proposée part du principe qu'il existe un lien direct et systématique liant des paramètres de la morphologie d'un individu avec les indices spectraux de ses HRTF. Elle est basée sur la détermination d'une fonction qui prend en entrée des paramètres morphologiques et qui donne en sortie des paramètres de transformation à appliquer à un jeu de HRTF existant pour obtenir un jeu de HRTF personnalisé. Cette fonction est estimée à partir d'analyses statistiques faits sur une base de données contenant des modèles numériques des individus ainsi que leurs HRTF. Pour atteindre cet objectif, il faut construire dans un premier temps les données à partir desquelles nous allons estimer notre fonction de personnalisation. Ces travaux expliquent les systèmes que nous avons conçus pour mesurer les HRTF des individus ainsi que pour obtenir leur modèle numérique tridimensionnel. De plus, les protocoles de mesure associés à chaque système sont expliqués. Enfin, nous expliquons comment les données obtenues peuvent être exploitées pour développer un procédé de personnalisation des HRTF
This thesis focuses on the HRTF individualization problem in the context of binaural synthesis for general applications. HRTF strongly depend on morphological features of a person and, in order to provide compelling auditory spaces, binaural synthesis requires the use of individualized HRTF. Measuring or calculating the HRTF of a listener are common but lengthy and costly methods that are not feasible for general public applications. That is the reason why we aim to develop an alternative technique to obtain customized HRTF. The technique proposed relies on estimating the spectral cues of the HRTF, corresponding to the colorations induced by pinna filtering, from a person's morphology. The spectral cues represent the most complex and individual part of HRTF. The work presented in this thesis is based on the existence of a direct and systematic link between the morphology of a person and the spectral cues of their HRTF. The goal is to start from individualization techniques of HRTF and make studies for better understanding the relationship between the morphology of a person and their HRTF. The ultimate goal is then to find a proper morphological matching personalization technique. The first step to achieve this goal is to build the measuring systems who will help us create the databases that we will use for our analyses. This thesis explains the two measuring systems that were created and the measuring protocols that were used to create two related databases containing the 3D models and the measured HRTFs of a collection of people. We then explain how these databases can be used to fit the HRTF individualization technique we have proposed

Le travail de thèse qui est rapporté dans le présent document a porté sur le problème de l'individualisation des HRTF pour la synthèse binaurale. Les HRTF sont les filtres linéaires, chacun associé à une direction de l'espace, qui portent en eux l'expression de tous les indices physiques de localisation nécessaires pour une perception de l'espace par le système auditif. La synthèse binaurale utilise avantageusement ces filtres pour sculpter les signaux à présenter aux tympans de l'auditeur, afin de lui procurer l'illusion d'une scène sonore réaliste. Les HRTF étant très liées à la morphologie de la tête et des pavillons, la spatialisation n'est correctement assurée que si ces filtres sont bien adaptés à l'auditeur. Cependant, la mesure exhaustive des HRTF est coûteuse et inconfortable, et il s'agit donc de développer des moyens alternatifs pour les obtenir : c'est le problème de l'individualisation. On se focalise sur les indices spectraux de la localisation auditive, c'est-à-dire les colorations du spectre à dépendance directionnelle, qui constituent la part des HRTF la plus complexe et la plus variable d'un individu à l'autre. Le constat fondateur de nos investigations est le suivant: bien que les HRTF présentent des caractéristiques intrinsèquement individuelles, on peut dégager des évolutions spatiofréquentielles de leur spectre d'amplitude, communes d'un individu à l'autre, mais susceptibles d'être masquées par deux sources importantes de variabilité, que sont la taille et l'orientation des pavillons. Nous proposons des outils permettant de dépasser ces différences apparentes, afin de se focaliser sur ce qui est vraiment spécifique à chaque individu. Deux solutions techniques d'individualisation des HRTF sont développées en utilisant avantageusement la diversité des comportements offerte par les HRTF d'une base de données. La première solution proposée permet d'adapter, pour un nouvel auditeur, les HRTF d'un autre individu issues d'une base de données, en leur appliquant des transformations guidées par une comparaison morphologique entre les pavillons des deux sujets. Les hypothèses de travail et les outils proposés pour mettre en oeuvre la technique sont validés objectivement grâce aux données recueillies sur 6 sujets, et on montre que la méthode d'adaptation proposée dépasse les performances de l'état de l'art. La seconde solution permet de reconstruire les HRTF d'un nouvel auditeur pour une direction quelconque de l'espace à partir d'un nombre réduit de HRTF individuelles mesurées. La technique proposée est basée sur une base de données constituée des HRTF mesurées finement sur une centaine de sujets, à partir desquelles on génère des prototypes. La reconstruction des HRTF repose sur un processus de reconnaissance de formes entre les HRTF individuelles mesurées et ces prototypes. Une validation objective montre que, selon différents critères, les performances de reconstruction de la technique proposée dépassent celles de l'état de l'art. Ces résultats sont confirmés par une évaluation subjective, menée selon un protocole novateur en synthèse binaurale dynamique
This Ph. D. Thesis deals with the problem of Head-Related Transfer Functions (HRTFs) individualization, in the context of binaural synthesis. HRTFs embed ail the acoustical phenomena occurring on the path between a source at a given position in space and the listener's eardrums. As these linear filters convey all free field localization cues needed by the auditory system to perceive a 3D sound scene, HRTF can be used to sculpt the signals to be reproduced over headphones in order to create convincing spatialized auditory displays : this is the aim of binaural synthesis. HRTFs strongly depend on idiosyncratic morphological features (overall shape of the head, fine structure of the pinnae), and as a result, the use of non-individual HRTFs often leads to perceptual artifacts. Unfortunately, exhaustive acoustic measurements of individual HRTFs are long and uncomfortable for subjects, and it is therefore expected to develop alternative techniques to obtain customized HRTFs : this is the problem of individualization. As they represent the most complex and the most individual part of HRTFs, our study focusses on the colorations induced by pinna filtering, known as spectral cues. The founding assumption of our work is the following : although HRTFs contain intrinsically individual features, common spatio-frequential behaviours can be found from subject to subject. Such similarities may be hidden by the existence of two morphological sources of variability, being the size and orientation of ear pinnae. We develop tools whose aim is to go beyond apparent differences, and to focus on what is really specific of each individual. We propose two technical solutions for HRTF individualization, based on the use of a HRTF database. The first solution uses a 3D model-based morphological matching of pinnae shapes, to properly adapt existing non-individual HRTFs from a database, so that they fit to a new listener. To transform HRTF data, we propose a combination of frequency scaling and rotation shift, whose parameters are predicted by the result of the morphological comparison. The method is designed on the basis of data acquired from six subjects, and it is shown objectively that a better customization is achieved compared to the state-of-the-art technique. The second solut ion aims at reconstructing HRTF for any direction, from only sparse individual HRTF measurements. In order t o overcome the performance of classical blind interpolation techniques, additional knowledge is injected in the reconstruction process :HRTF prototypes are first extracted from the analysis of a large HRTF database, and serve as a well-informed background in a pattern recognition process. An objective assessment shows that , compared to previously developped techniques, HRTF reconstruction achieves a better spatial fidelity with the proposed method. FinaIly, this result is confirmed by a subjective evaluation based on a new protocol

Les systèmes de réalité virtuelle ont pour objectif de plonger les utilisateurs dans un espace suggéré artificiellement par des informations multi-sensorielles, auditive entre autres. Le positionnement des sources sonores dans l'espace constitue un facteur important d'immersion et contribue grandement au réalisme d'une scène virtuelle. La synthèse binaurale est la technique de spatialisation sonore qui s'approche le plus de l'écoute naturelle. Elle permet de spatialiser un événement sonore monophonique à l'aide de seulement deux filtres, les HRTF (Head-Related Transfer Functions), caractérisant la propagation acoustique de la source vers les oreilles d'un auditeur. Les différences de temps d'arrivée et de niveau de pression au niveau des tympans sont des indices de localisation primordiaux pour estimer de la latéralité d'une source, mais sont insuffisants pour la situer précisément en élévation. Le contenu spectral des HRTF contient les indices permettant cette discrimination, notamment les pics et creux en hautes fréquences induits par les effets de diffraction au sein des pavillons d'oreille. L'inconvénient majeur de la technique binaurale repose donc sur le fait que les HRTF sont propres à chaque utilisateur, car liés aux déformations subies par l'onde sonore lorsqu'elle rencontre les différentes parties du corps humain. Une écoute avec des filtres non individuels comporte des artéfacts perceptibles. Il est donc nécessaire d'acquérir des HRTF individuelles. La mesure ou le calcul numérique sont des méthodes couramment utilisées pour l'estimation de ces dernières, mais sont trop coûteuse en temps et en moyen pour être employées dans des applications grand public. D'autres procédés de personnalisation des HRTF tentent de modéliser le lien entre la morphologie d'un auditeur et les indices de localisation qui lui sont associés, en se basant sur des mesures anthropométriques. Cependant, l'estimation correcte des paramètres morphologiques ne peut être garantie que via l'utilisation d'outils de mesure robuste et souvent onéreux, notamment pour les dimensions liées aux pavillons d'oreille. Cette thèse propose une nouvelle approche d'individualisation des HRTF, fondée sur une séparation des indices de localisation liés au torse et à la tête de ceux liés aux pavillons. La composante tête/torse est modélisée numériquement alors que la composante pavillonnaire est recrée à l'aide de réseaux de haut-parleurs entourant chacun des pavillons d'oreille de l'auditeur. L'idée de cette méthode est d'essayer d'exciter les véritables indices acoustiques induits par la diffraction du front d'onde reconstruit sur les pavillons. Ce nouveau concept, que nous appellerons " holophonie binaurale ", car dérivé de techniques holophonique et binaurale, est développé dans ce manuscrit : différentes simulations ont été menées dans des cas de figure idéaux, et différentes optimisations sont proposées pour améliorer le fonctionnement du procédé pour un nombre réaliste de transducteurs. Ces études ont conduit à la conception et à l'évaluation d'un prototype de casque multi-haut-parleur dédié.

Cet ensemble de travaux porte sur les effets acoustiques de filtrage de la tête et du corps, ou la fonction de transfert acoustique (HRTF), et son rôle dans la perception des sources sonores dans l'espace. Des méthodes pour créer une illusion auditive haute fidélité, ce qu'on appelle un espace acoustique virtuel, en utilisant l'HRTF sont explorées. Un facteur essentiel pour générer une illusion convaincante est l'utilisation des HRTFs propres à l'auditeur. À cet effet, et dans l'intérêt de produire une solution adaptée pour le marché des consommateurs, une technique permettant de sélectionner un HRTF personnalisé à partir d'une base de données à l'aide d'un ensemble de dimensions de la tête et du corps a été évaluée. La validation a utilisé des jugements perceptifs d'un test d'écoute, et la fiabilité de ces jugements a été analysée. Une étude sur l'impact du type de casque utilisé a également été effectuée.