Academic literature on the topic 'Décodage de l'attention auditive'

Résumé Cet article tente d’esquisser la contribution des phénomènes segmentaux et suprasegmentaux au décodage perceptif rudimentaire tel qu’il se manifeste chez le débutant en langue seconde. Selon Berkovits (1980), l’apport des habiletés phonétiques se ferait valoir surtout au niveau débutant étant donné que l’apprenant qui n’a aucune connaissance de la langue cible ne peut se prévaloir d’informations sémantiques, pragmatiques ou syntaxiques (Conrad, 1985) disponibles chez l’apprenant avancé ou le locuteur natif. Comme en témoignent les écrits recensés, qu’il s’agisse de la compréhension dans un but communicatif ou en vue du développement de la langue cible en général (au sens de Sharwood-Smith, 1986), il semble que le processus de décodage de compréhension auditive soit lié au développement des habiletés phonétiques dans la mesure où ces dernières contribuent à la segmentation de l’intrant, à l’accès lexical et constituent des indices linguistiques contextuels qui permettent d’accéder à un sens rudimentaire.

Dans cette thèse, nous abordons le défi de l'utilisation d'interfaces cerveau-machine (ICM) sur l'application spécifique de la séparation de sources musicales qui vise à isoler les instruments individuels qui sont mélangés dans un enregistrement de musique. Ce problème a été étudié pendant des décennies, mais sans jamais considérer les ICM comme un moyen possible de guider et d'informer les systèmes de séparation. Plus précisément, nous avons étudié comment l'activité neuronale caractérisée par des signaux électroencéphalographiques (EEG) reflète des informations sur la source à laquelle on porte son attention et comment nous pouvons l'utiliser pour informer un système de séparation de sources.Tout d'abord, nous avons étudié le problème du décodage par l'EEG de l'attention auditive d'un instrument spécifique dans une pièce musicale polyphonique, en montrant que l'EEG suit les caractéristiques musicales pertinentes qui sont fortement corrélées avec la représentation temps-fréquence de la source à laquelle on porte l'attention et seulement faiblement corrélées avec les autres. Ensuite, nous avons exploité ce "contraste" pour informer un modèle de séparation de sources non supervisé basé sur une nouvelle variante de factorisation en matrices positives (NMF), appelée contrastive-NMF (C-NMF) et séparer automatiquement la source à laquelle on porte l'attention.La NMF non supervisée est une approche efficace dans de telles applications ne disposant pas ou peu de données d'apprentissage, comme c'est le cas dans des scénarios nécessitant des enregistrements EEG. En effet, les jeux de données EEG liés à la musique disponibles sont coûteux et longs à acquérir, ce qui exclut la possibilité d'aborder le problème par des approches d'apprentissage profond entièrement supervisées. Dans la dernière partie de la thèse, nous avons exploré des stratégies d'apprentissage alternatives. Plus précisément, nous avons étudié la possibilité d'adapter un modèle de séparation de sources de l'état de l'art à un mélange spécifique en utilisant les activations temporelles de sources dérivées de l'activité neuronale de l'utilisateur au moment du test. Cette approche peut être considérée comme étant " à adaptation unitaire" (one-shot), car l'adaptation agit uniquement sur une instance de chanson.Nous avons évalué les approches proposées sur les jeu de données MAD-EEG qui a été spécifiquement assemblé pour cette étude, obtenant des résultats encourageants, en particulier dans les cas difficiles où les modèles non informés sont mis à mal
In this PhD thesis, we address the challenge of integrating Brain-Computer Interfaces (BCI) and music technologies on the specific application of music source separation, which is the task of isolating individual sound sources that are mixed in the audio recording of a musical piece. This problem has been investigated for decades, but never considering BCI as a possible way to guide and inform separation systems. Specifically, we explored how the neural activity characterized by electroencephalographic signals (EEG) reflects information about the attended instrument and how we can use it to inform a source separation system.First, we studied the problem of EEG-based auditory attention decoding of a target instrument in polyphonic music, showing that the EEG tracks musically relevant features which are highly correlated with the time-frequency representation of the attended source and only weakly correlated with the unattended one. Second, we leveraged this ``contrast'' to inform an unsupervised source separation model based on a novel non-negative matrix factorisation (NMF) variant, named contrastive-NMF (C-NMF) and automatically separate the attended source.Unsupervised NMF represents a powerful approach in such applications with no or limited amounts of training data as when neural recording is involved. Indeed, the available music-related EEG datasets are still costly and time-consuming to acquire, precluding the possibility of tackling the problem with fully supervised deep learning approaches. Thus, in the last part of the thesis, we explored alternative learning strategies to alleviate this problem. Specifically, we propose to adapt a state-of-the-art music source separation model to a specific mixture using the time activations of the sources derived from the user's neural activity. This paradigm can be referred to as one-shot adaptation, as it acts on the target song instance only.We conducted an extensive evaluation of both the proposed system on the MAD-EEG dataset which was specifically assembled for this study obtaining encouraging results, especially in difficult cases where non-informed models struggle

L'attention sélective auditive constitue une focalisation sur une source sonore et s'accompagne du filtrage d'informations non pertinentes. Plusieurs travaux suggèrent que l'orientation de l'attention et la direction du regard sont susceptibles d'influer sur les performances à des tests d'attention sélective auditive et sur l'activité cérébrale associée. Le travail exposé dans cette thèse a visé à tester en IRMf l'hypothèse d'une influence modulatrice de ces deux facteurs sur les bases neurales de l'attention sélective auditive. Cette étude, qui a montré la mise en jeu du réseau fronto-pariétal de contrôle descendant de l'attention, n'a révélé aucun effet de la direction des yeux sur l'activité du cortex auditif. Néanmoins une interaction entre les différents facteurs expérimentaux a été observée dans des aires frontales médianes (connues pour leur implication dans le contrôle attentionnel), ce qui suggère que leur effet modulateur intervient à un haut niveau de traitement.

Les progres des sciences de la perception et de la cognition, durant ces trente dernieres annees, incitent a une relecture du dispositif cinema. Si l'image et le son ressemblent aux apparences visuelles et auditives (analogon perceptif), elles en different suffisamment, en tant que representations, pour jalonner un champ d'interrogations, selon une problematique art et science. C'est en effet a partir de ces dissemblances (image coplanaire et rectangulaire) que les cineastes ont invente une mise en scene specifique, dans leur tentative de transposer le recit romanesque sur la page blanche de l'ecran. Le montage, en installant l'ellipse et la saute des points de vue, la variation des axes et des grosseurs de plan, demultiplie le champ attentionnel, au dela de tout realisme (ubiquite, camera subjective ). Tandis que le chevauchement sonore et la surimpression multiple (dialogues, bruits, ambiance, musique) agregent, sequence apres sequence, une scene auditive hors du commun. Par ailleurs, l' imagerie pre-motrice, liberee de toute epreuve de realite, se projette sur les personnages et introjecte leurs emotions et mouvements. Enfin, si l'on observe la temporalite filmique, il est clairqu'elle appartient a la fois au temps de la perception (a l'interieur d'un plan), de la pensee (de plan a plan), et a celui de l'emotion (rythme des sequences). Ce melange a trois temps se trouve originairement dans l'imagerie mentale, monde interieur en lequel ecrivains et cineastes puisent pour elaborer romans et scenarios. En s'en tenant aux figures les plus courantes du montage, du cadrage oudu mixage, lesquelles donnent au cinema "transparent" toute sa puissance, il est alors possible de questionner en termes nouveaux la direction de spectateur, naturellement induite par la mise en scene. Au fond, le dispositif entre onirisme, observation cadree, imagination pre-motrice, discours narratif - donne acces a une polyesthesie singuliere, qui fait du cinema un art poetique.

Nos recherches ont porté sur l'étude des indices d'orientation (sonores et verbaux) de l'attention auditive dans une situation d'écoute dichotique au cours du développement. Quatre expériences ont été proposées à des enfants âgés de 8 à 12 ans ainsi qu'à des adultes. Si les deux types d'indices permettent aux populations adultes d'orienter efficacement leur attention vers leurs deux oreilles pour identifier les stimuli cibles et pour résoudre les conflits cognitifs induits par les conditions d'orientation, en revanche, seuls les enfants de plus de 9 ans utilisent les indices verbaux pour orienter efficacement leur attention et résoudre les conflits cognitifs. L'ensemble des résultats suggère (a) que les capacités d'orientation de l'attention se développent en synergie avec le développement cérébral (maturation du cortex préfrontal qui connait une accélération vers 9 ans) et (b) que des indices verbaux favorisent une orientation efficace de l'attention des enfants de moins de 9 ans ainsi que des performances élevées d'identification des stimuli dans leurs deux oreilles. Nous avançons l'hypothèse selon laquelle le rôle facilitateur des indices verbaux résulterait de la pré-activation des processus top-down qu'ils suscitent. En effet, les processus top-down s'avèrent être nécessaires à un contrôle attentionnel de qualité. Ainsi, la présentation de ces indices favoriserait l'activation de ces processus, qui sont difficilement sollicités par les jeunes enfants. L'immaturité du cortex pré-frontal des enfants de moins de 9 ans pourrait expliquer les difficultés d'activation spontanée
Our work focused on the study of auditory orienting attention cues (with tone cues and verbal cues) in dichotic listening situations across development. Four experiments were carried out with 8 to 12 years old children and with adults. If adults appeared to benefit from the use of tone cues as much as the use of verbal cues to improve their performance of identification in both ears, and thus to improve their cognitive control, however, only 9 years old children took advantage of verbal cues to orient more efficiently their attention and resolve cognitive conflicts. Below this age, only tones cues helped the children to orient and control their attention to the indicated ear.Altogether our results reveal that (a) auditory orienting capacities develop in synergy with cerebral development (the maturation of the prefrontal cortex increases at around 9 years of age), and that (b) verbal cues lead to an efficient orientation of attention and high performance of identification in both ears, even under the age of 9.We suggest that the facilitator role of verbal cues could result from the pre-activation of the top-down processes that they involve. Indeed, top-down processes are essential for cognitive control. Therefore, the presentation of this type of cues would enhance the activation of processes that are not so easily recruited by young children. The immaturity of the pre-frontal cortex of children below 9 years of age could explain the difficulties encountered by this age group

L'objectif de cette thèse était d'étudier la modalité auditive dans le syndrome de négligence spatiale unilatérale (NSU) que ce soit dans l'évaluation ou dans la prise en charge. Notre première hypothèse défendue était que, bien que la NSU touche aussi la modalité auditive, des différences dues aux spécificités de chaque modalité existent entre les symptômes auditifs et visuels de ce syndrome neuropsychologique. En conséquence, notre seconde hypothèse était que les spécificités propres à la modalité auditive pourraient permettre de pallier les déficits attentionnels rencontrés en modalité visuelle et, donc, faire de cette modalité un support efficace pour la rééducation. Concernant l'évaluation des symptômes auditifs, les mécanismes d'orientation de l'attention en modalité auditive ainsi que la latéralisation de sons ont été explorés chez des patients atteints de NSU. Ces études ont souligné des difficultés dans les deux domaines dans la NSU. Concernant la réhabilitation, la place de l'audition, et plus particulièrement de la musique, dans les rééducations proposées aux patients atteints de NSU a été explorée. Enfin, un programme de rééducation basé sur la pratique musicale a été créé et testé auprès d'une patiente atteinte de NSU chronique. Celui-ci a montré des bénéfices à long-terme sur les signes visuels de la NSU mais également dans la vie quotidienne. Les résultats de ces études vont dans le sens des hypothèses et soulignent l'importance de prendre en compte la modalité auditive dans la pratique clinique que ce soit lors de l'évaluation du syndrome de NSU ou lors de sa réhabilitation
The aim of this thesis was to focus on hearing in the evaluation and the rehabilitation of unilateral spatial neglect (USN) syndrome. USN not only affects the visual, but also the auditory modality. The first hypothesis of this thesis was that, due to the specificities of each modality, differences exist between the auditory and visual symptoms of USN. Consequently, the second hypothesis was that the specificities of the auditory modality could permit to compensate the attentional deficits that occur in the visual modality and, thus, make this modality an efficient tool for the rehabilitation. Concerning the evaluation of the auditory symptoms, orienting attention mechanisms in the auditory modality as well as sound lateralisation were explored with patients with USN. These studies showed patients with USN to have difficulties in both. Concerning the rehabilitation, the place of hearing, and in particular of music, in the re-educations in patients with USN was explored. Finally, a program based on music practice was developed and tested with a patient with a chronic USN. This patient showed long-term benefits on USN visual signs and also on daily activities. The results of these studies are consistent with the hypotheses and underline the importance of considering hearing in clinical practice either for the USN evaluation or for its rehabilitation

L’objectif de ce travail de thèse était d’investiguer l’influence de la valence émotionnelle négative, positive ou taboue des mots parlés sur l’orientation des ressources attentionnelles, dans la population tout-venant. Pour ce faire, j’ai élaboré des adaptations auditives de paradigmes expérimentaux qui avaient été utilisés auparavant dans le but d’explorer l’influence du contenu émotionnel de stimuli visuels sur l’allocation de l’attention :le paradigme de déploiement de l’attention (Etudes 1 et 3), le paradigme de Stroop émotionnel (Etude 2) et le paradigme d’indiçage spatial émotionnel (Etude 4).

En particulier, les Etudes 1, 3 et 4 m’ont permis d’examiner l’influence de la valence émotionnelle de ces stimuli sur l’attention sélective à une localisation spatiale, évaluée au travers des réponses à une cible subséquente.

Dans la situation de compétition pour les ressources attentionnelles spécifique au paradigme de déploiement de l’attention (Etudes 1 et 3), nous avons observé un engagement préférentiel des ressources attentionnelles vers la localisation spatiale des mots tabous, lorsque ceux-ci étaient présentés à droite, par rapport à la localisation spatiale des mots neutres présentés conjointement. Ces biais attentionnels ont été observés quelle que soit l’attention portée volontairement aux stimuli, la nature de la tâche à réaliser sur la cible, ou la charge cognitive liée à la tâche. De tels biais ont également été observés envers la localisation spatiale des mots négatifs et positifs, mais de manière moins robuste. Lorsque deux stimuli rivalisent pour l’orientation des ressources, la valence choquante serait donc cruciale pour l’orientation de l’attention spatiale. De plus, les mots tabous induisent un ralentissement général des temps de réaction (TRs) à la cible subséquente, quelle que soit sa localisation spatiale.

Au contraire, lorsque des mots-indices sont présentés isolément dans le paradigme d’indiçage spatial émotionnel (Etude 4), la valence émotionnelle négative des mots, mais pas leur valence choquante, paraît cruciale pour l’observation d’effets spatiaux :les stimuli les plus négatifs moduleraient l’orientation spatiale automatique de l’attention suscitée par leur présentation périphérique. Plus précisément, ils empêcheraient l’application de processus attentionnels inhibiteurs des localisations déjà explorées. En outre, la présentation d’un indice périphérique négatif accélère le traitement d’une cible subséquente, quelle que soit sa localisation spatiale.

L’influence de la dimension émotionnelle des mots parlés sur l’attention sélective à une dimension (non-émotionnelle) de ces stimuli a été investiguée grâce au paradigme de Stroop émotionnel (Etude 2). Contrairement à mes autres études, aucun déplacement attentionnel spatial n’était impliqué dans cette situation puisque les participants devaient répondre à chaque essai à une dimension non-émotionnelle (l’identité du locuteur) du stimulus (potentiellement émotionnel) présenté. J’ai ainsi observé une influence de la dimension émotionnelle taboue ou négative des mots sur le traitement de la dimension pertinente d’un mot neutre subséquent, mais pas sur le traitement de la dimension pertinente de ces mots eux-mêmes, suggérant l’occurrence d’effets lents, inter-essais, des mots tabous et négatifs, mais pas d’effet rapide.

Ces données appuient donc l’existence, dans une population tout-venant, d’un mécanisme de traitement involontaire du contenu émotionnel des mots parlés qui influence non seulement l’orientation spatiale et dimensionnelle de l’attention mais également, de manière plus générale, la latence des réponses fournies par le sujet.

Doctorat en Sciences Psychologiques et de l'éducation
info:eu-repo/semantics/nonPublished

Les études réalisées sur les enfants avec un trouble du spectre autistique (TSA) ont montré des particularités d’orientation visuelle, de régulation auditive, d’engagement et de contrôle attentionnel, de motivation sociale et non sociale dès le plus jeune âge. Notre recherche porte sur l’influence de ces facteurs sur l’attention conjointe. Une cohorte de 50 enfants, âgés de 21 à 50 mois, diagnostiqués avec un TSA, a été évaluée dans un cadre clinique. L’évaluation incluait une échelle de régulation auditive et visuelle remplie par les parents; une grille que nous avons construite pour quantifier la motivation de l’enfant vers autrui et vers l’objet dans deux situations d’engagement; une mesure du temps de l’engagement attentionnel ainsi que la capacité de désengagement. Parallèlement, un score d’attention conjointe a été obtenu par l’échelle de la communication sociale précoce (ECSP). Les résultats indiquent : 1. un effet du traitement visuel de l’information sur l’attention conjointe. 2. une médiation partielle de la motivation sur l’attention conjointe, quand elle est associée au traitement visuel. 3. Un lien entre le désengagement attentionnel et l’attention conjointe. Nos analyses statistiques suggèrent un rôle de la motivation sociale et non sociale dans l’attention conjointe, ce qui à notre connaissance, n’avait pas encore été montré par une évaluation clinique chez de très jeunes enfants avec TSA. Les résultats obtenus constituent un signe encourageant quant à la possibilité de créer des outils tels que la grille de motivation sociale et non sociale pour améliorer le diagnostic clinique et la prise en charge
Research has shown dysfunctions in visual orientation and audition regulation, attention engagement and control, social and non-social motivation at a very young age in children with autism spectrum disorder (ASD). This study investigated the relations of these factors to joint attention. 50 children with autism spectrum disorder, aged 21 to 50 months, were assessed using a clinical evaluation questionnaire on visual and audition regulation; a grid elaborated for the purpose of this research to quantify child’s social and non-social motivation; a time measurement of engagement and disengagement states. Joint attention scores were obtained with the Early Social Communication Scales (ESCS). Results show: 1. an effect of visual information processing on joint attention. 2. an impact of motivation, when associated to visual regulation, on joint attention. 3. a relation between attention disengagement and joint attention.Our statistical analyses suggest a role of social and non-social motivation in joint attention skills. To our knowledge, seldom clinical evaluations are targeted on motivation skills in relation to joint attention for young children with ASD. These results confirm empirical research, provide additional tools to clinicians for diagnostic, and suggest targets for early intervention

Les études réalisées sur les enfants avec un trouble du spectre autistique (TSA) ont montré des particularités d’orientation visuelle, de régulation auditive, d’engagement et de contrôle attentionnel, de motivation sociale et non sociale dès le plus jeune âge. Notre recherche porte sur l’influence de ces facteurs sur l’attention conjointe. Une cohorte de 50 enfants, âgés de 21 à 50 mois, diagnostiqués avec un TSA, a été évaluée dans un cadre clinique. L’évaluation incluait une échelle de régulation auditive et visuelle remplie par les parents; une grille que nous avons construite pour quantifier la motivation de l’enfant vers autrui et vers l’objet dans deux situations d’engagement; une mesure du temps de l’engagement attentionnel ainsi que la capacité de désengagement. Parallèlement, un score d’attention conjointe a été obtenu par l’échelle de la communication sociale précoce (ECSP). Les résultats indiquent : 1. un effet du traitement visuel de l’information sur l’attention conjointe. 2. une médiation partielle de la motivation sur l’attention conjointe, quand elle est associée au traitement visuel. 3. Un lien entre le désengagement attentionnel et l’attention conjointe. Nos analyses statistiques suggèrent un rôle de la motivation sociale et non sociale dans l’attention conjointe, ce qui à notre connaissance, n’avait pas encore été montré par une évaluation clinique chez de très jeunes enfants avec TSA. Les résultats obtenus constituent un signe encourageant quant à la possibilité de créer des outils tels que la grille de motivation sociale et non sociale pour améliorer le diagnostic clinique et la prise en charge
Research has shown dysfunctions in visual orientation and audition regulation, attention engagement and control, social and non-social motivation at a very young age in children with autism spectrum disorder (ASD). This study investigated the relations of these factors to joint attention. 50 children with autism spectrum disorder, aged 21 to 50 months, were assessed using a clinical evaluation questionnaire on visual and audition regulation; a grid elaborated for the purpose of this research to quantify child’s social and non-social motivation; a time measurement of engagement and disengagement states. Joint attention scores were obtained with the Early Social Communication Scales (ESCS). Results show: 1. an effect of visual information processing on joint attention. 2. an impact of motivation, when associated to visual regulation, on joint attention. 3. a relation between attention disengagement and joint attention.Our statistical analyses suggest a role of social and non-social motivation in joint attention skills. To our knowledge, seldom clinical evaluations are targeted on motivation skills in relation to joint attention for young children with ASD. These results confirm empirical research, provide additional tools to clinicians for diagnostic, and suggest targets for early intervention

L’attention visuo-spatiale peut être déployée à différentes localisations dans l’espace indépendamment de la direction du regard, et des études ont montré que les composantes des potentiels reliés aux évènements (PRE) peuvent être un index fiable pour déterminer si celle-ci est déployée dans le champ visuel droit ou gauche. Cependant, la littérature ne permet pas d’affirmer qu’il soit possible d’obtenir une localisation spatiale plus précise du faisceau attentionnel en se basant sur le signal EEG lors d’une fixation centrale. Dans cette étude, nous avons utilisé une tâche d’indiçage de Posner modifiée pour déterminer la précision avec laquelle l’information contenue dans le signal EEG peut nous permettre de suivre l’attention visuelle spatiale endogène lors de séquences de stimulation d’une durée de 200 ms. Nous avons utilisé une machine à vecteur de support (MVS) et une validation croisée pour évaluer la précision du décodage, soit le pourcentage de prédictions correctes sur la localisation spatiale connue de l’attention. Nous verrons que les attributs basés sur les PREs montrent une précision de décodage de la localisation du focus attentionnel significative (57%, p<0.001, niveau de chance à 25%). Les réponses PREs ont également prédit avec succès si l’attention était présente ou non à une localisation particulière, avec une précision de décodage de 79% (p<0.001). Ces résultats seront discutés en termes de leurs implications pour le décodage de l’attention visuelle spatiale, et des directions futures pour la recherche seront proposées.
Visuospatial attention can be deployed to different locations in space independently of ocular fixation, and studies have shown that event-related potential (ERP) components can effectively index whether such covert visuospatial attention is deployed to the left or right visual field. However, it is not clear whether we may obtain a more precise spatial localization of the focus of attention based on the EEG signals during central fixation. In this study, we used a modified Posner cueing task with an endogenous cue to determine the degree to which information in the EEG signal can be used to track visual spatial attention in presentation sequences lasting 200 ms. We used a machine learning classification method to evaluate how well EEG signals discriminate between four different locations of the focus of attention. We then used a multi-class support vector machine (SVM) and a leave-one-out cross-validation framework to evaluate the decoding accuracy (DA). We found that ERP-based features from occipital and parietal regions showed a statistically significant valid prediction of the location of the focus of visuospatial attention (DA = 57%, p < .001, chance-level 25%). The mean distance between the predicted and the true focus of attention was 0.62 letter positions, which represented a mean error of 0.55 degrees of visual angle. In addition, ERP responses also successfully predicted whether spatial attention was allocated or not to a given location with an accuracy of 79% (p < .001). These findings are discussed in terms of their implications for visuospatial attention decoding and future paths for research are proposed.