Auswahl der wissenschaftlichen Literatur zum Thema „Décodage neural“

Résumé : Dans ce projet, un décodage neuronal bayésien est effectué sur le colliculus inférieur du cochon d'Inde. Premièrement, On lit les potentiels évoqués grâce aux électrodes et ensuite on en déduit les potentiels d'actions à l'aide de technique de classification des décharges des neurones. Ensuite, un modèle linéaire généralisé (GLM) est entraîné en associant un stimulus acoustique en même temps que les mesures de potentiel qui sont effectuées. Enfin, nous faisons le décodage neuronal de l'activité des neurones en utilisant une méthode d'estimation statistique par maximum à posteriori afin de reconstituer la représentation spectro-temporelle du signal acoustique qui correspond au stimulus acoustique. Dans ce projet, nous étudions l'impact de différents modèles de codage neuronal ainsi que de différentes représentations spectro-temporelles (qu'elles sont supposé représenter le stimulus acoustique équivalent) sur la précision du décodage bayésien de l'activité neuronale enregistrée par le système auditif central. En fait, le modèle va associer une représentation spectro-temporelle équivalente au stimulus acoustique à partir des mesures faites dans le cerveau. Deux modèles de codage sont comparés: un GLM et un modèle bilinéaire généralisé (GBM), chacun avec trois différentes représentations spectro-temporelles des stimuli d'entrée soit un spectrogramme ainsi que deux représentations bio-inspirées: un banc de filtres gammatones et un spikegramme. Les paramètres des GLM et GBM, soit le champ récepteur spectro-temporel, le filtre post décharge et l'entrée non linéaire (seulement pour le GBM) sont adaptés en utilisant un algorithme d'optimisation par maximum de vraisemblance (ML). Le rapport signal sur bruit entre la représentation reconstruite et la représentation originale est utilisé pour évaluer le décodage, c'est-à-dire la précision de la reconstruction. Nous montrons expérimentalement que la précision de la reconstruction est meilleure avec une représentation par spikegramme qu'avec une représentation par spectrogramme et, en outre, que l'utilisation d'un GBM au lieu d'un GLM augmente la précision de la reconstruction. En fait, nos résultats montrent que le rapport signal à bruit de la reconstruction d'un spikegramme avec le modèle GBM est supérieur de 3.3 dB au rapport signal à bruit de la reconstruction d'un spectrogramme avec le modèle GLM.
Abstract : In this project, Bayesian neural decoding is performed on the neural activity recorded from the inferior colliculus of the guinea pig following the presentation of a vocalization. In particular, we study the impact of different encoding models on the accuracy of reconstruction of different spectro-temporal representations of the input stimulus. First voltages recorded from the inferior colliculus of the guinea pig are read and the spike trains are obtained. Then, we fit an encoding model to the stimulus and associated spike trains. Finally, we do neural decoding on the pairs of stimuli and neural activities using the maximum a posteriori optimization method to obtain the reconstructed spectro-temporal representation of the signal. Two encoding models, a generalized linear model (GLM) and a generalized bilinear model (GBM), are compared along with three different spectro-temporal representations of the input stimuli: a spectrogram and two bio-inspired representations, i.e. a gammatone filter bank (GFB) and a spikegram. The parameters of the GLM and GBM including spectro-temporal receptive field, post spike filter and input non linearity (only for the GBM) are fitted using the maximum likelihood optimization (ML) algorithm. Signal to noise ratios between the reconstructed and original representations are used to evaluate the decoding, or reconstruction accuracy. We experimentally show that the reconstruction accuracy is better with the spikegram representation than with the spectrogram and GFB representation. Furthermore, using a GBM instead of a GLM significantly increases the reconstruction accuracy. In fact, our results show that the spikegram reconstruction accuracy with a GBM fitting yields an SNR that is 3.3 dB better than when using the standard decoding approach of reconstructing a spectrogram with GLM fitting.

Les grands esprits de l'humanité ont toujours été curieux de la nature de l'esprit, du cerveau et de la conscience. Par le biais d'expériences physiques et mentales, ils ont tenté de répondre à des questions difficiles sur la perception visuelle. Avec le développement des techniques de neuro-imagerie, les techniques de codage et de décodage neuronaux ont permis de mieux comprendre la manière dont nous traitons les informations visuelles. Les progrès réalisés dans les domaines de l'intelligence artificielle et de l'apprentissage profond ont également influencé la recherche en neuroscience. Avec l'émergence de modèles génératifs profonds tels que les autoencodeurs variationnels (VAE), les réseaux adversariaux génératifs (GAN) et les modèles de diffusion latente (LDM), les chercheurs ont également utilisé ces modèles dans des tâches de décodage neuronal telles que la reconstruction visuelle des stimuli perçus à partir de données de neuro-imagerie. La présente thèse fournit deux bases théoriques dans le domaine de la reconstruction des stimuli perçus à partir de données de neuro-imagerie, en particulier les données IRMf, en utilisant des modèles génératifs profonds. Ces bases théoriques se concentrent sur des aspects différents de la tâche de reconstruction visuelle que leurs prédécesseurs, et donc ils peuvent apporter des résultats précieux pour les études qui suivront. La première étude dans la thèse (décrite au chapitre 2) utilise un modèle génératif particulier appelé IC-GAN pour capturer les aspects sémantiques et réalistes de la reconstruction visuelle. La seconde étude (décrite au chapitre 3) apporte une nouvelle perspective sur la reconstruction visuelle en fusionnant les informations décodées à partir de différentes modalités (par exemple, le texte et l'image) en utilisant des modèles de diffusion latente récents. Ces études sont à la pointe de la technologie dans leurs domaines de référence en présentant des reconstructions très fidèles des différents attributs des stimuli. Dans nos deux études, nous proposons des analyses de régions d'intérêt (ROI) pour comprendre les propriétés fonctionnelles de régions visuelles spécifiques en utilisant nos modèles de décodage neuronal. Les relations statistiques entre les régions d'intérêt et les caractéristiques latentes décodées montrent que les zones visuelles précoces contiennent plus d'informations sur les caractéristiques de bas niveau (qui se concentrent sur la disposition et l'orientation des objets), tandis que les zones visuelles supérieures sont plus informatives sur les caractéristiques sémantiques de haut niveau. Nous avons également observé que les images optimales de ROI générées à l'aide de nos techniques de reconstruction visuelle sont capables de capturer les propriétés de sélectivité fonctionnelle des ROI qui ont été examinées dans de nombreuses études antérieures dans le domaine de la recherche neuroscientifique. Notre thèse tente d'apporter des informations précieuses pour les études futures sur le décodage neuronal, la reconstruction visuelle et l'exploration neuroscientifique à l'aide de modèles d'apprentissage profond en fournissant les résultats de deux bases théoriques de reconstruction visuelle et d'analyses de ROI. Les résultats et les contributions de la thèse peuvent aider les chercheurs travaillant dans le domaine des neurosciences cognitives et avoir des implications pour les applications d'interface cerveau-ordinateur
The great minds of humanity were always curious about the nature of mind, brain, and consciousness. Through physical and thought experiments, they tried to tackle challenging questions about visual perception. As neuroimaging techniques were developed, neural encoding and decoding techniques provided profound understanding about how we process visual information. Advancements in Artificial Intelligence and Deep Learning areas have also influenced neuroscientific research. With the emergence of deep generative models like Variational Autoencoders (VAE), Generative Adversarial Networks (GAN) and Latent Diffusion Models (LDM), researchers also used these models in neural decoding tasks such as visual reconstruction of perceived stimuli from neuroimaging data. The current thesis provides two frameworks in the above-mentioned area of reconstructing perceived stimuli from neuroimaging data, particularly fMRI data, using deep generative models. These frameworks focus on different aspects of the visual reconstruction task than their predecessors, and hence they may bring valuable outcomes for the studies that will follow. The first study of the thesis (described in Chapter 2) utilizes a particular generative model called IC-GAN to capture both semantic and realistic aspects of the visual reconstruction. The second study (mentioned in Chapter 3) brings new perspective on visual reconstruction by fusing decoded information from different modalities (e.g. text and image) using recent latent diffusion models. These studies become state-of-the-art in their benchmarks by exhibiting high-fidelity reconstructions of different attributes of the stimuli. In both of our studies, we propose region-of-interest (ROI) analyses to understand the functional properties of specific visual regions using our neural decoding models. Statistical relations between ROIs and decoded latent features show that while early visual areas carry more information about low-level features (which focus on layout and orientation of objects), higher visual areas are more informative about high-level semantic features. We also observed that generated ROI-optimal images, using these visual reconstruction frameworks, are able to capture functional selectivity properties of the ROIs that have been examined in many prior studies in neuroscientific research. Our thesis attempts to bring valuable insights for future studies in neural decoding, visual reconstruction, and neuroscientific exploration using deep learning models by providing the results of two visual reconstruction frameworks and ROI analyses. The findings and contributions of the thesis may help researchers working in cognitive neuroscience and have implications for brain-computer-interface applications

Cette thèse aborde deux problèmes liés aux réseaux de points, un vieux problème et un nouveau.Tous deux sont des problèmes de décodage de réseaux de points : À savoir, étant donné un point dans l'espace, trouver le point du réseau le plus proche.Le premier problème est lié au codage de canal en dimensions intermédiaires. Alors que des systèmes efficaces basés sur les réseaux de points existent dans les petites dimensions n < 30 et les grandes dimensions n > 1000, ce n'est pas le cas des dimensions intermédiaires. Nous étudions le décodage de réseaux de points intéressants dans ces dimensions intermédiaires. Nous introduisons de nouvelles familles de réseaux de points obtenues en appliquant le contrôle de parité de manière récursive. Ces familles comprennent des réseaux de points célèbres, tels que les réseaux Barnes-Wall, les réseaux Leech et Nebe, ainsi que de nouveaux réseaux de parité.Nous montrons que tous ces réseaux de points peuvent être décodés efficacement avec un nouveau décodeur récursif par liste.Le deuxième problème concerne les réseaux de neurones. Depuis 2016, d'innombrables articles ont tenté d'utiliser l'apprentissage profond pour résoudre le problème de décodage/détection rencontré dans les communications numériques. Nous proposons d'étudier la complexité du problème que les réseaux de neurones doivent résoudre. Nous introduisons une nouvelle approche du problème de décodage afin de l'adapter aux opérations effectuées par un réseau de neurones. Cela permet de mieux comprendre ce qu'un réseau de neurones peut et ne peut pas faire dans le cadre de ce problème, et d'obtenir des indications concernant la meilleure architecture du réseau de neurones. Des simulations informatiques validant notre analyse sont fournies
This thesis discusses two problems related to lattices, an old problem and a new one.Both of them are lattice decoding problems: Namely, given a point in the space, find the closest lattice point.The first problem is related to channel coding in moderate dimensions. While efficient lattice schemes exist in low dimensions n < 30 and high dimensions n > 1000, this is not the case of intermediate dimensions. We investigate the decoding of interesting lattices in these intermediate dimensions. We introduce new families of lattices obtained by recursively applying parity checks. These families include famous lattices, such as Barnes-Wall lattices, the Leech and Nebe lattices, as well as new parity lattices.We show that all these lattices can be efficiently decoded with an original recursive list decoder.The second problem involves neural networks. Since 2016 countless papers tried to use deep learning to solve the decoding/detection problem encountered in digital communications. We propose to investigate the complexity of the problem that neural networks should solve. We introduce a new approach to the lattice decoding problem to fit the operations performed by a neural network. This enables to better understand what a neural network can and cannot do in the scope of this problem, and get hints regarding the best architecture of the neural network. Some computer simulations validating our analysis are provided

Nous avons étudié l’impact de la structure temporelle de l'activité neuronale sur la dynamique de réseaux recevant cette activité et impliqués dans la cognition. Nous avons caractérisé le code qui permet de lire l'information dans des signaux du cortex cingulaire antérieur dorsal (CCAd) simien, qui intervient dans les processus d'adaptation comportementale. Nos analyses suggèrent que la variabilité importante du nombre de potentiels d'action émis par les neurones, ainsi que la fiabilité temporelle conséquente de ces signaux, favorisent un décodage par des réseaux sensibles à la structure temporelle. De plus, quand nous avons séparé les données entre un groupe avec un grand nombre de potentiels d'action, et un groupe avec un faible nombre de potentiels d'action, nous n'avons pas trouvé pas de différence robuste du comportement du singe entre ces deux groupes. Par contre, lorsque l'activité d'un neurone devenait moins semblable à la réponse typique de ce neurone, le singe semblent répondait plus lentement pendant la tâche comportementale. L'activité d'un neurone semblait pouvoir se différencier de sa réponse typique par une augmentation ou une diminution du nombre de potentiels d'actions, ou par des imprécisions sur le temps d'émission des potentiels d'action. Nos résultats suggèrent que les réseaux neuronaux qui décodent les signaux du CCAd détectent des motifs spatiotemporels. Enfin, nous avons ensuite analysé mathématiquement des modèles de réseaux de neurones récurrents dans le but mieux comprendre l’impact des signaux du CCAd sur le décodeur. Le modèle de neurone utilisé peut reproduire la réponse dynamique de neurones biologique par l’inclusion d’une adaptation neurale
We investigated the putative function of the fine temporal dynamics of neuronal networks for implementing cognitive processes. First, we characterized the coding properties of spike trains recorded from the dorsal Anterior Cingulate Cortex (dACC) of monkeys. dACC is thought to trigger behavioral adaptation. We found evidence for (i) high spike count variability and (ii) temporal reliability (favored by temporal correlations) which respectively hindered and favored information transmission when monkeys were cued to switch the behavioral strategy. Also, we investigated the nature of the neuronal variability that was predictive of behavioral variability. High vs. low firing rates were not robustly associated with different behavioral responses, while deviations from a neuron-specific prototypical spike train predicted slower responses of the monkeys. These deviations could be due to increased or decreased spike count, as well as to jitters in spike times. Our results support the hypothesis of a complex spatiotemporal coding of behavioral adaptation by dACC, and suggest that dACC signals are unlikely to be decoded by a neural integrator. Second, we further investigated the impact of dACC temporal signals on the downstream decoder by developing mean-field equations to analyze network dynamics. We used an adapting single neuron model that mimics the response of cortical neurons to realistic dynamic synaptic-like currents. We approximated the time-dependent population rate for recurrent networks in an asynchronous irregular state. This constitutes an important step towards a theoretical study of the effect of temporal drives on networks which could mediate cognitive functions

Nous avons étudié l’impact de la structure temporelle de l'activité neuronale sur la dynamique de réseaux recevant cette activité et impliqués dans la cognition. Nous avons caractérisé le code qui permet de lire l'information dans des signaux du cortex cingulaire antérieur dorsal (CCAd) simien, qui intervient dans les processus d'adaptation comportementale. Nos analyses suggèrent que la variabilité importante du nombre de potentiels d'action émis par les neurones, ainsi que la fiabilité temporelle conséquente de ces signaux, favorisent un décodage par des réseaux sensibles à la structure temporelle. De plus, quand nous avons séparé les données entre un groupe avec un grand nombre de potentiels d'action, et un groupe avec un faible nombre de potentiels d'action, nous n'avons pas trouvé pas de différence robuste du comportement du singe entre ces deux groupes. Par contre, lorsque l'activité d'un neurone devenait moins semblable à la réponse typique de ce neurone, le singe semblent répondait plus lentement pendant la tâche comportementale. L'activité d'un neurone semblait pouvoir se différencier de sa réponse typique par une augmentation ou une diminution du nombre de potentiels d'actions, ou par des imprécisions sur le temps d'émission des potentiels d'action. Nos résultats suggèrent que les réseaux neuronaux qui décodent les signaux du CCAd détectent des motifs spatiotemporels. Enfin, nous avons ensuite analysé mathématiquement des modèles de réseaux de neurones récurrents dans le but mieux comprendre l’impact des signaux du CCAd sur le décodeur. Le modèle de neurone utilisé peut reproduire la réponse dynamique de neurones biologique par l’inclusion d’une adaptation neurale
We investigated the putative function of the fine temporal dynamics of neuronal networks for implementing cognitive processes. First, we characterized the coding properties of spike trains recorded from the dorsal Anterior Cingulate Cortex (dACC) of monkeys. dACC is thought to trigger behavioral adaptation. We found evidence for (i) high spike count variability and (ii) temporal reliability (favored by temporal correlations) which respectively hindered and favored information transmission when monkeys were cued to switch the behavioral strategy. Also, we investigated the nature of the neuronal variability that was predictive of behavioral variability. High vs. low firing rates were not robustly associated with different behavioral responses, while deviations from a neuron-specific prototypical spike train predicted slower responses of the monkeys. These deviations could be due to increased or decreased spike count, as well as to jitters in spike times. Our results support the hypothesis of a complex spatiotemporal coding of behavioral adaptation by dACC, and suggest that dACC signals are unlikely to be decoded by a neural integrator. Second, we further investigated the impact of dACC temporal signals on the downstream decoder by developing mean-field equations to analyze network dynamics. We used an adapting single neuron model that mimics the response of cortical neurons to realistic dynamic synaptic-like currents. We approximated the time-dependent population rate for recurrent networks in an asynchronous irregular state. This constitutes an important step towards a theoretical study of the effect of temporal drives on networks which could mediate cognitive functions

Les travaux présentés dans cette thèse portent sur le décodage acoustico-phonétique dans un système expert indépendant du locuteur. Ce système, APHODEX, est la réalisation d'une des premières expériences sur la modélisation de la lecture de spectrogramme. Une première évaluation permettait de mettre en évidence les atouts du système ainsi que ses carences. Connaissant les caractéristiques de la parole continue, en particulier la coarticulation, l'architecture et le fonctionnement du moteur d'inférence, de par leur prise en compte dans le raisonnement des contextes gauches et droits du segment de parole à traiter, s'avèrent être un point fort. L'étude des résultats de décodage a montré que les efforts devaient en premier lieu se porter sur les consonnes occlusives et fricatives, les voyelles étant plutôt bien reconnues et le mauvais score des autres consonnes étant pour beaucoup la conséquence d'erreurs durant l'étape de segmentation. Après une étude de la masse de connaissances disponibles, nous retenons celles qui paraissent les mieux adaptées à un traitement automatique. Nous proposons alors des procédures réalisant l'extraction d'indices recensés et d'autres expérimentaux ; puis, avant d'écrire une base de règles, nous présentons une phase de validation statistique des procédures sur un corpus d'étude. Une nouvelle évaluation du système permet alors de mesurer l'amélioration mise en œuvre. Voulant comparer ces résultats déjà positifs à ceux d'une méthode différente, plus proche de la distinction des phonèmes par l'intelligence humaine, nous proposons l'intégration de modèles connexionnistes à l'architecture d'APHODEX. Une discrimination des occlusives sourdes et sonores, puis des fricatives sourdes et sonores par des perceptrons multi-couches est présentée. Les résultats très positifs nous conduisent alors à étudier une possible interaction des deux méthodes inspirées de sciences différentes, la phonétique et la neurobiologie