Auswahl der wissenschaftlichen Literatur zum Thema „Neurones à impulsions“

The study presents a development of a modular system for prototyping a neural prosthesis aimed at compensating functions of damaged or lost structures of central nervous system using electronic devices that mimic the behavior of biological neurons. Artificial neurons demonstrate the ability to respond to an external stimulation or a signal from presynaptic neuron with impulsion; the ability to perform spatial and temporal summation, neural plasticity, all of which demonstrate capabilities of the developed system.

Les réseaux de neurones et plus particulièrement les perceptrons multi-couches sont aujourd'hui largement utilisés pour des tâches de classification. L'environnement radiatif, hostile pour les équipements électroniques, provoque des modifications de leur fonctionnement. Cette thèse explore deux voies dans le but d'obtenir des réseaux de neurones robustes destinés à être embarqués dans des systèmes fonctionnant en environnement radiatif. La première approche est basée sur un nouvel algorithme d'apprentissage constructif, appelé NetLS, qui est une généralisation des algorithmes NetLines et Net Spheres. Nous montrons sur des problèmes étalons qu'il permet d'aboutir à des réseaux de neurones binaires de très petite taille alors que d'autres algorithmes conduisent à des classifieurs bien plus complexes pour des performances équivalentes. La seconde approche consiste à utiliser un nouveau modèle de neurone à impulsions pour l'implantation de neurones à fonction de réponse continue. Ainsi, n'importe quel algorithme d'apprentissage classique (rétropropagation et ses variantes) peut être utilisé et le réseau de neurones obtenu peut fonctionner avec ces neurones à impulsions. Dans ces conditions, nous montrons que lors de la relaxation du réseau les performances augmentent au cours du temps jusqu'à atteindre celles du réseau de neurones continus. Ainsi, si une erreur se produit au cours du calcul, l'information disponible peut représenter une partie du résultat. Une architecture numérique pour ce neurone est proposée et évaluée. La surface occupée sur le silicium est 10 fois inférieure à celle nécessaire pour implanter une neurone continu. Ces deux approches conduisent à des réseaux de neurones de faible surface : la probabilité d'une erreur due aux radiations est minimisée. Ils ont été confrontés à des problèmes de détection de signaux radar de deux types, les premiers étant générés par un modèle, et les seconds des échos ionosphériques mesurés par le radar du projet EISCAT (European Incoherent SCATter).

Dans ce travail, une approche de "vie artificielle" est utilisée pour étudier le support neural des comportements. Un comportement est issu d'une bonne adéquation entre le système de contrôle, les capacités sensori-motrices de l'agent et de l'environnement. Dans un paradigme dynamique, un comportement est ainsi un attracteur dans l'espace perception/action - composé de la dynamique interne du contrôleur et de celle obtenue par l'évolution de l'agent. La dynamique neurale est à l'origine de la dynamique interne. L'apprentissage de comportement revient donc à coupler ces deux dynamiques. Nous introduisons, dans un premier temps, une étude détaillée de la dynamique nerveuse dans le cas de réseaux de neurones à impulsions. En mode spontané (c'est-à-dire sans entrées), ces réseaux opèrent de manière non triviale. Selon les paramètres de la distribution de poids synaptiques, nous sommes en mesure d'estimer complètement l'activité de décharge. On montre l'existence d'une bifurcation pour le paramètre de couplage : la variance de la distribution. Nous montrons aussi que ce facteur de couplage mesure le charactère chaotique du fonctionnement du réseau. Pour apprendre des comportement, nous utilisons un algorithme biologiquement plausible la Spike-Time Dependent Plasticity qui permet de coupler la dynamique neurale. Nous montrons en dynamique spontanée l'influence des paramètres d'apprentissage sur le fonctionnement du réseau. Nous montrons que la STDP permet de rester dans un régime "au bord du chaos". Dans le but de valider cette approche, nous utilisons le réseau pour controler un robot qui doit apprendre à éviter les obstacles en servant uniquement du flot visuel
An «artificial life » approach is conducted in order to assess the neural basis of behaviours. Behaviour is the consequence of a good concordance between the controller, the agent’s sensori-motors capabilities and the environment. Within a dynamical system paradigm, behaviours are viewed as attractors in the perception/action space – derived from the composition of the internal and external dynamics. Since internal dynamics is originated by the neural dynamics, learning behaviours therefore consists on coupling external and internal dynamics by modifying network’s free parameters. We begin by introducing a detailed study of the dynamics of large networks of spiking neurons. In spontaneous mode (i. E. Without any input), these networks have a non trivial functioning. According to the parameters of the weight distribution and provided independence hypotheses, we are able to describe completely the spiking activity. Among other results, a bifurcation is predicted according to a coupling factor (the variance of the distribution). We also show the influence of this parameter on the chaotic dynamics of the network. To learn behaviours, we use a biologically plausible learning paradigm – the Spike-Timing Dependent Plasticity (STDP) that allows us to couple neural and external dynamics. Applying shrewdly this learning law enables the network to remain “at the edge of chaos” which corresponds to an interesting state of activity for learning. In order to validate our approach, we use these networks to control an agent whose task is to avoid obstacles using only the visual flow coming from its linear camera. We detail the results of the learning process for both simulated and real robotics platform

Que le réseau de neurones soit biologique ou artificiel, il possède une unité de calcul fondamentale : le neurone. Ces neurones, interconnectés par des synapses, forment ainsi des réseaux complexes qui permettent d’obtenir une pluralité de fonctions. De même, le réseau de neurones neuromorphique, ou plus généralement les ordinateurs neuromorphiques, nécessitent également ces deux éléments fondamentaux que sont les neurones et les synapses. Dans ce travail, nous introduisons une unité matérielle neuro-synaptique à impulsions, inspirée de la biologie et entièrement réalisée avec des composants électroniques conventionnels. Le modèle de cette unité neuro-synaptique repose sur les modèles théoriques classiques du neurone à impulsions et des courants synaptiques et membranaires. Le neurone à impulsions est entièrement analogique et un dispositif memristif, dont les composants électroniques sont facilement disponibles sur le marché, permet d’assurer l’excitabilité du neurone. En ce qui concerne les courants synaptiques et membranaires, leur intensité est ajustable, et ils possèdent une dynamique biomimétique, incluant à la fois des courants excitateurs et inhibiteurs. Tous les paramètres du modèle sont ajustables et permettant ainsi d'adapter le système neuro-synaptique. Cette flexibilité et cette adaptabilité sont des caractéristiques essentielles dans la réalisation d’applications telles que les interfaces cerveau-machine. En nous appuyant sur ces deux unités modulaires, le neurone et la synapse, nous pouvons concevoir des motifs fondamentaux des réseaux de neurones. Ces motifs servent ainsi de base pour implémenter des réseaux aux fonctionnalités plus complexes, telles que des mémoires dynamiques ou des réseaux locomoteurs spinaux (Central Pattern Generator). De plus, il sera possible d’améliorer le modèle existant, que ce soit en y intégrant des memristors à base d’oxydes (actuellement étudiés en science des matériaux), ou en le déployant à grande échelle (VLSI) afin de réaliser des réseaux d’ordres de grandeurs supérieures. L’unité neuro-synaptique peut être considérée comme un bloc fondamental pour implémenter des réseaux neuronaux à impulsions de géométrie arbitraire. Son design compact et modulaire, associé à la large disponibilité des composants électroniques, font de notre plateforme une option attrayante de développement pour construire des interfaces neuronales, que ce soit dans les domaines médical, robotique, ou des systèmes d'intelligence artificielle (par exemple le calcul par réservoir), etc
Biological and artificial neural networks share a fundamental computational unit: the neuron. These neurons are coupled by synapses, forming complex networks that enable various functions. Similarly, neuromorphic hardware, or more generally neuro-computers, also require two hardware elements: neurons and synapses. In this work, we introduce a bio-inspired spiking Neuro-Synaptic hardware unit, fully implemented with conventional electronic components. Our hardware is based on a textbook theoretical model of the spiking neuron, and its synaptic and membrane currents. The spiking neuron is fully analog and the various models that we introduced are defined by their hardware implementation. The neuron excitability is achieved through a memristive device made from off-the-shelf electronic components. Both synaptic and membrane currents feature tunable intensities and bio-mimetic dynamics, including excitatory and inhibitory currents. All model parameters are adjustable, allowing the system to be tuned to bio-compatible timescales, which is crucial in applications such as brain-machine interfaces. Building on these two modular units, we demonstrate various basic neural network motifs (or neuro-computing primitives) and show how to combine these fundamental motifs to implement more complex network functionalities, such as dynamical memories and central pattern generators. Our hardware design also carries potential extensions for integrating oxide-based memristors (which are widely studied in material science),or porting the design to very large-scale integration (VLSI) to implement large-scale networks. The Neuro-Synaptic unit can be considered as a building block for implementing spiking neural networks of arbitrary geometry. Its compact and modular design, as well as the wide availability of ordinary electronic components, makes our approach an attractive platform for building neural interfaces in medical devices, robotics, and artificial intelligence systems such as reservoir computing

Dans cette thèse, nous étudions les approches calculatoires dédiées des réseaux de neurones profonds et plus particulièrement des réseaux de neurones convolutionnels (CNN). En effet, l'efficacité des réseaux de neurones convolutionnels en font des structures calculatoires intéressantes dans de nombreuses applications. Nous étudions les différentes possibilités d'implémentation de ce type de réseaux pour en déduire leur complexité calculatoire. Nous montrons que la complexité calculatoire de ce type de structure peut rapidement devenir incompatible avec les ressources de l'embarqué. Pour résoudre cette problématique, nous avons fait une exploration des différents modèles de neurones et architectures susceptibles de minimiser les ressources nécessaires à l'application. Dans un premier temps, notre approche a consisté à explorer les possibles gains par changement de modèle de neurones. Nous montrons que les modèles dits impulsionnels permettent en théorie de réduire la complexité calculatoire tout en offrant des propriétés dynamiques intéressantes, mais nécessitent de repenser entièrement l'architecture matériel de calcul. Nous avons alors proposé notre approche impulsionnelle du calcul des réseaux de neurones convolutionnels avec une architecture associée. Nous avons mis en place une chaîne logicielle et de simulation matérielle dans le but d'explorer les différents paradigmes de calcul et implémentation matérielle et évaluer leur adéquation avec les environnements embarqués. Cette chaîne nous permet de valider les aspects calculatoires mais aussi d'évaluer la pertinence de nos choix architecturaux. Notre approche théorique a été validée par notre chaîne et notre architecture a fait l'objet d'une simulation en FDSOI 28 nm. Ainsi nous avons montré que cette approche est relativement efficace avec des propriétés intéressantes un terme de passage à l'échelle, de précision dynamique et de performance calculatoire. Au final, l'implémentation des réseaux de neurones convolutionnels en utilisant des modèles impulsionnels semble être prometteuse pour améliorer l'efficacité des réseaux. De plus, cela permet d'envisager des améliorations par l'ajout d'un apprentissage non supervisé type STDP, l'amélioration du codage impulsionnel ou encore l'intégration efficace de mémoire de type RRAM
In this thesis, we study the dedicated computational approaches of deep neural networks and more particularly the convolutional neural networks (CNN).We highlight the convolutional neural networks efficiency make them interesting choice for many applications. We study the different implementation possibilities of this type of networks in order to deduce their computational complexity. We show that the computational complexity of this type of structure can quickly become incompatible with embedded resources. To address this issue, we explored differents models of neurons and architectures that could minimize the resources required for the application. In a first step, our approach consisted in exploring the possible gains by changing the model of neurons. We show that the so-called spiking models theoretically reduce the computational complexity while offering interesting dynamic properties but require a complete rethinking of the hardware architecture. We then proposed our spiking approach to the computation of convolutional neural networks with an associated architecture. We have set up a software and hardware simulation chain in order to explore the different paradigms of computation and hardware implementation and evaluate their suitability with embedded environments. This chain allows us to validate the computational aspects but also to evaluate the relevance of our architectural choices. Our theoretical approach has been validated by our chain and our architecture has been simulated in 28 nm FDSOI. Thus we have shown that this approach is relatively efficient with interesting properties of scaling, dynamic precision and computational performance. In the end, the implementation of convolutional neural networks using spiking models seems to be promising for improving the networks efficiency. Moreover, it allows improvements by the addition of a non-supervised learning type STDP, the improvement of the spike coding or the efficient integration of RRAM memory

Les troubles du contrôle de l'impulsivité sont une classe de troubles psychiatriques caractérisés par des difficultés dans la maîtrise de ses émotions, pensées et comportements. Ces troubles sont courants dans la maladie de Parkinson et associés à une baisse de la qualité de vie des patients ainsi qu'à une augmentation de la charge des aidants. Pouvoir prédire quels sont les sujets les plus à risque de développer ces troubles et quand ces troubles apparaissent est de grande importance. L'objectif de cette thèse est d'étudier les troubles du contrôle de l'impulsivité dans la maladie de Parkinson à partir des approches statistique et de l'apprentissage automatique, et se divise en deux parties. La première partie consiste à analyser la performance prédictive de l'ensemble des facteurs associés à ces troubles dans la littérature. La seconde partie consiste à étudier l'association et l'utilité d'autres facteurs, en particulier des données génétiques, pour améliorer la performance prédictive
Impulse control disorders are a class of psychiatric disorders characterized by impulsivity. These disorders are common during the course of Parkinson's disease, decrease the quality of life of subjects, and increase caregiver burden. Being able to predict which individuals are at higher risk of developing these disorders and when is of high importance. The objective of this thesis is to study impulse control disorders in Parkinson's disease from the statistical and machine learning points of view, and can be divided into two parts. The first part consists in investigating the predictive performance of the altogether factors associated with these disorders in the literature. The second part consists in studying the association and the usefulness of other factors, in particular genetic data, to improve the predictive performance

Avec l'expansion de l'Internet des objets (IoT) et l'augmentation des appareils connectés et des communications complexes, la demande de technologies de localisation précises et économes en énergie s'est intensifiée. Les techniques traditionnelles de machine learning et d'intelligence artificielle (IA) offrent une haute précision dans la localisation par radiofréquence (RF), mais au prix d'une complexité accrue et d'une consommation d'énergie élevée. Pour relever ces défis, cette thèse explore le potentiel de l'informatique neuromorphique, inspirée par les mécanismes du cerveau, pour permettre une localisation RF basée sur l'IA et économe en énergie. Elle présente un système neuromorphique analogique à base de pointes (RF NeuroAS), avec une version simplifiée entièrement implémentée en technologie BiCMOS 55 nm. Ce système identifie les positions des sources dans une plage de 360 degrés sur un plan bidimensionnel, en maintenant une haute résolution (10 ou 1 degré) même dans des conditions bruyantes. Le cœur de ce système, un réseau de neurones à impulsions basé sur l'analogique (A-SNN), a été formé et testé sur des données simulées (SimLocRF) à partir de MATLAB et des données expérimentales (MeasLocRF) provenant de mesures en chambre anéchoïque, tous deux développés dans cette thèse. Les algorithmes d'apprentissage pour l'A-SNN ont été développés selon deux approches: l'apprentissage profond (DL) et la plasticité dépendante du timing des impulsions (STDP) bio-plausible.RF NeuroAS atteint une précision de localisation de 97,1% avec SimLocRF et de 90,7% avec MeasLoc à une résolution de 10 degrés, tout en maintenant une haute performance avec une faible consommation d'énergie de l'ordre du nanowatt. Le RF NeuroAS simplifié consomme seulement 1.1 nW et fonctionne dans une plage dynamique de 30 dB. L'apprentissage de l'A-SNN, via DL et STDP, a démontré des performances sur les problèmes XOR et MNIST.Le DL dépend de la non-linéarité des fonctions de transfert post-layout des neurones et des synapses de l'A-SNN, tandis que le STDP dépend du bruit aléatoire dans les circuits neuronaux analogiques. Ces résultats marquent des avancées dans les applications IoT économes en énergie grâce à l'informatique neuromorphique, promettant des percées dans l'IoT intelligent à faible consommation d'énergie inspirées par les mécanismes du cerveau
As the Internet of Things (IoT) expands with more connected devices and complex communications, the demand for precise, energy-efficient localization technologies has intensified. Traditional machine learning and artificial intelligence (AI) techniques provide high accuracy in radio-frequency (RF) localization but often at the cost of greater complexity and power usage. To address these challenges, this thesis explores the potential of neuromorphic computing, inspired by brain functionality, to enable energy-efficient AI-based RF localization. It introduces an end-to-end analog spike-based neuromorphic system (RF NeuroAS), with a simplified version fully implemented in BiCMOS 55 nm technology. RF NeuroAS is designed to identify source positions within a 360-degree range on a two-dimensional plane, maintaining high resolution (10 or 1 degree) even in noisy conditions. The core of this system, an analog-based spiking neural network (A-SNN), was trained and tested on a simulated dataset (SimLocRF) from MATLAB and an experimental dataset (MeasLocRF) from anechoic chamber measurements, both developed in this thesis.The learning algorithms for A-SNN were developed through two approaches: software-based deep learning (DL) and bio-plausible spike-timing-dependent plasticity (STDP). RF NeuroAS achieves a localization accuracy of 97.1% with SimLocRF and 90.7% with MeasLoc at a 10-degree resolution, maintaining high performance with low power consumption in the nanowatt range. The simplified RF NeuroAS consumes just over 1.1 nW and operates within a 30 dB dynamic range. A-SNN learning, via DL and STDP, demonstrated performance on XOR and MNIST problems. DL depends on the non-linearity of post-layout transfer functions of A-SNN's neurons and synapses, while STDP depends on the random noise in analog neuron circuits. These findings highlight advancements in energy-efficient IoT through neuromorphic computing, promising low-power smart edge IoT breakthroughs inspired by brain mechanisms

L'essor récent de l'intelligence artificielle (IA) a trouvé un large éventail d'applications qui l'intègrent essentiellement dans presque tous les domaines de notre vie. Avec une telle intégration, il est raisonnable que des préoccupations surgissent. Celles-ci doivent être éliminées avant l'utilisation de l'IA sur le terrain, en particulier dans les applications critiques en termes de mission et de sécurité, comme les véhicules autonomes. Les réseaux neuronaux à impulsions (Spiking Neural Networks, SNNs), bien que d'inspiration biologique, n'héritent que partiellement des remarquables capacités de résistance aux pannes de leurs homologues biologiques, car ils sont vulnérables aux défauts électroniques et aux pannes survenant au niveau du matériel. Par conséquent, une exploration méthodologique des caractéristiques de fiabilité des accélérateurs matériels d'IA et des plateformes neuromorphiques est de la plus haute importance. Cette thèse aborde les sujets du test et de la tolérance aux fautes dans les SNNs et leurs implémentations neuromorphiques sur le matériel
The recent rise of Artificial Intelligence (AI) has found a wide range of applications essentially integrating it gaining more and more ground in almost every field of our lives. With this steep integration of AI, it is reasonable for concerns to arise, which need to be eliminated before the employment of AI in the field, especially in mission- and safety-critical applications like autonomous vehicles. Spiking Neural Networks (SNNs), although biologically inspired, inherit only partially the remarkable fault resilience capabilities of their biological counterparts, being vulnerable to electronic defects and faults occurring at hardware level. Hence, a methodological exploration of the dependability characteristics of AI hardware accelerators and neuromorphic platforms is of utmost importance. This thesis tackles the subjects of testing and fault tolerance in SNNs and their neuromorphic implementations on hardware

En este trabajo tesis se estudia el procesado de señales impulsivas generadas por impactos entre cuerpos rígidos. Uno de los problemas que se encuentran al trabajar con impactos es que su análisis generalmente se ve limitado a mediciones indirectas: debido a que las colisiones no se desarrollan directamente sobre el sensor, o bien, porque no es posible instrumentalizar el objeto de colisiona. Esto ocasiona que entre el sensor y el punto de impacto exista un medio de propagación que distorsiona la señal medida.

El desarrollo principal de esta tesis se enfoca al problema de cómo compensar o reducir los efectos de dicha distorsión. Para ello, se han investigado y desarrollado los siguientes puntos:

1) Estudio de la teoría mecánica del impacto y desarrollo de un modelo matemático del proceso de impacto entre dos cuerpos rígidos. A través de este estudio se investigan las características de las señales impulsivas generadas por colisiones.

2) Definición de una metodología experimental para generar impactos repetibles y determinar los parámetros del modelo matemático. La metodología se sustenta en el diseño e implementación de un prototipo experimental para generar impactos controlados, entre un objeto de prueba y un impactor sensorizado. Para realizar los experimentos se han seleccionado como objetos de prueba un conjunto de cilindros, de aluminio, acero, bronce y latón, en distintos tamaños. Mediante un minucioso estudio y cálculo de los parámetros experimentales, se ha comprobado la validez del modelo matemático.

3) Estudio del problema de la medición indirecta y propuesta de un método de procesado de señales, basado en redes neuronales artificiales, para determinar un filtro inverso que permite estimar la señal del impacto (la fuerza del impacto en función del tiempo). Esta metodología adapta el proceso de entrenamiento a las características de las señales impulsivas que se generan durante una colisión, y que se han identificado a través del estudio y modelado del proceso de impacto. El entrenamiento hace uso de señales reales, que provienen de impactos experimentales generados a distintas velocidades de impacto, y de señales generadas por el modelo matemático.

4) Propuesta de una metodología para estimar el tipo de material y la masa de los objetos de prueba que colisionan. La problemática que se encuentra en este análisis radica en que tanto los objetos como sus respuestas, tienen características similares. Con el método que se propone en este trabajo de tesis, se busca identificar de forma correcta las características de los objetos. El procedimiento considera la extracción de parámetros de las señales vibratorias de los objetos y del uso de redes neuronales para identificar las respuestas.

5) Proceso de evaluación experimental de los métodos propuestos. Para determinar la validez de los métodos de procesado antes descrito, primero se analizan los sensores más adecuados para este tipo de señales, que al ser de muy corta duración tienen un ancho de banda muy grande. En segundo lugar, se ha implementado un sistema medición y adquisición para señales impulsivas.

Los resultados obtenidos muestran la validez de los métodos propuestos. Con respecto al modelo, se ha verificado su validez con los datos de los distintos objetos de prueba. Asimismo, se ha comprobado que con las señales experimentales, también de los distintos objetos de prueba, el método propuesto para mitigar la distorsión debida a la medición indirecta opera de forma correcta. De la misma forma, el método propuesto para identificar el tipo de material y la masa de los objetos, ha generado resultados satisfactorios.
In this thesis, the processing of impulsive signals generated by impacts between rigid bodies is investigated. One of the problems found when working with impacts is that their analysis is generally limited to indirect measurements: because collisions do not develop directly on the sensor, or it is not possible to install the sensor on the colliding bodies. This means that between the sensor and the point of impact there is a propagation medium that distorts the measured signal.

The main effort of this thesis focuses on the problem of how to compensate or to reduce the effects of such distortion. To do this, the following points have been investigated and developed:

1) The study of the mechanical impact theory and the development of a mathematical model of the impact process between two rigid bodies. Through this study, the characteristics of the impulsive signals generated by collisions are investigated.

2) Definition of an experimental methodology for generating repeatable impacts and for determining the parameters of the mathematical model. The methodology is based on the design and implementation of an experimental prototype for generating controlled impacts between a test object and a sensorized impactor. To perform the experiments, a set of different test objects have been selected, cylinders made form aluminum, steel, bronze and brass in different sizes. Through a careful study and calculation of the experimental parameters, the validity of the mathematical model has been verified.

3) Study of the indirect measurement problem, and proposal of a signal processing method, based on artificial neural networks, to determine an inverse filter in order to estimate the impacting signal (the impact force as a function of the time). This methodology adapts the training process to the characteristics of the impulsive signals that are generated during a collision, and that have been identified through the study and modeling of the impact process. The training uses real signals, which come from experimental impacts generated at different impacting velocities, and signals generated by a mathematical model of the impacting force.

4) Proposal for a methodology to estimate the type of material and mass of test objects that collide. The problem found in this analysis is that both, the objects and their responses, have similar characteristics. With the method proposed in this thesis, it is possible to identify correctly the characteristics of one of the objects. The procedure considers the extraction of parameters from the vibrating signals of the objects, and then uses a neural network to classify those parameters.

5) Evaluation process of the proposed methods. To determine the validity of the processing methods described above, first, the selection of the most appropriate sensors to acquire these signals has been analyzed (this signals have a very short duration and very large bandwidth). Secondly, a measurement and acquisition system for impulsive signals has been implemented.

The experimental results show the validity of the proposed methods. In the case of the model, its validity has been verified with data from different test objects, made from different materials. Also, the proposed method used to deal with the distortion due to the indirect measurement has been tested with experimental data, from impacts with different test objects, and the results show that it operates properly. Likewise, the proposed method to identify the type of material and mass of the test objects has generated satisfactory results.

Inférence et apprentissage dans les réseaux de neurones profonds nécessitent une grande quantité de calculs qui, dans beaucoup de cas, limite leur intégration dans les environnements limités en ressources. Les réseaux de neurones évènementiels de type « spike » présentent une alternative aux réseaux de neurones artificiels classiques, et promettent une meilleure efficacité énergétique. Cependant, entraîner les réseaux spike demeure un défi important, particulièrement dans le cas où l’apprentissage doit être exécuté sur du matériel de calcul bio-inspiré, dit matériel neuromorphique. Cette thèse constitue une étude sur les algorithmes d’apprentissage et le codage de l’information dans les réseaux de neurones spike.A partir d’une règle d’apprentissage bio-inspirée, nous analysons quelles propriétés sont nécessaires dans les réseaux spike pour rendre possible un apprentissage embarqué dans un scénario d’apprentissage continu. Nous montrons qu’une règle basée sur le temps de déclenchement des neurones (type « spike-timing dependent plasticity ») est capable d’extraire des caractéristiques pertinentes pour permettre une classification d’objets simples comme ceux des bases de données MNIST et N-MNIST.Pour dépasser certaines limites de cette approche, nous élaborons un nouvel outil pour l’apprentissage dans les réseaux spike, SpikeGrad, qui représente une implémentation entièrement évènementielle de la rétro-propagation du gradient. Nous montrons comment cette approche peut être utilisée pour l’entrainement d’un réseau spike qui est capable d’inférer des relations entre valeurs numériques et des images MNIST. Nous démontrons que cet outil est capable d’entrainer un réseau convolutif profond, qui donne des taux de reconnaissance d’image compétitifs avec l’état de l’art sur les bases de données MNIST et CIFAR10. De plus, SpikeGrad permet de formaliser la réponse d’un réseau spike comme celle d’un réseau de neurones artificiels classique, permettant un entraînement plus rapide.Nos travaux introduisent ainsi plusieurs mécanismes d’apprentissage puissants pour les réseaux évènementiels, contribuant à rendre l’apprentissage des réseaux spike plus adaptés à des problèmes réels
Inference and training in deep neural networks require large amounts of computation, which in many cases prevents the integration of deep networks in resource constrained environments. Event-based spiking neural networks represent an alternative to standard artificial neural networks that holds the promise of being capable of more energy efficient processing. However, training spiking neural networks to achieve high inference performance is still challenging, in particular when learning is also required to be compatible with neuromorphic constraints. This thesis studies training algorithms and information encoding in such deep networks of spiking neurons. Starting from a biologically inspired learning rule, we analyze which properties of learning rules are necessary in deep spiking neural networks to enable embedded learning in a continuous learning scenario. We show that a time scale invariant learning rule based on spike-timing dependent plasticity is able to perform hierarchical feature extraction and classification of simple objects of the MNIST and N-MNIST dataset. To overcome certain limitations of this approach we design a novel framework for spike-based learning, SpikeGrad, which represents a fully event-based implementation of the gradient backpropagation algorithm. We show how this algorithm can be used to train a spiking network that performs inference of relations between numbers and MNIST images. Additionally, we demonstrate that the framework is able to train large-scale convolutional spiking networks to competitive recognition rates on the MNIST and CIFAR10 datasets. In addition to being an effective and precise learning mechanism, SpikeGrad allows the description of the response of the spiking neural network in terms of a standard artificial neural network, which allows a faster simulation of spiking neural network training. Our work therefore introduces several powerful training concepts for on-chip learning in neuromorphic devices, that could help to scale spiking neural networks to real-world problems