Auswahl der wissenschaftlichen Literatur zum Thema „Réseaux neuronaux bio-inspirés“

Dans cette thèse, nous étudions l’intégration du mouvement chez le primate. En se basant sur les connaissances actuelles concernant l’anatomie et les fonctions de deux aires corticales impliquées dans le mouvement, VI et MT, nous expliquons un certains nombre de réponses perceptuelles et oculo-motrices rapportées dans la littérature. Tout d’abord, nous construisons un modèle récurrent d’intégration du mouvement se basant sur un nombre minimal d’hypothèses concernant les interactions corticales. En proposant un simple mécanisme de « lecture », nous sommes capables de reproduire non seulement la perception, mais aussi les dynamiques oculaires de poursuite sur des stimuli de type ligne ou grille. De là, en se basant sur des études physiologiques concernant les champs récepteurs, nous construisons un deuxième modèle dynamique dans lequel l’information concernant le mouvement est dirigée par un signal de forme. Pour cela, nous postulons que le cortex visuel utilise la régularité de la luminance pour diriger la diffusion du mouvement. Un tel mécanisme élémentaire de diffusion permet de résoudre des problèmes contextuels, dans lesquels les jonctions extrinsèques doivent être ignorées, sans avoir besoin d’utiliser des mécanismes plus complexes tels que les détecteurs de jonctions ou le calcul de profondeur. Enfin, nous reformulons le modèle initial dans le cadre du formalisme des champs neuronaux afin d’analyser mathématiquement ses propriétés. Nous incorporons la rétroaction multiplicative dans le formalisme et prouvons l’existence et l’unicité de la solution. Afin de généraliser les comparaisons aux performances du système visuel, nous proposons une nouvelle méthodologie d’évaluation basée sur les performances du système visuel humain, accompagnée d’une série de vidéos issues de la littérature biologique et psychophysique. En effet, une méthodologie d’évaluation adaptée nous semble essentielle afin de continuer les progrès en modélisation des mécanismes neuraux impliqués dans le traitement du mouvement. Pour conclure, nous analysons les performances de notre modèle d’intégration du mouvement en l’appliquant à des problèmes classiques et récents issus de la vision par ordinateur. En dépit de son objectif initial, notre modèle est capable de donner des résultats comparables aux récentes approches proposées en vision par ordinateur au niveau de l’estimation de mouvement
This thesis addresses the study of motion integration in the primate. Based on anatomical and functional knowledge of two cortical areas involved in motion perception, namely VI and MT, we explain various perceptual and oculo-motor responses found in the literature. First, we build a recurrent model of motion integration where a minimal number of cortical interactions are assumed. Proposing a simple readout mechanism, we are able to reproduce not only motion perception but also the dynamics of smooth pursuit eye movements on various line figures and gratings viewed through different apertures. Second, following perceptual studies concerning motion integration and physiological studies of receptive fields, we construct another dynamical model where motion information is gated by form cues. To this end, we postulate that the visual cortex takes advantage of luminance smoothness in order to gate motion diffusion. Such an elementary diffusion mechanism allows to solve various contextual problems where extrinsic junctions should be eliminated, without relying on complex junction detectors or depth computation. Finally, we rewrite the initial dynamical model into the neural field formalism in order to mathematically analyse its properties. We incorporate the multiplicative feedback term into the formalism, and prove the existence and uniqueness of the solution. To generalise the comparison against visual performance, we propose a new evaluation methodology based on human visual performance and design a database of image sequences taken from biology and psychophysics literature. Offering proper evaluation methodology is essential to continue progress in modelling the neural mechanisms involved in motion processing. To conclude, we investigate the performances of our neural field model by comparison against state of the art computer vision approaches and sequences. We find that, despite its original objective, this model gives results comparable to recent computer vision approaches of motion estimation

Notre travail de recherche aborde le sujet de la modélisation quantitative du cours de change avec une approche par intelligence artificielle, notamment les algorithmes génétiques et les réseaux de neurones avec un cas d'application sur le marché de change Norvégien. Autrement dit, et dans le contexte de la modélisation pour expliquer le mouvement du taux de change, la thèse propose une réflexion sur les utilités de l'intelligence artificielle appliquées sur le modèle chartiste-fondamentaliste du cours de change. Les résultats d'optimisation et de simulation ont montré qu'en dépit de leur complexité, les séries de taux de change peuvent être modélisées de façon à ce que les valeurs estimées du taux de change s'approchent, dans la mesure du possible, des valeurs réelles du cours de change. La simulation artificielle par un modèle neuro-génétique donne le meilleur résultat en comparaison avec un modèle STAR ou avec un modèle neuronal standard. Le deuxième volet de la thèse a montré que l'utilisation d'un algorithme génétique comme moyen d'optimisation a permis de mesurer l'impact des variables explicatives sur le mouvement du taux de change Norvégien
The main objective of our research covers the quantitative modeling of foreign exchange rate using an artifïcial intelligence approach, notably the genetic algorithms and neural networks, applied to the Norwegian foreign exchange market. In the context of modeling to explain the movement of exchange rates, the thesis proposes a reflection on the artifïcial intelligence means applied to the chartist-fundamentalist approach of the exchange rate. The results of optimization and simulation show that despite their complexity, the series of exchange rates can be modeled so that the estimated values of the exchange rate approach, wherever possible, the real values of foreign exchange rate. The artifïcial simulation by a neuro-genetic model gives the best result compared with a STAR model and a standard neural model. The second part of the thesis has shown that using a genetic algorithm as a means of optimization has allowed measuring the impact of explanatory variables on the movement of the Norwegian exchange rate

L’étude du fonctionnement de notre système nerveux et des mécanismes sensoriels a mené à la création de capteurs événementiels. Ces capteurs ont un fonctionnement qui retranscrit les atouts de nos yeux et oreilles par exemple. Cette thèse se base sur la recherche de méthodes bio-inspirés et peu coûteuses en énergie permettant de traiter les données envoyées par ces nouveaux types de capteurs. Contrairement aux capteurs conventionnels, nos rétines et cochlées ne réagissent qu’à l’activité perçue dans l’environnement sensoriel. Les implémentations de type « rétine » ou « cochlée » artificielle, que nous appellerons capteurs dynamiques, fournissent des trains d’évènements comparables à des impulsions neuronales. La quantité d’information transmise est alors étroitement liée à l’activité présentée, ce qui a aussi pour effet de diminuer la redondance des informations de sortie. De plus, n’étant plus contraint à suivre une cadence d’échantillonnage, les événements créés fournissent une résolution temporelle supérieure. Ce mode bio-inspiré de retrait d’information de l’environnement a entraîné la création d’algorithmes permettant de suivre le déplacement d’entité au niveau visuel ou encore reconnaître la personne parlant ou sa localisation au niveau sonore, ainsi que des implémentations d’environnements de calcul neuromorphiques. Les travaux que nous présentons s’appuient sur ces nouvelles idées pour créer de nouvelles solutions de traitement. Plus précisément, les applications et le matériel développés s’appuient sur un codage temporel de l’information dans la suite d'événements fournis par le capteur
Studying how our nervous system and sensory mechanisms work lead to the creation of event-driven sensors. These sensors follow the same principles as our eyes or ears for example. This Ph.D. focuses on the search for bio-inspired low power methods enabling processing data from this new kind of sensor. Contrary to legacy sensors, our retina and cochlea only react to the perceived activity in the sensory environment. The artificial “retina” and “cochlea” implementations we call dynamic sensors provide streams of events comparable to neural spikes. The quantity of data transmitted is closely linked to the presented activity, which decreases the redundancy in the output data. Moreover, not being forced to follow a frame-rate, the created events provide increased timing resolution. This bio-inspired support to convey data lead to the development of algorithms enabling visual tracking or speaker recognition or localization at the auditory level, and neuromorphic computing environment implementation. The work we present rely on these new ideas to create new processing solutions. More precisely, the applications and hardware developed rely on temporal coding of the data in the spike stream provided by the sensors

Intégrer des algorithmes d'intelligence artificielle (IA) directement dans des satellites présente de nombreux défis. Ces systèmes embarqués, fortement limités en consommation d'énergie et en empreinte mémoire, doivent également résister aux interférences. Cela nécessite systématiquement l'utilisation de systèmes sur puce (SoC) afin de combiner deux systèmes dits « hétérogènes » : un microcontrôleur polyvalent et un accélérateur de calcul économe en énergie (comme un FPGA ou un ASIC). Pour relever les défis liés au portage de telles architectures, cette thèse se concentre sur l'optimisation et le déploiement de réseaux de neurones sur des architectures embarquées hétérogènes, dans le but de trouver un compromis entre la consommation d'énergie et la performance de l'IA. Dans le chapitre 2 de cette thèse, une étude approfondie des techniques de compression récentes pour des réseaux de neurones formels (FNN) tels que les MLP ou CNN a tout d'abord été effectuée. Ces techniques, qui permettent de réduire la complexité calculatoire et l'empreinte mémoire de ces modèles, sont essentielles pour leur déploiement dans des environnements aux ressources limitées. Les réseaux de neurones impulsionnels (SNN) ont également été explorés. Ces réseaux bio-inspirés peuvent en effet offrir une plus grande efficacité énergétique par rapport aux FNN. Dans le chapitre 3, nous avons ainsi adapté et élaboré des méthodes de quantification innovantes afin de réduire le nombre de bits utilisés pour représenter les valeurs d'un réseau impulsionnel. Nous avons ainsi pu confronter la quantification des SNN et des FNN, afin d'en comparer et comprendre les pertes et gains respectifs. Néanmoins, réduire l'activité d'un SNN (e.g. le nombre d'impulsions générées lors de l'inférence) améliore directement l'efficacité énergétique des SNN. Dans ce but, nous avons exploité dans le chapitre 4 des techniques de distillation de connaissances et de régularisation. Ces méthodes permettent de réduire l'activité impulsionnelle du réseau tout en préservant son accuracy, ce qui garantit un fonctionnement efficace des SNN sur du matériel à ressources limitées. Dans la dernière partie de cette thèse, nous nous sommes intéressés à l'hybridation des SNN et FNN. Ces réseaux hybrides (HNN) visent à optimiser encore davantage l'efficacité énergétique tout en améliorant les performances. Nous avons également proposé des réseaux multi-timesteps innovants, qui traitent l'information à des latences différentes à travers les couches d'un même SNN. Les résultats expérimentaux montrent que cette approche permet une réduction de la consommation d'énergie globale tout en maintenant les performances sur un ensemble de tâches. Ce travail de thèse constitue une base pour déployer les futures applications des réseaux de neurones dans l'espace. Pour valider nos méthodes, nous fournissons une analyse comparative sur différents jeux de données publics (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) et sur un jeu de données privé pour la segmentation des nuages. Nos approches sont évaluées sur la base de métriques telles que l'accuracy, la consommation d'énergie ou l'activité du SNN. Ce travail de recherche ne se limite pas aux applications aérospatiales. Nous avons en effet mis en évidence le potentiel des SNN quantifiés, des réseaux de neurones hybrides et des réseaux multi-timesteps pour une variété de scénarios réels où l'efficacité énergétique est cruciale. Ce travail offre ainsi des perspectives intéressantes pour des domaines tels que les dispositifs IoT, les véhicules autonomes et d'autres systèmes nécessitant un déploiement efficace de l'IA
Integrating artificial intelligence (AI) algorithms directly into satellites presents numerous challenges. These embedded systems, which are heavily limited in energy consumption and memory footprint, must also withstand interference. This systematically requires the use of system-on-chip (SoC) solutions to combine two so-called “heterogeneous” systems: a versatile microcontroller and an energy-efficient computing accelerator (such as an FPGA or ASIC). To address the challenges related to deploying such architectures, this thesis focuses on optimizing and deploying neural networks on heterogeneous embedded architectures, aiming to balance energy consumption and AI performance.In Chapter 2 of this thesis, an in-depth study of recent compression techniques for feedforward neural networks (FNN) like MLPs or CNNs was conducted. These techniques, which reduce the computational complexity and memory footprint of these models, are essential for deployment in resource-constrained environments. Spiking neural networks (SNN) were also explored. These bio-inspired networks can indeed offer greater energy efficiency compared to FNNs.In Chapter 3, we adapted and developed innovative quantization methods to reduce the number of bits used to represent the values in a spiking network. This allowed us to compare the quantization of SNNs and FNNs, to understand and assess their respective trade-offs in terms of losses and gains. Reducing the activity of an SNN (e.g., the number of spikes generated during inference) directly improves the energy efficiency of SNNs. To this end, in Chapter 4, we leveraged knowledge distillation and regularization techniques. These methods reduce the spiking activity of the network while preserving its accuracy, ensuring effective operation of SNNs on resource-limited hardware.In the final part of this thesis, we explored the hybridization of SNNs and FNNs. These hybrid networks (HNN) aim to further optimize energy efficiency while enhancing performance. We also proposed innovative multi-timestep networks, which process information with different latencies across layers within the same SNN. Experimental results show that this approach enables a reduction in overall energy consumption while maintaining performance across a range of tasks.This thesis serves as a foundation for deploying future neural network applications in space. To validate our methods, we provide a comparative analysis on various public datasets (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) as well as on a private dataset for cloud segmentation. Our approaches are evaluated based on metrics such as accuracy, energy consumption, or SNN activity. This research extends beyond aerospace applications. We have demonstrated the potential of quantized SNNs, hybrid neural networks, and multi-timestep networks for a variety of real-world scenarios where energy efficiency is critical. This work offers promising prospects for fields such as IoT devices, autonomous vehicles, and other systems requiring efficient AI deployment

On estime que le nombre d'objets connectés à l'Internet atteindra 50 à 100 milliards en 2020. La recherche s'organise en deux champs principaux pour répondre à ce défi : l'internet des objets et les grandes masses de données. La demande en puissance de calcul augmente plus vite que le développement de nouvelles architectures matérielles en particulier à cause du ralentissement de la loi de Moore. La raison principale en est le mur de la mémoire, autrement appelé le goulet d'étranglement de Von Neumann, qui vient des différences de vitesse croissantes entre le processeur et la mémoire. En conséquence, il y a besoin d'une nouvelle architecture matérielle rapide et économe en énergie pour répondre aux besoins énormes de puissance de calcul.Dans cette thèse, nous proposons de nouvelles architectures pour les processeurs de prochaine génération utilisant des nanotechnologies émergentes telles que les memristors. Nous étudions des méthodes de calcul non conventionnelles aussi bien numériques qu'analogiques. Notre contribution principale concerne les réseaux de neurones à impulsion (RNI) ou architectures neuromorphiques. Dans la première partie de la thèse, nous passons en revue les memristors existants, étudions leur utilisation dans une architecture numérique à base de crossbars, puis introduisons les architectures neuromorphiques. La deuxième partie contient la contribution principale~: le développement d'un simulateur d'architectures neuromorphiques (N2S3), l'introduction d'un nouveau type de synapse pour améliorer l'apprentissage, une exploration des paramètres en vue d'améliorer les RNI, et enfin une étude de la faisabilité des réseaux profonds dans les RNI
By 2020, there will be 50 to 100 billion devices connected to the Internet. Two domains of hot research to address these high demands of data processing are the Internet of Things (IoT) and Big Data. The demands of these new applications are increasing faster than the development of new hardware particularly because of the slowdown of Moore's law. The main reason of the ineffectiveness of the processing speed is the memory wall or Von Neumann bottleneck which is coming from speed differences between the processor and the memory. Therefore, a new fast and power-efficient hardware architecture is needed to respond to those huge demands of data processing. In this thesis, we introduce novel high performance architectures for next generation computing using emerging nanotechnologies such as memristors. We have studied unconventional computing methods both in the digital and the analog domains. However, the main focus and contribution is in Spiking Neural Network (SNN) or neuromorphic analog computing. In the first part of this dissertation, we review the memristive devices proposed in the literature and study their applicability in a hardware crossbar digital architecture. At the end of part~I, we review the Neuromorphic and SNN architecture. The second part of the thesis contains the main contribution which is the development of a Neural Network Scalable Spiking Simulator (N2S3) suitable for the hardware implementation of neuromorphic computation, the introduction of a novel synapse box which aims at better learning in SNN platforms, a parameter exploration to improve performance of memristor-based SNN, and finally a study of the application of deep learning in SNN

Le calcul neuromorphique est un domaine de l'informatique en plein essor. Il cherche à définir des modèles de calculs s'inspirant des propriétés du cerveau. Le calcul neuromorphique redéfinit la nature des trois composants clés de l'apprentissage : 1) données, 2) substrat de calcul et 3) algorithmes, en se fondant sur le fonctionnement du cerveau. Premièrement, les données sont représentées avec des événements tout ou rien distribués dans l'espace et le temps : les impulsions neuronales. Deuxièmement, le substrat de calcul efface la séparation entre calcul et mémoire introduite par les architectures de Von Neumann en les co-localisant, comme dans le cerveau. En outre, le calcul est massivement parallèle et asynchrone permettant aux unités computationnelles d'être activées à la volée, de façon indépendante. Troisièmement, les algorithmes d'apprentissage sont adaptés au substrat en exploitant les informations disponibles localement, au niveau du neurone. Ce vaste remaniement dans la manière d'appréhender la représentation et le transfert de l'information, le calcul et l'apprentissage, permettent aux processeurs neuromorphiques de promettre notamment un gain d'énergie d'un facteur considérable de 100 à 1000 par rapport aux CPU. Dans cette thèse, nous explorons le versant algorithmique du calcul neuromorphique en proposant des règles d'apprentissage événementielles répondant aux contraintes de localité et capables d'extraire des représentations de flux de données impulsionnels, épars et asynchrones. En outre, alors que la plupart des travaux connexes se basent sur des codes par taux de décharge où l'information est exclusivement représentée dans le nombre d'impulsions, nos règles d'apprentissage exploitent des codes temporels beaucoup plus efficients, où l'information est contenue dans les temps d'impulsions. Nous proposons d'abord une analyse approfondie d'une méthode de codage temporel par population de neurones, en proposant une méthode de décodage, et en analysant l'information délivrée et la structure du code. Puis nous introduisons une nouvelle règle événementielle et locale capable d'extraire des représentations de codes temporels en stockant des centroïdes de manière distribuée dans les poids synaptiques d'une population de neurones. Nous accentuons ensuite la nature temporelle de l'apprentissage en proposant d'apprendre des représentations non pas dans les poids synaptiques, mais dans les délais de transmission opérant intrinsèquement dans la dimension temporelle. Cela a engendré deux nouvelles règles événementielles et locales. Une règle adapte les délais de sorte à stocker des représentations, l'autre règle adapte les poids de sorte à filtrer les caractéristiques en fonction de leurs variabilité temporelle. Ces deux règles opèrent de manière complémentaire. Dans un dernier modèle, ces règles adaptant poids et délais sont augmentées par un nouveau neuromodulateur spatio-temporel. Ce neuromodulateur permet au modèle de reproduire le comportement des cartes auto-organisatrices dans un substrat impulsionnel, aboutissant ainsi à la génération de cartes ordonnées lors de l'apprentissage de représentations. Enfin nous proposons une nouvelle méthode générique d'étiquetage et de vote conçue pour des réseaux de neurones impulsionnels traitant des codes temporels. Cette méthode nous permet d'évaluer notre dernier modèle sur des tâches de catégorisation
Neuromorphic computing is a rapidly growing field of computer science. It seeks to define models of computation inspired by the properties of the brain. Neuromorphic computing redefines the nature of the three key components of learning: 1) data, 2) computing substrate, and 3) algorithms, based on how the brain works. First, the data are represented with all-or-nothing events distributed in space and time: spikes. Second, the computational substrate erases the separation between computation and memory introduced by Von Neumann architectures by co-locating them, as in the brain. Furthermore, the computation is massively parallel and asynchronous allowing the computational units to be activated on the fly, independently. Third, the learning algorithms are adapted to the computing substrate by exploiting the information available locally, at the neuron level. This vast overhaul in the way information transfer, information representation, computation and learning are approached, allows neuromorphic processors to promise in particular an energy saving of a considerable factor of 100 to 1000 compared to CPUs. In this thesis, we explore the algorithmic side of neuromorphic computing by proposing event-driven learning rules that satisfy locality constraints and are capable of extracting representations of event-based, sparse and asynchronous data streams. Moreover, while most related studies are based on rate codes where information is exclusively represented in the number of spikes, our learning rules exploit much more efficient temporal codes, where information is contained in the spike times. We first propose an in-depth analysis of a temporal coding method using a population of neurons. We propose a decoding method and we analyze the delivered information and the code structure. Then we introduce a new event-driven and local rule capable of extracting representations from temporal codes by storing centroids in a distributed way within the synaptic weights of a neural population. We then propose to learn representations not in synaptic weights, but rather in transmission delays operating intrinsically in the temporal dimension. This led to two new event-driven and local rules. One rule adapts delays so as to store representations, the other rule adapts weights so as to filter features according to their temporal variability. The two rules operate complementarily. In a last model, these rules adapting weights and delays are augmented by a new spatio-temporal neuromodulator. This neuromodulator makes it possible for the model to reproduce the behavior of self-organizing maps with spiking neurons, thus leading to the generation of ordered maps during the learning of representations. Finally, we propose a new generic labeling and voting method designed for spiking neural networks dealing with temporal codes. This method is used so as to evaluate our last model in the context of categorization tasks

Ce travail présente le Contrôle en Temps Réel (CTR) des Réseaux d’Assainissement (RA) dans le cadre des villes intelligentes. Le CTR nécessite de comprendre le fonctionnement du RA et d'effectuer des simulations sur des évènements mesurés, prévus et synthétiques. Par conséquent, un système de Surveillance en Temps Réel (STR) a été installé sur le site expérimental, et combinée à un modèle de simulation. Une méthode d'auto-calage des modèles hydrauliques et un système de prévision des conditions aux limites, ont été développés. Visant à protéger les citoyens et d'atténuer les conséquences des inondations, le CTR est composé d'un système de prévision des inondations suivi d'une gestion dynamique. Le concept et les méthodes proposés ont été appliqués sur le campus de l'Université de Lille 1, au sein du projet SunRise. STR a été trouvé très utile pour comprendre le fonctionnement du RA et pour le calage du modèle de simulation. L'Algorithme Génétique suivi par Pattern Search ont formé une procédure d'auto-calage efficace. NARX Neural Network a été développé et validé pour la prévision des conditions aux limites. Une fois l’opération du RA est analysée, le CTR a été développé. NARX Neural Network a été trouvé capable de prévoir les inondations. Une gestion dynamique pour augmenter la capacité de rétention du réservoir, a été étudiée sur la base du calcul de la variation temporaire de l’ouverture d’une vanne, et les résultats ont été satisfaisants en utilisant l'Algorithme Génétique et l’Algorithme des Abeilles, comme méthodes d'optimisation. Une gestion qualitative a également été examinée et testée pour vérifier son potentiel dans la réduction des volumes d'inondation
This work presents the Real Time Control (RTC) of Urban Drainage Systems (UDS) within smart cities. RTC requires to understand the UDS operation and to perform simulations on measured, forecasted and synthetic events. Therefore, a Real Time Monitoring system (RTM) was implemented on the experimental site, and combined to a simulation model. A model auto-calibration process and hydraulic boundary conditions forecast system were developed, in order to simulate the hydrologic-hydraulic response. Aiming to protect the citizens and mitigate flooding consequences, the RTC was composed of a flooding forecast system followed by a dynamic management strategy. The proposed concept and methodologies were applied and evaluated on the Lille 1 University Campus, within the SunRise project. RTM was found very helpful in understanding the system operation and calibrating the simulation model. Genetic Algorithm followed by Pattern Search formed an effective auto-calibration procedure for the simulation model. NARX Neural Network was developed and validated for forecasting hydraulic boundary conditions. Once understanding the UDS operations, the RTC was developed. NARX Neural Network was found capable to forecast flooding events. A dynamic management for increasing a tank retention capacity, was studied based on calculating a Valve State Schedule, and results were satisfying by using Genetic Algorithm and a modified form of Artificial Bee Colony, as optimization methods. A qualitative management was also proposed and tested for verifying its potential in reducing flooding volumes

La vision par ordinateur est un domaine stratégique, du fait du nombre potentiel d'applications avec un impact important sur la société. Ce secteur a rapidement progressé au cours de ces dernières années, notamment grâce aux avancées en intelligence artificielle et plus particulièrement l'avènement de l'apprentissage profond. Cependant, ces méthodes présentent deux défauts majeurs face au cerveau biologique : ils sont extrêmement énergivores et requièrent de gigantesques bases d'apprentissage étiquetées. Les réseaux de neurones à impulsions sont des modèles alternatifs qui permettent de répondre à la problématique de la consommation énergétique. Ces modèles ont la propriété de pouvoir être implémentés de manière très efficace sur du matériel, afin de créer des architectures très basse consommation. En contrepartie, ces modèles imposent certaines contraintes, comme l'utilisation uniquement de mémoire et de calcul locaux. Cette limitation empêche l'utilisation de méthodes d'apprentissage traditionnelles, telles que la rétro-propagation du gradient. La STDP est une règle d'apprentissage, observée dans la biologie, qui peut être utilisée dans les réseaux de neurones à impulsions. Cette règle renforce les synapses où des corrélations locales entre les temps d'impulsions sont détectées, et affaiblit les autres synapses. La nature locale et non-supervisée permet à la fois de respecter les contraintes des architectures neuromorphiques, et donc d'être implémentable de manière efficace, mais permet également de répondre aux problématiques d'étiquetage des bases d'apprentissage. Cependant, les réseaux de neurones à impulsions entraînés grâce à la STDP souffrent pour le moment de performances inférieures aux méthodes d'apprentissage profond. La littérature entourant la STDP utilise très majoritairement des données simples mais le comportement de cette règle n'a été que très peu étudié sur des données plus complexes, tel que sur des bases avec une variété d'images importante.L'objectif de ce manuscrit est d'étudier le comportement des modèles impulsionnels, entraîné via la STDP, sur des tâches de classification d'images. Le but principal est d'améliorer les performances de ces modèles, tout en respectant un maximum les contraintes imposées par les architectures neuromorphiques. Une première partie des contributions proposées dans ce manuscrit s'intéresse à la simulation logicielle des réseaux de neurones impulsionnels. L'implémentation matérielle étant un processus long et coûteux, l'utilisation de simulation est une bonne alternative pour étudier plus rapidement le comportement des différents modèles. La suite des contributions s'intéresse à la mise en place de réseaux impulsionnels multi-couches. Les réseaux composés d'un empilement de couches, tel que les méthodes d'apprentissage profond, permettent de traiter des données beaucoup plus complexes. Un des chapitres s'articule autour de la problématique de perte de fréquence observée dans les réseaux de neurones à impulsions. Ce problème empêche l'empilement de plusieurs couches de neurones impulsionnels. Une autre partie des contributions se concentre sur l'étude du comportement de la STDP sur des jeux de données plus complexes, tels que les images naturelles en couleur. Plusieurs mesures sont utilisées, telle que la cohérence des filtres ou la dispersion des activations, afin de mieux comprendre les raisons de l'écart de performances entre la STDP et les méthodes plus traditionnelles. Finalement, la réalisation de réseaux multi-couches est décrite dans la dernière partie des contributions. Pour ce faire, un nouveau mécanisme d'adaptation des seuils est introduit ainsi qu'un protocole permettant l'apprentissage multi-couches. Il est notamment démontré que de tels réseaux parviennent à améliorer l'état de l'art autour de la STDP
Computer vision is a strategic field, in consequence of its great number of potential applications which could have a high impact on society. This area has quickly improved over the last decades, especially thanks to the advances of artificial intelligence and more particularly thanks to the accession of deep learning. Nevertheless, these methods present two main drawbacks in contrast with biological brains: they are extremely energy intensive and they need large labeled training sets. Spiking neural networks are alternative models offering an answer to the energy consumption issue. One attribute of these models is that they can be implemented very efficiently on hardware, in order to build ultra low-power architectures. In return, these models impose certain limitations, such as the use of only local memory and computations. It prevents the use of traditional learning methods, for example the gradient back-propagation. STDP is a learning rule, observed in biology, which can be used in spiking neural networks. This rule reinforces the synapses in which local correlations of spike timing are detected. It also weakens the other synapses. The fact that it is local and unsupervised makes it possible to abide by the constraints of neuromorphic architectures, which means it can be implemented efficiently, but it also provides a solution to the data set labeling issue. However, spiking neural networks trained with the STDP rule are affected by lower performances in comparison to those following a deep learning process. The literature about STDP still uses simple data but the behavior of this rule has seldom been used with more complex data, such as sets made of a large variety of real-world images.The aim of this manuscript is to study the behavior of these spiking models, trained through the STDP rule, on image classification tasks. The main goal is to improve the performances of these models, while respecting as much as possible the constraints of neuromorphic architectures. The first contribution focuses on the software simulations of spiking neural networks. Hardware implementation being a long and costly process, using simulation is a good alternative in order to study more quickly the behavior of different models. Then, the contributions focus on the establishment of multi-layered spiking networks; networks made of several layers, such as those in deep learning methods, allow to process more complex data. One of the chapters revolves around the matter of frequency loss seen in several spiking neural networks. This issue prevents the stacking of multiple spiking layers. The center point then switches to a study of STDP behavior on more complex data, especially colored real-world image. Multiple measurements are used, such as the coherence of filters or the sparsity of activations, to better understand the reasons for the performance gap between STDP and the more traditional methods. Lastly, the manuscript describes the making of multi-layered networks. To this end, a new threshold adaptation mechanism is introduced, along with a multi-layer training protocol. It is proven that such networks can improve the state-of-the-art for STDP

L'ingénierie neuromorphique aborde de manière bio-inspirée le design des capteurs et ordinateurs. Elle prône l'imitation du vivant à l'échelle du transistor, afin de rivaliser avec la robustesse et la faible consommation des systèmes biologiques. Les caméras évènementielles ont vu le jour dans ce cadre. Elles possèdent des pixels indépendants qui détectent de manière asynchrone les changements dans leur champ visuel, avec une grande précision temporelle. Ces propriétés étant mal exploitées par les algorithmes usuels de vision par ordinateur, un nouveau paradigme encourageant de petits calculs à chaque évènement a été développé. Cette approche témoigne d'un potentiel à la fois pour la vision par ordinateur et en tant que modèle biologique. Cette thèse explore la vision par ordinateur évènementielle, afin de mieux comprendre notre système visuel et identifier des applications. Nous approchons le problème par la couleur, un aspect peu exploré des capteurs évènementiels. Nous présentons un cadriciel supportant les évènements couleur, ainsi que deux dispositifs expérimentaux l'utilisant : une caméra couleur évènementielle et un système pour la psychophysique visuelle destiné à l'étude du temps précis dans le cerveau. Nous considérons l'application du capteur couleur à la méthode de génie génétique Brainbow, et présentons un modèle mathématique de cette dernière
Neuromorphic engineering is a bio-inspired approach to sensors and computers design. It aims to mimic biological systems down to the transistor level, to match their unparalleled robustness and power efficiency. In this context, event-based vision sensors have been developed. Unlike conventional cameras, they feature independent pixels which asynchronously generate an output upon detecting changes in their field of view, with high temporal precision. These properties are not leveraged by conventional computer vision algorithms, thus a new paradigm has been devised. It advocates short calculations performed on each event to mimic the brain, and shows promise both for computer vision and as a model of biological vision. This thesis explores event-based computer vision to improve our understanding of visual perception and identify potential applications. We approach the issue through color, a mostly unexplored aspect of event-based sensors. We introduce a framework supporting color events, as well as two experimental devices leveraging it: a three-chip event-based camera performing absolute color measurements, and a visual psychophysics setup to study the role of precise-timing in the brain. We explore the possibility to apply the color sensor to the genetic engineering Brainbow method, and present a new mathematical model for the latter