Dissertations / Theses: 'Informatique Neuromorphique'

1

Suri, Manan. "Technologies émergentes de mémoire résistive pour les systèmes et application neuromorphique." Phd thesis, Université de Grenoble, 2013. http://tel.archives-ouvertes.fr/tel-00935190.

Full text

Abstract:

La recherche dans le domaine de l'informatique neuro-inspirée suscite beaucoup d'intérêt depuis quelques années. Avec des applications potentielles dans des domaines tels que le traitement de données à grande échelle, la robotique ou encore les systèmes autonomes intelligents pour ne citer qu'eux, des paradigmes de calcul bio-inspirés sont étudies pour la prochaine génération solutions informatiques (post-Moore, non-Von Neumann) ultra-basse consommation. Dans ce travail, nous discutons les rôles que les différentes technologies de mémoire résistive non-volatiles émergentes (RRAM), notamment (i) Phase Change Memory (PCM), (ii) Conductive-Bridge Memory (CBRAM) et de la mémoire basée sur une structure Metal-Oxide (OXRAM) peuvent jouer dans des dispositifs neuromorphiques dédies. Nous nous concentrons sur l'émulation des effets de plasticité synaptique comme la potentialisation à long terme (Long Term Potentiation, LTP), la dépression à long terme (Long Term Depression, LTD) et la théorie STDP (Spike-Timing Dependent Plasticity) avec des synapses RRAM. Nous avons développé à la fois de nouvelles architectures de faiblement énergivore, des méthodologies de programmation ainsi que des règles d'apprentissages simplifiées inspirées de la théorie STDP spécifiquement optimisées pour certaines technologies RRAM. Nous montrons l'implémentation de systèmes neuromorphiques a grande échelle et efficace énergétiquement selon deux approches différentes: (i) des synapses multi-niveaux déterministes et (ii) des synapses stochastiques binaires. Des prototypes d'applications telles que l'extraction de schéma visuel et auditif complexe sont également montres en utilisant des réseaux de neurones impulsionnels (Feed-forward Spiking Neural Network, SNN). Nous introduisons également une nouvelle méthodologie pour concevoir des neurones stochastiques très compacts qui exploitent les caractéristiques physiques intrinsèques des appareils CBRAM.

APA, Harvard, Vancouver, ISO, and other styles

2

Janzakova, Kamila. "Développement de dendrites polymères organiques en 3D comme dispositif neuromorphique." Electronic Thesis or Diss., Université de Lille (2022-....), 2023. http://www.theses.fr/2023ULILN017.

Full text

Abstract:

Les technologies neuromorphiques constituent une voie prometteuse pour le développement d'une informatique plus avancée et plus économe en énergie. Elles visent à reproduire les caractéristiques attrayantes du cerveau, telles qu'une grande efficacité de calcul et une faible consommation d'énergie au niveau des logiciels et du matériel. À l'heure actuelle, les implémentations logicielles inspirées du cerveau (telles que ANN et SNN) ont déjà démontré leur efficacité dans différents types de tâches (reconnaissance d'images et de la parole). Toutefois, pour tirer un meilleur parti des algorithmes inspirés du cerveau, il est possible de les combiner avec une implémentation materielle appropriée qui s'appuierait également sur une architecture et des processus inspirés du cerveau. L'ingénierie neuromorphique s'est principalement appuyée sur les technologies conventionnelles (CMOS circuits, memristor) pour le développement de circuits inspirés du cerveau. Néanmoins, ces implémentations sont fabriquées suivant une approche top-down. En revanche, l'informatique cérébrale repose sur des processus bottom-up tels que l'interconnectivité entre les cellules et la formation de voies de communication neuronales.À la lumière de ce qui précède, ce travail de thèse porte sur le développement de dispositifs neuromorphiques organiques programmables en 3D qui, contrairement à la plupart des technologies neuromorphiques actuelles, peuvent être créés de manière bottom-up. Cela permet de rapprocher les technologies neuromorphiques du niveau de programmation du cerveau, où les chemins neuronaux nécessaires sont établis uniquement en fonction des besoins.Tout d'abord, nous avons découvert que les interconnexions 3D à base de PEDOT:PSS peuvent être formées au moyen d'électropolymérisation bipolaire en courant alternatif, permettant d'imiter la croissance des cellules neuronales. En réglant individuellement les paramètres de la forme d'onde (tension d'amplitude de crête - VP, fréquence - f, duty cycle- dc et tension de décalage - Voff), une large gamme de structures semblables à des dendrites a été observée avec différents degrés de ramification, volumes, surfaces, asymétries et dynamiques de croissance.Ensuite, nous avons montré que les morphologies dendritiques obtenues à différentes fréquences sont conductrices. De plus, chaque structure présente une valeur de conductance qui peut être interprétée comme un poids synaptique. Plus important encore, la capacité des dendrites à fonctionner comme OECT a été révélée. Différentes morphologies de dendrites ont présenté des performances différentes en tant qu'OECT. De plus, la capacité des dendrites en PEDOT:PSS à modifier leur conductivité en réponse à la tension de grille a été utilisée pour imiter les fonctions de mémoire du cerveau (plasticité à court terme -STP et plasticité à long terme -LTP). Les réponses à la STP varient en fonction de la structure dendritique. En outre, l'émulation de la LTP a été démontrée non seulement au moyen d'un fil de grille Ag/AgCl, mais aussi au moyen d'une grille dendritique en polymère développée par électropolymérisation.Enfin, la plasticité structurelle a été démontrée par la croissance dendritique, où le poids de la connexion finale est régi par les règles d'apprentissage de type Hebbien (plasticité dépendante du moment de l'impulsion - STDP et plasticité dépendante du rythme de l'impulsion - SRDP). En utilisant les deux approches, une variété de topologies dendritiques avec des états de conductance programmables (c'est-à-dire le poids synaptique) et diverses dynamiques de croissance ont été observées. Finalement, en utilisant la même plasticité structurelle dendritique, des caractéristiques cérébrales plus complexes telles que l'apprentissage associatif et les tâches de classification ont été émulées.En outre, les perspectives futures de ces technologies basées sur des objets dendritiques polymères ont été discutées Neuromorphic technologies is a promising direction for development of more advanced and energy-efficient computing. They aim to replicate attractive brain features such as high computational efficiency at low power consumption on a software and hardware level. At the moment, brain-inspired software implementations (such as ANN and SNN) have already shown their successful application for different types of tasks (image and speech recognition). However, to benefit more from the brain-like algorithms, one may combine them with appropriate hardware that would also rely on brain-like architecture and processes and thus complement them. Neuromorphic engineering has already shown the utilization of solid-state electronics (CMOS circuits, memristor) for the development of brain-inspired devices. Nevertheless, these implementations are fabricated through top-down methods. In contrast, brain computing relies on bottom-up processes such as interconnectivity between cells and the formation of neural communication pathways.In the light of mentioned above, this work reports on the development of programmable 3D organic neuromorphic devices, which, unlike most current neuromorphic technologies, can be created in a bottom-up manner. This allows bringing neuromorphic technologies closer to the level of brain programming, where necessary neural paths are established only on the need.First, we found out that PEDOT:PSS based 3D interconnections can be formed by means of AC-bipolar electropolymerization and that they are capable of mimicking the growth of neural cells. By tuning individually the parameters of the waveform (peak amplitude voltage -VP, frequency - f, duty cycle - dc and offset voltage - Voff), a wide range of dendrite-like structures was observed with various branching degrees, volumes, surface areas, asymmetry of formation, and even growth dynamics.Next, it was discovered that dendritic morphologies obtained at various frequencies are conductive. Moreover, each structure exhibits an individual conductance value that can be interpreted as synaptic weight. More importantly, the ability of dendrites to function as OECT was revealed. Different dendrites exhibited different performances as OECT. Further, the ability of PEDOT:PSS dendrites to change their conductivity in response to gate voltage was used to mimic brain memory functions (short-term plasticity -STP and long-term plasticity -LTP). STP responses varied depending on the dendritic structure. Moreover, emulation of LTP was demonstrated not only by means of an Ag/AgCl gate wire but as well by means of a self-developed polymer dendritic gate.Finally, structural plasticity was demonstrated through dendritic growth, where the weight of the final connection is governed according to Hebbian learning rules (spike-timing-dependent plasticity - STDP and spike-rate-dependent plasticity - SRDP). Using both approaches, a variety of dendritic topologies with programmable conductance states (i.e., synaptic weight) and various dynamics of growth have been observed. Eventually, using the same dendritic structural plasticity, more complex brain features such as associative learning and classification tasks were emulated.Additionally, future perspectives of such technologies based on self-propagating polymer dendritic objects were discussed

APA, Harvard, Vancouver, ISO, and other styles

3

Bernard, Yann. "Calcul neuromorphique pour l'exploration et la catégorisation robuste d'environnement visuel et multimodal dans les systèmes embarqués." Electronic Thesis or Diss., Université de Lorraine, 2021. http://www.theses.fr/2021LORR0295.

Full text

Abstract:

Tandis que la quête pour des systèmes de calcul toujours plus puissants se confronte à des contraintes matérielles de plus en plus fortes, des avancées majeures en termes d’efficacité de calcul sont supposées bénéficier d’approches non conventionnelles et de nouveaux modèles de calcul tels que le calcul inspiré du cerveau. Le cerveau est une architecture de calcul massivement parallèle avec des interconnexions denses entre les unités de calcul. Les systèmes neurobiologiques sont donc une source d'inspiration naturelle pour la science et l'ingénierie informatiques. Les améliorations technologiques rapides des supports de calcul ont récemment renforcé cette tendance à travers deux conséquences complémentaires mais apparemment contradictoires : d’une part en offrant une énorme puissance de calcul, elles ont rendu possible la simulation de très grandes structures neuronales comme les réseaux profonds, et d’autre part en atteignant leurs limites technologiques et conceptuelles, elles ont motivé l'émergence de paradigmes informatiques alternatifs basés sur des concepts bio-inspirés. Parmi ceux-ci, les principes de l’apprentissage non supervisé retiennent de plus en plus l’attention.Nous nous intéressons ici plus particulièrement à deux grandes familles de modèles neuronaux, les cartes auto-organisatrices et les champs neuronaux dynamiques. Inspirées de la modélisation de l’auto-organisation des colonnes corticales, les cartes auto-organisatrices ont montré leur capacité à représenter un stimulus complexe sous une forme simplifiée et interprétable, grâce à d’excellentes performances en quantification vectorielle et au respect des relations de proximité topologique présentes dans l’espace d’entrée. Davantage inspirés des mécanismes de compétition dans les macro-colonnes corticales, les champs neuronaux dynamiques autorisent l’émergence de comportements cognitifs simples et trouvent de plus en plus d’applications dans le domaine de la robotique autonome notamment.Dans ce contexte, le premier objectif de cette thèse est de combiner cartes auto-organisatrices (SOM) et champs neuronaux dynamiques (DNF) pour l’exploration et la catégorisation d’environnements réels perçus au travers de capteurs visuels de différentes natures. Le second objectif est de préparer le portage de ce calcul de nature neuromorphique sur un substrat matériel numérique. Ces deux objectifs visent à définir un dispositif de calcul matériel qui pourra être couplé à différents capteurs de manière à permettre à un système autonome de construire sa propre représentation de l’environnement perceptif dans lequel il évolue. Nous avons ainsi proposé et évalué un modèle de détection de nouveauté à partir de SOM. Les considérations matérielles nous ont ensuite amené à des optimisations algorithmiques significatives dans le fonctionnement des SOM. Enfin, nous complémenté le modèle avec des DNF pour augmenter le niveau d'abstraction avec un mécanisme attentionnel de suivi de cible As the quest for ever more powerful computing systems faces ever-increasing material constraints, major advances in computing efficiency are expected to benefit from unconventional approaches and new computing models such as brain-inspired computing. The brain is a massively parallel computing architecture with dense interconnections between computing units. Neurobiological systems are therefore a natural source of inspiration for computer science and engineering. Rapid technological improvements in computing media have recently reinforced this trend through two complementary but seemingly contradictory consequences: on the one hand, by providing enormous computing power, they have made it possible to simulate very large neural structures such as deep networks, and on the other hand, by reaching their technological and conceptual limits, they have motivated the emergence of alternative computing paradigms based on bio-inspired concepts. Among these, the principles of unsupervised learning are receiving increasing attention.We focus here on two main families of neural models, self-organizing maps and dynamic neural fields. Inspired by the modeling of the self-organization of cortical columns, self-organizing maps have shown their ability to represent a complex stimulus in a simplified and interpretable form, thanks to excellent performances in vector quantization and to the respect of topological proximity relationships present in the input space. More inspired by competition mechanisms in cortical macro-columns, dynamic neural fields allow the emergence of simple cognitive behaviours and find more and more applications in the field of autonomous robotics.In this context, the first objective of this thesis is to combine self-organizing maps and dynamic neural fields for the exploration and categorisation of real environments perceived through visual sensors of different natures. The second objective is to prepare the porting of this neuromorphic computation on a digital hardware substrate. These two objectives aim to define a hardware computing device that can be coupled to different sensors in order to allow an autonomous system to construct its own representation of the perceptual environment in which it operates. Therefore, we proposed and evaluated a novelty detection model based on self-organising maps. Hardware considerations then led us to significant algorithmic optimisations SOM operations. Finally, we complemented the model with dynamic neural fields to increase the level of abstraction with an attentional target tracking mechanism

APA, Harvard, Vancouver, ISO, and other styles

4

Martinenghi, Romain. "Démonstration opto-électronique du concept de calculateur neuromorphique par Reservoir Computing." Thesis, Besançon, 2013. http://www.theses.fr/2013BESA2052/document.

Full text

Abstract:

Le Reservoir Computing (RC) est un paradigme s’inspirant du cerveau humain, apparu récemment au début des années2000. Il s'agit d'un calculateur neuromorphique habituellement décomposé en trois parties dont la plus importanteappelée "réservoir" est très proche d'un réseau de neurones récurrent. Il se démarque des autres réseaux de neuronesartificiels notamment grâce aux traditionnelles phases d'apprentissage et d’entraînement qui ne sont plus appliquées surla totalité du réseau de neurones mais uniquement sur la lecture du réservoir, ce qui simplifie le fonctionnement etfacilite une réalisation physique. C'est précisément dans ce contexte qu’ont été réalisés les travaux de recherche de cettethèse, durant laquelle nous avons réalisé une première implémentation physique opto-électronique de système RC.Notre approche des systèmes physiques RC repose sur l'utilisation de dynamiques non-linéaires à retards multiples dansl'objectif de reproduire le comportement complexe d'un réservoir. L'utilisation d'un système dynamique purementtemporel pour reproduire la dimension spatio-temporelle d'un réseau de neurones traditionnel, nécessite une mise enforme particulière des signaux d'entrée et de sortie, appelée multiplexage temporel ou encore étape de masquage. Troisannées auront été nécessaires pour étudier et construire expérimentalement nos démonstrateurs physiques basés sur desdynamiques non-linéaires à retards multiples opto-électroniques, en longueur d'onde et en intensité. La validationexpérimentale de nos systèmes RC a été réalisée en utilisant deux tests de calcul standards. Le test NARMA10 (test deprédiction de séries temporelles) et la reconnaissance vocale de chiffres prononcés (test de classification de données) ontpermis de quantifier la puissance de calcul de nos systèmes RC et d'atteindre pour certaines configurations l'état del'art Reservoir Computing (RC) is a currently emerging new brain-inspired computational paradigm, which appeared in theearly 2000s. It is similar to conventional recurrent neural network (RNN) computing concepts, exhibiting essentiallythree parts: (i) an input layer to inject the information in the computing system; (ii) a central computational layercalled the Reservoir; (iii) and an output layer which is extracting the computed result though a so-called Read-Outprocedure, the latter being determined after a learning and training step. The main originality compared to RNNconsists in the last part, which is the only one concerned by the training step, the input layer and the Reservoir beingoriginally randomly determined and fixed. This specificity brings attractive features to RC compared to RNN, in termsof simplification, efficiency, rapidity, and feasibility of the learning, as well as in terms of dedicated hardwareimplementation of the RC scheme. This thesis is indeed concerned by one of the first a hardware implementation of RC,moreover with an optoelectronic architecture.Our approach to physical RC implementation is based on the use of a sepcial class of complex system for the Reservoir,a nonlinear delay dynamics involving multiple delayed feedback paths. The Reservoir appears thus as a spatio-temporalemulation of a purely temporal dynamics, the delay dynamics. Specific design of the input and output layer are shownto be possible, e.g. through time division multiplexing techniques, and amplitude modulation for the realization of aninput mask to address the virtual nodes in the delay dynamics. Two optoelectronic setups are explored, one involving awavelength nonlinear dynamics with a tunable laser, and another one involving an intensity nonlinear dynamics with anintegrated optics Mach-Zehnder modulator. Experimental validation of the computational efficiency is performedthrough two standard benchmark tasks: the NARMA10 test (prediction task), and a spoken digit recognition test(classification task), the latter showing results very close to state of the art performances, even compared with purenumerical simulation approaches

APA, Harvard, Vancouver, ISO, and other styles

5

Mesquida, Thomas. "Méthode de calcul et implémentation d’un processeur neuromorphique appliqué à des capteurs évènementiels." Thesis, Université Grenoble Alpes (ComUE), 2018. http://www.theses.fr/2018GREAT117/document.

Full text

Abstract:

L’étude du fonctionnement de notre système nerveux et des mécanismes sensoriels a mené à la création de capteurs événementiels. Ces capteurs ont un fonctionnement qui retranscrit les atouts de nos yeux et oreilles par exemple. Cette thèse se base sur la recherche de méthodes bio-inspirés et peu coûteuses en énergie permettant de traiter les données envoyées par ces nouveaux types de capteurs. Contrairement aux capteurs conventionnels, nos rétines et cochlées ne réagissent qu’à l’activité perçue dans l’environnement sensoriel. Les implémentations de type « rétine » ou « cochlée » artificielle, que nous appellerons capteurs dynamiques, fournissent des trains d’évènements comparables à des impulsions neuronales. La quantité d’information transmise est alors étroitement liée à l’activité présentée, ce qui a aussi pour effet de diminuer la redondance des informations de sortie. De plus, n’étant plus contraint à suivre une cadence d’échantillonnage, les événements créés fournissent une résolution temporelle supérieure. Ce mode bio-inspiré de retrait d’information de l’environnement a entraîné la création d’algorithmes permettant de suivre le déplacement d’entité au niveau visuel ou encore reconnaître la personne parlant ou sa localisation au niveau sonore, ainsi que des implémentations d’environnements de calcul neuromorphiques. Les travaux que nous présentons s’appuient sur ces nouvelles idées pour créer de nouvelles solutions de traitement. Plus précisément, les applications et le matériel développés s’appuient sur un codage temporel de l’information dans la suite d'événements fournis par le capteur Studying how our nervous system and sensory mechanisms work lead to the creation of event-driven sensors. These sensors follow the same principles as our eyes or ears for example. This Ph.D. focuses on the search for bio-inspired low power methods enabling processing data from this new kind of sensor. Contrary to legacy sensors, our retina and cochlea only react to the perceived activity in the sensory environment. The artificial “retina” and “cochlea” implementations we call dynamic sensors provide streams of events comparable to neural spikes. The quantity of data transmitted is closely linked to the presented activity, which decreases the redundancy in the output data. Moreover, not being forced to follow a frame-rate, the created events provide increased timing resolution. This bio-inspired support to convey data lead to the development of algorithms enabling visual tracking or speaker recognition or localization at the auditory level, and neuromorphic computing environment implementation. The work we present rely on these new ideas to create new processing solutions. More precisely, the applications and hardware developed rely on temporal coding of the data in the spike stream provided by the sensors

APA, Harvard, Vancouver, ISO, and other styles

6

Novembre, Christophe. "Architectures des systèmes de l'information adaptées aux technologies nanométriques et/ou moléculaires : développement d'un composant moléculaire neuromorphique." Lille 1, 2007. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/2007/50376-2007-Novembre.pdf.

Full text

Abstract:

Avec le développement des objets nanométriques (nanotube de carbone,. . . ), se pose la question de leur utilisation dans des structures de calcul. Ce travail de thèse a consisté à rechercher l'architecture de calcul qui serait la plus adaptée pour les dispositifs issus des nanotechnologies. Dans un premier temps une étude critique de ces architectures de calcul envisageables a été réalisée. Celle-ci s'est basée sur une évaluation des propriétés de chaque architecture en fonction des particularités des objets nanométriques. De notre étude, il est ressorti que les réseaux de neurones constituent l'architecture la plus adaptée. Nous nous sommes en particulier focalisé sur la réalisation expérimentale d'une fonction particulière : la synapse. Une telle réalisation expérimentale réclame la fabrication d'un dispositif combinant des propriétés de transistor et de mémoire. Pour cela nous avons élaboré un transistor à pentacène contenant des nanoparticules insérées dans le composé organique. Les propriétés de transistor et de mémoire ont été démontrés par des caractérisations électriques. La fonctionnalité synaptique du dispositif a également été mise en évidence. En particulier le rôle des nanoparticules dans ces propriétés a été prouvé.

APA, Harvard, Vancouver, ISO, and other styles

7

Lévi, Timothée. "Méthodologie de développement d'une bibliothèque d'IP-AMS en vue de la conception automatisée de systèmes sur puces analogiques et mixtes : application à l'ingénierie neuromorphique." Bordeaux 1, 2007. http://www.theses.fr/2007BOR13480.

Full text

Abstract:

Les travaux de cette thèse apportent une contribution à l'automatisation du flot de conception analogique et mixte, en termes de méthodologies de réutilisation. Des méthodologies de développement et d'exploration de bibliothèque d'IPs (Intellectual Property) analogiques sont développées : définition et caractérisation d'un IP analogiques, création et exploration d'une base de données d'IPs, aide à la réutilisation destinée au concepteur. Le circuit utilisé pour l'application de ces méthodologies est un système neuromimétique c'est-à-dire qu'il reproduit l'activité électrique de neurones biologiques. Ces applications montrent à travers trois exemples, l'efficacité et la souplesse de notre méthodologie de redimensionnement de circuits analogiques CMOS lors d'une migration technologique.

APA, Harvard, Vancouver, ISO, and other styles

8

Shahsavari, Mahyar. "Unconventional computing using memristive nanodevices : from digital computing to brain-like neuromorphic accelerator." Thesis, Lille 1, 2016. http://www.theses.fr/2016LIL10203/document.

Full text

Abstract:

On estime que le nombre d'objets connectés à l'Internet atteindra 50 à 100 milliards en 2020. La recherche s'organise en deux champs principaux pour répondre à ce défi : l'internet des objets et les grandes masses de données. La demande en puissance de calcul augmente plus vite que le développement de nouvelles architectures matérielles en particulier à cause du ralentissement de la loi de Moore. La raison principale en est le mur de la mémoire, autrement appelé le goulet d'étranglement de Von Neumann, qui vient des différences de vitesse croissantes entre le processeur et la mémoire. En conséquence, il y a besoin d'une nouvelle architecture matérielle rapide et économe en énergie pour répondre aux besoins énormes de puissance de calcul.Dans cette thèse, nous proposons de nouvelles architectures pour les processeurs de prochaine génération utilisant des nanotechnologies émergentes telles que les memristors. Nous étudions des méthodes de calcul non conventionnelles aussi bien numériques qu'analogiques. Notre contribution principale concerne les réseaux de neurones à impulsion (RNI) ou architectures neuromorphiques. Dans la première partie de la thèse, nous passons en revue les memristors existants, étudions leur utilisation dans une architecture numérique à base de crossbars, puis introduisons les architectures neuromorphiques. La deuxième partie contient la contribution principale~: le développement d'un simulateur d'architectures neuromorphiques (N2S3), l'introduction d'un nouveau type de synapse pour améliorer l'apprentissage, une exploration des paramètres en vue d'améliorer les RNI, et enfin une étude de la faisabilité des réseaux profonds dans les RNI By 2020, there will be 50 to 100 billion devices connected to the Internet. Two domains of hot research to address these high demands of data processing are the Internet of Things (IoT) and Big Data. The demands of these new applications are increasing faster than the development of new hardware particularly because of the slowdown of Moore's law. The main reason of the ineffectiveness of the processing speed is the memory wall or Von Neumann bottleneck which is coming from speed differences between the processor and the memory. Therefore, a new fast and power-efficient hardware architecture is needed to respond to those huge demands of data processing. In this thesis, we introduce novel high performance architectures for next generation computing using emerging nanotechnologies such as memristors. We have studied unconventional computing methods both in the digital and the analog domains. However, the main focus and contribution is in Spiking Neural Network (SNN) or neuromorphic analog computing. In the first part of this dissertation, we review the memristive devices proposed in the literature and study their applicability in a hardware crossbar digital architecture. At the end of part~I, we review the Neuromorphic and SNN architecture. The second part of the thesis contains the main contribution which is the development of a Neural Network Scalable Spiking Simulator (N2S3) suitable for the hardware implementation of neuromorphic computation, the introduction of a novel synapse box which aims at better learning in SNN platforms, a parameter exploration to improve performance of memristor-based SNN, and finally a study of the application of deep learning in SNN

APA, Harvard, Vancouver, ISO, and other styles

9

Abderrahmane, Nassim. "Impact du codage impulsionnel sur l’efficacité énergétique des architectures neuromorphiques." Thesis, Université Côte d'Azur, 2020. http://www.theses.fr/2020COAZ4082.

Full text

Abstract:

Dans le contexte actuel, l’Intelligence Artificielle (IA) est largement répandue et s’applique à de nombreux domaines tels que les transports, la médecine et les véhicules autonomes. Parmi les algorithmes d'IA, on retrouve principalement les réseaux de neurones, qui peuvent être répartis en deux familles : d'une part, les Réseaux de Neurones Impulsionnels (SNNs) qui sont issus du domaine des neurosciences ; d'autre part, les Réseaux de Neurones Analogiques (ANNs) qui sont issus du domaine de l'apprentissage machine. Les ANNs connaissent un succès inédit grâce à des résultats inégalés dans de nombreux secteurs tels que la classification d'images et la reconnaissance d'objets. Cependant, leur déploiement nécessite des capacités de calcul considérables et ne conviennent pas à des systèmes très contraints. Afin de pallier ces limites, de nombreux chercheurs s'intéressent à un calcul bio-inspiré, qui serait la parfaite alternative aux calculateurs conventionnels basés sur l'architecture de Von Neumann. Ce paradigme répond aux exigences de performance de calcul, mais pas aux exigences d'efficacité énergétique. Il faut donc concevoir des circuits matériels neuromorphiques adaptés aux calculs parallèles et distribués. Dans ce contexte, nous avons établi un certain nombre de critères en termes de précision et de coût matériel pour différencier les SNNs et ANNs. Dans le cas de topologies simples, nous avons montré que les SNNs sont plus efficaces en termes de coût matériel que les ANNs, et ce, avec des précisions de prédiction quasiment similaires. Ainsi, dans ce travail, notre objectif est de concevoir une architecture neuromorphique basée sur les SNNs. Dans cette perspective, nous avons mis en place un flot de conception composé de trois niveaux, qui permet la réalisation d’une architecture neuromorphique dédiée et adaptée aux applications d’IA embarquée.Dans un contexte d'efficacité énergétique, nous avons réalisé une étude approfondie sur divers paradigmes de codage neuronal utilisés avec les SNNs. Par ailleurs, nous avons proposé de nouvelles versions dérivées du codage fréquentiel, visant à se rapprocher de l'activité produite avec le codage temporel, qui se caractérise par un nombre réduit d'impulsions (spikes) se propageant dans le SNN. En faisant cela, nous sommes en mesure de réduire le nombre de spikes, ce qui se traduit par un SNN avec moins d'événements à traiter, et ainsi, réduire la consommation énergétique sous-jacente. Pour cela, deux techniques nouvelles ont été proposées : "First Spike", qui se caractérise par l'utilisation d’un seul spike au maximum par donnée ; "Spike Select", qui permet de réguler et de minimiser l'activité globale du SNN.Dans la partie d’exploration RTL, nous avons comparé de manière quantitative un certain nombre d’architectures de SNN avec différents niveaux de parallélisme et multiplexage de calculs. En effet, le codage "Spike Select" engendre une régulation de la distribution des spikes, avec la majorité générée dans la première couche et peu d'entre eux propagés dans les couches profondes. Nous avons constaté que cette distribution bénéficie d’une architecture hybride comportant une première couche parallèle et les autres multiplexées. Par conséquent, la combinaison du "Spike Select" et de l'architecture hybride serait une solution efficace, avec un compromis efficace entre coût matériel, consommation et latence.Enfin, en se basant sur les choix architecturaux et neuronaux issus de l'exploration précédente, nous avons élaboré une architecture évènementielle dédiée aux SNNs mais suffisamment programmable pour supporter différents types et tailles de réseaux de neurones. L'architecture supporte les couches les plus utilisées : convolution, pooling et entièrement connectées. En utilisant cette architecture, nous serons bientôt en mesure de comparer les ANNs et les SNNs sur des applications réalistes et enfin conclure sur l'utilisation des SNNs pour l'IA embarquée Nowadays, Artificial Intelligence (AI) is a widespread concept applied to many fields such as transportation, medicine and autonomous vehicles. The main AI algorithms are artificial neural networks, which can be divided into two families: Spiking Neural Networks (SNNs), which are bio-inspired models resulting from neuroscience, and Analog Neural Networks (ANNs), which result from machine learning. The ANNs are experiencing unprecedented success in research and industrial fields, due to their recent successes in many application contexts such as image classification and object recognition. However, they require considerable computational capacity for their deployment which is not adequate to very constrained systems such as 'embedded systems'. To overcome these limitations, many researchers are interested in brain-inspired computing, which would be the perfect alternative to conventional computers based on the Von Neumann architecture (CPU/GPU). This paradigm meets computing performance but not energy efficiency requirements. Hence, it is necessary to design neuromorphic hardware circuits adaptable to parallel and distributed computing. In this context, we have set criteria in terms of accuracy and hardware implementation cost to differentiate the two neural families (SNNs and ANNs). In the case of simple network topologies, we conducted a study that has shown that the spiking models have significant gains in terms of hardware cost when compared to the analog networks, with almost similar prediction accuracies. Therefore, the objective of this thesis is to design a generic neuromorphic architecture that is based on spiking neural networks. To this end, we have set up a three-level design flow for exploring and implementing neuromorphic architectures.In an energy efficiency context, a thorough exploration of different neural coding paradigms for neural data representation in SNNs has been carried out. Moreover, new derivative versions of rate-based coding have been proposed that aim to get closer to the activity produced by temporal coding, which is characterized by a reduced number of spikes propagating in the network. In this way, the number of spikes can be reduced so that the number of events to be processed in the SNNs gets smaller. The aim in doing this approach is to reduce the hardware architecture's energy consumption. The proposed coding approaches are: First Spike, which is characterized using at most one single spike to present an input data, and Spike Select, which allows to regulate and minimize the overall spiking activity in the SNN.In the RTL design exploration, we quantitatively compared three SNN architectural models having different levels of computing parallelism and multiplexing. Using Spike Select coding results in a distribution regulation of the spiking data, with most of them generated within the first layer and few of them propagate into the deep layers. Such distribution benefits from a so-called 'hybrid architecture' that includes a fully-parallel part for the first layer and multiplexed parts to the other layers. Therefore, combining the Spike Select and the Hybrid Architecture would be an effective solution for embedded AI applications, with an efficient hardware and latency trade-off.Finally, based on the architectural and neural choices resulting from the previous exploration, we have designed a final event-based architecture dedicated to SNNs supporting different neural network types and sizes. The architecture supports the most used layers: convolutional, pooling and fully-connected. Using this architecture, we will be able to compare analog and spiking neural networks on realistic applications and to finally conclude about the use of SNNs for Embedded Artificial Intelligence

APA, Harvard, Vancouver, ISO, and other styles

10

Lagorce, Xavier. "Computational methods for event-based signals and applications." Thesis, Paris 6, 2015. http://www.theses.fr/2015PA066434/document.

Full text

Abstract:

Les neurosciences computationnelles sont une grande source d'inspiration pour le traitement de données. De nos jours, aussi bon que soit l'état de l'art de la vision par ordinateur, il reste moins performant que les possibilités offertes par nos cerveaux ou ceux d'autres animaux ou insectes. Cette thèse se base sur cette observation afin de développer de nouvelles méthodes de calcul pour la vision par ordinateur ainsi que pour le calcul de manière générale reposant sur les données issues de capteurs événementiels tels que les "rétines artificielles". Ces capteurs copient la biologie et sont utilisés dans ces travaux pour le caractère épars de leurs données ainsi que pour leur précision temporelle : l'information est codée dans des événements qui sont générés avec une précision de l'ordre de la microseconde. Ce concept ouvre les portes d'un paradigme complètement nouveau pour la vision par ordinateur, reposant sur le temps plutôt que sur des images. Ces capteurs ont été utilisés pour développer des applications comme le suivi ou la reconnaissance d'objets ou encore de l'extraction de motifs élémentaires. Des plate-formes de calcul neuromorphiques ont aussi été utilisées pour implémenter plus efficacement ces algorithmes, nous conduisant à repenser l'idée même du calcul. Les travaux présentés dans cette thèse proposent une nouvelle façon de penser la vision par ordinateur via des capteurs événementiels ainsi qu'un nouveau paradigme pour le calcul. Le temps remplace la mémoire permettant ainsi des opérations complètement locales, ce qui permet de réaliser des machines hautement parallèles avec une architecture non-Von Neumann Computational Neurosciences are a great source of inspiration for data processing and computation. Nowadays, how great the state of the art of computer vision might be, it is still way less performant that what our brains or the ones from other animals or insects are capable of. This thesis takes on this observation to develop new computational methods for computer vision and generic computation relying on data produced by event-based sensors such as the so called “silicon retinas”. These sensors mimic biology and are used in this work because of the sparseness of their data and their precise timing: information is coded into events which are generated with a microsecond precision. This opens doors to a whole new paradigm for machine vision, relying on time instead of using images. We use these sensors to develop applications such as object tracking or recognition and feature extraction. We also used computational neuromorphic platforms to better implement these algorithms which led us to rethink the idea of computation itself. This work proposes new ways of thinking computer vision via event-based sensors and a new paradigm for computation. Time is replacing memory to allow for completely local operations, enabling highly parallel machines in a non-Von Neumann architecture

APA, Harvard, Vancouver, ISO, and other styles

11

La, Barbera Selina. "Development of filamentary Memristive devices for synaptic plasticity implementation." Thesis, Lille 1, 2015. http://www.theses.fr/2015LIL10163/document.

Full text

Abstract:

Reproduire les fonctionnalités du cerveau représente un défi majeur dans le domaine des technologies de l’information et de la communication. Plus particulièrement, l’ingénierie neuromorphique, qui vise à implémenter au niveau matériel les propriétés de traitement de l’information du cerveau, apparait une direction de recherche prometteuse. Parmi les différentes stratégies poursuivies dans ce domaine, la proposition de composant memristif a permis d’envisager la réalisation des fonctionnalités des synapses et de répondre potentiellement aux problématiques d’intégration. Dans cette dissertation, nous présenterons comment les fonctionnalités synaptiques avancées peuvent être réalisées à partir de composants mémoires memristifs. Nous présentons une revue de l’état de l’art dans le domaine de l’ingénierie neuromorphique. En nous intéressant à la physique des composants mémoires filamentaires de type cellules électrochimiques, nous démontrons comment les processus de mémoire à court terme et de mémoire à long terme présents dans les synapses biologiques peuvent être réalisés en contrôlant la croissance de filaments de type dendritiques. Ensuite nous implémentons dans ces composants une fonctionnalité synaptique basée sur la corrélation temporelle entre les signaux provenant des neurones d’entrée et de sortie. Ces deux approches sont ensuite analysées à partir d’un modèle inspiré de la biologie permettant de mettre l’accent sur l’analogie entre synapses biologiques et composants mémoires filamentaires. Finalement, à partir de cette approche de modélisation, nous évaluons les potentialités de ces composants mémoires pour la réalisation de fonctions neuromorphiques concrètes Replicating the computational functionalities of the brain remains one of the biggest challenges for the future of information and communication technologies. In this context, neuromorphic engineering appears a very promising direction. In this context memristive devices have been recently proposed for the implementation of synaptic functions, offering the required features and integration potentiality in a single component. In this dissertation, we present how advanced synaptic features can be implemented in memristive nanodevices. By exploiting the physical properties of filamentary switching, we successfully implemented a non-Hebbian plasticity form corresponding to the synaptic adaptation. We demonstrate that complex filament shape, such as dendritic paths of variable density and width, can reproduce short- and long- term processes observed in biological synapses and can be conveniently controlled by achieving a flexible way to program the device memory state and the relative state volatility. Then, we show that filamentary switching can be additionally controlled to reproduce a Hebbian plasticity form that corresponds to an increase of the synaptic weight when time correlation between pre- and post-neuron firing is experienced at the synaptic connection. We interpreted our results in the framework of a phenomenological model developed for biological synapses. Finally, we exploit this model to investigate how spike-based systems can be realized for memory and computing applications. These results pave the way for future engineering of neuromorphic computing systems, where complex behaviors of memristive physics can be exploited

APA, Harvard, Vancouver, ISO, and other styles

12

Ly, Denys. "Mémoires résistives et technologies 3D monolithiques pour processeurs neuromorphiques impulsionnels et reconfigurables." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALT016.

Full text

Abstract:

Le cerveau humain est un système computationnel complexe mais énergétiquement efficace qui excelle aux applications cognitives grâce à sa capacité naturelle à faire de l'inférence. À l'inverse, les systèmes de calculs traditionnels reposant sur la classique architecture de Von Neumann exigent des consommations de puissance importantes pour exécuter de telles tâches. Ces considérations ont donné naissance à la fameuse approche neuromorphique, qui consiste à construire des systèmes de calculs inspirés du cerveau. Dans cette thèse, nous examinons l'utilisation de technologies novatrices, à savoir les mémoires résistives (RRAMs) et les technologies tridimensionnelles (3D) monolithiques, pour permettre l'implémentation matérielle compacte de processeurs neuromorphiques impulssionnels (SNNs) et reconfigurables à faible puissance. Dans un premier temps, nous fournirons une étude détaillée sur l'impact des propriétés électriques des RRAMs dans les SNNs utilisant des synapses à base de RRAMs, et entraînés avec des méthodes d'apprentissage non-supervisées (plasticité fonction du temps d'occurence des impulsions, STDP). Notamment, nous clarifierons le rôle de la variabilité synaptique provenant de la variabilité résistive des RRAMs. Dans un second temps, nous étudierons l'utilisation de matrices de mémoires ternaires adressables par contenu (TCAMs) à base de RRAMs en tant que tables de routage synaptique dans les processeurs SNNs, afin de permettre la reconfigurabilité de la topologie du réseau. Pour ce faire, nous présenterons des caractérisations électriques approfondies de deux circuits TCAMs à base de RRAMs: (i) la structure TCAM la plus courante avec deux-transistors/deux-RRAMs (2T2R), et (ii) une nouvelle structure TCAM avec un-transistor/deux-RRAMs/un-transistor (1T2R1T), toutes deux dotées de la plus petite surface silicium à l'heure actuelle. Nous comparerons les deux structures en termes de performances, fiabilité et endurance. Pour finir, nous explorerons le potentiel des technologies 3D monolithiques en vue d'améliorer l'efficacité en surface. En plus de la classique intégration monolithique des RRAMs dans le retour en fin de ligne (back-end-of-line) des technologies CMOS, nous analyserons l'empilement vertical de transistors CMOS les uns au-dessus des autres. Pour cela, nous démontrerons la possibilité d'intégrer monolithiquement deux niveaux de transistors CMOS avec un niveau de dispositifs RRAMs. Cette preuve de concept sera appuyée par des caractérisations électriques effectuées sur les dispositifs fabriqués The human brain is a complex, energy-efficient computational system that excels at cognitive tasks thanks to its natural capability to perform inference. By contrast, conventional computing systems based on the classic Von Neumann architecture require large power budget to execute such assignments. Herein comes the idea to build brain-inspired electronic computing systems, the so-called neuromorphic approach. In this thesis, we explore the use of novel technologies, namely Resistive Memories (RRAMs) and three-dimensional (3D) monolithic technologies, to enable the hardware implementation of compact, low-power reconfigurable Spiking Neural Network (SNN) processors. We first provide a comprehensive study of the impact of RRAM electrical properties on SNNs with RRAM synapses and trained with unsupervised learning (Spike-Timing-Dependent Plasticity (STDP)). In particular, we clarify the role of synaptic variability originating from RRAM resistance variability. Second, we investigate the use of RRAM-based Ternary Content-Addressable Memory (TCAM) arrays as synaptic routing tables in SNN processors to enable on-the-fly reconfigurability of network topology. For this purpose, we present in-depth electrical characterisations of two RRAM-based TCAM circuits: (i) the most common two-transistors/two-RRAMs (2T2R) RRAM-based TCAM, and (ii) a novel one-transistor/two-RRAMs/one-transistor (1T2R1T) RRAM-based TCAM, both featuring the smallest silicon area up-to-date. We compare both structures in terms of performance, reliability, and endurance. Finally, we explore the potential of 3D monolithic technologies to improve area-efficiency. In addition to the conventional monolithic integration of RRAMs in the back-end-of-line of CMOS technology, we examine the vertical stacking of CMOS over CMOS transistors. To this end, we demonstrate the full 3D monolithic integration of two tiers of CMOS transistors with one tier of RRAM devices, and present electrical characterisations performed on the fabricated devices

APA, Harvard, Vancouver, ISO, and other styles

13

Bichler, Olivier. "Contribution à la conception d'architecture de calcul auto-adaptative intégrant des nanocomposants neuromorphiques et applications potentielles." Phd thesis, Université Paris Sud - Paris XI, 2012. http://tel.archives-ouvertes.fr/tel-00781811.

Full text

Abstract:

Dans cette thèse, nous étudions les applications potentielles des nano-dispositifs mémoires émergents dans les architectures de calcul. Nous montrons que des architectures neuro-inspirées pourraient apporter l'efficacité et l'adaptabilité nécessaires à des applications de traitement et de classification complexes pour la perception visuelle et sonore. Cela, à un cout moindre en termes de consommation énergétique et de surface silicium que les architectures de type Von Neumann, grâce à une utilisation synaptique de ces nano-dispositifs. Ces travaux se focalisent sur les dispositifs dit "memristifs", récemment (ré)-introduits avec la découverte du memristor en 2008 et leur utilisation comme synapse dans des réseaux de neurones impulsionnels. Cela concerne la plupart des technologies mémoire émergentes : mémoire à changement de phase - "Phase-Change Memory" (PCM), "Conductive-Bridging RAM" (CBRAM), mémoire résistive - "Resistive RAM" (RRAM)... Ces dispositifs sont bien adaptés pour l'implémentation d'algorithmes d'apprentissage non supervisés issus des neurosciences, comme "Spike-Timing-Dependent Plasticity" (STDP), ne nécessitant que peu de circuit de contrôle. L'intégration de dispositifs memristifs dans des matrices, ou "crossbar", pourrait en outre permettre d'atteindre l'énorme densité d'intégration nécessaire pour ce type d'implémentation (plusieurs milliers de synapses par neurone), qui reste hors de portée d'une technologie purement en "Complementary Metal Oxide Semiconductor" (CMOS). C'est l'une des raisons majeures pour lesquelles les réseaux de neurones basés sur la technologie CMOS n'ont pas eu le succès escompté dans les années 1990. A cela s'ajoute la relative complexité et inefficacité de l'algorithme d'apprentissage de rétro-propagation du gradient, et ce malgré tous les aspects prometteurs des architectures neuro-inspirées, tels que l'adaptabilité et la tolérance aux fautes. Dans ces travaux, nous proposons des modèles synaptiques de dispositifs memristifs et des méthodologies de simulation pour des architectures les exploitant. Des architectures neuro-inspirées de nouvelle génération sont introduites et simulées pour le traitement de données naturelles. Celles-ci tirent profit des caractéristiques synaptiques des nano-dispositifs memristifs, combinées avec les dernières avancées dans les neurosciences. Nous proposons enfin des implémentations matérielles adaptées pour plusieurs types de dispositifs. Nous évaluons leur potentiel en termes d'intégration, d'efficacité énergétique et également leur tolérance à la variabilité et aux défauts inhérents à l'échelle nano-métrique de ces dispositifs. Ce dernier point est d'une importance capitale, puisqu'il constitue aujourd'hui encore la principale difficulté pour l'intégration de ces technologies émergentes dans des mémoires numériques.

APA, Harvard, Vancouver, ISO, and other styles

14

Haessig, Germain. "Neuromorphic computation using event-based sensors : from algorithms to hardware implementations." Thesis, Sorbonne université, 2018. http://www.theses.fr/2018SORUS422/document.

Full text

Abstract:

Cette thèse porte sur l’implémentation d’algorithmes événementiels, en utilisant, dans un premier temps, des données provenant d’une rétine artificielle, mimant le fonctionnement de la rétine humaine, pour ensuite évoluer vers tous types de signaux événementiels. Ces signaux événementiels sont issus d’un changement de paradigme dans la représentation du signal, offrant une grande plage dynamique de fonctionnement, une résolution temporelle importante ainsi qu’une compression native du signal. Sera notamment étudiée la réalisation d’un dispositif de création de cartes de profondeur monoculaires à haute fréquence, un algorithme de tri cellulaire en temps réel, ainsi que l’apprentissage non supervisé pour de la reconnaissance de formes. Certains de ces algorithmes (détection de flot optique, construction de cartes de profondeur en stéréovision) seront développés en parallèle sur des plateformes de simulation neuromorphiques existantes (SpiNNaker, TrueNorth), afin de proposer une chaîne de traitement de l’information entièrement neuromorphique, du capteur au calcul, à faible coût énergétique This thesis is about the implementation of neuromorphic algorithms, using, as a first step, data from a silicon retina, mimicking the human eye’s behavior, and then evolve towards all kind of event-based signals. These eventbased signals are coming from a paradigm shift in the data representation, thus allowing a high dynamic range, a precise temporal resolution and a sensor-level data compression. Especially, we will study the development of a high frequency monocular depth map generator, a real-time spike sorting algorithm for intelligent brain-machine interfaces, and an unsupervised learning algorithm for pattern recognition. Some of these algorithms (Optical flow detection, depth map construction from stereovision) will be in the meantime developed on available neuromorphic platforms (SpiNNaker, TrueNorth), thus allowing a fully neuromorphic pipeline, from sensing to computing, with a low power budget

APA, Harvard, Vancouver, ISO, and other styles

15

Bennett, Christopher H. "Apprentissage local avec des dispositifs de mémoire hautement analogiques." Thesis, Université Paris-Saclay (ComUE), 2018. http://www.theses.fr/2018SACLS037/document.

Full text

Abstract:

Dans la prochaine ère de l'informatique distribuée, les ordinateurs inspirés par le cerveau qui effectuent des opérations localement plutôt que dans des serveurs distants seraient un avantage majeur en réduisant les coûts énergétiques et réduisant l'impact environnemental. Une nouvelle génération de nanodispositifs de mémoire non-volatile est un candidat de premier plan pour réaliser cette vision neuromorphique. À l'aide de travaux théoriques et expérimentaux, nous avons exploré les problèmes critiques qui se posent lors de la réalisation physique des architectures de réseaux de neurones artificiels modernes (ANN) en utilisant des dispositifs de mémoire émergents (nanodispositifs « memristifs »). Dans notre travail expérimental, nos dispositifs organiques (polymeriques) se sont adaptés avec succès et automatiquement en tant que portes logiques reconfigurables en coopérant avec un neurone digital et programmable (FGPA). Dans nos travaux théoriques, nous aussi avons considéré les multicouches memristives ANNs. Nous avons développé et simulé des variantes de projection aléatoire (un système NoProp) et de rétropropagation (un système perceptron multicouche) qui utilisent deux crossbars. Ces systèmes d'apprentissage locaux ont montré des dépendances critiques sur les contraintes physiques des nanodispositifs. Enfin, nous avons examiné comment les conceptions ANNs “feed-forward” peuvent être modi-fiées pour exploiter les effets temporels. Nous avons amélioré la bio-inspiration et la performance du système NoProp, par exemple, avec des effets de plasticité dans la première couche. Ces effets ont été obtenus en utilisant un nanodispositif à ionisation d'argent avec un comportement de transition de plasticité intrinsèque In the next era of distributed computing, brain-based computers that perform operations locally rather than in remote servers would be a major benefit in reducing global energy costs. A new generation of emerging nonvolatile memory devices is a leading candidate for achieving this neuromorphic vision. Using theoretical and experimental work, we have explored critical issues that arise when physically realizing modern artificial neural network (ANN) architectures using emerging memory devices (“memristors”). In our experimental work, we showed organic nanosynapses adapting automatically as logic gates via a companion digital neuron and programmable logic cell (FGPA). In our theoretical work, we also considered multilayer memristive ANNs. We have developed and simulated random projection (NoProp) and backpropagation (Multilayer Perceptron) variants that use two crossbars. These local learning systems showed critical dependencies on the physical constraints of nanodevices. Finally, we examined how feed-forward ANN designs can be modified to exploit temporal effects. We focused in particular on improving bio-inspiration and performance of the NoProp system, for example, we improved the performance with plasticity effects in the first layer. These effects were obtained using a silver ionic nanodevice with intrinsic plasticity transition behavior

APA, Harvard, Vancouver, ISO, and other styles

16

Bedecarrats, Thomas. "Etude et intégration d’un circuit analogique, basse consommation et à faible surface d'empreinte, de neurone impulsionnel basé sur l’utilisation du BIMOS en technologie 28 nm FD-SOI." Thesis, Université Grenoble Alpes (ComUE), 2019. http://www.theses.fr/2019GREAT045.

Full text

Abstract:

Avec la fin annoncée de la loi de Moore, les acteurs de la microélectronique cherchent de nouveaux paradigmes sur lesquels s’appuyer pour alimenter les développements futurs de notre société de l’information. En s’inspirant des systèmes nerveux biologiques, l’ingénierie neuromorphique offre des perspectives nouvelles qui révolutionnent d’ores et déjà l’intelligence artificielle. Pour que leurs performances permettent leur généralisation, les processeurs neuronaux se doivent d’intégrer des circuits de neurones les plus petits et les moins énergivores possible afin que les réseaux de neurones artificiels qu’ils implémentent atteignent une taille critique. Dans ce travail, nous montrons qu’il est possible de réduire le nombre de composants nécessaires à la conception d’un circuit analogique de neurone impulsionnel par la fonctionnalisation des courants de génération parasites dans un transistor BIMOS intégré en technologie 28 nm FD-SOI et dimensionné aux tailles minimales autorisées par la technologie. Après une caractérisation systématique des ces courants par des mesures quasi-statiques du FD-SOI BIMOS à température ambiante sous différentes polarisations, une modélisation compacte de ce composant adaptée à partir du modèle CEA-LETI UTSOI est proposée. Le circuit analogique de neurone impulsionnel à fuite, intégration et déclenchement basé sur le BIMOS (« BIMOS-based leaky, integrate-and-fire spiking neuron » : BB-LIF SN) est ensuite décrit. L’influence des différentes dimensions caractéristiques et polarisations de contrôle sur son fonctionnement observée lors des mesures sur des démonstrateurs fabriqués sur silicium est expliquée en détail. Un modèle analytique simple de ses limites de fonctionnement est proposé. La cohérence entre les résultats de mesures, ceux de simulations compactes et les prédictions du modèle analytique simple atteste la pertinence des analyses proposées. Dans sa version la plus aboutie, le BB-LIF SN occupe une surface de 15 µm², consomme environ 2 pJ/spike, fonctionne à des fréquences de déclenchement comprises entre 3 et 75 kHz pour des courant synaptique compris entre 600 pA et 25 nA sous une tension d’alimentation de 3 V While Moore’s law reaches its limits, microelectronics actors are looking for new paradigms to ensure future developments of our information society. Inspired by biologic nervous systems, neuromorphic engineering is providing new perspectives which have already enabled breakthroughs in artificial intelligence. To achieve sufficient performances to allow their spread, neural processors have to integrate neuron circuits as small and as low power(ed) as possible so that artificial neural networks they implement reach a critical size. In this work, we show that it is possible to reduce the number of components necessary to design an analogue spiking neuron circuit thanks to the functionalisation of parasitic generation currents in a BIMOS transistor integrated in 28 nm FD-SOI technology and sized with the minimum dimensions allowed by this technology. After a systematic characterization of the FD-SOI BIMOS currents under several biases through quasi-static measurements at room temperature, a compact model of this component, adapted from the CEA-LETI UTSOI one, is proposed. The BIMOS-based leaky, integrate-and-fire spiking neuron (BB-LIF SN) circuit is described. Influence of the different design and bias parameters on its behaviour observed during measurements performed on a demonstrator fabricated in silicon is explained in detail. A simple analytic model of its operating boundaries is proposed. The coherence between measurement and compact simulation results and predictions coming from the simple analytic model attests to the relevance of the proposed analysis. In its most successful achievement, the BB-LIF SN circuit is 15 µm², consumes around 2 pJ/spike, triggers at a rate between 3 and 75 kHz for 600 pA to 25 nA synaptic currents under a 3 V power supply

APA, Harvard, Vancouver, ISO, and other styles

17

Mohamed, Abdalla Mohab Sameh. "Reservoir computing in lithium niobate on insulator platforms." Electronic Thesis or Diss., Ecully, Ecole centrale de Lyon, 2024. http://www.theses.fr/2024ECDL0051.

Full text

Abstract:

Cette étude concerne le calcul par réservoir à retard temporel, en anglais Time-Delay Reservoir Computing (TDRC) dans les plateformes de photonique intégré, en particulier la plateforme Lithium Niobate On Insulator (LNOI). Nous proposons une nouvelle architecture intégrée « tout optique », avec seulement un déphaseur comme paramètre modifiable pouvant atteindre de bonnes performances sur plusieurs tâches de référence de calcul par réservoir. Nous étudions également l'espace de conception de cette architecture et le fonctionnement asynchrone du TDRC, qui s'écarte du cadre plus courant consistant à envisager les ordinateurs TDRC comme des réseaux. En outre, nous suggérons d'exploiter le schéma tout optique pour se passer du masque d'entrée, ce qui permet de contourner la conversion Optique/Electronique/Optique (O/E/O), souvent nécessaire pour appliquer le masque dans les architectures TDRC. Dans des travaux futurs, cela pourra permettre le traitement de signaux entrants en temps réel, éventuellement pour des applications de télécommunication de pointe. Les effets de la lecture électronique de sortie sur cette architecture sont également étudiés. Aussi, nous suggérons d'utiliser la corrélation de Pearson comme une métrique nous permettant de concevoir un réservoir capable de traiter plusieurs tâches en même temps sur le même signal entrant (et éventuellement sur des signaux dans des canaux différents). Les premiers travaux expérimentaux menés à l'université RMIT sont également présentés. Par ces travaux, nous voulons étudier la performance de ces nouvelles architectures TDRC tout en ayant minimisant la complexité du matériel photonique. Pour cela on s’appuiera principalement sur les faibles pertes du LNOI qui permettent l'intégration du guide d'onde de rétroaction, et en utilisant uniquement l'interférence et la conversion d'intensité à la sortie (par le biais d'un photodétecteur) en tant que non-linéarité. Cela constitue une base sur laquelle pourront s’appuyer de futurs travaux étudiant les gains de performance lorsque des non-linéarités supplémentaires sont prises en compte (telles que celles de la plateforme LNOI) et lorsque la complexité globale du système augmente par l'introduction d'un plus grand nombre de paramètres. Ces travaux portent donc sur l'exploration d'une approche informatique non conventionnelle particulière (TDRC), utilisant une technologie particulière (la photonique intégrée), sur une plateforme particulière (LNOI). Ces travaux s'appuient sur l'intérêt croissant pour l'informatique non conventionnelle puisqu'il a été démontré au fil des ans que les ordinateurs numériques ne peuvent plus être une solution unique, en particulier pour les applications émergentes telles que l'intelligence artificielle (IA). Le paysage futur de l'informatique englobera probablement une grande variété de paradigmes informatiques, d'architectures et de hardware, afin de répondre aux besoins d'applications spécialisées croissantes, tout en coexistant avec les ordinateurs numériques qui restent - du moins pour l'instant - mieux adaptés à l'informatique à usage général This work concerns time-delay reservoir computing (TDRC) in integrated photonic platforms, specifically the Lithium Niobate on Insulator (LNOI) platform. We propose a novel all-optical integrated architecture, which has only one tunable parameter in the form of a phase-shifter, and which can achieve good performance on several reservoir computing benchmark tasks. We also investigate the design space of this architecture and the asynchronous operation, which represents a departure from the more common framework of envisioning time-delay reservoir computers as networks in the stricter sense. Additionally, we suggest to leverage the all-optical scheme to dispense with the input mask, which allows the bypassing of an O/E/O conversion, often necessary to apply the mask in TDRC architectures. In future work, this can allow the processing of real-time incoming signals, possibly for telecom/edge applications. The effects of the output electronic readout on this architecture are also investigated. Furthermore, it is suggested to use the Pearson correlation as a simple way to design a reservoir which can handle multiple tasks at the same time, on the same incoming signal (and possibly on signals in different channels). Initial experimental work carried out at RMIT University is also reported. The unifying theme of this work is to investigate the performance possibilities with minimum photonic hardware requirements, relying mainly on LNOI’s low losses which enables the integration of the feedback waveguide, and using only interference and subsequent intensity conversion (through a photodetector) as the nonlinearity. This provides a base for future work to compare against in terms of performance gains when additional nonlinearities are considered (such as those of the LNOI platform), and when overall system complexity is increased by means of introducing more tunable parameters. Thus, the scope of this work is about the exploration of one particular unconventional computing approach (reservoir computing), using one particular technology (photonics), on one particular platform (lithium niobate on insulator). This work builds on the increasing interest of exploring unconventional computing, since it has been shown over the years that digital computers can no longer be a `one-size-fits-all', especially for emerging applications like artificial intelligence (AI). The future landscape of computing will likely encompass a rich variety of computing paradigms, architectures, and hardware, to meet the needs of rising specialized applications, and all in coexistence with digital computers which remain --- at least for now --- better suited for general-purpose computing

APA, Harvard, Vancouver, ISO, and other styles

18

Denis-Le, Coarer Florian. "Neuromorphic computing using nonlinear ring resonators on a Silicon photonic chip." Electronic Thesis or Diss., CentraleSupélec, 2020. http://www.theses.fr/2020CSUP0001.

Full text

Abstract:

Avec les volumes exponentiels de données numériques générées chaque jour, un besoin de traitement des données en temps réel et économe en énergie s'est fait sentir. Ces défis ont motivé la recherche sur le traitement non conventionnel de l'information. Parmi les techniques existantes, l'apprentissage machine est un paradigme très efficace de l'informatique cognitive. Il fournit, au travers de nombreuses implémentations dont celle des réseaux de neurones artificiels, un ensemble de techniques pour apprendre à un ordinateur ou un système physique à effectuer des tâches complexes, telles que la classification, la reconnaissance de formes ou la génération de signaux. Le reservoir computing a été proposé il y a une dizaine d'années pour simplifier la procédure d’entraînement du réseau de neurones artificiels. En effet, le réseau est maintenu fixe et seules les connexions entre la couche de lecture et la sortie sont entraînées par une simple régression linéaire. L'architecture interne d’un reservoir computer permet des implémentations au niveau physique, et plusieurs implémentations ont été proposées sur différentes plateformes technologiques, dont les dispositifs photoniques. Le reservoir computing sur circuits intégrés optiques est un candidat très prometteur pour relever ces défis. L’objectif de ce travail de thèse a été de proposer trois architectures différentes de réservoir intégré basées sur l’utilisation des micro-anneaux résonnants. Nous en avons numériquement étudié les performances et mis en évidence des vitesses de traitement de données pouvant atteindre plusieurs dizaines de Gigabit par seconde avec des consommations énergétiques de quelques milliwatt With the exponential volumes of digital data generated every day, there is a need for real-time, energy-efficient data processing. These challenges have motivated research on unconventional information processing. Among the existing techniques, machine learning is a very effective paradigm of cognitive computing. It provides, through many implementations including that of artificial neural networks, a set of techniques to teach a computer or physical system to perform complex tasks, such as classification, pattern recognition or signal generation. Reservoir computing was proposed about ten years ago to simplify the procedure for training the artificial neural network. Indeed, the network is kept fixed and only the connections between the reading layer and the output are driven by a simple linear regression. The internal architecture of a reservoir computer allows physical implementations, and several implementations have been proposed on different technological platforms, including photonic devices. On-chip reservoir computing is a very promising candidate to meet these challenges. The objective of this thesis work was to propose three different integrated reservoir architectures based on the use of resonant micro-rings. We have digitally studied its performance and highlighted data processing speeds of up to several tens of Gigabits per second with energy consumption of a few milliwatts

APA, Harvard, Vancouver, ISO, and other styles

19

Spyrou, Theofilos. "Functional safety and reliability of neuromorphic computing systems." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS118.

Full text

Abstract:

L'essor récent de l'intelligence artificielle (IA) a trouvé un large éventail d'applications qui l'intègrent essentiellement dans presque tous les domaines de notre vie. Avec une telle intégration, il est raisonnable que des préoccupations surgissent. Celles-ci doivent être éliminées avant l'utilisation de l'IA sur le terrain, en particulier dans les applications critiques en termes de mission et de sécurité, comme les véhicules autonomes. Les réseaux neuronaux à impulsions (Spiking Neural Networks, SNNs), bien que d'inspiration biologique, n'héritent que partiellement des remarquables capacités de résistance aux pannes de leurs homologues biologiques, car ils sont vulnérables aux défauts électroniques et aux pannes survenant au niveau du matériel. Par conséquent, une exploration méthodologique des caractéristiques de fiabilité des accélérateurs matériels d'IA et des plateformes neuromorphiques est de la plus haute importance. Cette thèse aborde les sujets du test et de la tolérance aux fautes dans les SNNs et leurs implémentations neuromorphiques sur le matériel The recent rise of Artificial Intelligence (AI) has found a wide range of applications essentially integrating it gaining more and more ground in almost every field of our lives. With this steep integration of AI, it is reasonable for concerns to arise, which need to be eliminated before the employment of AI in the field, especially in mission- and safety-critical applications like autonomous vehicles. Spiking Neural Networks (SNNs), although biologically inspired, inherit only partially the remarkable fault resilience capabilities of their biological counterparts, being vulnerable to electronic defects and faults occurring at hardware level. Hence, a methodological exploration of the dependability characteristics of AI hardware accelerators and neuromorphic platforms is of utmost importance. This thesis tackles the subjects of testing and fault tolerance in SNNs and their neuromorphic implementations on hardware

APA, Harvard, Vancouver, ISO, and other styles

20

Reverter, Valeiras David. "Event-based detection and tracking." Thesis, Paris 6, 2017. http://www.theses.fr/2017PA066566/document.

Full text

Abstract:

L'objectif principal de cette thèse est le développement d'algorithmes événementiels pour la détection et le suivi d'objets. Ces algorithmes sont spécifiquement conçus pour travailler avec une sortie produite par des caméras neuromorphiques. Ce type de caméras sont un nouveau type de capteurs bio inspirés, dont le principe de fonctionnement s'inspire de la rétine: chaque pixel est indépendant et génère des événements de manière asynchrone lorsqu'un changement de luminosité suffisamment important est détecté à la position correspondante du plan focal. Cette nouvelle façon d'encoder l'information visuelle requiert de nouvelles méthodes pour la traiter. D'abord, un suiveur (tracker) plan est décrit. Cet algorithme associe à un objet une série de formes simples reliées par des ressorts. Le système mécanique virtuel résultant est mis à jour pour chaque événement. Le chapitre suivant présente un algorithme de détection de lignes et de segments, pouvant constituer une caractéristique (feature) événementielle de bas niveau. Ensuite, deux méthodes événementielles pour l'estimation de la pose 3D sont présentées. Le premier de ces algorithmes 3D est basé sur l'hypothèse que l'estimation de la pose est toujours proche de la position réelle, et requiert donc une initialisation manuelle. Le deuxième de ces algorithmes 3D est conçu pour surmonter cette limitation. Toutes les méthodes présentées mettent à jour l'estimation de la position (2D ou 3D) pour chaque événement. Cette thèse montre que la vision événementielle permet de reformuler une vaste série de problèmes en vision par ordinateur, souvent donnant lieu à des algorithmes plus simples mais toujours précis The main goal of this thesis is the development of event-based algorithms for visual detection and tracking. This algorithms are specifically designed to work on the output of neuromorphic event-based cameras. This type of cameras are a new type of bioinspired sensors, whose principle of operation is based on the functioning of the retina: every pixel is independent and generates events asynchronously when a sufficient amount of change is detected in the luminance at the corresponding position on the focal plane. This new way of encoding visual information calls for new processing methods. First, a part-based shape tracking is presented, which represents an object as a set of simple shapes linked by springs. The resulting virtual mechanical system is simulated with every incoming event. Next, a line and segment detection algorithm is introduced, which can be employed as an event-based low level feature. Two event-based methods for 3D pose estimation are then presented. The first of these 3D algorithms is based on the assumption that the current estimation is close to the true pose of the object, and it consequently requires a manual initialization step. The second of the 3D methods is designed to overcome this limitation. All the presented methods update the estimated position (2D or 3D) of the tracked object with every incoming event. This results in a series of trackers capable of estimating the position of the tracked object with microsecond resolution. This thesis shows that event-based vision allows to reformulate a broad set of computer vision problems, often resulting in simpler but accurate algorithms

APA, Harvard, Vancouver, ISO, and other styles

21

Vodenicarevic, Damir. "Rhythms and oscillations : a vision for nanoelectronics." Thesis, Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLS518/document.

Full text

Abstract:

Avec l'avènement de l'"intelligence artificielle", les ordinateurs, appareils mobiles et objets connectés sont amenés à dépasser les calculs arithmétiques et logiques pour lesquels ils ont été optimisés durant des décennies, afin d'effectuer des tâches "cognitives" telles que la traduction automatique ou la reconnaissance d'images et de voix, et pour lesquelles ils ne sont pas adaptés. Ainsi, un super-calculateur peut-il consommer des mégawatts pour effectuer des tâches que le cerveau humain traite avec 20 watt. Par conséquent, des système de calcul alternatifs inspirés du cerveau font l'objet de recherches importantes. En particulier, les oscillations neurales semblant être liées à certains traitements de données dans le cerveau ont inspiré des approches détournant la physique complexe des réseaux d'oscillateurs couplés pour effectuer des tâches cognitives efficacement. Cette thèse se fonde sur les avancées récentes en nano-technologies permettant la fabrication de nano-oscillateurs hautement intégrables pour proposer et étudier de nouvelles architectures neuro-inspirées de classification de motifs exploitant la dynamique des oscillateurs couplés et pouvant être implémentées sur puce With the advent of "artificial intelligence", computers, mobile devices and other connected objects are being pushed beyond the realm of arithmetic and logic operations, for which they have been optimized over decades, in order to process "cognitive" tasks such as automatic translation and image or voice recognition, for which they are not the ideal substrate. As a result, supercomputers may require megawatts to process tasks for which the human brain only needs 20 watt. This has revived interest into the design of alternative computing schemes inspired by the brain. In particular, neural oscillations that appear to be linked to computational activity in the brain have inspired approaches leveraging the complex physics of networks of coupled oscillators in order to process cognitive tasks efficiently. In the light of recent advances in nano-technology allowing the fabrication of highly integrable nano-oscillators, this thesis proposes and studies novel neuro-inspired oscillator-based pattern classification architectures that could be implemented on chip

APA, Harvard, Vancouver, ISO, and other styles

22

Daouzli, Adel Mohamed Renaud Sylvie Saïghi Sylvain. "Systèmes neuromorphiques étude et implantation de fonctions d'apprentissage et de plasticité /." S. l. : Bordeaux 1, 2009. http://ori-oai.u-bordeaux1.fr/pdf/2009/DAOUZLI_ADEL_MOHAMED_2009.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

23

Jouni, Zalfa. "Analog spike-based neuromorphic computing for low-power smart IoT applications." Electronic Thesis or Diss., université Paris-Saclay, 2024. http://www.theses.fr/2024UPAST114.

Full text

Abstract:

Avec l'expansion de l'Internet des objets (IoT) et l'augmentation des appareils connectés et des communications complexes, la demande de technologies de localisation précises et économes en énergie s'est intensifiée. Les techniques traditionnelles de machine learning et d'intelligence artificielle (IA) offrent une haute précision dans la localisation par radiofréquence (RF), mais au prix d'une complexité accrue et d'une consommation d'énergie élevée. Pour relever ces défis, cette thèse explore le potentiel de l'informatique neuromorphique, inspirée par les mécanismes du cerveau, pour permettre une localisation RF basée sur l'IA et économe en énergie. Elle présente un système neuromorphique analogique à base de pointes (RF NeuroAS), avec une version simplifiée entièrement implémentée en technologie BiCMOS 55 nm. Ce système identifie les positions des sources dans une plage de 360 degrés sur un plan bidimensionnel, en maintenant une haute résolution (10 ou 1 degré) même dans des conditions bruyantes. Le cœur de ce système, un réseau de neurones à impulsions basé sur l'analogique (A-SNN), a été formé et testé sur des données simulées (SimLocRF) à partir de MATLAB et des données expérimentales (MeasLocRF) provenant de mesures en chambre anéchoïque, tous deux développés dans cette thèse. Les algorithmes d'apprentissage pour l'A-SNN ont été développés selon deux approches: l'apprentissage profond (DL) et la plasticité dépendante du timing des impulsions (STDP) bio-plausible.RF NeuroAS atteint une précision de localisation de 97,1% avec SimLocRF et de 90,7% avec MeasLoc à une résolution de 10 degrés, tout en maintenant une haute performance avec une faible consommation d'énergie de l'ordre du nanowatt. Le RF NeuroAS simplifié consomme seulement 1.1 nW et fonctionne dans une plage dynamique de 30 dB. L'apprentissage de l'A-SNN, via DL et STDP, a démontré des performances sur les problèmes XOR et MNIST.Le DL dépend de la non-linéarité des fonctions de transfert post-layout des neurones et des synapses de l'A-SNN, tandis que le STDP dépend du bruit aléatoire dans les circuits neuronaux analogiques. Ces résultats marquent des avancées dans les applications IoT économes en énergie grâce à l'informatique neuromorphique, promettant des percées dans l'IoT intelligent à faible consommation d'énergie inspirées par les mécanismes du cerveau As the Internet of Things (IoT) expands with more connected devices and complex communications, the demand for precise, energy-efficient localization technologies has intensified. Traditional machine learning and artificial intelligence (AI) techniques provide high accuracy in radio-frequency (RF) localization but often at the cost of greater complexity and power usage. To address these challenges, this thesis explores the potential of neuromorphic computing, inspired by brain functionality, to enable energy-efficient AI-based RF localization. It introduces an end-to-end analog spike-based neuromorphic system (RF NeuroAS), with a simplified version fully implemented in BiCMOS 55 nm technology. RF NeuroAS is designed to identify source positions within a 360-degree range on a two-dimensional plane, maintaining high resolution (10 or 1 degree) even in noisy conditions. The core of this system, an analog-based spiking neural network (A-SNN), was trained and tested on a simulated dataset (SimLocRF) from MATLAB and an experimental dataset (MeasLocRF) from anechoic chamber measurements, both developed in this thesis.The learning algorithms for A-SNN were developed through two approaches: software-based deep learning (DL) and bio-plausible spike-timing-dependent plasticity (STDP). RF NeuroAS achieves a localization accuracy of 97.1% with SimLocRF and 90.7% with MeasLoc at a 10-degree resolution, maintaining high performance with low power consumption in the nanowatt range. The simplified RF NeuroAS consumes just over 1.1 nW and operates within a 30 dB dynamic range. A-SNN learning, via DL and STDP, demonstrated performance on XOR and MNIST problems. DL depends on the non-linearity of post-layout transfer functions of A-SNN's neurons and synapses, while STDP depends on the random noise in analog neuron circuits. These findings highlight advancements in energy-efficient IoT through neuromorphic computing, promising low-power smart edge IoT breakthroughs inspired by brain mechanisms

APA, Harvard, Vancouver, ISO, and other styles

24

Marcireau, Alexandre. "Vision par ordinateur évènementielle couleur : cadriciel, prototype et applications." Thesis, Sorbonne université, 2019. http://www.theses.fr/2019SORUS248.

Full text

Abstract:

L'ingénierie neuromorphique aborde de manière bio-inspirée le design des capteurs et ordinateurs. Elle prône l'imitation du vivant à l'échelle du transistor, afin de rivaliser avec la robustesse et la faible consommation des systèmes biologiques. Les caméras évènementielles ont vu le jour dans ce cadre. Elles possèdent des pixels indépendants qui détectent de manière asynchrone les changements dans leur champ visuel, avec une grande précision temporelle. Ces propriétés étant mal exploitées par les algorithmes usuels de vision par ordinateur, un nouveau paradigme encourageant de petits calculs à chaque évènement a été développé. Cette approche témoigne d'un potentiel à la fois pour la vision par ordinateur et en tant que modèle biologique. Cette thèse explore la vision par ordinateur évènementielle, afin de mieux comprendre notre système visuel et identifier des applications. Nous approchons le problème par la couleur, un aspect peu exploré des capteurs évènementiels. Nous présentons un cadriciel supportant les évènements couleur, ainsi que deux dispositifs expérimentaux l'utilisant : une caméra couleur évènementielle et un système pour la psychophysique visuelle destiné à l'étude du temps précis dans le cerveau. Nous considérons l'application du capteur couleur à la méthode de génie génétique Brainbow, et présentons un modèle mathématique de cette dernière Neuromorphic engineering is a bio-inspired approach to sensors and computers design. It aims to mimic biological systems down to the transistor level, to match their unparalleled robustness and power efficiency. In this context, event-based vision sensors have been developed. Unlike conventional cameras, they feature independent pixels which asynchronously generate an output upon detecting changes in their field of view, with high temporal precision. These properties are not leveraged by conventional computer vision algorithms, thus a new paradigm has been devised. It advocates short calculations performed on each event to mimic the brain, and shows promise both for computer vision and as a model of biological vision. This thesis explores event-based computer vision to improve our understanding of visual perception and identify potential applications. We approach the issue through color, a mostly unexplored aspect of event-based sensors. We introduce a framework supporting color events, as well as two experimental devices leveraging it: a three-chip event-based camera performing absolute color measurements, and a visual psychophysics setup to study the role of precise-timing in the brain. We explore the possibility to apply the color sensor to the genetic engineering Brainbow method, and present a new mathematical model for the latter

APA, Harvard, Vancouver, ISO, and other styles

25

Chappet, de Vangel Benoît. "Modèles cellulaires de champs neuronaux dynamiques." Thesis, Université de Lorraine, 2016. http://www.theses.fr/2016LORR0194/document.

Full text

Abstract:

Dans la recherche permanente de solutions pour dépasser les limitations de plus en plus visibles de nos architectures matérielles, le calcul non-conventionnel offre des alternatives variées comme l’ingénierie neuromorphique et le calcul cellulaire. Comme von Neumann qui s’était initialement inspiré du cerveau pour concevoir l’architecture des ordinateurs, l’ingénierie neuromorphique prend la même inspiration en utilisant un substrat analogique plus proche des neurones et des synapses. Le calcul cellulaire s’inspire lui des substrats de calcul naturels (chimique, physiques ou biologiques) qui imposent une certaine localité des calculs de laquelle va émerger une organisation et des calculs. La recherche sur les mécanismes neuronaux permet de comprendre les grands principes de calculs émergents des neurones. Un des grands principes que nous allons utiliser dans cette thèse est la dynamique d’attracteurs d’abord décrite par Amari (champs neuronaux dynamiques, ou DNF pour dynamic neural fields), Amit et Zhang (réseaux de neurones à attracteurs continus). Ces champs de neurones ont des propriétés de calcul variées mais sont particulièrement adaptés aux représentations spatiales et aux fonctions des étages précoces du cortex visuel. Ils ont été utilisés entre autres dans des applications de robotique autonome, dans des tâches de classification et clusterisation. Comme de nombreux modèles de calcul neuronal, ils sont également intéressants du point de vue des architectures matérielles en raison de leur robustesse au bruit et aux fautes. On voit donc l’intérêt que ces modèles de calcul peuvent avoir comme solution permettant de dépasser (ou poursuivre) la loi de Moore. La réduction de la taille des transistors provoque en effet beaucoup de bruit, de même que la relaxation de la contrainte de ~ 0% de fautes lors de la production ou du fonctionnement des circuits permettrait d’énormes économies. Par ailleurs, l’évolution actuelle vers des circuits many-core de plus en plus distribués implique des difficultés liées au mode de calcul encore centralisés de la plupart des modèles algorithmiques parallèles, ainsi qu’au goulot d’étranglement des communications. L’approche cellulaire est une réponse naturelle à ces enjeux. Partant de ces différents constats, l’objectif de cette thèse est de rendre possible les calculs et applications riches des champs neuronaux dynamiques sur des substrats matériels grâce à des modèles neuro-cellulaires assurant une véritable localité, décentralisation et mise à l’échelle des calculs. Cette thèse est donc une proposition argumentée pour dépasser les limites des architectures de type von Neumann en utilisant des principes de calcul neuronal et cellulaire. Nous restons cependant dans le cadre numérique en explorant les performances des architectures proposées sur FPGA. L’utilisation de circuits analogiques (VLSI) serait tous aussi intéressante mais n’est pas étudiée ici. Les principales contributions sont les suivantes : 1) Calcul DNF dans un environnement neuromorphique ; 2) Calcul DNF avec communication purement locale : modèle RSDNF (randomly spiking DNF) ; 3) Calcul DNF avec communication purement locale et asynchrone : modèle CASAS-DNF (cellular array of stochastic asynchronous spiking DNF) In the constant search for design going beyond the limits of the von Neumann architecture, non conventional computing offers various solutions like neuromorphic engineering and cellular computing. Like von Neumann who roughly reproduced brain structures to design computers architecture, neuromorphic engineering takes its inspiration directly from neurons and synapses using analog substratum. Cellular computing influence comes from natural substratum (chemistry, physic or biology) imposing locality of interactions from which organisation and computation emerge. Research on neural mechanisms was able to demonstrate several emergent properties of the neurons and synapses. One of them is the attractor dynamics described in different frameworks by Amari with the dynamic neural fields (DNF) and Amit and Zhang with the continuous attractor neural networks. These neural fields have various computing properties and are particularly relevant for spatial representations and early stages of visual cortex processing. They were used, for instance, in autonomous robotics, classification and clusterization. Similarly to many neuronal computing models, they are robust to noise and faults and thus are good candidates for noisy hardware computation models which would enable to keep up or surpass the Moore law. Indeed, transistor area reductions is leading to more and more noise and the relaxation of the approx. 0% fault during production and operation of integrated circuits would lead to tremendous savings. Furthermore, progress towards many-cores circuits with more and more cores leads to difficulties due to the centralised computation mode of usual parallel algorithms and their communication bottleneck. Cellular computing is the natural answer to these problems. Based on these different arguments, the goal of this thesis is to enable rich computations and applications of dynamic neural fields on hardware substratum with neuro-cellular models enabling a true locality, decentralization and scalability of the computations. This work is an attempt to go beyond von Neumann architectures by using cellular and neuronal computing principles. However, we will stay in the digital framework by exploring performances of proposed architectures on FPGA. Analog hardware like VLSI would also be very interesting but is not studied here. The main contributions of this work are : 1) Neuromorphic DNF computation ; 2) Local DNF computations with randomly spiking dynamic neural fields (RSDNF model) ; 3) Local and asynchronous DNF computations with cellular arrays of stochastic asynchronous spiking DNFs (CASAS-DNF model)

APA, Harvard, Vancouver, ISO, and other styles

26

Delacour, Corentin. "Architecture Design for Analog Oscillatory Neural Networks." Electronic Thesis or Diss., Université de Montpellier (2022-....), 2023. http://www.theses.fr/2023UMONS069.

Full text

Abstract:

La transformation de nos sociétés par le digital génère des quantités importantes de données dont la croissance a atteint une vitesse exponentielle depuis les dernières années. En dépit du progrès technique en matière de calcul, les ordinateurs digitaux actuels suivent difficilement cette tendance et sont dépassés par l'ampleur de certains problèmes, notamment liés aux algorithmes d'intelligence artificielle et aux problèmes d'optimisation de grande échelle. La limitation principale est liée à l'architecture même des calculateurs digitaux, à savoir la séparation du processeur et de la mémoire qui induit un ralentissement par le transfert des données, aussi appelée le goulot d'étranglement de von Neumann. Afin de contourner cette limitation, d'autres méthodes de calcul furent proposées distribuant le processeur et la mémoire telles que les architectures neuromorphiques basées sur l'implémentation de réseaux de neurones artificiels inspirés du cerveau. En outre, repenser la manière digitale de calculer comme par exemple utiliser les lois physiques et analogiques a le potentiel de réduire l'impact énergétique de certains calculs tout en les accélérant. Cette thèse a pour objectif principal d'explorer une approche physique du calcul fondée sur des réseaux de neurones oscillants (ONN) analogiques à faible coût énergétique. En particulier, ce travail se concentre sur (1) les performances d'une architecture ONN basée sur des neurones oscillants à partir de dioxyde de vanadium et couplés par des résistances, (2) une nouvelle architecture d'ONN à signaux mixtes calculant dans le domaine analogique, et propageant l'information de manière digitale afin de faciliter la conception à grande échelle, et (3) comment les ONNs peuvent résoudre des problèmes d'optimisation combinatoire dont la complexité croît de manière exponentielle avec la taille du problème. Pour conclure, de potentielles applications et futurs axes de recherche sont discutés Digitalization of society creates important quantities of data that have been increasing at an exponential rate during the past few years. Despite the tremendous technological progress, digital computers have trouble meeting the demand, especially for challenging tasks involving artificial intelligence or optimization problems. The fundamental reason comes from the architecture of digital computers which separates the processor and memory and slows down computations due to undesired data transfers, the so-called von Neumann bottleneck. To avoid unnecessary data movement, various computing paradigms have been proposed that merge processor and memory such as neuromorphic architectures that take inspiration from the brain and physically implement artificial neural networks. Furthermore, rethinking digital operations and using analog physical laws to compute has the potential to accelerate some tasks at a low energy cost.This dissertation aims to explore an energy-efficient physical computing approach based on analog oscillatory neural networks (ONN). In particular, this dissertation unveils (1) the performances of ONN based on vanadium dioxide oscillating neurons with resistive synapses, (2) a novel mixed-signal and scalable ONN architecture that computes in the analog domain and propagates the information digitally, and (3) how ONNs can tackle combinatorial optimization problems whose complexity scale exponentially with the problem size. The dissertation concludes with discussions of some promising future research directions

APA, Harvard, Vancouver, ISO, and other styles

27

Roclin, David. "Utilisation des nano-composants électroniques dans les architectures de traitement associées aux imageurs." Thesis, Paris 11, 2014. http://www.theses.fr/2014PA112408/document.

Full text

Abstract:

En utilisant les méthodes d’apprentissages tirées des récentes découvertes en neuroscience, les réseaux de neurones impulsionnels ont démontrés leurs capacités à analyser efficacement les grandes quantités d’informations provenant de notre environnement. L’implémentation de ces circuits à l’aide de processeurs classiques ne permet pas d’exploiter efficacement leur parallélisme. L’utilisation de mémoire numérique pour implémenter les poids synaptique ne permet pas la lecture ou la programmation parallèle des synapses et est limité par la bande passante reliant la mémoire à l’unité de calcul. Les technologies mémoire de type memristive pourrait permettre l’implémentation de ce parallélisme au coeur de la mémoire.Dans cette thèse, nous envisageons le développement d’un réseau de neurones impulsionnels dédié au monde de l’embarqué à base de dispositif mémoire émergents. Dans un premier temps, nous avons analysé un réseau impulsionnel afin d’optimiser ses différentes composantes : neurone, synapse et méthode d’apprentissage STDP en vue d’une implémentation numérique. Dans un second temps, nous envisageons l’implémentation de la mémoire synaptique par des dispositifs memristifs. Enfin, nous présentons le développement d’une puce co-intégrant des neurones implémentés en CMOS avec des synapses en technologie CBRAM By using learning mechanisms extracted from recent discoveries in neuroscience, spiking neural networks have demonstrated their ability to efficiently analyze the large amount of data from our environment. The implementation of such circuits on conventional processors does not allow the efficient exploitation of their parallelism. The use of digital memory to implement the synaptic weight does not allow the parallel reading or the parallel programming of the synapses and it is limited by the bandwidth of the connection between the memory and the processing unit. Emergent memristive memory technologies could allow implementing this parallelism directly in the heart of the memory.In this thesis, we consider the development of an embedded spiking neural network based on emerging memory devices. First, we analyze a spiking network to optimize its different components: the neuron, the synapse and the STDP learning mechanism for digital implementation. Then, we consider implementing the synaptic memory with emergent memristive devices. Finally, we present the development of a neuromorphic chip co-integrating CMOS neurons with CBRAM synapses

APA, Harvard, Vancouver, ISO, and other styles

28

Chappet, de Vangel Benoît. "Modèles cellulaires de champs neuronaux dynamiques." Electronic Thesis or Diss., Université de Lorraine, 2016. http://www.theses.fr/2016LORR0194.

Full text

Abstract:

Dans la recherche permanente de solutions pour dépasser les limitations de plus en plus visibles de nos architectures matérielles, le calcul non-conventionnel offre des alternatives variées comme l’ingénierie neuromorphique et le calcul cellulaire. Comme von Neumann qui s’était initialement inspiré du cerveau pour concevoir l’architecture des ordinateurs, l’ingénierie neuromorphique prend la même inspiration en utilisant un substrat analogique plus proche des neurones et des synapses. Le calcul cellulaire s’inspire lui des substrats de calcul naturels (chimique, physiques ou biologiques) qui imposent une certaine localité des calculs de laquelle va émerger une organisation et des calculs. La recherche sur les mécanismes neuronaux permet de comprendre les grands principes de calculs émergents des neurones. Un des grands principes que nous allons utiliser dans cette thèse est la dynamique d’attracteurs d’abord décrite par Amari (champs neuronaux dynamiques, ou DNF pour dynamic neural fields), Amit et Zhang (réseaux de neurones à attracteurs continus). Ces champs de neurones ont des propriétés de calcul variées mais sont particulièrement adaptés aux représentations spatiales et aux fonctions des étages précoces du cortex visuel. Ils ont été utilisés entre autres dans des applications de robotique autonome, dans des tâches de classification et clusterisation. Comme de nombreux modèles de calcul neuronal, ils sont également intéressants du point de vue des architectures matérielles en raison de leur robustesse au bruit et aux fautes. On voit donc l’intérêt que ces modèles de calcul peuvent avoir comme solution permettant de dépasser (ou poursuivre) la loi de Moore. La réduction de la taille des transistors provoque en effet beaucoup de bruit, de même que la relaxation de la contrainte de ~ 0% de fautes lors de la production ou du fonctionnement des circuits permettrait d’énormes économies. Par ailleurs, l’évolution actuelle vers des circuits many-core de plus en plus distribués implique des difficultés liées au mode de calcul encore centralisés de la plupart des modèles algorithmiques parallèles, ainsi qu’au goulot d’étranglement des communications. L’approche cellulaire est une réponse naturelle à ces enjeux. Partant de ces différents constats, l’objectif de cette thèse est de rendre possible les calculs et applications riches des champs neuronaux dynamiques sur des substrats matériels grâce à des modèles neuro-cellulaires assurant une véritable localité, décentralisation et mise à l’échelle des calculs. Cette thèse est donc une proposition argumentée pour dépasser les limites des architectures de type von Neumann en utilisant des principes de calcul neuronal et cellulaire. Nous restons cependant dans le cadre numérique en explorant les performances des architectures proposées sur FPGA. L’utilisation de circuits analogiques (VLSI) serait tous aussi intéressante mais n’est pas étudiée ici. Les principales contributions sont les suivantes : 1) Calcul DNF dans un environnement neuromorphique ; 2) Calcul DNF avec communication purement locale : modèle RSDNF (randomly spiking DNF) ; 3) Calcul DNF avec communication purement locale et asynchrone : modèle CASAS-DNF (cellular array of stochastic asynchronous spiking DNF) In the constant search for design going beyond the limits of the von Neumann architecture, non conventional computing offers various solutions like neuromorphic engineering and cellular computing. Like von Neumann who roughly reproduced brain structures to design computers architecture, neuromorphic engineering takes its inspiration directly from neurons and synapses using analog substratum. Cellular computing influence comes from natural substratum (chemistry, physic or biology) imposing locality of interactions from which organisation and computation emerge. Research on neural mechanisms was able to demonstrate several emergent properties of the neurons and synapses. One of them is the attractor dynamics described in different frameworks by Amari with the dynamic neural fields (DNF) and Amit and Zhang with the continuous attractor neural networks. These neural fields have various computing properties and are particularly relevant for spatial representations and early stages of visual cortex processing. They were used, for instance, in autonomous robotics, classification and clusterization. Similarly to many neuronal computing models, they are robust to noise and faults and thus are good candidates for noisy hardware computation models which would enable to keep up or surpass the Moore law. Indeed, transistor area reductions is leading to more and more noise and the relaxation of the approx. 0% fault during production and operation of integrated circuits would lead to tremendous savings. Furthermore, progress towards many-cores circuits with more and more cores leads to difficulties due to the centralised computation mode of usual parallel algorithms and their communication bottleneck. Cellular computing is the natural answer to these problems. Based on these different arguments, the goal of this thesis is to enable rich computations and applications of dynamic neural fields on hardware substratum with neuro-cellular models enabling a true locality, decentralization and scalability of the computations. This work is an attempt to go beyond von Neumann architectures by using cellular and neuronal computing principles. However, we will stay in the digital framework by exploring performances of proposed architectures on FPGA. Analog hardware like VLSI would also be very interesting but is not studied here. The main contributions of this work are : 1) Neuromorphic DNF computation ; 2) Local DNF computations with randomly spiking dynamic neural fields (RSDNF model) ; 3) Local and asynchronous DNF computations with cellular arrays of stochastic asynchronous spiking DNFs (CASAS-DNF model)

APA, Harvard, Vancouver, ISO, and other styles

29

Daouzli, Adel Mohamed. "Systèmes neuromorphiques : étude et implantation de fonctions d'apprentissage et de plasticité." Thesis, Bordeaux 1, 2009. http://www.theses.fr/2009BOR13806/document.

Full text

Abstract:

Dans ces travaux de thèse, nous nous sommes intéressés à l'influence du bruit synaptique sur la plasticité synaptique dans un réseau de neurones biophysiquement réalistes. Le simulateur utilisé est un système électronique neuromorphique. Nous avons implanté un modèle de neurones à conductances basé sur le formalisme de Hodgkin et Huxley, et un modèle biophysique de plasticité. Ces travaux ont inclus la configuration du système, le développement d'outils pour l'exploiter, son utilisation ainsi que la mise en place d'une plateforme le rendant accessible à la communauté scientifique via Internet et l'utilisation de scripts PyNN (langage de description de simulations en neurosciences computationnelles) In this work, we have investigated the effect of input noise patterns on synaptic plasticity applied to a neural network. The study was realised using a neuromorphic hardware simulation system. We have implemented a neural conductance model based on Hodgkin and Huxley formalism, and a biophysical model for plasticity. The tasks performed during this thesis project included the configuration of the system, the development of software tools, the analysis tools to explore experimental results, and the development of the software modules for the remote access to the system via Internet using PyNN scripts (PyNN is a neural network description language commonly used in computational neurosciences)

APA, Harvard, Vancouver, ISO, and other styles

30

Wu, Jiaming. "A modular dynamic Neuro-Synaptic platform for Spiking Neural Networks." Electronic Thesis or Diss., université Paris-Saclay, 2024. http://www.theses.fr/2024UPASP145.

Full text

Abstract:

Que le réseau de neurones soit biologique ou artificiel, il possède une unité de calcul fondamentale : le neurone. Ces neurones, interconnectés par des synapses, forment ainsi des réseaux complexes qui permettent d’obtenir une pluralité de fonctions. De même, le réseau de neurones neuromorphique, ou plus généralement les ordinateurs neuromorphiques, nécessitent également ces deux éléments fondamentaux que sont les neurones et les synapses. Dans ce travail, nous introduisons une unité matérielle neuro-synaptique à impulsions, inspirée de la biologie et entièrement réalisée avec des composants électroniques conventionnels. Le modèle de cette unité neuro-synaptique repose sur les modèles théoriques classiques du neurone à impulsions et des courants synaptiques et membranaires. Le neurone à impulsions est entièrement analogique et un dispositif memristif, dont les composants électroniques sont facilement disponibles sur le marché, permet d’assurer l’excitabilité du neurone. En ce qui concerne les courants synaptiques et membranaires, leur intensité est ajustable, et ils possèdent une dynamique biomimétique, incluant à la fois des courants excitateurs et inhibiteurs. Tous les paramètres du modèle sont ajustables et permettant ainsi d'adapter le système neuro-synaptique. Cette flexibilité et cette adaptabilité sont des caractéristiques essentielles dans la réalisation d’applications telles que les interfaces cerveau-machine. En nous appuyant sur ces deux unités modulaires, le neurone et la synapse, nous pouvons concevoir des motifs fondamentaux des réseaux de neurones. Ces motifs servent ainsi de base pour implémenter des réseaux aux fonctionnalités plus complexes, telles que des mémoires dynamiques ou des réseaux locomoteurs spinaux (Central Pattern Generator). De plus, il sera possible d’améliorer le modèle existant, que ce soit en y intégrant des memristors à base d’oxydes (actuellement étudiés en science des matériaux), ou en le déployant à grande échelle (VLSI) afin de réaliser des réseaux d’ordres de grandeurs supérieures. L’unité neuro-synaptique peut être considérée comme un bloc fondamental pour implémenter des réseaux neuronaux à impulsions de géométrie arbitraire. Son design compact et modulaire, associé à la large disponibilité des composants électroniques, font de notre plateforme une option attrayante de développement pour construire des interfaces neuronales, que ce soit dans les domaines médical, robotique, ou des systèmes d'intelligence artificielle (par exemple le calcul par réservoir), etc Biological and artificial neural networks share a fundamental computational unit: the neuron. These neurons are coupled by synapses, forming complex networks that enable various functions. Similarly, neuromorphic hardware, or more generally neuro-computers, also require two hardware elements: neurons and synapses. In this work, we introduce a bio-inspired spiking Neuro-Synaptic hardware unit, fully implemented with conventional electronic components. Our hardware is based on a textbook theoretical model of the spiking neuron, and its synaptic and membrane currents. The spiking neuron is fully analog and the various models that we introduced are defined by their hardware implementation. The neuron excitability is achieved through a memristive device made from off-the-shelf electronic components. Both synaptic and membrane currents feature tunable intensities and bio-mimetic dynamics, including excitatory and inhibitory currents. All model parameters are adjustable, allowing the system to be tuned to bio-compatible timescales, which is crucial in applications such as brain-machine interfaces. Building on these two modular units, we demonstrate various basic neural network motifs (or neuro-computing primitives) and show how to combine these fundamental motifs to implement more complex network functionalities, such as dynamical memories and central pattern generators. Our hardware design also carries potential extensions for integrating oxide-based memristors (which are widely studied in material science),or porting the design to very large-scale integration (VLSI) to implement large-scale networks. The Neuro-Synaptic unit can be considered as a building block for implementing spiking neural networks of arbitrary geometry. Its compact and modular design, as well as the wide availability of ordinary electronic components, makes our approach an attractive platform for building neural interfaces in medical devices, robotics, and artificial intelligence systems such as reservoir computing

APA, Harvard, Vancouver, ISO, and other styles

31

Torralba, Barriuso Antonio. "Architectures analogiques pour la vision : réseaux cellulaires et circuits neuromorphiques." Grenoble INPG, 1999. http://www.theses.fr/1999INPG0189.

Full text

Abstract:

Les machines de vision basées sur les méthodes computationnelles actuelles ont besoin de capteurs de caractéristiques de bas niveau. Ces capteurs mesurent des propriétés locales de l'image comme l'échelle, l'orientation et le mouvement. Les dispositifs de circuits intégrés analogiques qui imitent les fonctions des systèmes biologiques sont robustes, de basse consommation et assez rapides afin de résoudre des problèmes de vision et de traitement d'image en temps en réel. Dans cette thèse, nous montrons comment les réseaux résistifs actifs avec peu de connections offrent un cadre pertinent pour la réalisation de capteurs de caractéristiques de bas niveaux habituellement utilisés en vision par ordinateur (filtrage passe-bande, détecteurs de contours, détecteurs de vitesse, etc. ). Ces réseaux résistifs actifs permettent également de construire une architecture homogène et simple. Les réseaux résistifs avec une interaction à quatre voisins implémentent à la fois des filtres spatio-temporels sélectifs à la vitesse et des filtres spatiaux orientés. Avec une architecture basée sur des réseaux résistifs actifs, les filtres sélectifs à la vitesse permettent d'estimer avec efficacité et fiabilité le mouvement. La génération de filtres complexes utilisés en vision par ordinateur est réalisée à partir d'une base de filtres spatiaux orientés basés sur les réseaux résistifs. La génération de filtres complexes (ex. , filtres passe-bande orientés en quadrature, détecteurs de coins, détecteurs de mouvement, etc. ) est approximée à partir d'une combinaison linéaire de cette base de filtres. Changer la combinaison linéaire des filtres de la base permet alors d'ajuster l'architecture à d'autres caractéristiques de l'image. En conclusion, l'architecture que nous proposons offre une méthode de faible complexité permettant la réalisation de filtres spatiaux et spatiotemporels Vision machines based on actual computational methods require the development of simple low-level feature detectors. The low-level feature detectors measure local image properties as scale, orientation, and velocity. Analog VLSI devices that mimic some functionality of biological systems appear to be robust, low power consuming, and fast enough to solve vision problems in real time. In this thesis, it is shown that active resistive diffusion networks with low connectivity offer a common framework for the implementation of the low-level feature detectors commonly used in vision (band-pass, wedge, endstopped, velocity-tuned, etc. ) yielding to a simple and homogeneous architecture. Diffusion networks with four neighbor interactions implement velocity-tuned spatiotemporal filters and oriented spatial filters. Velocity-tuned filters yield to efficient and reliable motion estimation using an analog architecture based on active resistive networks from the photoreceptor level to velocity estimation. Oriented spatial filters using resistive diffusion networks yield to a filter basis able to generate complex filters commonly used in vision. From this basis of filters, we generate more complex filters (e. G. Oriented quadrature band-pass, quadrature wedge filters) that are approximated by a linear combination of that basis. Changing the linear combination of the basis filters allows the tuning of the architecture to different features. The proposed architecture offers a way to implement both spatial and spatiotemporal filters (motion sensors) with a low cost. This approach opens an issue to the problem of implementing large sets of spatial and spatiotemporal filters tuned to different features (edges, junctions, velocity, etc. ) in a single chip

APA, Harvard, Vancouver, ISO, and other styles

32

Trabelsi, Ahmed. "Modulation des niveaux de résistance dans une mémoire PCM pour des applications neuromorphiques." Electronic Thesis or Diss., Université Grenoble Alpes, 2024. http://www.theses.fr/2024GRALT027.

Full text

Abstract:

La croissance exponentielle des données au cours des dernières années a entraîné une augmentation significative de la consommation d'énergie, créant ainsi un besoin urgent de technologies de mémoire innovantes pour surmonter les limitations des solutions conventionnelles. Cette inondation de données a entraîné une augmentation prévue de la consommation dans les centres de données, avec une multiplication par quatre des données d'ici 2025 par rapport au volume actuel. Pour relever ce défi, des technologies de mémoire émergentes telles que la RRAM (RAM résistive), la PCM (mémoire à changement de phase) et la MRAM (RAM magnéto-résistive) sont en cours de développement pour offrir une haute densité, des temps d'accès rapides et une non-volatilité, révolutionnant ainsi les solutions de stockage et de mémoire (Molas & Nowak, 2021).Une technique prometteuse pour répondre au besoin de technologies de mémoire innovantes est l'utilisation de la modulation de fréquence pour moduler la résistance dans la PCM, qui est un aspect crucial de son utilisation en informatique neuromorphique. La PCM est une technologie de mémoire non volatile basée sur la transition de phase réversible entre les phases amorphe et cristalline de certains matériaux. La capacité de modifier les niveaux de conductance rend la PCM bien adaptée aux réalisations synaptiques en informatique neuromorphique. La cristallisation progressive du matériau à changement de phase et l'augmentation subséquente de la conductance du dispositif permettent à la PCM d'être utilisée dans des applications neuromorphiques. De plus, des réseaux neuronaux basés sur la mémoire PCM ont été développés, et l'effet de dérive de la résistance dans la PCM a été quantifié, ouvrant de nouvelles voies pour le développement d'accélérateurs neuromorphiques à base de memristors PCM. De plus, la modulation de fréquence a été identifiée comme une technique prometteuse pour moduler la résistance dans la PCM. Cette approche peut être appliquée à la PCM ainsi qu'à la RRAM, et on s'attend à ce qu'elle produise des effets d'apprentissage améliorés dans des réseaux plus complexes utilisant des cellules multi-niveaux (Wang et al., 2011). L'objectif principal de cette thèse est d'explorer des méthodes innovantes pour contrôler les niveaux de résistance dans les dispositifs PCM en mettant l'accent sur leur application dans les systèmes neuromorphiques. La recherche implique une compréhension approfondie des mécanismes sous-jacents aux dispositifs PCM et une identification des paramètres susceptibles d'influencer la fiabilité de ces dispositifs. De plus, la thèse vise à proposer une nouvelle approche pour moduler efficacement les niveaux de résistance dans les dispositifs PCM, contribuant ainsi aux avancées dans ce domaine The exponential growth of data in recent years has led to a significant increase in energy consumption, creating a pressing need for innovative memory technologies to overcome the limitations of conventional solutions. This data deluge has resulted in a forecasted consumption surge in data centers, with an expected fourfold increase in data by 2025 compared to the present volume. To address this challenge, emerging memory technologies such as RRAM (Resistive RAM), PCM (Phase-Change Memory), and MRAM (Magnetoresistive RAM) are being developed to offer high density, fast access times, and non-volatility, thereby revolutionizing storage and memory solutions (Molas & Nowak, 2021).One promising technique to address the need for innovative memory technologies is the use of frequency modulation to modulate resistance in PCM which is a crucial aspect of its use in neuromorphic computing. PCM is a non-volatile memory technology based on the reversible phase transition between amorphous and crystalline phases of certain materials. The ability to alter conductance levels makes PCM well-suited for synaptic realizations in neuromorphic computing. The progressive crystallization of the phase-change material and the subsequent increase in device conductance enable PCM to be used in neuromorphic applications. Additionally, PCM-based memristor neural networks have been developed, and the resistance drift effect in PCM has been quantified, opening up new paths for the development of PCM-based memristor neuromorphic accelerators. Furthermore, frequency modulation has been identified as a promising technique to modulate resistance in PCM. This approach can be applied to PCM as well as RRAM, and it is expected to yield improved learning effects in more complex networks using multi-level cells (Wang et al., 2011). The primary aim of this thesis is to explore innovative methods for controlling resistance levels in PCM devices with a focus on their application in neuromorphic systems. The research involves a comprehensive understanding of the mechanisms underlying PCM devices and an identification of parameters that may influence the reliability of these devices. Additionally, the thesis aims to propose a novel approach to effectively modulate resistance levels in PCM devices, contributing to advancements in this field

APA, Harvard, Vancouver, ISO, and other styles

33

Williame, Jérôme. "Oscillateurs nanomagnétiques soumis à une boucle de rétroaction à retard : Bruit, chaos et applications neuromorphiques." Thesis, Université Paris-Saclay (ComUE), 2019. http://www.theses.fr/2019SACLS119.

Full text

Abstract:

Une boucle de rétroaction à retard a lieu lorsque la sortie d’un système est utilisée pour modifier le signal d’entrée de ce dernier. Ce phénomène apparaît dans des domaines aussi variés que la physique des amplificateurs, la biologie de la régulation de l’insuline ou encore les sciences sociales. Les effets d’une boucle de rétroaction à retard sur un système électronique sont bien connus et ont donné lieu à de nombreuses applications : boucle à verrouillage de phase pour améliorer les propriétés stochastiques, boucle d’amplification ou de régulation, etc. Cependant ces effets ont étés relativement peu étudiés dans le cadre des systèmes nanomagnétiques. Dans ces travaux de thèse j'ai étudié théoriquement les conséquences d'une boucle de rétroaction à retard sur la dynamique de l'aimantation de trois différents systèmes nanométriques avec un objectif distinct pour chaque système. Le premier concerne un oscillateur à transfert de spin dont j’ai étudié les propriétés stochastiques. La rétroaction engendre de fortes variations de la largeur spectrale et fait apparaitre de bandes secondaires à larges retards. Le deuxième système étudié est l'oscillateur macrospin dans lequel des transitions chaotiques entre deux modes de précession (dans le plan de la couche et hors du plan) sont induites par la rétroaction. Je montre qu'il est possible d'exploiter de telle dynamique pour la génération de nombres aléatoires. Enfin le troisième système représente une implémentation d'un oscillateur du type « Mackey-Glass » avec une paroi de domaine piégée dans un ruban. En déformant cette paroi par courant polarisé de spin, et avec un choix judicieux du signal de sortie, je démontre que ce système peut servir comme élément de base pour une architecture temporelle d'un calculateur avec réservoir (« reservoir computer »), qui permet d'effectuer des tâches comme la prédiction des séries temporelles non linéaires A delay feedback loop occurs when the output of a system is used to modify the input signal of the system. This phenomenon appears in fields as varied as the physics of amplifiers, the biology of insulin regulation or in social interactions. The effects of a delay feedback loop on an electronic system are well known and have given rise to many applications: phase-locked loops to improve stochastic properties, amplification or regulation loops, and so on. However, these feedback effects remain relatively unexplored in the context of nanomagnetic systems. In this thesis I have studied theoretically the consequences of delayed feedback on the magnetization dynamics of three different nanoscale systems with a separate focus for each system. The first involves spin-torque nano-oscillators whose stochastic properties and the impact of a feedback loop on them have been studied. It is found that significant changes can occur to the spectral linewidth, along with the appearance of secondary frequencies at large delays. The second system involves the macrospin oscillator, where I investigated how delayed feedback can induce chaotic transitions between the in-plane and out-ofplane precession states. These complex dynamics can be used to generate random numbers. The third system represents a proposal for implementing a Mackey-Glass oscillator using a domain wall racetrack-like geometry. By deforming this domain wall with spin polarized currents and with a suitable readout function, I show that this oscillator can be used for a time-delay architecture for reservoir computing. Tests of nonlinear time series prediction are conducted to evaluate the performance of this system

APA, Harvard, Vancouver, ISO, and other styles

34

Marquez, Alfonzo Bicky. "Reservoir computing photonique et méthodes non-linéaires de représentation de signaux complexes : Application à la prédiction de séries temporelles." Thesis, Bourgogne Franche-Comté, 2018. http://www.theses.fr/2018UBFCD042/document.

Full text

Abstract:

Les réseaux de neurones artificiels constituent des systèmes alternatifs pour effectuer des calculs complexes, ainsi que pour contribuer à l'étude des systèmes neuronaux biologiques. Ils sont capables de résoudre des problèmes complexes, tel que la prédiction de signaux chaotiques, avec des performances à l'état de l'art. Cependant, la compréhension du fonctionnement des réseaux de neurones dans la résolution de problèmes comme la prédiction reste vague ; l'analogie avec une boîte-noire est souvent employée. En combinant la théorie des systèmes dynamiques non linéaires avec celle de l'apprentissage automatique (Machine Learning), nous avons développé un nouveau concept décrivant à la fois le fonctionnement des réseaux neuronaux ainsi que les mécanismes à l'œuvre dans leurs capacités de prédiction. Grâce à ce concept, nous avons pu imaginer un processeur neuronal hybride composé d'un réseaux de neurones et d'une mémoire externe. Nous avons également identifié les mécanismes basés sur la synchronisation spatio-temporelle avec lesquels des réseaux neuronaux aléatoires récurrents peuvent effectivement fonctionner, au-delà de leurs états de point fixe habituellement utilisés. Cette synchronisation a entre autre pour effet de réduire l'impact de la dynamique régulière spontanée sur la performance du système. Enfin, nous avons construit physiquement un réseau récurrent à retard dans un montage électro-optique basé sur le système dynamique d'Ikeda. Celui-ci a dans un premier temps été étudié dans le contexte de la dynamique non-linéaire afin d'en explorer certaines propriétés, puis nous l'avons utilisé pour implémenter un processeur neuromorphique dédié à la prédiction de signaux chaotiques Artificial neural networks are systems prominently used in computation and investigations of biological neural systems. They provide state-of-the-art performance in challenging problems like the prediction of chaotic signals. Yet, the understanding of how neural networks actually solve problems like prediction remains vague; the black-box analogy is often employed. Merging nonlinear dynamical systems theory with machine learning, we develop a new concept which describes neural networks and prediction within the same framework. Taking profit of the obtained insight, we a-priori design a hybrid computer, which extends a neural network by an external memory. Furthermore, we identify mechanisms based on spatio-temporal synchronization with which random recurrent neural networks operated beyond their fixed point could reduce the negative impact of regular spontaneous dynamics on their computational performance. Finally, we build a recurrent delay network in an electro-optical setup inspired by the Ikeda system, which at first is investigated in a nonlinear dynamics framework. We then implement a neuromorphic processor dedicated to a prediction task

APA, Harvard, Vancouver, ISO, and other styles

35

Ambroise, Matthieu. "Hybridation des réseaux de neurones : de la conception du réseau à l’interopérabilité des systèmes neuromorphiques." Thesis, Bordeaux, 2015. http://www.theses.fr/2015BORD0394/document.

Full text

Abstract:

L’hybridation est une technique qui consiste à interconnecter un réseau de neurones biologique et un réseau de neurones artificiel, utilisée dans la recherche en neuroscience et à des fins thérapeutiques. Durant ces trois années de doctorat, ce travail de thèse s’est focalisé sur l’hybridation dans un plan rapproché (communication directe bi-directionnelle entre l’artificiel et le vivant) et dans un plan plus élargies (interopérabilité des systèmes neuromorphiques). Au début des années 2000, cette technique a permis de connecter un système neuromorphique analogique avec le vivant. Ce travail est dans un premier temps, centré autour de la conception d’un réseau de neurones numérique, en vue d’hybridation, dans deux projets multi-disciplinaires en cours dans l’équipe AS2N de l’IMS, présentés dans ce document : HYRENE (ANR 2010-Blan-031601), ayant pour but le développement d’un système hybride de restauration de l’activité motrice dans le cas d’une lésion de la moelle épinière, BRAINBOW (European project FP7-ICT-2011-C), ayant pour objectif l’élaboration de neuro-prothèses innovantes capables de restaurer la communication autour de lésions cérébrales.Possédant une architecture configurable, un réseau de neurones numérique a été réalisé pour ces deux projets. Pour le premier projet, le réseau de neurones artificiel permet d’émuler l’activitéde CPGs (Central Pattern Generator), à l’origine de la locomotion dans le règne animale. Cette activité permet de déclencher une série de stimulations dans la moelle épinière lésée in vitro et de recréer ainsi la locomotion précédemment perdue. Dans le second projet, la topologie du réseau de neurones sera issue de l’analyse et le décryptage des signaux biologiques issues de groupes de neurones cultivés sur des électrodes, ainsi que de modélisations et simulations réalisées par nos partenaires. Le réseau de neurones sera alors capable de réparer le réseau de neurones lésé. Ces travaux de thèse présentent la démarche de conception des deux différents réseaux et des résultats préliminaires obtenus au sein des deux projets. Dans un second temps, ces travaux élargissent l’hybridation à l’interopérabilité des systèmes neuromorphiques. Au travers d’un protocole de communication utilisant Ethernet, il est possible d’interconnecter des réseaux de neurones électroniques, informatiques et biologiques. Dans un futur proche, il permettra d’augmenter la complexité et la taille des réseaux HYBRID experiments allow to connect a biological neural network with an artificial one,used in neuroscience research and therapeutic purposes. During these three yearsof PhD, this thesis focused on hybridization in a close-up view (bi-diretionnal direct communication between the artificial and the living) and in a broader view (interoperability ofneuromorphic systems). In the early 2000s, an analog neuromorphic system has been connected to a biological neural network. This work is firstly, about the design of a digital neural network, for hybrid experimentsin two multi-disciplinary projects underway in AS2N team of IMS presented in this document : HYRENE (ANR 2010-Blan-031601), aiming the development of a hybrid system for therestoration of motor activity in the case of a spinal cord lesion,BRAINBOW (European project FP7-ICT-2011-C), aiming the development of innovativeneuro-prostheses that can restore communication around cortical lesions. Having a configurable architecture, a digital neural network was designed for these twoprojects. For the first project, the artificial neural network emulates the activity of CPGs (Central Pattern Generator), causing the locomotion in the animal kingdom. This activity will trigger aseries of stimuli in the injured spinal cord textit in vitro and recreating locomotion previously lost. In the second project, the neural network topology will be determined by the analysis anddecryption of biological signals from groups of neurons grown on electrodes, as well as modeling and simulations performed by our partners. The neural network will be able to repair the injuredneural network. This work show the two different networks design approach and preliminary results obtained in the two projects.Secondly, this work hybridization to extend the interoperability of neuromorphic systems. Through a communication protocol using Ethernet, it is possible to interconnect electronic neuralnetworks, computer and biological. In the near future, it will increase the complexity and size of networks

APA, Harvard, Vancouver, ISO, and other styles

36

Belhadj-Mohamed, Bilel. "Systèmes neuromorphiques temps réel : contribution à l’intégration de réseaux de neurones biologiquement réalistes avec fonctions de plasticité." Thesis, Bordeaux 1, 2010. http://www.theses.fr/2010BOR14051/document.

Full text

Abstract:

Cette thèse s’intègre dans le cadre du projet Européen FACETS. Pour ce projet, des systèmes matériels mixtes analogique-numérique effectuant des simulations en temps réel des réseaux de neurones doivent être développés. Le but est d’aider à la compréhension des phénomènes d’apprentissage dans le néocortex. Des circuits intégrés spécifiques analogiques ont préalablement été conçus par l’équipe pour simuler le comportement de plusieurs types de neurones selon le formalisme de Hodgkin-Huxley. La contribution de cette thèse consiste à la conception et la réalisation des circuits numériques permettant de gérer la connectivité entre les cellules au sein du réseau de neurones, suivant les règles de plasticité configurées par l’utilisateur. L’implantation de ces règles est réalisée sur des circuits numériques programmables (FPGA) et est optimisée pour assurer un fonctionnement temps réel pour des réseaux de grande taille. Des nouvelles méthodes de calculs et de communication ont été développées pour satisfaire les contraintes temporelles et spatiales imposées par le degré de réalisme souhaité. Entre autres, un protocole de communication basé sur la technique anneau à jeton a été conçu pour assurer le dialogue entre plusieurs FPGAs situés dans un système multicarte tout en garantissant l’aspect temps-réel des simulations. Les systèmes ainsi développés seront exploités par les laboratoires partenaires, neurobiologistes ou informaticiens This work has been supported by the European FACETS project. Within this project, we contribute in developing hardware mixed-signal devices for real-time spiking neural network simulation. These devices may potentially contribute to an improved understanding of learning phenomena in the neo-cortex. Neuron behaviours are reproduced using analog integrated circuits which implement Hodgkin-Huxley based models. In this work, we propose a digital architecture aiming to connect many neuron circuits together, forming a network. The inter-neuron connections are reconfigurable and can be ruled by a plasticity model. The architecture is mapped onto a commercial programmable circuit (FPGA). Many methods are developed to optimize the utilisation of hardware resources as well as to meet real-time constraints. In particular, a token-passing communication protocol has been designed and developed to guarantee real-time aspects of the dialogue between several FPGAs in a multiboard system allowing the integration of a large number of neurons. The global system is able to run neural simulations in biological real-time with high degree of realism, and then can be used by neurobiologists and computer scientists to carry on neural experiments

APA, Harvard, Vancouver, ISO, and other styles

37

Ezzadeen, Mona. "Conception d'un circuit dédié au calcul dans la mémoire à base de technologie 3D innovante." Electronic Thesis or Diss., Aix-Marseille, 2022. http://theses.univ-amu.fr.lama.univ-amu.fr/221212_EZZADEEN_955e754k888gvxorp699jljcho_TH.pdf.

Full text

Abstract:

Avec le développement de l'internet des objets et de l'intelligence artificielle, le "déluge de données" est une réalité, poussant au développement de systèmes de calcul efficaces énergétiquement. Dans ce contexte, en effectuant le calcul directement à l'intérieur ou à proximité des mémoires, le paradigme de l'in/near-memory-computing (I/NMC) semble être une voie prometteuse. En effet, les transferts de données entre les mémoires et les unités de calcul sont très énergivores. Cependant, les classiques mémoires Flash souffrent de problèmes de miniaturisation et ne semblent pas facilement adaptées à l'I/NMC. Ceci n'est pas le cas de nouvelles technologies mémoires émergentes comme les ReRAM. Ces dernières souffrent cependant d'une variabilité importante, et nécessitent l'utilisation d'un transistor d'accès par bit (1T1R) pour limiter les courants de fuite, dégradant ainsi leur densité. Dans cette thèse, nous nous proposons de résoudre ces deux défis. Tout d'abord, l'impact de la variabilité des ReRAM sur les opérations de lecture et de calcul en mémoire est étudié, et de nouvelles techniques de calculs booléens robustes et à faible impact surfacique sont développées. Dans le contexte des réseaux de neurones, de nouveaux accélérateurs neuromorphiques à base de ReRAM sont proposés et caractérisés, visant une bonne robustesse face à la variabilité, un bon parallélisme et une efficacité énergétique élevée. Dans un deuxième temps, pour résoudre les problèmes de densité d'intégration, une nouvelle technologie de cube mémoire 3D à base de ReRAM 1T1R est proposée, pouvant à la fois être utilisée en tant que mémoire de type NOR 3D dense qu'en tant qu'accélérateur pour l'I/NMC With the advent of edge devices and artificial intelligence, the data deluge is a reality, making energy-efficient computing systems a must-have. Unfortunately, classical von Neumann architectures suffer from the high cost of data transfers between memories and processing units. At the same time, CMOS scaling seems more and more challenging and costly to afford, limiting the chips' performance due to power consumption issues.In this context, bringing the computation directly inside or near memories (I/NMC) seems an appealing solution. However, data-centric applications require an important amount of non-volatile storage, and modern Flash memories suffer from scaling issues and are not very suited for I/NMC. On the other hand, emerging memory technologies such as ReRAM present very appealing memory performances, good scalability, and interesting I/NMC features. However, they suffer from variability issues and from a degraded density integration if an access transistor per bitcell (1T1R) is used to limit the sneak-path currents. This thesis work aims to overcome these two challenges. First, the variability impact on read and I/NMC operations is assessed and new robust and low-overhead ReRAM-based boolean operations are proposed. In the context of neural networks, new ReRAM-based neuromorphic accelerators are developed and characterized, with an emphasis on good robustness against variability, good parallelism, and high energy efficiency. Second, to resolve the density integration issues, an ultra-dense 3D 1T1R ReRAM-based Cube and its architecture are proposed, which can be used as a 3D NOR memory as well as a low overhead and energy-efficient I/NMC accelerator

APA, Harvard, Vancouver, ISO, and other styles

38

Ali, Elsayed Sarah. "Fault Tolerance in Hardware Spiking Neural Networks." Electronic Thesis or Diss., Sorbonne université, 2021. http://www.theses.fr/2021SORUS310.

Full text

Abstract:

L'intelligence artificielle et les algorithmes d'apprentissage automatique sont au sommet du marché de la technologie de nos jours. Dans ce contexte, les accélérateurs matériels d'IA devraient jouer un rôle de plus en plus primordial pour de nombreuses applications, surtout ceux ayant une mission critique et un haut niveau de sécurité. Cela nécessite d'évaluer leur fiabilité et de développer des techniques peu coûteuses de tolérance aux fautes; un problème qui reste largement inexploré pour les puces neuromorphiques et les réseaux de neurones impulsionnels. Il est souvent présumé que la fiabilité et la résilience aux erreurs dans les Réseaux de Neurones Artificiels sont intrinsèquement obtenues grâce au parallélisme, à la redondance structurelle et à la ressemblance avec les réseaux de neurones biologiques. Cependant, des travaux antérieurs dans la littérature ont révélé le non-fondement de cette hypothèse et ont exposé la vulnérabilité des ANN aux fautes. Dans cette thèse, nous abordons le sujet de test et de la tolérance aux fautes pour les SNNs matériels. Nous abordons tout d’abord la question du test de post-fabrication des réseaux de neurones matériels et de leur autotest orienté sur le comportement. Puis, nous nous dirigeons vers une solution globale pour l'accélération des tests et l'analyse de la résilience des SNN contre les défauts au niveau matériel. Après ça, nous proposons une stratégie de tolérance aux fautes des neurones pour les SNNs qui a été optimisée afin de minimiser les surcoûts en surface et puissance du circuit. Enfin, nous présentons une étude de cas matériel qui serait utilisée comme plateforme pour démontrer les expériences d'injection de fautes Artificial Intelligence (AI) and machine learning algorithms are taking up the lion's share of the technology market nowadays, and hardware AI accelerators are foreseen to play an increasing role in numerous applications, many of which are mission-critical and safety-critical. This requires assessing their reliability and developing cost-effective fault tolerance techniques; an issue that remains largely unexplored for neuromorphic chips and Spiking Neural Networks (SNNs). A tacit assumption is often made that reliability and error-resiliency in Artificial Neural Networks (ANNs) are inherently achieved thanks to the high parallelism, structural redundancy, and the resemblance to their biological counterparts. However, prior work in the literature unraveled the falsity of this assumption and exposed the vulnerability of ANNs to faults. This requires assessing their reliability and developing cost-effective fault tolerance techniques; an issue that remains largely unexplored for neuromorphic chips and Spiking Neural Networks (SNNs). In this thesis, we tackle the subject of testing and fault tolerance in hardware SNNs. We start by addressing the issue of post-manufacturing test and behavior-oriented self-test of hardware neurons. Then we move on towards a global solution for the acceleration of testing and resiliency analysis of SNNs against hardware-level faults. We also propose a neuron fault tolerance strategy for SNNs, optimized for low area and power overhead. Finally, we present a hardware case-study which would be used as a platform for demonstrating fault-injection experiments and fault-tolerance capabilities

APA, Harvard, Vancouver, ISO, and other styles

39

Falez, Pierre. "Improving spiking neural networks trained with spike timing dependent plasticity for image recognition." Thesis, Lille 1, 2019. http://www.theses.fr/2019LIL1I101.

Full text

Abstract:

La vision par ordinateur est un domaine stratégique, du fait du nombre potentiel d'applications avec un impact important sur la société. Ce secteur a rapidement progressé au cours de ces dernières années, notamment grâce aux avancées en intelligence artificielle et plus particulièrement l'avènement de l'apprentissage profond. Cependant, ces méthodes présentent deux défauts majeurs face au cerveau biologique : ils sont extrêmement énergivores et requièrent de gigantesques bases d'apprentissage étiquetées. Les réseaux de neurones à impulsions sont des modèles alternatifs qui permettent de répondre à la problématique de la consommation énergétique. Ces modèles ont la propriété de pouvoir être implémentés de manière très efficace sur du matériel, afin de créer des architectures très basse consommation. En contrepartie, ces modèles imposent certaines contraintes, comme l'utilisation uniquement de mémoire et de calcul locaux. Cette limitation empêche l'utilisation de méthodes d'apprentissage traditionnelles, telles que la rétro-propagation du gradient. La STDP est une règle d'apprentissage, observée dans la biologie, qui peut être utilisée dans les réseaux de neurones à impulsions. Cette règle renforce les synapses où des corrélations locales entre les temps d'impulsions sont détectées, et affaiblit les autres synapses. La nature locale et non-supervisée permet à la fois de respecter les contraintes des architectures neuromorphiques, et donc d'être implémentable de manière efficace, mais permet également de répondre aux problématiques d'étiquetage des bases d'apprentissage. Cependant, les réseaux de neurones à impulsions entraînés grâce à la STDP souffrent pour le moment de performances inférieures aux méthodes d'apprentissage profond. La littérature entourant la STDP utilise très majoritairement des données simples mais le comportement de cette règle n'a été que très peu étudié sur des données plus complexes, tel que sur des bases avec une variété d'images importante.L'objectif de ce manuscrit est d'étudier le comportement des modèles impulsionnels, entraîné via la STDP, sur des tâches de classification d'images. Le but principal est d'améliorer les performances de ces modèles, tout en respectant un maximum les contraintes imposées par les architectures neuromorphiques. Une première partie des contributions proposées dans ce manuscrit s'intéresse à la simulation logicielle des réseaux de neurones impulsionnels. L'implémentation matérielle étant un processus long et coûteux, l'utilisation de simulation est une bonne alternative pour étudier plus rapidement le comportement des différents modèles. La suite des contributions s'intéresse à la mise en place de réseaux impulsionnels multi-couches. Les réseaux composés d'un empilement de couches, tel que les méthodes d'apprentissage profond, permettent de traiter des données beaucoup plus complexes. Un des chapitres s'articule autour de la problématique de perte de fréquence observée dans les réseaux de neurones à impulsions. Ce problème empêche l'empilement de plusieurs couches de neurones impulsionnels. Une autre partie des contributions se concentre sur l'étude du comportement de la STDP sur des jeux de données plus complexes, tels que les images naturelles en couleur. Plusieurs mesures sont utilisées, telle que la cohérence des filtres ou la dispersion des activations, afin de mieux comprendre les raisons de l'écart de performances entre la STDP et les méthodes plus traditionnelles. Finalement, la réalisation de réseaux multi-couches est décrite dans la dernière partie des contributions. Pour ce faire, un nouveau mécanisme d'adaptation des seuils est introduit ainsi qu'un protocole permettant l'apprentissage multi-couches. Il est notamment démontré que de tels réseaux parviennent à améliorer l'état de l'art autour de la STDP Computer vision is a strategic field, in consequence of its great number of potential applications which could have a high impact on society. This area has quickly improved over the last decades, especially thanks to the advances of artificial intelligence and more particularly thanks to the accession of deep learning. Nevertheless, these methods present two main drawbacks in contrast with biological brains: they are extremely energy intensive and they need large labeled training sets. Spiking neural networks are alternative models offering an answer to the energy consumption issue. One attribute of these models is that they can be implemented very efficiently on hardware, in order to build ultra low-power architectures. In return, these models impose certain limitations, such as the use of only local memory and computations. It prevents the use of traditional learning methods, for example the gradient back-propagation. STDP is a learning rule, observed in biology, which can be used in spiking neural networks. This rule reinforces the synapses in which local correlations of spike timing are detected. It also weakens the other synapses. The fact that it is local and unsupervised makes it possible to abide by the constraints of neuromorphic architectures, which means it can be implemented efficiently, but it also provides a solution to the data set labeling issue. However, spiking neural networks trained with the STDP rule are affected by lower performances in comparison to those following a deep learning process. The literature about STDP still uses simple data but the behavior of this rule has seldom been used with more complex data, such as sets made of a large variety of real-world images.The aim of this manuscript is to study the behavior of these spiking models, trained through the STDP rule, on image classification tasks. The main goal is to improve the performances of these models, while respecting as much as possible the constraints of neuromorphic architectures. The first contribution focuses on the software simulations of spiking neural networks. Hardware implementation being a long and costly process, using simulation is a good alternative in order to study more quickly the behavior of different models. Then, the contributions focus on the establishment of multi-layered spiking networks; networks made of several layers, such as those in deep learning methods, allow to process more complex data. One of the chapters revolves around the matter of frequency loss seen in several spiking neural networks. This issue prevents the stacking of multiple spiking layers. The center point then switches to a study of STDP behavior on more complex data, especially colored real-world image. Multiple measurements are used, such as the coherence of filters or the sparsity of activations, to better understand the reasons for the performance gap between STDP and the more traditional methods. Lastly, the manuscript describes the making of multi-layered networks. To this end, a new threshold adaptation mechanism is introduced, along with a multi-layer training protocol. It is proven that such networks can improve the state-of-the-art for STDP

APA, Harvard, Vancouver, ISO, and other styles

40

Hirtzlin, Tifenn. "Digital Implementation of Neuromorphic systems using Emerging Memory devices." Thesis, université Paris-Saclay, 2020. http://www.theses.fr/2020UPAST071.

Full text

Abstract:

Depuis les années soixante-dix l'évolution des performances des circuits électroniques repose exclusivement sur l'amélioration des performances des transistors. Ce composant a des propriétés extraordinaires puisque lorsque ses dimensions sont réduites, toutes ses caractéristiques sont améliorées. Mais, dû à certaines limites physiques fondamentales, la diminution des dimensions des transistors n’est plus possible. Néanmoins, de nouveaux nano-composants mémoire innovants qui peuvent être intégré conjointement avec les transistors voient le jour tant au niveau académique qu'industriel, ce qui constitue une opportunité pour repenser complètement l'architecture des circuits électroniques actuels. L'une des voies de recherche possible est l’inspiration du fonctionnement du cerveau biologique. Ce dernier peut accomplir des tâches complexes et variées en consommant très peu d’énergie. Ces travaux de thèse explorent trois paradigmes neuro-inspirés pour l'utilisation de ces composants mémoire. Chacune de ces approches explore différentes problématiques du calcul en mémoire While electronics has prospered inexorably for several decades, its leading source of progress will stop in the next coming years, due to the fundamental technological limits of transistors. Nevertheless, microelectronics is currently offering a major breakthrough: in recent years, memory technologies have undergone incredible progress, opening the way for multiple research venues in embedded systems. Additionally, a major feature for future years will be the ability to integrate different technologies on the same chip. new emerging memory devices that can be embedded in the core of the CMOS, such as Resistive Random Access Memory (RRAM) or Spin Torque Magnetic Tunnel Junction (STMRAM) based on naturally intelligent inmemory-computing architecture. Three braininspired algorithms are carefully examined: Bayesian reasoning binarized neural networks, and an approach that further exploits the intrinsic behavior of components, population coding of neurons. Each of these approaches explores different aspects of in-memory computing

APA, Harvard, Vancouver, ISO, and other styles

41

Grassia, Filippo Giovanni. "Silicon neural networks : implementation of cortical cells to improve the artificial-biological hybrid technique." Thesis, Bordeaux 1, 2013. http://www.theses.fr/2013BOR14748/document.

Full text

Abstract:

Ces travaux ont été menés dans le cadre du projet européen FACETS-ITN. Nous avons contribué à la simulation de cellules corticales grâce à des données expérimentales d'électrophysiologie comme référence et d'un circuit intégré neuromorphique comme simulateur. Les propriétés intrinsèques temps réel de nos circuits neuromorphiques à base de modèles à conductance, autorisent une exploration détaillée des différents types de neurones. L'aspect analogique des circuits intégrés permet le développement d'un simulateur matériel temps réel à l'échelle du réseau. Le deuxième objectif de cette thèse est donc de contribuer au développement d'une plate-forme mixte - matérielle et logicielle - dédiée à la simulation de réseaux de neurones impulsionnels This work has been supported by the European FACETS-ITN project. Within the frameworkof this project, we contribute to the simulation of cortical cell types (employingexperimental electrophysiological data of these cells as references), using a specific VLSIneural circuit to simulate, at the single cell level, the models studied as references in theFACETS project. The real-time intrinsic properties of the neuromorphic circuits, whichprecisely compute neuron conductance-based models, will allow a systematic and detailedexploration of the models, while the physical and analog aspect of the simulations, as opposedthe software simulation aspect, will provide inputs for the development of the neuralhardware at the network level. The second goal of this thesis is to contribute to the designof a mixed hardware-software platform (PAX), specifically designed to simulate spikingneural networks. The tasks performed during this thesis project included: 1) the methodsused to obtain the appropriate parameter sets of the cortical neuron models that can beimplemented in our analog neuromimetic chip (the parameter extraction steps was validatedusing a bifurcation analysis that shows that the simplified HH model implementedin our silicon neuron shares the dynamics of the HH model); 2) the fully customizablefitting method, in voltage-clamp mode, to tune our neuromimetic integrated circuits usinga metaheuristic algorithm; 3) the contribution to the development of the PAX systemin terms of software tools and a VHDL driver interface for neuron configuration in theplatform. Finally, it also addresses the issue of synaptic tuning for future SNN simulation

APA, Harvard, Vancouver, ISO, and other styles

Dissertations / Theses on the topic 'Informatique Neuromorphique'

Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles