Dissertations / Theses on the topic 'Réseaux neuronaux à deux couches'

Le fonctionnement des algorithmes d’apprentissage automatique repose grandement sur la structure des données qu’ils doivent utiliser. La majorité des travaux de recherche en apprentissage automatique se concentre sur l’étude de données homogènes, souvent modélisées par des variables aléatoires indépendantes et identiquement distribuées. Pourtant, les données apparaissant en pratique sont souvent hétérogènes. Nous proposons dans cette thèse de considérer des données hétérogènes en les dotant d’un profil de variance. Cette notion, issue de la théorie des matrices aléatoires, nous permet notamment d’étudier des données issues de modèles de mélanges. Nous nous intéressons plus particulièrement à la problématique de la régression ridge à travers deux modèles : la régression ridge linéaire (linear ridge model) et la régression ridge à caractéristiques aléatoires (random feature ridge model). Nous étudions dans cette thèse la performance de ces deux modèles dans le cadre de la grande dimension, c’est-à-dire lorsque la taille de l’échantillon d’entraînement et la dimension des données tendent vers l’infini avec des vitesses comparables. Dans cet objectif, nous proposons des équivalents asymptotiques de l’erreur d’entraînement et de l’erreur de test relatives aux modèles d’intérêt. L’obtention de ces équivalents repose grandement sur l’étude spectrale issue de la théorie des matrices aléatoires, des probabilités libres et de la théorie des trafics. En effet, la mesure de la performance de nombreux modèles d’apprentissage dépend de la distribution des valeurs propres de matrices aléatoires. De plus, ces résultats nous ont permis d’observer des phénomènes spécifiques à la grande dimension, comme le phénomène de la double descente. Notre étude théorique s’accompagne d’expériences numériques illustrant la précision des équivalents asymptotiques que nous fournissons
The functioning of machine learning algorithms relies heavily on the structure of the data they are given to study. Most research work in machine learning focuses on the study of homogeneous data, often modeled by independent and identically distributed random variables. However, data encountered in practice are often heterogeneous. In this thesis, we propose to consider heterogeneous data by endowing them with a variance profile. This notion, derived from random matrix theory, allows us in particular to study data arising from mixture models. We are particularly interested in the problem of ridge regression through two models: the linear ridge model and the random feature ridge model. In this thesis, we study the performance of these two models in the high-dimensional regime, i.e., when the size of the training sample and the dimension of the data tend to infinity at comparable rates. To this end, we propose asymptotic equivalents for the training error and the test error associated with the models of interest. The derivation of these equivalents relies heavily on spectral analysis from random matrix theory, free probability theory, and traffic theory. Indeed, the performance measurement of many learning models depends on the distribution of the eigenvalues of random matrices. Moreover, these results enabled us to observe phenomena specific to the high-dimensional regime, such as the double descent phenomenon. Our theoretical study is accompanied by numerical experiments illustrating the accuracy of the asymptotic equivalents we provide

Le developpement d'un modele neuronal efficace et aisement utilisable passe par deux points clefs: ses performances en apprentissage et en generalisation, et sa facilite d'utilisation. C'est le plus souvent par le biais de l'algorithme d'apprentissage et de l'architecture que l'on tente d'ameliorer ces aspects. Pour notre part, nous avons aborde ce probleme en nous interessant a la maniere dont l'information est representee aux entrees/sorties du reseau. Il s'agit en effet d'un point capital non seulement dans le domaine des reseaux neuronaux, mais egalement dans tout ce qui a trait aux methodes informatiques, et en particulier des qu'il s'agit de mettre en uvre des techniques d'apprentissage. Nous avons choisi d'etudier l'influence d'un codage dit semi-distribue, deja utilise de maniere anterieure, aux acces des perceptrons multi-couches a retro-propagation du gradient. Cet algorithme est tres populaire, mais il est connu pour ses defauts (lenteur de convergence, difficulte a trouver une architecture adaptee a une application donnee). Nous couplons ce codage a un algorithme d'auto-organisation qui permet de l'adapter aux donnees. Par ce biais, nous ameliorons l'allocation des ressources disponibles au sein du reseau. Par ailleurs, ce codage permet d'augmenter considerablement les possibilites de ces reseaux, en autorisant l'approximation de relations non-univoques. Le modele est valide sur des applications representatives de trois grands domaines specifiques: le diagnostic, la modelisation et la commande

Le travail rapporte dans ce document concerne une étude sur les réseaux de neurones (rn) en vue de leur introduction dans la résolution de certains problèmes classiquement rencontres en traitement du signal. Ce travail est restreint à l'étude des rn à couches qui ont atteint une maturité scientifique qui les rend séduisants. Nous avons pris soins de séparer les idées et principes de base de leur réalisation. Ainsi, nous avons propose une méthodologie de mise en œuvre qui peut intéresser des utilisateurs potentiels des rn. Diverses techniques d'initialisation originales ont été proposées. Cette méthodologie est appliquée a quatre problèmes génériques fréquemment rencontres en traitement du signal: la résolution d'un problème inverse, la sélection de l'ordre d'un modèle, la détermination adaptative d'un sous espace signal, et finalement un problème de localisation sous-marine. De nombreuses comparaisons sont effectuées par rapport aux traitements dits conventionnels. Nous avons ainsi montre l'intérêt des rn a couches en terme de charge de calcul, de vitesse de convergence, d'absence de modèle et d'hypothèses restrictives

En utilisant le systeme nerveux stomatogastrique des grands crustaces decapodes, nous avons enregistre, avec des techniques electrophysiologiques, la gamme d'expression des activites de deux reseaux neuronaux moteurs (gastrique et pylorique) chez des animaux intacts et libres de leurs mouvements ainsi que leur modulation in vivo en fonction de divers besoins comportementaux ou apres stimulation experimentale. Nous montrons que chez des animaux au repos, les deux reseaux moteurs sont actifs en continu et qu'il existe une interaction fonctionnelle entre le reseau gastrique et le reseau pylorique. Cette interaction est dirigee par un groupe de neurones du reseau gastrique vers le groupe pacemaker du reseau pylorique. Cependant, l'activite spontanee de ces deux reseaux etant tres monotone, nous avons analyse les influences de divers stimuli. Une prise de nourriture renforce les activites neuromusculaires des reseaux gastrique et pylorique et fait disparaitre l'interaction entre les deux reseaux. Parallelement a ce changement d'activite au sein des reseaux, une modification de la pression partielle d'oxygene (po#2) dans le sang est notable. En manipulant po#2 in vivo et in vitro, nous montrons que ces reseaux peuvent etre modules par des changements locaux d'oxygenation. Une application de divers neurotransmetteurs dans le coeur des animaux n'est capable de mimer que partiellement les activites observees in vitro. Nous concluons qu'in vivo l'expression des reseaux neuronaux stomatogastriques est contrainte dans une fenetre restreinte pour garantir le bon fonctionnement du systeme nerveux.

Les compagnies aériennes désirent évaluer de manière rapide et précise les capacités opérationnelles de leurs avions (masse maximale au décollage) en fonction des conditions du jour (aéroport, conditions atmosphériques). Le logiciel OCTOPUS livré avec chaque Airbus depuis 1992, permet ce calcul de masse maximale au décollage soit par une méthode précise (intégration des équations de la mécanique du vol) mais trop longue en temps de calcul, soit par une méthode rapide (approximation polynomiale des fonctions de performances contraintes) mais trop imprécise. Dans ce contexte, les présents travaux visent à définir une nouvelle méthode approchée plus précise utilisant des réseaux de neurones multi-couches. A partir de l'analyse des fonctions modélisées et des approximateurs utilisés,un atelier de production est réalisé permettant de générer automatiquement les réseaux de neurones nécessaires pour déterminer les capacités opérationnelles d'un avion en fonction de tous les paramètres du décollage. Cette génération respecte les contraintes internes de productivité et les exigences de temps et de précision des compagnies aériennes. Depuis mars 1998, la méthode est opérationnelle et les réseaux de neurones remplacent la modélisation polynomiale existante. D'autre part, le contexte aéronautique, sensible en terme de sécurité, impose une certaine fiabilité sur les réseaux de neurones utilisés. Des méthodes de validation des modèles neuronaux sont proposés, permettant de répondre aux exigences d'une certification des calculs approchés.

Il est maintenant bien établi que les activités motrices rythmiques chez les Vertébrés résultent de l'activation de réseaux neuronaux soumis à l'influence de plusieurs neuromodulateurs, parmi lesquels la sérotonine (5-HT) occupe une position centrale car elle est capable de moduler l'activité de nombreux réseaux neuronaux moteurs et de favoriser la restauration post traumatique de leur activité. Cette thèse est consacrée à l'étude de la modulation 5-HT de l'activité du réseau respiratoire chez la lamproie et aux conséquences fonctionnelles de modifications post lésionnelles du contrôle 5-HT du réseau locomoteur chez l'urodèle (Pleurodeles waltlii). Chez la lamproie, l'utilisation d'une approche électrophysiologique in vitro a permis de mettre en évidence un ralentissement du rythme respiratoire aux fortes (> 50 mu M)concentrations 5-HT, l'inverse se produisant aux faibles concentrations (10 mu M). Chez l'urodèle, notre approche électrophysiologique in vivo a consisté à combiner enregistrements électromyographiques et applications d'agents pharmacologiques sur 1-2 segments de la moelle épinière sous lésionnelle chez des animaux spinaux ayant restauré leur capacité locomotrice (3-8 mois post op. ) Les modifications des différents paramètres locomoteurs ont été appréciées par comparaison avec des données obtenues dans les mêmes conditions chez les animaux intacts. Nos données montrent que l'application exogène de 5-HT (0. 5-25 mu M) provoque un ralentissement du ryhme natatoire de l'animal intact alors qu'elle induit une accélération de celui de l'animal spinalisé. Ces modifications du rythme natatoire sont dose-dépendantes et accompagnées d'un changement dans la coordination intersegmentaire. Ces effets peuvent être reproduits par augmentation de la libération de 5-HT endogène induite par blocage de la recapture de 5-HT. De plus, l'utilisation de différents agonistes et antagonistes des récepteurs 5-HT montre que l'inversion des effets modulateurs de la 5-HT entre animaux intacts et spinalisés résulte d'une inversion des effets via l'activation des récepteurs de type 5-HT3. . Nos données électrophysiologiques montrent également, qu'au contraire des réseaux de nage, les réseaux de marche chez l'animal intact ou spinalisé ne sont pas affectés par une application locale de 5-HT sur quelques segments médullaires. Un marquage immunohistochimique met en évidence, par comparaison avec l'animal intact, une absence de modifications post lésionnelles dans la localisation des récepteurs 5-HT3 au sein de la moelle épinière chez les animaux spinaux ayant restauré leur activité locomotrice. De plus, au moyen d'une technique de double marquage rétrograde, nous avons mis en évidence une régénération translésionnelle d'axones ascendants. Par marquage immunohistochimique nous montrons que certains de ces neurones ont le phénotype GABAergique et qu'ils expriment une immunoréactivité 5-HT3. En conclusion, l'ensemble de ces travaux révèle une grande plasticité du contrôle sérotoninergique des réseaux moteurs des Vertébrés inférieurs. Les résultats obtenus après traumatisme médullaire peuvent avoir des retombées intéressantes dans le domaine de la restauration locomotrice post lésionnelle
It is now well established that the rythmic activities underlying motor behaviors in Vertebrates are generated by neural networks, which are under the control of several neuromodulators, among which serotonin (5-HT) plays a critical role because it is involved in the modulation and functional recovery after lesion of several motor networks. In the present study we have studied the serotonergic 5-HT modulation of the respiratory network in lamprey and that of the locomotor network after spinal cord injury in an adult salamander (Pleurodeles waltlii). Extracellular recordings from the ventral roots in lamprey showed that 5-HT modulates the activity of the respiratory rythm generator in different directions, depending on its concentration. The respiratory rythm was decreased at high concentration (>50 mu M) while it was increased at low (< mu M) concentration. We have investigated the effects of a local application (1-2 spinal segments) of 5-HT on the sublesional spinal cord in recovered (3-8 months post op. ) spinalized salamanders. The induced effects were compared to those induced by a similar drug application in intact animals. The locomotor pattern was documented using electromyographical recordings. Our results showed that an exogenous application of 5-HT (0. 5-205 mu M) induced a decrease of the swimming rythm in intact animal whereas it induced an increase in the swimming rythm in recovered spinal-transected animals. All these effects were mimicked by a local application of a specific 5-HT uptake blocker. This suggested that endogenously released 5-HT could also induce these changes. Pharmacological analyses using different specific 5-HT receptor agonists evidenced that reversal of 5-HT effects on the swimming frequency involved 5-HT3 like-receptors. . . .

La miniaturisation est actuellement la voie de recherche la plus explorée dans divers domaines de la science et de la technologie. Les processus de fabrication comme la lithographie se sont prodigieusement développés au cours de ces dernières années et permettent ainsi une réduction importante de la taille des composants. Ce progrès technologique a créé systématiquement le besoin de techniques de caractérisation fiables, efficaces et si possible à moindre coût. L'objet de cette thèse porte sur l'étude d'un outil mathématique original, à savoir les réseaux de neurones, dans le cadre de la métrologie optique et dimensionnelle achevée par voie ellipsométrique. Dans le premier volet de ce travail nous avons montré que le réseau de neurones peut être efficacement employé pour la détermination des propriétés optiques et géométriques (indice de réfraction et épaisseur) des couches minces. A titre illustratif, la classification neuronale a été proposée pour estimer la gamme d'épaisseur des couches sans aucune information a priori sur la structure. Cette technique peut être couplée avec n'importe quel autre algorithme d'optimisation nécessitant une connaissance préalable de la solution. Le second volet montre clairement l'apport des réseaux de neurones dans le domaine de la scatterométrie pour la caractérisation des réseaux de diffraction possédant différents profils géométriques. La méthode neuronale peut également être employée pour la détermination de la période du réseau lorsque cela est nécessaire. La classification neuronale a ensuite été appliquée pour l'identification structurale du modèle géométrique, donnant ainsi une application directe en lithographie pour la détection automatique d'une couche résiduelle nuisible à l'étape de gravure.

L'un des principaux objectifs des neurosciences est de comprendre comment les fonctions cognitives sont codées par la dynamique des grands réseaux neuronaux. L'étude de la perception sensorielle a principalement été axée sur l'enregistrement de l'activité neuronale induites par des stimulations sensorielles. Une approche alternative réside dans l'utilisation des illusions sensorielles. Ainsi, la perception sensorielle peut avoir lieu en l'absence de stimulation physique externe. Nous avons utilisé une approche multidisciplinaire combinant l'imagerie calcique à deux photons, le comportement moteur et l'optogénétique. Nous avons pu montrerque la larve de poisson zèbre est capable de percevoir " l'effet après mouvement " (EAM). En utilisant l'optogenetique (halorhodopsine) nous avons été capables d'inhiber les mouvementes oculaires pendant la présentation du stimulus conditionné (SC). Nous avons montré que les mouvements des yeux lors du SC ne sont pas impératifs pour l'induction de l'EAM, ce qui suggère que l'EAM n'est probablement pas d'origine musculaire. En utilisant la microscopie à deux photons nous avons montré une habituation de neurones tectales au cours de l'EAM. Cette habituation se dégrade selon une échelle de temps qui correspond au comportement oculo-moteur, lors de l'EAM. En revanche, les cellules ganglionnaires de la rétine ne sont pas habitués. Ceci indique que le toit optique, mais pas la rétine, joue un rôle prépondérant dans l'induction du EAM. Cette approche multidisciplinaire permet de comprendre de façon plus approfondie les mécanismes neuronaux sous-jacents au EAM, et de spéculer sur le corrélat neuronal de la perception du mouvement
One of the main goals in neuroscience is to understand how cognitive functions are encoded by the dynamics of large neuronal networks. The main stream to study sensory perception has mainly focused on sensory stimulation and neuronal recordings of the induced neural responses. An alternative approach is the use of sensory illusions, in which sensory perception take place in the absence of physical external stimulation. For this purpose, we have used a multidisciplinary approach combining the zebrafish larva as the experimental model, two-photon calcium imaging, motor behavior and optogenetics. We showed that the zebrafish larva is capable of perceiving motion after-effect (MAE). Using optogenetics (halorhodopsin) to prevent eye movements during the presentation of the conditioning stimulus (CS), we showed that pursuit eye movements during CS are not imperative for the induction of MAE, suggesting that neither muscular fatigue nor eye-muscle proprioception feedback play a role in the generation of MAE. Furthermore, we used two-photon microscopy in combination with transgenic fish expressing GcaMP3 . We first observed that during MAE, neurons in the optic tectum (the largest and highest visual brain center of the larva) were strongly habituated. This habituation later decayed with a temporal scale that matched that of the optomotor MAE-like behavior. In contrast, no significant habituation was observed in the retina, Thus, we suggested that the optic tectum but not the retina plays a role in generation of MAE. Our approach contributed to a more comprehensive view of the neuronal mechanisms underlying MAE, and shed light on the neuronal correlate of motion perception

La réalisation de couches minces déposées sur substrats est très recherchée dans de nombreuses applications. C'est le cas par exemple des pièces nickelées destinées à des dispositifs à hautes performances techniques, où une couche anti-corrosion est déposée a n d'améliorer leur imperméabilité. L'utilisation de ces structures du type couche sur substrat étant grandissante, on comprend dès lors l'importance de disposer de moyens non destructifs permettant de les contrôler et de les caractériser. Dans ce travail, l'objectif a été de mettre à pro t les ondes acoustiques guidées pour le contrôle et la caractérisation de structures du type plaque. Pour la génération et la détection de ces ondes guidées, la technique laser-ultrasons a été privilégiée. C'est une méthode large bande et sans contact permettant d'éviter l'utilisation d'un milieu de couplage ou tout contact direct avec la structure et pouvant s'adapter à des géométries complexes. Pour tirer pro t au maximum de l'utilisation de cette technique, des réseaux de neurones lui ont été associés a n de résoudre le problème inverse posé par les ondes de plaque. Une méthode de caractérisation originale, e cace et polyvalente a ainsi été mise en oeuvre, permettant de déterminer les propriétés géométriques et/ou mécaniques de plaques simples ou de structures à couches. Des structures composées de silicium ont plus particulièrement été étudiées par le biais de cette méthode. Des simulations éléments nis, ainsi que des études sur certains défauts présents dans les couches minces, comme l'adhérence, sont présentées
The deposition of thin layers on substrates is more and more required in many applications. For example, to reach high technical performance, bumpers or other parts are nickeled to improve their impermeability and resistance. Another example in microelectronics is the realization of transistors found in LCDs where they are associated with each pixel. The use of these layer/substrate structures is growing, so the importance of having non-destructive techniques to monitor and characterize them is well understood. The point in using ultrasonic waves for non-destructive testing and evaluation of various materials and structures is well known. In this work, the aim was to use guided waves to monitor and to characterize plaque-like structures. The main advantage of using these modes lies in their ability to test very large areas and inaccessible structures. For the generation and detection of guided waves, the laser ultrasonics technique was preferred. It is a broadband and non contact method which doesn't imply the use of coupling medium and which can be adapted to complex geometries. To take full advantage of this technique, it has been combined with neural networks in order to solve the inverse problem posed by the propagation of guided waves. As a result, an original, e cient and polyvalent characterization method has been obtained, which allowed us to determine the geometric properties and / or the elastic parameters of di erent plate-like structures. Structures made of silicon have been studied with this method. Finite element simulations and studies concerning the in uence of defects, including adhesion, on the waves propagation are also presented

Le palier magnétique actif présente une solution technologique à plusieurs problèmes puisqu'il assure le guidage en rotation du rotor par rapport au stator sans aucun contact mécanique entre les pièces tournantes et les pièces fixes. Ils constituent une solution technologique pour fonctionner à très grande vitesse de rotation. Toutefois, une vitesse plus élevée mène à l'augmentation des vibrations et du balourd. Ce travail porte sur la conception et réalisation d'une commande neuronale afin d'améliorer le comportement en stabilité et consommation d'énergie du palier magnétique actif. Nous avons développé deux méthodes de commandes neuronales. La première est utilisée afin d'optimiser toutes les réponses temporelles des positions des axes de point de vue dépassement et temps de réponse. Cette méthode sera aussi utiliser pour réduire l'effet du balourd. La deuxième méthode consiste à varier les gains du PID afin de commander le système. Cette méthode va éliminer les oscillations obtenues avec la méthode précédente et conduire à une économie importante au niveau d'énergie. La demière partie est consacrée aux simulations ainsi qu'aux essais obtenus sur un banc expérimental mis en oeuvre au laboratoire Heudiasyc de L'UTC. Les tests d'évaluations des méthodes proposées montrent des résultats satisfaisants
The active magnetic bearing (AMB) presents a solution for technical proble since it ensures the total levitation of a body in space eliminating any mechanical contact between the rotor and the stator. The goal of o work is to show that the control of the AMB by Multilayer perceptions (MLP) involves an improvement of the responses compared to the non linear control of the AMB by classical controllers. Two methods with MLP were developed to control the AMB. The first consists in adding the MLP in order to stabilize the system around the desired answers. This method is also used to reduce the value of the unbalance. In the second method, the MLP controls the parameters of the PID in order to minimize the oscillations of the answers obtained with the previous method. This tuning, by neural network, of the parameters of the PID controller reduces the consumption of the energy used by the AMB. The last section is devoted to the simulation of these two methods and the implementation of the MLP in real time application on an active magnetic bearing at the Heudiasyc laboratory of the UTC

Avec la fin annoncée de la loi de Moore, les acteurs de la microélectronique cherchent de nouveaux paradigmes sur lesquels s’appuyer pour alimenter les développements futurs de notre société de l’information. En s’inspirant des systèmes nerveux biologiques, l’ingénierie neuromorphique offre des perspectives nouvelles qui révolutionnent d’ores et déjà l’intelligence artificielle. Pour que leurs performances permettent leur généralisation, les processeurs neuronaux se doivent d’intégrer des circuits de neurones les plus petits et les moins énergivores possible afin que les réseaux de neurones artificiels qu’ils implémentent atteignent une taille critique. Dans ce travail, nous montrons qu’il est possible de réduire le nombre de composants nécessaires à la conception d’un circuit analogique de neurone impulsionnel par la fonctionnalisation des courants de génération parasites dans un transistor BIMOS intégré en technologie 28 nm FD-SOI et dimensionné aux tailles minimales autorisées par la technologie. Après une caractérisation systématique des ces courants par des mesures quasi-statiques du FD-SOI BIMOS à température ambiante sous différentes polarisations, une modélisation compacte de ce composant adaptée à partir du modèle CEA-LETI UTSOI est proposée. Le circuit analogique de neurone impulsionnel à fuite, intégration et déclenchement basé sur le BIMOS (« BIMOS-based leaky, integrate-and-fire spiking neuron » : BB-LIF SN) est ensuite décrit. L’influence des différentes dimensions caractéristiques et polarisations de contrôle sur son fonctionnement observée lors des mesures sur des démonstrateurs fabriqués sur silicium est expliquée en détail. Un modèle analytique simple de ses limites de fonctionnement est proposé. La cohérence entre les résultats de mesures, ceux de simulations compactes et les prédictions du modèle analytique simple atteste la pertinence des analyses proposées. Dans sa version la plus aboutie, le BB-LIF SN occupe une surface de 15 µm², consomme environ 2 pJ/spike, fonctionne à des fréquences de déclenchement comprises entre 3 et 75 kHz pour des courant synaptique compris entre 600 pA et 25 nA sous une tension d’alimentation de 3 V
While Moore’s law reaches its limits, microelectronics actors are looking for new paradigms to ensure future developments of our information society. Inspired by biologic nervous systems, neuromorphic engineering is providing new perspectives which have already enabled breakthroughs in artificial intelligence. To achieve sufficient performances to allow their spread, neural processors have to integrate neuron circuits as small and as low power(ed) as possible so that artificial neural networks they implement reach a critical size. In this work, we show that it is possible to reduce the number of components necessary to design an analogue spiking neuron circuit thanks to the functionalisation of parasitic generation currents in a BIMOS transistor integrated in 28 nm FD-SOI technology and sized with the minimum dimensions allowed by this technology. After a systematic characterization of the FD-SOI BIMOS currents under several biases through quasi-static measurements at room temperature, a compact model of this component, adapted from the CEA-LETI UTSOI one, is proposed. The BIMOS-based leaky, integrate-and-fire spiking neuron (BB-LIF SN) circuit is described. Influence of the different design and bias parameters on its behaviour observed during measurements performed on a demonstrator fabricated in silicon is explained in detail. A simple analytic model of its operating boundaries is proposed. The coherence between measurement and compact simulation results and predictions coming from the simple analytic model attests to the relevance of the proposed analysis. In its most successful achievement, the BB-LIF SN circuit is 15 µm², consumes around 2 pJ/spike, triggers at a rate between 3 and 75 kHz for 600 pA to 25 nA synaptic currents under a 3 V power supply

Recherche de nouvelles méthodes de synthèse logique sur différentes cibles technologiques: PLA détaillé libre et PLD de type PAL. Une méthode originale de minimisation deux couches d'un ensemble de fonctions booléennes sur une cible de type PLA libre est étudiée. Une méthode de synthèse sur les réseaux programmables de type PAL, dont les dimensions et les structures sont figées, est aussi proposée

Le développement cérébral est une succession d'étapes aboutissant à l'établissement d'un réseau neuronal. Il fait intervenir de nombreuses molécules comme des protéines d'adhésion permettant l'interaction des neurones avec leur environnement. L'implication de nombreux gènes codant des protéines d'adhésion dans la physiopathologie de maladies neuropsychiatriques comme l'autisme souligne l'intérêt à en identifier de nouveaux. Pendant ma thèse, j'ai pu caractériser deux nouveaux gènes, Susd2 et Susd4, codant des protéines contenant des domaines CCP (Complement Control Protein), classiquement connus pour leur présence dans les protéines participant à la régulation du système du Complément. Récemment, des protéines à domaines CCP ont été décrites chez la souris comme ayant une fonction dans le développement neuronal. L'existence de nombreuses protéines prédites à domaines CCP sans fonction connue m'ont conduit à tenter de caractériser Susd2 et Susd4 qui en font partie.Susd2 est exprimé dans les neurones au sein de cultures de cellules d'hippocampe de rat. Son expression atteint un pic à un stade post natal précoce, suggérant une fonction développementale. La protéine Susd2 recombinante a une localisation neuronale diffuse, mais est particulièrement enrichie dans les synapses excitatrices. La diminution de l'expression de Susd2 a pour conséquences un défaut de croissance axonale, une augmentation de la croissance dendritique, et une inhibition spécifique de la synaptogénèse excitatrice. Susd4 est également exprimé dans les neurones, avec un pic d'expression au stade embryonnaire, et semble jouer un rôle de régulation du développement dendritique
During brain development, several steps precisely coordinated lead to establishment of a functional neuronal network. Many molecules participate to this process, including adhesion proteins mediating interactions between neurons and their environment. Involvement of numerous genes coding for adhesion proteins in neuropsychiatric diseases such as autism argue for usefulness of identifying new ones. During my PhD, I characterized two new genes, Sud2 and Susd4, coding for proteins containing CCP domains (Complement Control Protein), classically described in proteins involved in Complement regulation system. Recently, in mammals, CCP containing proteins were shown to be involved in neuronal development. Identification of several predicted CCP containing proteins without a known function prompted me to characterize Susd2 and Susd4 which are part of them.Susd2 is expressed in neurons from hippocampal cell cultures. Its peak of expression takes place in early post natal period, suggesting a developmental function. Susd2 recombinant protein has a diffuse neuronal localization, but is particularly enriched in excitatory synapses. Decreased expression of Susd2 leads to decreased axonal growth, increased dendritic growth, and specific inhibition of excitatory synaptogenesis. Susd4 is also expressed in neurons, with a peak of expression during embryonic development, and seems to act as a regulator of dendritic growth

Motivé par le problème industriel de répartition de couple dans les véhicules hybrides électriques, ce travail propose principalement deux nouvelles méthodes de résolution indirectes de problèmes de commande optimale. La première est la méthode Macro-Micro qui est basée sur une décomposition à deux niveaux du problème de commande optimale, faisant intervenir les fonctions valeur de Bellman de manière explicite à des temps préalablement fixés. Ces fonctions sont connues pour être assez difficile à construire. L’idée principale est d’approcher ces fonctions valeur par des réseaux de neurones, ce qui mène à une résolution hiérarchique d’un problème d’optimisation en dimension faible et d’un ensemble de problèmes de commande optimale définis sur des intervalles de temps plus courts. La seconde est une méthode de préconditionnement géométrique qui permet une résolution plus efficace du problème de commande optimale. Cette méthode, basée sur l’interprétation géométrique du co-état et sur la transformée de Mathieu, utilise un changement de variable linéaire à partir de la simple transformation d’une ellipse en cercle. Ces deux méthodes, bien que présentées séparément, peuvent être combinées et mènent à une résolution plus rapide, robuste et légère du problème de répartition de couple, permettant ainsi que de s’approcher des critères d’embarquabilités
Motivated by the torque split and gear shift industrial problem of hybrid electric vehicles, this work mainly proposes two new indirect optimal control problem methods. The first one is the Macro-Micro method, which is based on a bilevel decomposition of the optimal control problem and uses Bellman’s value functions at fixed times. These functions are known to be difficult to create. The main idea of this method is to approximate these functions by neural networks, which leads to a hierarchical resolution of a low dimensional optimization problem and a set of independent optimal control problems defined on smaller time intervals. The second one is a geometric preconditioning method, which allows a more efficient resolution of the optimal control problem. This method is based on a geometrical interpretation of the Pontryagin’s co-state and on the Mathieu transformation, and uses a linear diffeomorphism which transforms an ellipse into a circle. These two methods, presented separately, can be combined and lead together to a fast, robust and light resolution for the torque split and gear shift optimal control problem, closer to the embedded requirements

La vision par ordinateur est un domaine stratégique, du fait du nombre potentiel d'applications avec un impact important sur la société. Ce secteur a rapidement progressé au cours de ces dernières années, notamment grâce aux avancées en intelligence artificielle et plus particulièrement l'avènement de l'apprentissage profond. Cependant, ces méthodes présentent deux défauts majeurs face au cerveau biologique : ils sont extrêmement énergivores et requièrent de gigantesques bases d'apprentissage étiquetées. Les réseaux de neurones à impulsions sont des modèles alternatifs qui permettent de répondre à la problématique de la consommation énergétique. Ces modèles ont la propriété de pouvoir être implémentés de manière très efficace sur du matériel, afin de créer des architectures très basse consommation. En contrepartie, ces modèles imposent certaines contraintes, comme l'utilisation uniquement de mémoire et de calcul locaux. Cette limitation empêche l'utilisation de méthodes d'apprentissage traditionnelles, telles que la rétro-propagation du gradient. La STDP est une règle d'apprentissage, observée dans la biologie, qui peut être utilisée dans les réseaux de neurones à impulsions. Cette règle renforce les synapses où des corrélations locales entre les temps d'impulsions sont détectées, et affaiblit les autres synapses. La nature locale et non-supervisée permet à la fois de respecter les contraintes des architectures neuromorphiques, et donc d'être implémentable de manière efficace, mais permet également de répondre aux problématiques d'étiquetage des bases d'apprentissage. Cependant, les réseaux de neurones à impulsions entraînés grâce à la STDP souffrent pour le moment de performances inférieures aux méthodes d'apprentissage profond. La littérature entourant la STDP utilise très majoritairement des données simples mais le comportement de cette règle n'a été que très peu étudié sur des données plus complexes, tel que sur des bases avec une variété d'images importante.L'objectif de ce manuscrit est d'étudier le comportement des modèles impulsionnels, entraîné via la STDP, sur des tâches de classification d'images. Le but principal est d'améliorer les performances de ces modèles, tout en respectant un maximum les contraintes imposées par les architectures neuromorphiques. Une première partie des contributions proposées dans ce manuscrit s'intéresse à la simulation logicielle des réseaux de neurones impulsionnels. L'implémentation matérielle étant un processus long et coûteux, l'utilisation de simulation est une bonne alternative pour étudier plus rapidement le comportement des différents modèles. La suite des contributions s'intéresse à la mise en place de réseaux impulsionnels multi-couches. Les réseaux composés d'un empilement de couches, tel que les méthodes d'apprentissage profond, permettent de traiter des données beaucoup plus complexes. Un des chapitres s'articule autour de la problématique de perte de fréquence observée dans les réseaux de neurones à impulsions. Ce problème empêche l'empilement de plusieurs couches de neurones impulsionnels. Une autre partie des contributions se concentre sur l'étude du comportement de la STDP sur des jeux de données plus complexes, tels que les images naturelles en couleur. Plusieurs mesures sont utilisées, telle que la cohérence des filtres ou la dispersion des activations, afin de mieux comprendre les raisons de l'écart de performances entre la STDP et les méthodes plus traditionnelles. Finalement, la réalisation de réseaux multi-couches est décrite dans la dernière partie des contributions. Pour ce faire, un nouveau mécanisme d'adaptation des seuils est introduit ainsi qu'un protocole permettant l'apprentissage multi-couches. Il est notamment démontré que de tels réseaux parviennent à améliorer l'état de l'art autour de la STDP
Computer vision is a strategic field, in consequence of its great number of potential applications which could have a high impact on society. This area has quickly improved over the last decades, especially thanks to the advances of artificial intelligence and more particularly thanks to the accession of deep learning. Nevertheless, these methods present two main drawbacks in contrast with biological brains: they are extremely energy intensive and they need large labeled training sets. Spiking neural networks are alternative models offering an answer to the energy consumption issue. One attribute of these models is that they can be implemented very efficiently on hardware, in order to build ultra low-power architectures. In return, these models impose certain limitations, such as the use of only local memory and computations. It prevents the use of traditional learning methods, for example the gradient back-propagation. STDP is a learning rule, observed in biology, which can be used in spiking neural networks. This rule reinforces the synapses in which local correlations of spike timing are detected. It also weakens the other synapses. The fact that it is local and unsupervised makes it possible to abide by the constraints of neuromorphic architectures, which means it can be implemented efficiently, but it also provides a solution to the data set labeling issue. However, spiking neural networks trained with the STDP rule are affected by lower performances in comparison to those following a deep learning process. The literature about STDP still uses simple data but the behavior of this rule has seldom been used with more complex data, such as sets made of a large variety of real-world images.The aim of this manuscript is to study the behavior of these spiking models, trained through the STDP rule, on image classification tasks. The main goal is to improve the performances of these models, while respecting as much as possible the constraints of neuromorphic architectures. The first contribution focuses on the software simulations of spiking neural networks. Hardware implementation being a long and costly process, using simulation is a good alternative in order to study more quickly the behavior of different models. Then, the contributions focus on the establishment of multi-layered spiking networks; networks made of several layers, such as those in deep learning methods, allow to process more complex data. One of the chapters revolves around the matter of frequency loss seen in several spiking neural networks. This issue prevents the stacking of multiple spiking layers. The center point then switches to a study of STDP behavior on more complex data, especially colored real-world image. Multiple measurements are used, such as the coherence of filters or the sparsity of activations, to better understand the reasons for the performance gap between STDP and the more traditional methods. Lastly, the manuscript describes the making of multi-layered networks. To this end, a new threshold adaptation mechanism is introduced, along with a multi-layer training protocol. It is proven that such networks can improve the state-of-the-art for STDP

L'objet de la thèse est le développement d'un algorithme de détection d'évolution des caractéristiques d'un système dynamique sur lequel on ne dispose d'aucune connaissance a priori. Le diagnostic d'évolution doit s'adapter à la spécificité du système et à son environnement. Pour cela, on considère l'état initial du système comme un état de référence, à partir duquel tout écart est interprété comme une évolution vers un état inconnu. Chaque état ainsi détecté fait l'objet d'un apprentissage. Pour mettre en œuvre cette idée, nous proposons dans ce mémoire une méthode adaptative de diagnostic d'évolution basée sur la reconnaissance des formes floues. Elle repose sur une modélisation des états du système à l'aide d'ensembles flous. L'approximation des fonctions d'appartenance associées est réalisée à l'aide de réseaux de neurones à fonction d'activation gaussienne. La constitution des ensembles d'apprentissage des états détectés s'effectue selon des critères combinés de proximité dans l'espace et le temps. La notion de "plus proche voisin dans le temps" est introduite. Cette méthode a été appliquée à la surveillance du comportement du conducteur d'un véhicule automobile. L'instrumentation d'un véhicule expérimental et la définition d'un protocole de mesures ont conduit au recueil, sur route réelle, de données pertinentes pour la description de l'activité de conduite. Ces données ont été utilisees pour valider l'algorithme proposé, d'abord pour la détection d'évolution du comportement de conduite, puis dans le cadre plus spécifique de la détection d'hypovigilance. Les résultats obtenus confirment l'intérêt de la méthode proposée.

Cette thèse découle des défis de recherche opérationnelle de la chaîne logistique Renault. Pour y répondre, nous apportons des contributions à l’architecture et à l’entraînement des réseaux neuronaux avec des couches d’optimisation combinatoire (CO). Nous les combinons avec de nouvelles matheuristiques pour aborder les problèmes de routage d’inventaire de Renault. La Partie I est dédiée aux applications des réseaux neuronaux avec des couches CO en recherche opérationnelle. Nous introduisons une méthode pour approximer les contraintes. Nous utilisons de telles couches pour encoder des politiques pour des processus de décision markoviens à grands espaces d’états et d’actions. Alors que la plupart des études sur les couches CO reposent sur l’apprentissage super- visé, nous introduisons un schéma primal-dual pour la minimisation du risque empirique. Notre algorithme est compatible avec l’apprentissage profond, adapté à de grands espaces combinatoires, et générique. La Partie II est dédiée à la logistique retour des emballages Renault en Europe. Notre politique pour les décisions opérationnelles est basée sur une nouvelle matheuristique pour la variante déterministe du problème. Nous montrons son efficacité sur des instances à grande échelle, que nous publions, avec notre code et nos solutions. Une version de notre politique est utilisée quotidiennement en production depuis mars 2023. Nous abordons aussi la contractualisation de routes au niveau tactique. L’ampleur du problème empêche l’utilisation d’approches classiques d’optimisation stochastique. Nous introduisons un nouvel algorithme basé sur les contributions de la Partie I pour la minimisation du risque empirique
This thesis stems from operations research challenges faced by Renault supply chain. Toaddress them, we make methodological contributions to the architecture and training of neural networks with combinatorial optimization (CO) layers. We combine them with new matheuristics to solve Renault’s industrial inventory routing problems.In Part I, we detail applications of neural networks with CO layers in operations research. We notably introduce a methodology to approximate constraints. We also solve some off- policy learning issues that arise when using such layers to encode policies for Markov decision processes with large state and action spaces. While most studies on CO layers rely on supervised learning, we introduce a primal-dual alternating minimization scheme for empirical risk minimization. Our algorithm is deep learning-compatible, scalable to large combinatorial spaces, and generic. In Part II, we consider Renault European packaging return logistics. Our rolling-horizon policy for the operational-level decisions is based on a new large neighborhood search for the deterministic variant of the problem. We demonstrate its efficiency on large-scale industrialinstances, that we release publicly, together with our code and solutions. We combine historical data and experts’ predictions to improve performance. A version of our policy has been used daily in production since March 2023. We also consider the tactical-level route contracting process. The sheer scale of this industrial problem prevents the use of classic stochastic optimization approaches. We introduce a new algorithm based on methodological contributions of Part I for empirical risk minimization

Cette thèse se situe dans la planification et le suivi de mouvement d’un humanoïde mobile à deux bras. Premièrement, MDH est utilisé pour la modélisation cinématique. Afin de surmonter les insuffisances de la méthode d’Euler-Lagrange qui nécessitent des calculs d’énergie et ses dérivées partielles, la méthode de Kane est utilisée. En plus, la stabilité physique est analysée et un contrôleur est conçu. Deuxièmement, un algorithme avancée MaxiMin NSGA-II est proposée pour concevoir l’orientation et la position optimales de la plate-forme mobile (PB) et la configuration optimale du manipulateur supérieur (MS) étant donnée uniquement la pose initiale et les positions et orientations souhaitées des EEs. Un algorithme à connexion directe combinant BiRRT et la gradient-descente est conçu pour réaliser la transition de la pose initiale à la pose optimale, et une méthode d'optimisation géométrique est conçue pour optimiser et cohérer le chemin. En outre, les motions en avant sont obtenues en attribuant des orientations pour MB indiquant ainsi l'intention du robot. Afin de résoudre le problème d'échec de l’algorithme hors ligne, un algorithme en ligne est proposé en estimant les motions des obstacles dynamiques. De plus, afin d'optimiser les via-poses, un algorithme basé sur les via-points des EEs et MOGA est proposé en optimisant quatre fonctions objectives. Enfin, le problème de suivi de motion est étudié étant donné les motions des EEs dans l'espace de tâche. Au lieu de contrôler la motion absolue, deux motions relatives sont introduites pour réaliser la coordination et la coopération entre MB et MS. De plus, une technique mWLN est proposée pour éviter les limites des joints
This thesis focuses on the motion planning and tracking of a dual-arm mobile humanoid. First, MDH is used for kinematic modeling. The co-simulation via Simulink-Adams on prototype is realized to validate the effectiveness of RBFNN controller. In order to overcome the shortcomings of Euler-Lagrange’s formulations that require calculating energy and energy derivatives, Kane’s method is used. In addition, physical stability is analyzed based on Kane’s method and a controller is designed using back-stepping technique. Secondly, an improved MaxiMin NSGA-II is proposed to design the mobile base’s (MB) optimal position-orientation and the upper manipulator’s (UM) optimal configuration given only the initial pose and end-effectors’ (EEs) desired positions-orientations. A direct connect algorithm combining BiRRT and gradient-descent is designed to plan the transition from initial pose to optimal pose, and a geometric optimization method is designed to optimize and cohere the path. In addition, forward motions are obtained by assigning orientations for MB thus indicating robot’s intention. In order to solve the failure problem of offline algorithm, an online algorithm is proposed while estimating dynamic obstacles’ motions. In addition, in order to optimize via-poses, an algorithm based on EEs’ via-points and MOGA is proposed by optimizing four via-pose-based objective functions. Finally, the motion tracking problem is studied given EEs’ motions in the task space. Instead of controlling the absolute motion, two relative motions are introduced to realize the coordination and cooperation between MB and UM. In addition, an modulated WLN technique is proposed to avoid joints’ limits

Cette thèse s’intéresse à la problématique de la prédiction dans le cadre du design de systèmes énergétiques et des problèmes d’opération, et en particulier, à l’évaluation de l’adéquation de systèmes de production d’énergie renouvelables. L’objectif général est de développer une approche empirique pour générer des prédictions avec les incertitudes associées. En ce qui concerne cette direction de la recherche, une approche non paramétrique et empirique pour estimer les intervalles de prédiction (PIs) basés sur les réseaux de neurones (NNs) a été développée, quantifiant l’incertitude dans les prédictions due à la variabilité des données d’entrée et du comportement du système (i.e. due au comportement stochastique des sources renouvelables et de la demande d'énergie électrique), et des erreurs liées aux approximations faites pour établir le modèle de prédiction. Une nouvelle méthode basée sur l'optimisation multi-objectif pour estimer les PIs basée sur les réseaux de neurones et optimale à la fois en termes de précision (probabilité de couverture) et d’information (largeur d’intervalle) est proposée. L’ensemble de NN individuels par deux nouvelles approches est enfin présenté comme un moyen d’augmenter la performance des modèles. Des applications sur des études de cas réels démontrent la puissance de la méthode développée
This Ph.D. work addresses the problem of prediction within energy systems design and operation problems, and particularly the adequacy assessment of renewable power generation systems. The general aim is to develop an empirical modeling framework for providing predictions with the associated uncertainties. Along this research direction, a non-parametric, empirical approach to estimate neural network (NN)-based prediction intervals (PIs) has been developed, accounting for the uncertainty in the predictions due to the variability in the input data and the system behavior (e.g. due to the stochastic behavior of the renewable sources and of the energy demand by the loads), and to model approximation errors. A novel multi-objective framework for estimating NN-based PIs, optimal in terms of both accuracy (coverage probability) and informativeness (interval width) is proposed. Ensembling of individual NNs via two novel approaches is proposed as a way to increase the performance of the models. Applications on real case studies demonstrate the power of the proposed framework

L'objectif de toute acquisition de données géophysiques est d'obtenir une image plus précise de l'intérieur de la Terre. Afin de préciser cette image, on utilise principalement des méthodes d'inférence déterministe ayant comme but de fournir une description exacte de chaque détail particulier. Contraire aux méthodes déterministes, les approches stat- istiques n'essaient de saisir que les caractéristiques principales de l'ensemble des déiails. Ceci réduit la complexité mathématique, nous permettant ainsi de mieux étudier certains phénomènes physiques. De plus, elles peuvent nous aider à sonder la Terre à une échelle plus petite que la résolution des méthodes déterministes. Finalement, elles peuvent nous fournir une appréciation de vraisemblance, nous aidant ainsi à prendre des décisions ou à reconnaître des signaux. Dans ce mémoire, nous avons utilisé ces 3 avantages sur 2 problèmes différents. D'abord , nous les avons employés afin d 'augmenter le rapport signal sur bruit en détectant des réflexions dans des données de sismique réflexion profonde d'une faible qualité. Ceci nous a permis de faciliter l'interprétation du profil considéré. Deux méthodes différentes ont été considérées, celle dite Classification par Vraisemblance Maximale et celle des Réseaux de Neurones. Ensuite, nous les avons utilisés afin d 'étudier le processus de la diffusion forte dans un milieu acoustique, stratifié et aléatoire. Afin d 'étudier ce problème, nous avons appliqué la théorie de la localisation d 'onde prédisant l'atténuation apparente et la dispersion d 'une impulsion traversant un tel milieu. Cette théorie nous a aussi permis d 'estimer la magnitude et la dimension typiques des fluctuations des vitesses et le facteur de qualité de l'atténuation intrinsèque sous le Bassin de Mauléon dans les Pyrénées Occidentales. Ceci nous a montré que la croùte supérieure y est plus hétérogène et plus atténuante que la croute inférieure et que les dimensions typiques y sont plus petites.