Dissertations / Theses on the topic 'Réseaux de neurones LSTM'
To see the other types of publications on this topic, follow the link: Réseaux de neurones LSTM.
Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles
Consult the top 50 dissertations / theses for your research on the topic 'Réseaux de neurones LSTM.'
Next to every source in the list of references, there is an 'Add to bibliography' button. Press on it, and we will generate automatically the bibliographic reference to the chosen work in the citation style you need: APA, MLA, Harvard, Chicago, Vancouver, etc.
You can also download the full text of the academic publication as pdf and read online its abstract whenever available in the metadata.
Browse dissertations / theses on a wide variety of disciplines and organise your bibliography correctly.
1
Gelly, Grégory. "Réseaux de neurones récurrents pour le traitement automatique de la parole." Thesis, Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLS295/document.
Abstract:
Le domaine du traitement automatique de la parole regroupe un très grand nombre de tâches parmi lesquelles on trouve la reconnaissance de la parole, l'identification de la langue ou l'identification du locuteur. Ce domaine de recherche fait l'objet d'études depuis le milieu du vingtième siècle mais la dernière rupture technologique marquante est relativement récente et date du début des années 2010. C'est en effet à ce moment qu'apparaissent des systèmes hybrides utilisant des réseaux de neurones profonds (DNN) qui améliorent très notablement l'état de l'art. Inspirés par le gain de performance apporté par les DNN et par les travaux d'Alex Graves sur les réseaux de neurones récurrents (RNN), nous souhaitions explorer les capacités de ces derniers. En effet, les RNN nous semblaient plus adaptés que les DNN pour traiter au mieux les séquences temporelles du signal de parole. Dans cette thèse, nous nous intéressons tout particulièrement aux RNN à mémoire court-terme persistante (Long Short Term Memory (LSTM) qui permettent de s'affranchir d'un certain nombre de difficultés rencontrées avec des RNN standards. Nous augmentons ce modèle et nous proposons des processus d'optimisation permettant d'améliorer les performances obtenues en segmentation parole/non-parole et en identification de la langue. En particulier, nous introduisons des fonctions de coût dédiées à chacune des deux tâches: un simili-WER pour la segmentation parole/non-parole dans le but de diminuer le taux d'erreur d'un système de reconnaissance de la parole et une fonction de coût dite de proximité angulaire pour les problèmes de classification multi-classes tels que l'identification de la langue parléeAutomatic speech processing is an active field of research since the 1950s. Within this field the main area of research is automatic speech recognition but simpler tasks such as speech activity detection, language identification or speaker identification are also of great interest to the community. The most recent breakthrough in speech processing appeared around 2010 when speech recognition systems using deep neural networks drastically improved the state-of-the-art. Inspired by this gains and the work of Alex Graves on recurrent neural networks (RNN), we decided to explore the possibilities brought by these models on realistic data for two different tasks: speech activity detection and spoken language identification. In this work, we closely look at a specific model for the RNNs: the Long Short Term Memory (LSTM) which mitigates a lot of the difficulties that can arise when training an RNN. We augment this model and introduce optimization methods that lead to significant performance gains for speech activity detection and language identification. More specifically, we introduce a WER-like loss function to train a speech activity detection system so as to minimize the word error rate of a downstream speech recognition system. We also introduce two different methods to successfully train a multiclass classifier based on neural networks for tasks such as LID. The first one is based on a divide-and-conquer approach and the second one is based on an angular proximity loss function. Both yield performance gains but also speed up the training process
2
Stuner, Bruno. "Cohorte de réseaux de neurones récurrents pour la reconnaissance de l'écriture." Thesis, Normandie, 2018. http://www.theses.fr/2018NORMR024.
Abstract:
Les méthodes à l’état de l’art de la reconnaissance de l’écriture sont fondées sur des réseaux de neurones récurrents (RNN) à cellules LSTM ayant des performances remarquables. Dans cette thèse, nous proposons deux nouveaux principes la vérification lexicale et la génération de cohorte afin d’attaquer les problèmes de la reconnaissance de l’écriture : i) le problème des grands lexiques et des décodages dirigés par le lexique ii) la problématique de combinaison de modèles optiques pour une meilleure reconnaissance iii) la nécessité de constituer de très grands ensembles de données étiquetées dans un contexte d’apprentissage profond. La vérification lexicale est une alternative aux décodages dirigés par le lexique peu étudiée à cause des faibles performances des modèles optiques historiques (HMM). Nous montrons dans cette thèse qu’elle constitue une alternative intéressante aux approches dirigées par le lexique lorsqu’elles s’appuient sur des modèles optiques très performants comme les RNN LSTM. La génération de cohorte permet de générer facilement et rapidement un grand nombre de réseaux récurrents complémentaires en un seul apprentissage. De ces deux techniques nous construisons et proposons un nouveau schéma de cascade pour la reconnaissance de mots isolés, une nouvelle combinaison au niveau ligne LV-ROVER et une nouvelle stratégie d’auto-apprentissage de RNN LSTM pour la reconnaissance de mots isolés. La cascade proposée permet de combiner avec la vérification lexicale des milliers de réseaux et atteint des résultats à l’état de l’art pour les bases Rimes et IAM. LV-ROVER a une complexité réduite par rapport à l’algorithme original ROVER et permet de combiner des centaines de réseaux sans modèle de langage tout en dépassant l’état de l’art pour la reconnaissance de lignes sur le jeu de donnéesRimes. Notre stratégie d’auto-apprentissage permet d’apprendre à partir d’un seul réseau BLSTM et sans paramètres grâce à la cohorte et la vérification lexicale, elle montre d’excellents résultats sur les bases Rimes et IAMState-of-the-art methods for handwriting recognition are based on LSTM recurrent neural networks (RNN) which achieve high performance recognition. In this thesis, we propose the lexicon verification and the cohort generation as two new building blocs to tackle the problem of handwriting recognition which are : i) the large vocabulary problem and the use of lexicon driven methods ii) the combination of multiple optical models iii) the need for large labeled dataset for training RNN. The lexicon verification is an alternative to the lexicon driven decoding process and can deal with lexicons of 3 millions words. The cohort generation is a method to get easily and quickly a large number of complementary recurrent neural networks extracted from a single training. From these two new techniques we build and propose a new cascade scheme for isolated word recognition, a new line level combination LV-ROVER and a new self-training strategy to train LSTM RNN for isolated handwritten words recognition. The proposed cascade combines thousands of LSTM RNN with lexicon verification and achieves state-of-the art word recognition performance on the Rimes and IAM datasets. The Lexicon Verified ROVER : LV-ROVER, has a reduce complexity compare to the original ROVER algorithm and combine hundreds of recognizers without language models while achieving state of the art for handwritten line text on the RIMES dataset. Our self-training strategy use both labeled and unlabeled data with the unlabeled data being self-labeled by its own lexicon verified predictions. The strategy enables self-training with a single BLSTM and show excellent results on the Rimes and Iam datasets
3
Bouaziz, Mohamed. "Réseaux de neurones récurrents pour la classification de séquences dans des flux audiovisuels parallèles." Thesis, Avignon, 2017. http://www.theses.fr/2017AVIG0224/document.
Abstract:
Les flux de contenus audiovisuels peuvent être représentés sous forme de séquences d’événements (par exemple, des suites d’émissions, de scènes, etc.). Ces données séquentielles se caractérisent par des relations chronologiques pouvant exister entre les événements successifs. Dans le contexte d’une chaîne TV, la programmation des émissions suit une cohérence définie par cette même chaîne, mais peut également être influencée par les programmations des chaînes concurrentes. Dans de telles conditions,les séquences d’événements des flux parallèles pourraient ainsi fournir des connaissances supplémentaires sur les événements d’un flux considéré.La modélisation de séquences est un sujet classique qui a été largement étudié, notamment dans le domaine de l’apprentissage automatique. Les réseaux de neurones récurrents de type Long Short-Term Memory (LSTM) ont notamment fait leur preuve dans de nombreuses applications incluant le traitement de ce type de données. Néanmoins,ces approches sont conçues pour traiter uniquement une seule séquence d’entrée à la fois. Notre contribution dans le cadre de cette thèse consiste à élaborer des approches capables d’intégrer conjointement des données séquentielles provenant de plusieurs flux parallèles.Le contexte applicatif de ce travail de thèse, réalisé en collaboration avec le Laboratoire Informatique d’Avignon et l’entreprise EDD, consiste en une tâche de prédiction du genre d’une émission télévisée. Cette prédiction peut s’appuyer sur les historiques de genres des émissions précédentes de la même chaîne mais également sur les historiques appartenant à des chaînes parallèles. Nous proposons une taxonomie de genres adaptée à de tels traitements automatiques ainsi qu’un corpus de données contenant les historiques parallèles pour 4 chaînes françaises.Deux méthodes originales sont proposées dans ce manuscrit, permettant d’intégrer les séquences des flux parallèles. La première, à savoir, l’architecture des LSTM parallèles(PLSTM) consiste en une extension du modèle LSTM. Les PLSTM traitent simultanément chaque séquence dans une couche récurrente indépendante et somment les sorties de chacune de ces couches pour produire la sortie finale. Pour ce qui est de la seconde proposition, dénommée MSE-SVM, elle permet de tirer profit des avantages des méthodes LSTM et SVM. D’abord, des vecteurs de caractéristiques latentes sont générés indépendamment, pour chaque flux en entrée, en prenant en sortie l’événement à prédire dans le flux principal. Ces nouvelles représentations sont ensuite fusionnées et données en entrée à un algorithme SVM. Les approches PLSTM et MSE-SVM ont prouvé leur efficacité dans l’intégration des séquences parallèles en surpassant respectivement les modèles LSTM et SVM prenant uniquement en compte les séquences du flux principal. Les deux approches proposées parviennent bien à tirer profit des informations contenues dans les longues séquences. En revanche, elles ont des difficultés à traiter des séquences courtes.L’approche MSE-SVM atteint globalement de meilleures performances que celles obtenues par l’approche PLSTM. Cependant, le problème rencontré avec les séquences courtes est plus prononcé pour le cas de l’approche MSE-SVM. Nous proposons enfin d’étendre cette approche en permettant d’intégrer des informations supplémentaires sur les événements des séquences en entrée (par exemple, le jour de la semaine des émissions de l’historique). Cette extension, dénommée AMSE-SVM améliore remarquablement la performance pour les séquences courtes sans les baisser lorsque des séquences longues sont présentéesIn the same way as TV channels, data streams are represented as a sequence of successive events that can exhibit chronological relations (e.g. a series of programs, scenes, etc.). For a targeted channel, broadcast programming follows the rules defined by the channel itself, but can also be affected by the programming of competing ones. In such conditions, event sequences of parallel streams could provide additional knowledge about the events of a particular stream. In the sphere of machine learning, various methods that are suited for processing sequential data have been proposed. Long Short-Term Memory (LSTM) Recurrent Neural Networks have proven its worth in many applications dealing with this type of data. Nevertheless, these approaches are designed to handle only a single input sequence at a time. The main contribution of this thesis is about developing approaches that jointly process sequential data derived from multiple parallel streams. The application task of our work, carried out in collaboration with the computer science laboratory of Avignon (LIA) and the EDD company, seeks to predict the genre of a telecast. This prediction can be based on the histories of previous telecast genres in the same channel but also on those belonging to other parallel channels. We propose a telecast genre taxonomy adapted to such automatic processes as well as a dataset containing the parallel history sequences of 4 French TV channels. Two original methods are proposed in this work in order to take into account parallel stream sequences. The first one, namely the Parallel LSTM (PLSTM) architecture, is an extension of the LSTM model. PLSTM simultaneously processes each sequence in a separate recurrent layer and sums the outputs of each of these layers to produce the final output. The second approach, called MSE-SVM, takes advantage of both LSTM and Support Vector Machines (SVM) methods. Firstly, latent feature vectors are independently generated for each input stream, using the output event of the main one. These new representations are then merged and fed to an SVM algorithm. The PLSTM and MSE-SVM approaches proved their ability to integrate parallel sequences by outperforming, respectively, the LSTM and SVM models that only take into account the sequences of the main stream. The two proposed approaches take profit of the information contained in long sequences. However, they have difficulties to deal with short ones. Though MSE-SVM generally outperforms the PLSTM approach, the problem experienced with short sequences is more pronounced for MSE-SVM. Finally, we propose to extend this approach by feeding additional information related to each event in the input sequences (e.g. the weekday of a telecast). This extension, named AMSE-SVM, has a remarkably better behavior with short sequences without affecting the performance when processing long ones
4
Chraibi, Kaadoud Ikram. "apprentissage de séquences et extraction de règles de réseaux récurrents : application au traçage de schémas techniques." Thesis, Bordeaux, 2018. http://www.theses.fr/2018BORD0032/document.
Abstract:
Deux aspects importants de la connaissance qu'un individu a pu acquérir par ses expériences correspondent à la mémoire sémantique (celle des connaissances explicites, comme par exemple l'apprentissage de concepts et de catégories décrivant les objets du monde) et la mémoire procédurale (connaissances relatives à l'apprentissage de règles ou de la syntaxe). Cette "mémoire syntaxique" se construit à partir de l'expérience et notamment de l'observation de séquences, suites d'objets dont l'organisation séquentielle obéit à des règles syntaxiques. Elle doit pouvoir être utilisée ultérieurement pour générer des séquences valides, c'est-à-dire respectant ces règles. Cette production de séquences valides peut se faire de façon explicite, c'est-à-dire en évoquant les règles sous-jacentes, ou de façon implicite, quand l'apprentissage a permis de capturer le principe d'organisation des séquences sans recours explicite aux règles. Bien que plus rapide, plus robuste et moins couteux en termes de charge cognitive que le raisonnement explicite, le processus implicite a pour inconvénient de ne pas donner accès aux règles et de ce fait, de devenir moins flexible et moins explicable. Ces mécanismes mnésiques s'appliquent aussi à l'expertise métier : la capitalisation des connaissances pour toute entreprise est un enjeu majeur et concerne aussi bien celles explicites que celles implicites. Au début, l'expert réalise un choix pour suivre explicitement les règles du métier. Mais ensuite, à force de répétition, le choix se fait automatiquement, sans évocation explicite des règles sous-jacentes. Ce changement d'encodage des règles chez un individu en général et particulièrement chez un expert métier peut se révéler problématique lorsqu'il faut expliquer ou transmettre ses connaissances. Si les concepts métiers peuvent être formalisés, il en va en général de tout autre façon pour l'expertise. Dans nos travaux, nous avons souhaité nous pencher sur les séquences de composants électriques et notamment la problématique d’extraction des règles cachées dans ces séquences, aspect important de l’extraction de l’expertise métier à partir des schémas techniques. Nous nous plaçons dans le domaine connexionniste, et nous avons en particulier considéré des modèles neuronaux capables de traiter des séquences. Nous avons implémenté deux réseaux de neurones récurrents : le modèle de Elman et un modèle doté d’unités LSTM (Long Short Term Memory). Nous avons évalué ces deux modèles sur différentes grammaires artificielles (grammaire de Reber et ses variations) au niveau de l’apprentissage, de leurs capacités de généralisation de celui-ci et leur gestion de dépendances séquentielles. Finalement, nous avons aussi montré qu’il était possible d’extraire les règles encodées (issues des séquences) dans le réseau récurrent doté de LSTM, sous la forme d’automate. Le domaine électrique est particulièrement pertinent pour cette problématique car il est plus contraint avec une combinatoire plus réduite que la planification de tâches dans des cas plus généraux comme la navigation par exemple, qui pourrait constituer une perspective de ce travailThere are two important aspects of the knowledge that an individual acquires through experience. One corresponds to the semantic memory (explicit knowledge, such as the learning of concepts and categories describing the objects of the world) and the other, the procedural or syntactic memory (knowledge relating to the learning of rules or syntax). This "syntactic memory" is built from experience and particularly from the observation of sequences of objects whose organization obeys syntactic rules.It must have the capability to aid recognizing as well as generating valid sequences in the future, i.e., sequences respecting the learnt rules. This production of valid sequences can be done either in an explicit way, that is, by evoking the underlying rules, or implicitly, when the learning phase has made it possible to capture the principle of organization of the sequences without explicit recourse to the rules. Although the latter is faster, more robust and less expensive in terms of cognitive load as compared to explicit reasoning, the implicit process has the disadvantage of not giving access to the rules and thus becoming less flexible and less explicable. These mnemonic mechanisms can also be applied to business expertise. The capitalization of information and knowledge in general, for any company is a major issue and concerns both the explicit and implicit knowledge. At first, the expert makes a choice to explicitly follow the rules of the trade. But then, by dint of repetition, the choice is made automatically, without explicit evocation of the underlying rules. This change in encoding rules in an individual in general and particularly in a business expert can be problematic when it is necessary to explain or transmit his or her knowledge. Indeed, if the business concepts can be formalized, it is usually in any other way for the expertise which is more difficult to extract and transmit.In our work, we endeavor to observe sequences of electrical components and in particular the problem of extracting rules hidden in these sequences, which are an important aspect of the extraction of business expertise from technical drawings. We place ourselves in the connectionist domain, and we have particularly considered neuronal models capable of processing sequences. We implemented two recurrent neural networks: the Elman model and a model with LSTM (Long Short Term Memory) units. We have evaluated these two models on different artificial grammars (Reber's grammar and its variations) in terms of learning, their generalization abilities and their management of sequential dependencies. Finally, we have also shown that it is possible to extract the encoded rules (from the sequences) in the recurrent network with LSTM units, in the form of an automaton. The electrical domain is particularly relevant for this problem. It is more constrained with a limited combinatorics than the planning of tasks in general cases like navigation for example, which could constitute a perspective of this work
5
Adam, Chloé. "Pattern Recognition in the Usage Sequences of Medical Apps." Thesis, Université Paris-Saclay (ComUE), 2019. http://www.theses.fr/2019SACLC027/document.
Abstract:
Les radiologues utilisent au quotidien des solutions d'imagerie médicale pour le diagnostic. L'amélioration de l'expérience utilisateur est toujours un axe majeur de l'effort continu visant à améliorer la qualité globale et l'ergonomie des produits logiciels. Les applications de monitoring permettent en particulier d'enregistrer les actions successives effectuées par les utilisateurs dans l'interface du logiciel. Ces interactions peuvent être représentées sous forme de séquences d'actions. Sur la base de ces données, ce travail traite de deux sujets industriels : les pannes logicielles et l'ergonomie des logiciels. Ces deux thèmes impliquent d'une part la compréhension des modes d'utilisation, et d'autre part le développement d'outils de prédiction permettant soit d'anticiper les pannes, soit d'adapter dynamiquement l'interface logicielle en fonction des besoins des utilisateurs. Tout d'abord, nous visons à identifier les origines des crashes du logiciel qui sont essentielles afin de pouvoir les corriger. Pour ce faire, nous proposons d'utiliser un test binomial afin de déterminer quel type de pattern est le plus approprié pour représenter les signatures de crash. L'amélioration de l'expérience utilisateur par la personnalisation et l'adaptation des systèmes aux besoins spécifiques de l'utilisateur exige une très bonne connaissance de la façon dont les utilisateurs utilisent le logiciel. Afin de mettre en évidence les tendances d'utilisation, nous proposons de regrouper les sessions similaires. Nous comparons trois types de représentation de session dans différents algorithmes de clustering. La deuxième contribution de cette thèse concerne le suivi dynamique de l'utilisation du logiciel. Nous proposons deux méthodes -- basées sur des représentations différentes des actions d'entrée -- pour répondre à deux problématiques industrielles distinctes : la prédiction de la prochaine action et la détection du risque de crash logiciel. Les deux méthodologies tirent parti de la structure récurrente des réseaux LSTM pour capturer les dépendances entre nos données séquentielles ainsi que leur capacité à traiter potentiellement différents types de représentations d'entrée pour les mêmes donnéesRadiologists use medical imaging solutions on a daily basis for diagnosis. Improving user experience is a major line of the continuous effort to enhance the global quality and usability of software products. Monitoring applications enable to record the evolution of various software and system parameters during their use and in particular the successive actions performed by the users in the software interface. These interactions may be represented as sequences of actions. Based on this data, this work deals with two industrial topics: software crashes and software usability. Both topics imply on one hand understanding the patterns of use, and on the other developing prediction tools either to anticipate crashes or to dynamically adapt software interface according to users' needs. First, we aim at identifying crash root causes. It is essential in order to fix the original defects. For this purpose, we propose to use a binomial test to determine which type of patterns is the most appropriate to represent crash signatures. The improvement of software usability through customization and adaptation of systems to each user's specific needs requires a very good knowledge of how users use the software. In order to highlight the trends of use, we propose to group similar sessions into clusters. We compare 3 session representations as inputs of different clustering algorithms. The second contribution of our thesis concerns the dynamical monitoring of software use. We propose two methods -- based on different representations of input actions -- to address two distinct industrial issues: next action prediction and software crash risk detection. Both methodologies take advantage of the recurrent structure of LSTM neural networks to capture dependencies among our sequential data as well as their capacity to potentially handle different types of input representations for the same data
6
Hambarek, Djamel Eddine. "Développement d'une méthodologie d'essais dynamiques appliquée à la mise au point moteur." Electronic Thesis or Diss., Ecole centrale de Nantes, 2023. http://www.theses.fr/2023ECDN0035.
Abstract:
Les travaux de cette thèse de doctorat s’inscrivent dans le contexte d’évolution desnormes de dépollution des moteurs thermiquescouplée aux exigences de baisse de la consommation des véhicules. La méthodologie développée tente de répondre avec un processus industriel efficace aux exigences d’émissions en roulage réel, dites RDE (Real Driving Emissions). La méthode proposée est basée sur la technique des plans d’expériences dynamiques utilisant les suites à faible discrépance : les résultats d’essais sont utilisés afin d’entraîner un modèle de réseau de neurones type LSTM capable de prédire l’historique des sorties (les masses de polluants CO, HC, NOx) pour chaque combinaison donnée en entrée. Le modèle est utilisé ensuite pour nourrir une boucle d’optimisation basée sur un algorithme génétique afin de mettre au point les cartographies moteur optimales.Les travaux se focalisent sur la phase de mise en action du moteur, qui est comprise entre l’instant de démarrage et l’instant où le système de post-traitement est amorcé, c’est-à-dire lorsque le catalyseur a atteint la température lui permettant d’être efficace. Cette phase est capitale car elle concentre l’essentiel des émissions lors d’un cycle d’homologation : la mise en action doit donc sans cesse être optimisée pour répondre aux nouvelles contraintes réglementaires. Elle constitue donc un champ d’application de la méthodologie à la fois cohérent et pertinent. Les résultats montrent des améliorations notables concernant les CO, HC et Nox en comparaison de la méthode classique (essais en régime permanent)The work of this thesis responds to the context of the evolution of engine depollution norms together with the increase of the clientrequirements. It proposes a complete methodology of engine calibration considering dynamic effects with the aim of an efficient control in terms of emissions and performances. The method is divided into four steps: the dynamic design of experiments generating a set of RDE (Real Driving Emissions) cycles and dynamic variations of engine parameters using low discrepancy sequences: test results are used to train a dynamical model using LSTM neural network to predict output dynamic variations(CO, HC, NOx, Exhaust flow and temperature). The trained model is used in an optimization loop to calibrate the engine parameters using a genetic algorithm. The catalyst warm-up phase is the chosen phase for the development of the method. It is the phase occuring from engine start until the catalyst is the most efficient. It is indeed the phase with the most important emissions which is coherent with the aim of the engine calibration. The results showed noticeable improvements of CO, HC and Nox reduction compared to the steady state (baseline) method
7
Wenzek, Didier. "Construction de réseaux de neurones." Phd thesis, Grenoble INPG, 1993. http://tel.archives-ouvertes.fr/tel-00343569.
Abstract:
La dénomination de réseaux de neurones recouvre tout un ensemble de méthodes de calcul dont le point commun est de décrire le calcul d'une solution a un probleme comme la recherche d'un état d'équilibre par un ensemble de cellules simples inter-agissant entre elles via un réseau de connections paramétrées. L'approche usuelle, pour obtenir un réseau de neurones ayant un comportement souhaite, consiste a tester sur des exemples un réseau choisi a priori et a modifier ses paramètres de contrôle jusqu'à ce que l'on obtienne un comportement satisfaisant. La difficulté de ces méthodes est que leur succès ou leur échec reposent sur le choix d'un premier réseau et que l'on ne dispose pas de règles permettant de déduire ce choix de la structure du probleme. La motivation de cette thèse a donc été de décrire des méthodes de synthèse permettant une construction modulaire de réseaux de neurones. Aussi, cette thèse propose une classe de réseaux de neurones parmi lesquels toute spécification de la forme chercher un élément de e (fini) vérifiant la propriété p admet au moins une réalisation. En outre, les réseaux de cette classe peuvent être combines pour obtenir un réseau réalisant une combinaison des spécifications des réseaux combines
8
Tsopze, Norbert. "Treillis de Galois et réseaux de neurones : une approche constructive d'architecture des réseaux de neurones." Thesis, Artois, 2010. http://www.theses.fr/2010ARTO0407/document.
Abstract:
Les réseaux de neurones artificiels connaissent des succès dans plusieurs domaines. Maisles utilisateurs des réseaux de neurones sont souvent confrontés aux problèmes de définitionde son architecture et d’interprétabilité de ses résultats. Plusieurs travaux ont essayé d’apporterune solution à ces problèmes. Pour les problèmes d’architecture, certains auteurs proposentde déduire cette architecture à partir d’un ensemble de connaissances décrivant le domaine duproblème et d’autres proposent d’ajouter de manière incrémentale les neurones à un réseauayant une taille initiale minimale. Les solutions proposées pour le problème d’interprétabilitédes résultats consistent à extraire un ensemble de règles décrivant le fonctionnement du réseau.Cette thèse contribue à la résolution de ces deux problèmes. Nous nous limitons à l’utilisationdes réseaux de neurones dans la résolution des problèmes de classification.Nous présentons dans cette thèse un état de l’art des méthodes existantes de recherche d’architecturede réseaux de neurones : une étude théorique et expérimentale est aussi faite. Decette étude, nous observons comme limites de ces méthodes la disponibilité absolue des connaissancespour construire un réseau interprétable et la construction des réseaux difficiles à interpréteren absence de connaissances. En alternative, nous proposons une méthode appelée CLANN(Concept Lattice-based Artificial Neural network) basée les treillis de Galois qui construit undemi-treillis à partir des données et déduire de ce demi-treillis l’architacture du réseau. CLANNétant limitée à la résolution des problèmes à deux classes, nous proposons MCLANN permettantd’étendre cette méthodes de recherche d’architecture des réseaux de neurones aux problèmes àplusieurs classes.Nous proposons aussi une méthode appelée ’Approche des MaxSubsets’ pour l’extractiondes règles à partir d’un réseau de neurones. La particularité de cette méthode est la possibilitéd’extraire les deux formats de règles (’si alors’ et ’m parmi N’) à partir d’une structure quenous construisons. Nous proposons aussi une façon d’expliquer le résultat calculé par le réseauconstruit par la méthode MCLANN au sujet d’un exempleThe artificial neural networks are successfully applied in many applications. But theusers are confronted with two problems : defining the architecture of the neural network able tosolve their problems and interpreting the network result. Many research works propose some solutionsabout these problems : to find out the architecture of the network, some authors proposeto use the problem domain theory and deduct the network architecture and some others proposeto dynamically add neurons in the existing networks until satisfaction. For the interpretabilityproblem, solutions consist to extract rules which describe the network behaviour after training.The contributions of this thesis concern these problems. The thesis are limited to the use of theartificial neural networks in solving the classification problem.In this thesis, we present a state of art of the existing methods of finding the neural networkarchitecture : we present a theoritical and experimental study of these methods. From this study,we observe some limits : difficulty to use some method when the knowledges are not available ;and the network is seem as ’black box’ when using other methods. We a new method calledCLANN (Concept Lattice-based Artificial Neural Network) which builds from the training dataa semi concepts lattice and translates this semi lattice into the network architecture. As CLANNis limited to the two classes problems, we propose MCLANN which extends CLANN to manyclasses problems.A new method of rules extraction called ’MaxSubsets Approach’ is also presented in thisthesis. Its particularity is the possibility of extracting the two kind of rules (If then and M-of-N)from an internal structure.We describe how to explain the MCLANN built network result aboutsome inputs
9
Voegtlin, Thomas. "Réseaux de neurones et auto-référence." Lyon 2, 2002. http://theses.univ-lyon2.fr/documents/lyon2/2002/voegtlin_t.
Abstract:
Le sujet de cette thèse est l'étude d'une classe d'algorithmes d'apprentissage non supervisés pour réseaux de neurones récurrents. Dans la 1ere partie (chap. 1 à 4), je présente plusieurs algorithmes, basés sur un même principe d'apprentissage : l'auto-référence. L'apprentissage auto-référent n'implique pas l'optimisation d'un critère objectif (comme une fonction d'erreur), mais il fait intervenir une fonction subjective, qui dépend de ce que le réseau a déjà appris. Un exemple de réseau supervisé basé sur ce principe est le Simple Recurrent Netword d'Elman (1990). Dans ce cas, l'auto-référence est appliquée à l'algorithme de rétro-propagation du gradient. Sur ce point, le réseau d'Elman diffère des autres méthodes de rétro-propagation pour réseaux récurrents, qui font intervenir un gradient objectif (Back-propagation Through Time, Real-Time Recurrent learning). Je montr que l'auto-référence peut être utilisée avec les principales techniques d'apprentissage non supervisé : Cartes de Kohonen, Analyse en composantes principales, Analyse en composantes indépendantes. Ces techniques sont classiquement utilisées pour représenter des données statiques. L'auto-référence permet de les généraliser à des séries temporelles, et de définir des algorithmes d'apprentissage nouveauxThe purpose of this thesis is to present a class of unsupervised learning algorithms for recurrent networks. In the first part (chapters 1 to 4), I propose a new approach to this question, based on a simple principle: self-reference. A self-referent algorithm is not based on the minimization of an objective criterion, such as an error function, but on a subjective function, that depends on what the network has previously learned. An example of a supervised recurrent network where learning is self-referent is the Simple Recurrent Network (SRN) by Elman (1990). In the SRN, self-reference is applied to the supervised error back-propagation algorithm. In this aspect, the SRN differs from other generalizations of back-propagation to recurrent networks, that use an objective criterion, such as Back-Propagation Through Time, or Real-Time Recurrent Learning. In this thesis, I show that self-reference can be combined with several well-known unsupervised learning methods: the Self-Organizing Map (SOM), Principal Components Analysis (PCA), and Independent Components Analysis (ICA). These techniques are classically used to represent static data. Self-reference allows one to generalize these techniques to time series, and to define unsupervised learning algorithms for recurrent networks
10
Teytaud, Olivier. "Apprentissage, réseaux de neurones et applications." Lyon 2, 2001. http://theses.univ-lyon2.fr/documents/lyon2/2001/teytaud_o.
Abstract:
Les fondements théoriques de l'apprentissage sont en grande partie posés. Comme la calculabilité est venue à maturité en s'orientant vers la complexité, l'apprentissage mûrit face à des résultats négatifs forts qui rendent sans espoir la quête d'algorithmes universels, efficaces pour toute donnée. Vraisemblablement les grandes avancées à venir seront (a) soit dans des domaines connexes où l'étude théorique a moins été poussée, (b) soit moins philosophiques et plus concrètes (théorique à préoccupations algorithmiques, représentation de données structurées, implémentation physique, modularité), soit enfin (c) dans la modélisation biologique. Cette thèse résume (et essaie modestement de compléter) les avancées théoriques statistiques, des points de vue successifs des cas où l'apprentissage est difficile (i. E. , où l'on sort du cadre iid sans bruit avec a priori de VC-dimension finie), des utilisations non-standards de la VC-théorie (non-supervisé, extraction de règles : c'est le (a) ci-dessus), puis du passage au concret avec le passage aux préoccupations algorithmiques (validité des approximations dans les Supports Vector Machines, efficacité des algorithmes de Gibbs quoique l'étude soit très incomplète, plus proches voisins rapides d'un point de vue expérimental représentation de données structurées images ou textes - tout cela est le (b)) et la modélisation biologique (c)
11
Côté, Marc-Alexandre. "Réseaux de neurones génératifs avec structure." Thèse, Université de Sherbrooke, 2017. http://hdl.handle.net/11143/10489.
Abstract:
Cette thèse porte sur les modèles génératifs en apprentissage automatique. Deux nouveaux modèles basés sur les réseaux de neurones y sont proposés. Le premier modèle possède une représentation interne où une certaine structure a été imposée afin d’ordonner les caractéristiques apprises. Le deuxième modèle parvient à exploiter la structure topologique des données observées, et d’en tenir compte lors de la phase générative.
Cette thèse présente également une des premières applications de l’apprentissage automatique au problème de la tractographie du cerveau. Pour ce faire, un réseau de neurones récurrent est appliqué à des données de diffusion afin d’obtenir une représentation des fibres de la matière blanche sous forme de séquences de points en trois dimensions.
12
Jodouin, Jean-François. "Réseaux de neurones et traitement du langage naturel : étude des réseaux de neurones récurrents et de leurs représentations." Paris 11, 1993. http://www.theses.fr/1993PA112079.
Abstract:
Le but de ce travail a été d'évaluer les possibilités d'application des réseaux connexionnistes aux taches de haut niveau comme le traitement du langage naturel (tln). Un travail de réflexion a permis de cerner les types de réseaux et les techniques de représentation propices à ce domaine d'application. Deux réseaux de la classe des réseaux récurrents à couches ont été sélectionnés pour des études approfondies: le simple récurrent network et le time-unfolding network (tun). Le perceptron multicouches a servi d'étalon. Un domaine d'application mettant à l'épreuve la mémoire et les capacités de représentation des réseaux a aussi été choisi: la prédiction de séquences non déterministes. Un outil de simulation graphique, Baptise Simon, a été crée pour l'étude. Le travail empirique a consisté en trois séries d'expériences qui ont pour but d'étudier les capacités de réseaux dans des conditions se rapprochant progressivement du traitement d'énoncés réels. Cette étude a été approfondie par l'analyse des représentations développées par les réseaux durant leur traitement. Cette recherche semble montrer que les réseaux récurrents ont le potentiel de développer des représentations complexes, ce qui leur permet de traiter de façon efficace les taches qui leur ont été données. En particulier, les performances des tuns dépassent, dans le meilleur des cas, celles de nos meilleurs outils de comparaison. En conclusion, les réseaux récurrents à couches ont une utilité immédiate à la frontière entre la parole (ou l'information est généralement bruitée et incomplète) et le langage (ou les représentations symboliques pures supportent mal ce type d'imprécision). De plus, si un important travail de recherche reste encore à faire, les résultats obtenus permettent d'espérer l'application future de ces réseaux à des taches plus évoluées du tln
13
Brette, Romain. "Modèles Impulsionnels de Réseaux de Neurones Biologiques." Phd thesis, Université Pierre et Marie Curie - Paris VI, 2003. http://tel.archives-ouvertes.fr/tel-00005340.
Abstract:
Les neurosciences computationnelles sont traditionnellement dominées par la conception selon laquelle les neurones codent l'information à travers leur fréquence de décharge. Récemment, les observations expérimentales de synchronisation neuronale ont motivé un renouveau du point de vue impulsionnel, selon lequel la structure temporelle des décharges est pertinente. Les modèles impulsionnels étant moins bien compris que leurs homologues fréquentiels, nous commençons par établir des résultats théoriques généraux, qui nous permettent en particulier de montrer que les modèles impulsionnels répondent de manière reproductible aux stimulations variables apériodiques. Cette propriété nous permet de construire un modèle de sélectivité à l'orientation dans le cortex visuel, le perceptron impulsionnel, qui, en détectant une propriété géométrique de l'image plutôt que l'adéquation entre l'image et un patron, permet d'obtenir avec une architecture feedforward une invariance naturelle au contraste.
14
Tardif, Patrice. "Autostructuration des réseaux de neurones avec retards." Thesis, Université Laval, 2007. http://www.theses.ulaval.ca/2007/24240/24240.pdf.
15
Maktoobi, Sheler. "Couplage diffractif pour réseaux de neurones optiques." Thesis, Bourgogne Franche-Comté, 2020. http://www.theses.fr/2020UBFCD019.
Abstract:
Les réseaux photoniques à haute performance peuvent être considérés comme des supports pour les futurs systèmes de calcul. Contrairement à l'électronique, les systèmes photoniques offrent des avantages intéressants, par exemple la possibilité de réaliser des réseaux complètement parallèles. Récemment, les réseaux de neurones ont attiré l'attention de la communauté photonique. L'une des difficultés les plus importantes, en matière de réseaux photoniques parallèles à grande échelle, est la réalisation des connexions. La diffraction est exploitée ici comme méthode pour traiter les connexions entre les nœuds (couplage) dans les réseaux de neurones optiques. Dans cette thèse, nous étudions l'extensibilité d'un couplage diffractif en détails de la façon suivante :Tout d'abord, nous commençons par une introduction générale à propos de l'intelligence artificielle, de l'apprentissage machine, des réseaux de neurones artificiels et des réseaux de neurones photoniques. Lors de la conception d'un réseau neuronal fonctionnel, les règles de l'apprentissage machine sont des éléments essentiels pour optimiser une configuration et ainsi obtenir une faible erreur du système, donc les règles de l'apprentissage sont introduites (chapitre 1). Nous étudions les concepts fondamentaux du couplage diffractif dans notre réservoir spatio-temporel. Dans ce cas, la théorie de la diffraction est expliquée. Nous utilisons un schéma analytique pour fournir les limites en termes de taille des réseaux diffractifs, qui font partie intégrante de notre réseau neuronal photonique (chapitre 2). Les concepts du couplage diffractif sont étudiés expérimentalement dans deux expériences différentes afin de confirmer les limites obtenues analytiquement, et pour déterminer le nombre maximum de nœuds pouvant être couplés dans le réseau photonique (Chapitre 3). Les simulations numériques d'une telle expérience sont basées sur deux schémas différents pour calculer numériquement la taille maximale du réseau, qui approche une surface de 100 mm2 (chapitre 4). Enfin, l'ensemble du réseau neuronal photonique est démontré. Nous concevons un réservoir spatialement étendu sur 900 nœuds. En conséquence, notre système généralise la prédiction pour la séquence chaotique de Mackey-Glass (chapitre 5)Photonic networks with high performance can be considered as substrates for future computing systems. In comparison with electronics, photonic systems have substantial privileges, for instance the possibility of a fully parallel implementation of networks. Recently, neural networks have moved into the center of attention of the photonic community. One of the most important requirements for parallel large-scale photonic networks is to realize the connectivities. Diffraction is considered as a method to process the connections between the nodes (coupling) in optical neural networks. In the current thesis, we evaluate the scalability of a diffractive coupling in more details as follow:First, we begin with a general introductions for artificial intelligence, machine learning, artificial neural network and photonic neural networks. To establish a working neural network, learning rules are an essential part to optimize a configuration for obtaining a low error from the system, hence learning rules are introduced (Chapter 1). We investigate the fundamental concepts of diffractive coupling in our spatio-temporal reservoir. In that case, theory of diffraction is explained. We use an analytical scheme to provide the limits for the size of diffractive networks which is a part of our photonic neural network (Chapter 2). The concepts of diffractive coupling are investigated experimentally by two different experiments to confirm the analytical limits and to obtain maximum number of nodes which can be coupled in the photonic network (Chapter 3). Numerical simulations for such an experimental setup is modeled in two different schemes to obtain the maximum size of network numerically, which approaches a surface of 100 mm2 (Chapter 4). Finally, the complete photonic neural network is demonstrated. We design a spatially extended reservoir for 900 nodes. Consequently, our system generalizes the prediction for the chaotic Mackey–Glass sequence (Chapter 5)
16
Ouali, Jamel. "Architecture intégrée flexible pour réseaux de neurones." Grenoble INPG, 1991. http://www.theses.fr/1991INPG0035.
Abstract:
Ayant rappelé brièvement quelques réalisations matérielles de réseaux de neurones artificiels dans un premier chapitre cette thèse propose une architecture distribuée, synchrone fondée sur l'existence d'un processeur neurone autonome. Ce processeur pourra être personnalise suivant les caractéristiques du réseaux de neurones a implanter et pourra être connecte a d'autres neurones pour former un réseau de structure et de dimension fixées. Ce neurone se présente comme un circuit dédié fabrique dans un temps court dans un environnement du type compilateur de silicium. Un tel neurone a été conçu et fabrique et s'est avéré complètement opérationnel. Il implémenté sous sa version fabrique uniquement la phase de relaxation. Dans un troisième chapitre, on montre que sans modification de l'architecture, on peut inclure des possibilités d'apprentissage. Pour ceci un algorithme d'apprentissage par la rétropropagation du gradient a été propose et étudié et on montre son implantation sur le réseau de neurones propose en précisant l'adjonction dans la partie de contrôle du neurone a implanter. Enfin, dans un dernier chapitre, nous explorons la possibilité de réaliser de très grands circuits ce qui serait très judicieux pour faire face a la taille des réseaux de neurones requise pour les applications. Pour ceci, nous explorons les possibilités d'intégration tranche entière. En effet, il existe une tolérance aux fautes intrinsèques au calcul neuronal et de plus l'implantation physique régulière doit permettre d'isoler et d'exclure les neurones défaillants. Les possibilités d'implantation physique d'une architecture tranche entière sont donc présentées dans ce chapitre
17
Bigot, Pascal. "Utilisation des réseaux de neurones pour la télégestion des réseaux techniques urbains." Lyon 1, 1995. http://www.theses.fr/1995LYO10036.
Abstract:
La telegestion des reseaux techniques urbains fait appel a des techniques de reconnaissance de formes: etant donnee une image de l'etat du reseau, determiner si il fonctionne correctement ou non. Une methode employee pour resoudre ce type de probleme fait appel aux reseaux de neurones. Nous definissons une methodologie de construction de l'architecture employee afin d'obtenir des capacites de generalisation satisfaisantes. On s'oriente vers un reseau multicouches et l'algorithme de retropropagation du gradient. Nous precisons aussi une methodologie d'elaboration des bases d'apprentissage qui tienne compte de la nature numerique des donnees utilisees et, en particulier, des sources d'incertitudes qui les caracterisent. Celles-ci sont d'ordre physique (erreurs dues a l'imprecision des mesures et a la presence de bruit) et d'ordre statistique (erreurs dues a des previsions de grandeurs non mesurables). La methode utilisee suppose que l'on peut mesurer tous les parametres necessaires a sa mise en uvre. Ce qui n'est pas le cas dans la pratique. C'est pourquoi nous explorons differentes techniques de selection des parametres mesures et nous etudions les degradations eventuelles des capacites de detection. Nous etudions ensuite un systeme de localisation geographique des anomalies qui utilise les reseaux de neurones. On en montre les limitations. Cette approche est experimentee sur un reseau de distribution d'eau potable. Nous developpons d'autre part une etude theorique sur les relations qui existent entre les fonctions calculables par un reseau de neurones et celles qui sont calculables par un arbre binaire de decision. Ceci nous conduit a des algorithmes d'apprentissage pour des reseaux de neurones dont l'architecture (le nombre de neurones par couches) est variable
18
Koiran, Pascal. "Puissance de calcul des réseaux de neurones artificiels." Lyon 1, 1993. http://www.theses.fr/1993LYO19003.
Abstract:
Depuis quelques annees on s'est beaucoup interesse a la resolution de problemes d'ingenierie avec des reseaux de neurones artificiels (par exemple en reconnaissance de formes, robotique, prediction de series temporelles, optimisation. . . ). La plupart de ces travaux sont de nature empirique, et ne comportent que peu ou pas du tout d'analyse mathematique rigoureuse. Cette these se situe dans une perspective tout-a-fait differente: il s'agit d'etudier les relations entre les reseaux de neurones et les modeles de calculs classiques ou moins classiques de l'informatique theorique (automates finis, machines de turing, circuits booleens, machines de turing reelles de blum, shub et smale). Les principaux resultats sont les suivants: 1) simulation d'une machine de turing universelle par des reseaux recurrents; 2) etude generale de la puissance de calcul des systemes dynamiques definis par des iterations de fonctions, notamment en petites dimensions; 3) etude de modeles de calculs sur les nombres reels, avec application aux reseaux recurrents et acycliques. On montre que la classe des fonctions (discretes) calculables en temps polynomial est p/poly
19
Graïne, Slimane. "Inférence grammaticale régulière par les réseaux de neurones." Paris 13, 1994. http://www.theses.fr/1994PA132020.
Abstract:
Dans cette thèse, nous proposons: - une méthode pour la simulation des automates finis par les réseaux de neurones (chapitre 4), - une méthode pour la reconnaissance des grammaires hors contexte et des grammaires stochastiques hors contexte par les réseaux de neurones (chapitre (5), - deux méthodes pour l'apprentissage des langages réguliers par les réseaux de neurones (chapitre 6). Les chapitres 2 et 3 présentent respectivement les réseaux de neurones et le problème de l'inférence grammaticale. Les chapitres 1 et 7 respectivement consacrés à l'introduction et à la conclusion.
20
Le, Fablec Yann. "Prévision de trajectoires d'avions par réseaux de neurones." Toulouse, INPT, 1999. http://www.theses.fr/1999INPT034H.
Abstract:
La prévision de trajectoires d'avions est un problème crucial pour les systèmes de gestion du traffic aérien. Des méthodes de prévision utilisant des modélisations d'avion existent déjà mais nécessitent beaucoup de paramètres en n'offrant qu'une précision moyenne. C'est pourquoi nous développons une nouvelle approche nútilisant que peu d'informations initiales. La méthode choisie est basée sur l'utilisation de réseaux de neurones auxquels on fait apprendre un ensemble de trajectoires avant de les utiliser pour en prédire de nouvelles. Nous développons trois méthodes différentes qui permettent une prédiction à long terme dans le plan vertical et à court et moyen terme dans le plan horizontal. L'une d'elles est capable d'intégrer de nouvelles données au fur et à mesure que l'avion vole, ce qui lui permet de réagir aux éventuels changements de trajectoire et ainsi de parfaire la prévision. Les deux autres réalisent la prédiction même lorsque l'avion ne vole pas. Nous introduisons aussi une structure de type mélange hiérarchique d'experts qui permet de regrouper le savoir emmagaziné dans plusieurs réseaux, ainsi, il est possible de se passer de la connaissance du type d'avion étudié. Les méthodes utilisant des réseaux de neurones sont ensuite comparées aux méthodes à base de modèles avion. Nous montrons alors que les réseaux de neurones donnent de bien meilleurs résultats tout en permettant une prédiction très rapide. De plus, ne nécessitant que très peu de paramètres au départ, ils sont applicables sur un plus grand nombre de cas.
21
Corne, Christophe. "Parallélisation de réseaux de neurones sur architecture distribuée." Mulhouse, 1999. http://www.theses.fr/1999MULH0583.
Abstract:
Notre étude a pour objectif d'établir le rôle prépondérant que peuvent avoir les techniques parallèles dans la résolution de calculs complexes utilisant des réseaux de neurones. Nous présentons les différents modèles de réseaux de neurones afin d'évaluer leur adaptabilité au parallélisme et de retenir la meilleure méthode de parallélisation. La structure choisie est basée sur l'algorithme neuromimétique Self-Organizing Map (SOM). Nous parallélisons cet algorithme sur différents types de plate-formes à architecture distribuée, l'une d'entre elles étant un réseau de stations de travail. Nous présentons un réseau grossissant, auto-organisé dans sa généralité et détaillons la forme séquentielle de son algorithme fondateur. La parallélisation de ce dernier algorithme sur une architecture utilisant la norme SCI (Scalable Coherent Interface) comme moyen de communication nous permet de montrer l'intérêt à la fois d'un réseau d'ordinateurs comme ressources de calcul et de ce nouveau protocole à 1 Gigabit/s. Pour évaluer les performances de nos algorithmes et les faire fonctionner, nous avons dû soutirer la puissance optimale des matériels dont nous disposions. Nous avons constaté à cette occasion, que les ressources informatiques, prises dans leur ensemble, avaient un potentiel et une disponibilité en puissance de calcul largement inexploitée. Ces circonstances nous ont conduit à une réflexion sur l'optimisation des ressources informatiques et à la conception d'un logiciel de répartition des tâches, sur systèmes distribués. Nous détaillons le fonctionnement de ce logiciel nommé «ReTrop» et présentons succinctement ses débouchés industriels. Comme exemple d'utilisation de ce principe, nous présentons les résultats obtenus pour améliorer le choix des paramètres d'un réseau grossissant, auto-organisé.
22
Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.
Abstract:
Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeurRecently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE
23
He, Bing. "Estimation paramétrique du signal par réseaux de neurones." Lille 1, 2002. https://pepite-depot.univ-lille.fr/RESTREINT/Th_Num/2002/50376-2002-75.pdf.
24
Pompougnac, Hugo. "Spécification et compilation de réseaux de neurones embarqués." Electronic Thesis or Diss., Sorbonne université, 2022. http://www.theses.fr/2022SORUS436.
Abstract:
Dans cette thèse, nous proposons une approche pour spécifier et compiler conjointement les aspects Calcul Haute Performance (HPC) et Temps-Réel Embarqué (RTE) d’un même système. Notre approche est fondée sur une intégration formelle, algorithmique et outillée entre deux formalismes sous-tendant une bonne partie des travaux en HPC et en RTE : le formalisme SSA et le langage flot de données synchrone Lustre. Le formalisme SSA est au cœur de bon nombre de compilateurs HPC, dont ceux employés par les frameworks d'apprentissage machine tels TensorFlow ou PyTorch. Le langage Lustre est au cœur des processus de mise en œuvre de systèmes embarqués critiques dans l’avionique, ou encore le railIn this thesis, we propose an approach for the joint specification and compilation of both High-Performance Computing (HPC) and Real-Time Embedded (RTE) aspects of a system. Our approach is based on a formal, algorithmic and tooled integration between two formalisms underlying a large part of works in HPC and RTE fields: the SSA formalism and the synchronous dataflow language Lustre. The SSA formalism is a key component of many HPC compilers, including those used by Machine Learning frameworks such as TensorFlow or PyTorch. The Lustre language is a key component of implementation processes of critical embedded systems in avionics or rail transportation
25
Bénédic, Yohann. "Approche analytique pour l'optimisation de réseaux de neurones artificiels." Phd thesis, Université de Haute Alsace - Mulhouse, 2007. http://tel.archives-ouvertes.fr/tel-00605216.
Abstract:
Les réseaux de neurones artificiels sont nés, il y a presque cinquante ans, de la volonté de modéliser les capacités de mémorisation et de traitement du cerveau biologique. Aujourd'hui encore, les nombreux modèles obtenus brillent par leur simplicité de mise en œuvre, leur puissance de traitement, leur polyvalence, mais aussi par la complexité des méthodes de programmation disponibles. En réalité, très peu d'entre-elles sont capables d'aboutir analytiquement à un réseau de neurones correctement configuré. Bien au contraire, la plupart se " contentent " d'ajuster, petit à petit, une ébauche de réseau de neurones, jusqu'à ce qu'il fonctionne avec suffisamment d'exemples de la tâche à accomplir. Au travers de ces méthodes, dites " d'apprentissages ", les réseaux de neurones sont devenus des boîtes noires, que seuls quelques experts sont effectivement capables de programmer. Chaque traitement demande en effet de choisir convenablement une configuration initiale, la nature des exemples, leur nombre, l'ordre d'utilisation, ... Pourtant, la tâche finalement apprise n'en reste pas moins le résultat d'une stratégie algorithmique implémentée par le réseau de neurones. Une stratégie qui peut donc être identifiée par le biais de l'analyse, et surtout réutilisée lors de la conception d'un réseau de neurones réalisant une tâche similaire, court-circuitant ainsi les nombreux aléas liés à ces méthodes d'apprentissage. Les bénéfices de l'analyse sont encore plus évidents dans le cas de réseaux de neurones à sortie binaire. En effet, le caractère discret des signaux traités simplifie grandement l'identification des mécanismes mis en jeu, ainsi que leur contribution au traitement global. De ce type d'analyse systématique naît un formalisme original, qui décrit la stratégie implémentée par les réseaux de neurones à sortie binaire de façon particulièrement efficace. Schématiquement, ce formalisme tient lieu d'" état intermédiaire " entre la forme boîte noire d'un réseau de neurones et sa description mathématique brute. En étant plus proche des modèles de réseaux de neurones que ne l'est cette dernière, il permet de retrouver, par synthèse analytique, un réseau de neurones effectuant la même opération que celui de départ, mais de façon optimisée selon un ou plusieurs critères : nombre de neurones, nombre de connexions, dynamique de calcul, etc. Cette approche analyse-formalisation-synthèse constitue la contribution de ces travaux de thèse.
26
Gatet, Laurent. "Intégration de Réseaux de Neurones pour la Télémétrie Laser." Phd thesis, Toulouse, INPT, 2007. http://oatao.univ-toulouse.fr/7595/1/gatet.pdf.
Abstract:
Grandes lignes : Un réseau de neurones est une architecture paramétrable composée de plusieurs modules appelés neurones. Ils peuvent être utilisés pour compenser des variations non souhaitées de certains phénomènes physiques ou pour effectuer des tâches de discrimination. Un réseau de neurones a été intégré en technologie CMOS basse tension pour être implanté au sein d'un télémètre laser par déphasage. Deux études ont été menées en parallèle. La première consiste à lever l'indétermination sur la mesure de distance déduite de la mesure de déphasage. La seconde étude permet la classification de différents types de surfaces à partir de deux signaux issus du télémètre. Résumé détaillé : Un réseau de neurones a la faculté de pouvoir être entraîné afin d'accomplir une tâche d'approximation de fonction ou de classification à partir d'un nombre limité de données sur un intervalle bien défini. L'objectif de cette thèse est de montrer l'intérêt d'adapter les réseaux de neurones à un type de système optoélectronique de mesure de distance, la télémétrie laser par déphasage. La première partie de ce manuscrit développe de manière succincte leurs diverses propriétés et aptitudes, en particulier leur reconfigurabilité par l'intermédiaire de leurs paramètres et leur capacité à être intégré directement au sein de l'application. La technique de mesure par télémétrie laser par déphasage est développée dans le deuxième chapitre et comparée à d'autres techniques télémétriques. Le troisième chapitre montre qu'un réseau de neurones permet d'améliorer nettement le fonctionnement du télémètre. Une première étude met en valeur sa capacité à accroître la plage de mesure de distance sans modifier la résolution. Elle est réalisée à partir de mesures expérimentales afin de prouver le réel intérêt de la méthode comportementale développée. La deuxième étude ouvre une nouvelle perspective relative à l'utilisation d'un télémètre laser par déphasage, celle d'effectuer la classification de différents types de surfaces sur des plages de distances et d'angles d'incidence variables. Pour valider expérimentalement ces deux études, les cellules de base du neurone de type perceptron multi-couches ont été simulées puis implantées de manière analogique. Les phases de simulation, de conception et de test du neurone analogique sont détaillées dans le quatrième chapitre. Un démonstrateur du réseau de neurones global a été réalisé à partir de neurones élémentaires intégrés mis en parallèle. Une étude de la conception des mêmes cellules en numérique est détaillée succinctement dans le cinquième chapitre afin de justifier les avantages associés à chaque type d'intégration. Le dernier chapitre présente les phases d'entraînement et de validation expérimentales du réseau intégré pour les deux applications souhaitées. Ces phases de calibrage sont effectuées extérieurement à l'ASIC, par l'intermédiaire de l'équation de transfert déterminée après caractérisation expérimentale et qualification du réseau de neurones global. Les résultats expérimentaux issus de la première étude montrent qu'il est possible d'obtenir à partir des signaux de sorties du télémètre et du réseau de neurones, une mesure de distance de précision (50µm) sur un intervalle de mesure 3 fois plus important que celui limité à la mesure du déphasage. Concernant l'application de discrimination de surfaces, le réseau de neurones analogique implanté est capable de classer quatre types de cibles sur l'intervalle [0.5m ; 1.25m] pour un angle d'incidence pouvant varier de - π /6 à + π /6.
27
Robitaille, Benoît. "Contrôle adaptatif par entraînement spécialisé de réseaux de neurones." Thesis, National Library of Canada = Bibliothèque nationale du Canada, 1997. http://www.collectionscanada.ca/obj/s4/f2/dsk2/ftp02/NQ35778.pdf.
28
Ducom, Jean-Christophe. "Codage temporel et apprentissage dans les réseaux de neurones." Aix-Marseille 1, 1996. http://www.theses.fr/1996AIX11041.
Abstract:
Nous rappelons dans un premier temps quelques bases de neurobiologie sur les caracteristiques et les proprietes du neurone, ainsi que sur l'organisation generale des neurones dans le cerveau. Ceci nous amene par la suite a reconsiderer les modeles classiques de reseaux de neurones formels, a cause de leur manque de realisme et de leur incapacite a resoudre certains problemes, tels que la segmentation et le liage d'attributs visuels. Or, de recentes experiences sur le traitement de stimuli par le cortex visuel exhibent un nouveau type de codage de l'information, base sur les relations temporelles entre les differents potentiels d'action (en particulier la synchronisation de leurs temps d'emission), et non plus sur la frequence de decharge des neurones. A partir de la variante de codage temporel de s. Thorpe, nous proposons un modele de presynchronisation d'activite neuronale reposant sur un couplage diffusif entre neurones et sur un signal inhibiteur. Nous etudions les proprietes d'un tel reseau de neurones realistes, de type integrateur a seuil avec fuite, suivant differents types de signal d'entree et de bruit. Dans une seconde partie, nous etudions les consequences de l'introduction du temps pour l'apprentissage: les temps de transmission du signal entre neurones sont pris en compte. Apres avoir rappele les principaux resultats experimentaux sur l'apprentissage, ceux-ci permettant de degager certaines contraintes biologiques, nous proposons une loi de modification des efficacites synaptiques. Elle permet au reseau de conserver et de recuperer une suite de configurations d'activite spatio-temporelle. Enfin, nous etudions ses proprietes lorsque certaines contraintes de normalisation lui sont imposees au niveau des variations des poids synaptiques ; on montre alors que le comportement du reseau est different selon la maniere utilisee pour realiser ces contraintes
29
Benaïm, Michel. "Dynamiques d'activation et dynamiques d'apprentissage des réseaux de neurones." Toulouse, ENSAE, 1992. http://www.theses.fr/1992ESAE0001.
Abstract:
L'objet principal de cette these est d'etudier de facon rigoureuse un modele temps-reel de reseau de neurones. La description mathematique complete d'un modele temps-reel requiert la donnee de trois dynamiques: la dynamique d'activation ou dynamique des memoires a court terme qui determine l'evolution des etats d'activation des unites. La dynamique des poids ou dynamique des memoires a long terme qui determine l'evolution des vecteurs poids selon une regle d'apprentissage ou un mecanisme d'auto-organisation. Une dynamique exogene qui decrit l'evolution des stimuli exterieurs au reseau et que nous representerons par un processus aleatoire. Aussi l'evolution du reseau est donnee par un systeme dynamique non autonome couple, dans le produit cartesien de l'espace d'activation par l'espace des poids. Avec ce formalisme, nous etudions un modele de reseau qui peut etre vu comme une version temps-reel des cartes auto-organisatrices de kohonen et plus generalement d'une classe de reseaux utilises comme modules elementaires dans des architectures evoluees (art, neocognitron,. . . )
30
Aupetit, Michaël. "Approximation de variétés par réseaux de neurones auto-organisés." Grenoble INPG, 2001. http://www.theses.fr/2001INPG0128.
Abstract:
Les problèmes de discrimination, de classification, d'approximation de fonctions, de diagnostic ou de commande qui se posent notamment dans le domaine du génie industriel, peuvent se ramener à un problème d'approximation de variétés. Nous proposons une méthode d'approximation de variétés sous-jacentes à une distribution de données, basée sur une approche connexionniste auto-organisée et procédant en trois étapes : un positionnement de représentants de la distribution par des techniques de quantification vectorielle permet d'obtenir un modèle discret, un apprentissage de la topologie de cette distribution par construction de la triangulation induite de Delaunay selon un algorithme d'apprentissage compétitif donne un modèle linéaire par morceaux, et une interpolation non linéaire mène à un modèle non linéaire des variétés. Notre première contribution concerne la définition, l'étude des propriétés géométriques et la proposition d'algorithmes de recherche d'un nouveau type de voisinage "[gamma]-Observable" alliant des avantages du voisinage des k-plus-proches-voisins et du voisinage naturel, utilisable en grande dimension et en quantification vectorielle. Notre seconde contribution concerne une méthode d'interpolation basée sur des "noyaux de Voronoi͏̈" assurant la propriété d'orthogonalité nécessaire à la modélisation de variétés, avec une complexité de calcul équivalente ou plus faible que les méthodes d'interpolation existantes. Cette technique est liée au voisinage [gamma]-Observable et permet de construire différents noyaux gaussiens utilisés dans les réseaux RBFs. Les outils développés dans cette approche originale sont appliqués en approximation de fonctions pour l'identification d'un préhenseur électropneumatique, en approximation de variétés, et en discrimination et analyse de données. Il est notamment montré qu'il est intéressant d'utiliser les voisins 0. 5-observables pour définir les points frontières entre classes et affecter les éléments à leur classe d'appartenance.
31
Jiang, Fei. "Optimisation de la topologie de grands réseaux de neurones." Paris 11, 2009. http://www.theses.fr/2009PA112211.
Abstract:
Dans cette thèse, nous présentons notre étude concernant l'influence de la topologie sur les performances d'apprentissage des réseaux de neurones à topologie complexe. Trois réseaux de neurones différents ont été étudiés : le classique « Self-Organizing Maps » (SOM) avec topologie non-régulière complexe, le « Echo States Network » (ESN) et le « Standard Model Features » (SMF). Dans chaque cas, nous avons commencé par comparer les performances de différentes topologies pour la même tâche. Nous avons ensuite essayé d'optimiser la topologie de certains réseaux de neurones afin d'améliorer ces performances. La première partie traite des Cartes Auto-Organisatrices (SOMs) et la tâche est la classification des chiffres manuscrits de la base de MNIST. Nous montrons que la topologie a un faible impact sur les performances et la robustesse aux défaillances du neurone, du moins pour l'apprentissage à longue durée. La performance peut cependant être améliorée de près de 10% par évolution artificielle de la topologie du réseau. Dans nos conditions expérimentales, les réseaux évolués sont "plus aléatoires" que les réseaux de départ, et affichent une distribution des degrés plus hétérogène. Dans la seconde partie, on propose d'appliquer CMA-ES, la méthode "état de l'art" pour l'optimisation évolutionnaire continue, à l'apprentissage évolutionnaire des paramètres d'un Echo States Network. Sont ainsi optimisés les poids de sortie, bien sûr, mais aussi, le Rayon Spectral et/ou les pentes de la fonction d'activation des neurones). Tout d'abord, un problème standard d'apprentissage supervisé est utilisée pour valider l'approche et la comparer à celle d'origine. Mais la flexibilité de l'optimisation évolutionnaire nous permet d'optimiser non seulement les poids de sortie, mais également, ou alternativement, les autre paramètres des ESN, menant parfois à des résultats améliorés. Le problème classique de l'équilibre du « double pôle » est utilisé pour démontrer la faisabilité de l'apprentissage par renforcement évolutionnaire des ESN. Nous montrons que l'ESN évolutionaire obtient des résultats qui sont comparables à ceux des meilleures méthodes de l'apprentissage de topologie et de l'évolution de neurones. Enfin, la dernière partie présente notre recherche initiale de la SMF - un modèle de reconnaissance d'objets visuels qui est inspirée par le cortex visuel. Deux versions basées sur SMF sont appliquées au problème posé dans un des Challenges PASCAL – Visual multi-Object Challenge (VOC2008). Notre but sur le long terme est de trouver la topologie optimale du modèle SMF, mais le coût de calcul est pour l'instant trop important pour optimiser la topologie complète directement. Dans un premier temps, donc, nous appliquons un algorithme évolutionnaire pour sélectionner automatiquement les caractèristiques utilisés par les systèmes. Nous montrons que, pour le défi VOC2008, avec seulement 20% caractèristiques choisies, le système fonctionne aussi bien qu'avec la totalité des 1000 caractèristiques choisies au hasardIn this dissertation, we present our study regarding the influence of the topology on the learning performances of neural networks with complex topologies. Three different neural networks have been investigated: the classical Self-Organizing Maps (SOM) with complex graph topology, the Echo States Network (ESN) and the Standard Model Features(SMF). In each case, we begin by comparing the performances of different topologies for the same task. We then try to optimize the topology of some neural network in order to improve such performance. The first part deals with Self-Organizing Maps, and the task is the standard classification of handwritten digits from the MNIST database. We show that topology has a small impact on performance and robustness to neuron failures, at least at long learning times. Performance may however be increased by almost 10% by artificial evolution of the network topology. In our experimental conditions, the evolved networks are more random than their parents, but display a more heterogeneous degree distribution. In the second part, we propose to apply CMA-ES, the state-of-the-art method in evolutionary continuous parameter optimization, to the evolutionary learning of the parameters of an Echo State Network (the Readout weights, of course, but also, Spectral Radius, Slopes of the neurons active function). First, a standard supervised learning problem is used to validate the approach and compare it to the original one. But the flexibility of Evolutionary optimization allows us to optimize not only the outgoing weights but also, or alternatively, other ESN parameters, sometimes leading to improved results. The classical double pole balancing control problem is used to demonstrate the feasibility of evolutionary reinforcement learning of ESN. We show that the evolutionary ESN obtain results that are comparable with those of the best topology-learning neuro-evolution methods. Finally, the last part presents our initial research of the SMF - a visual object recognition model which is inspired by the visual cortex. Two version based on SMF are applied to the PASCAL Visual multi-Object recognition Challenge (VOC2008). The long terms goal is to find the optimal topology of the SMF model, but the computation cost is however too expensive to optimize the complete topology directly. So as a first step, we apply an Evolutionary Algorithm to auto-select the feature used by the systems. We show that, for the VOC2008 challenge, with only 20% selected feature, the system can perform as well as with all 1000 randomly selected feature
32
Alvado, Ludovic. "Neurones artificiels sur silicium : une évolution vers les réseaux." Bordeaux 1, 2003. http://www.theses.fr/2003BOR12674.
Abstract:
Cette thèse décrit une nouvelle approche pour la modélisation de réseaux de neurones biologiques. Cette approche utilise des circuits intégrés analogiques spécifiques (ASIC) dans lesquels le formalisme de Hodgkin-Huxley est implémenté dans le but de réaliser des réseaux de neurones artificiels de densité moyenne et biologiquement réaliste. Elle aborde aussi les problèmes de disparités entre composants et le choix d’une structure optimisée pour l’utilisation en réseauThis thesis describes a new approach for modelling biological neuron networks. This approach uses analogue specific integrated circuit (ASIC) in which Hodgkin-Huxley formalism as been implemented to integrate medium density artificial neural network, modelled at a biological realistic level. This thesis also deals with the component mismatches problem and the pertinent choice of optimized structure dedicated to network applications
33
Biela, Philippe. "Classification automatique d'observations multidimensionnelles par réseaux de neurones compétitifs." Lille 1, 1999. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/1999/50376-1999-469.pdf.
Abstract:
L'objet du travail présenté dans ce mémoire est la classification d'observations multidimensionnelles à l'aide d'outils connexionistes appelés réseaux de neurones compétitifs. Le premier chapitre expose les principales techniques dites classique dédiées à la classification automatique d'un ensemble d'observations. Le second chapitre positionne le champ d'investigation de nos recherches dans le domaine de la classification automatique par réseaux de neurones. Nous y présentons quelques développements récents faits en classification dans le domaine cognitif en distinguant les techniques probabilistes utilisant une approche statistique et celles dédiées au domaine métrique avec une approche itérative. Le troisième chapitre présente dans le détail l'architecture et les spécificités comportementales de l'outil que nous avons développé à des fins de classification : le réseau de neurones compétitif. Enfin, le dernier chapitre montre comment, par l'action simultanée et coopérative des réseaux compétitifs, nous pouvons engendrer une action de classification cohérente parmi un ensemble d'observations disponibles d'origines inconnues. Pour illustrer et valider notre méthode nous utilisons différents échantillons d'observations issus de la simulation ou d'applications réelles comme le contrôle qualité de bouteilles en verre par vision artificielle.
34
Elhor, Noureddine. "Suivi de fonctionnement d'une éolienne par réseaux de neurones." Lille 1, 2000. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/2000/50376-2000-57.pdf.
Abstract:
Nous presentons une approche de suivi de fonctionnement d'un systeme aerogenerateur par analyse des signaux de vibration observes sur des fenetres temporelles glissantes. En particulier, nous sommes interesses par la surveillance du multiplicateur et de la generatrice elements sensibles sur lesquels nous avons installe des capteurs de vibration. Puisqu'il est difficile voire dangereux de creer des defauts sur une machine en pleine production, les signaux qui nous ont ete disponibles sont ceux du fonctionnement normal. Notre demarche a consiste alors a caracteriser ce fonctionnement par des spectres d'energie calcules sous differentes conditions. Nous justifions cette demarche par le fait que l'eolienne est une machine tournante et il est important de connaitre et verifier la presence de certaines frequences caracteristiques de certains elements de la machine. Les spectres extraits ont ete reduits a un nombre limite de bandes d'energies realisant ainsi des gabarits. Ces spectres reduits ont constitue les entrees et les sorties de reseaux de neurones autoassociateurs. Ce type de reseaux assure une double fonction : une projection non lineaire plane obtenue sur sa couche centrale et une estimation du spectre de fonctionnement normal en sortieLa projection non lineaire offre une visualisation plane des donnees alors que les comparaisons entre les sorties estimees et reelles generent des residus permettant de verifier si le spectre courant a devie ou non du fonctionnement normal memorise par le reseau. Pour valider notre etude, nous avons teste les performances du reseau sur des donnees en fonctionnement normal acquis dans des situations differentes de celles de la base d'apprentissage et sur des situations correspondant a des defauts simules type balourd. Ce type de defauts se manifeste par l'apparition d'une frequence et ses harmoniques dans le spectre d'energie. Dans les deux situations, les resultats obtenus par le reseau ont ete quantifies et se sont reveles satisfaisants. Nous avons exploite, par ailleurs, un reseau modulaire a apprentissage supervise pour la discrimination entre deux situations : le fonctionnement normal et la presence d'un defaut type balourd d'une amplitude minimale fixee. Les performances du reseau ont ete testees sur des defauts d'amplitudes differentes. Souvent les methodes de diagnostic sont appliquees sur des bancs d'essais dans des conditions de laboratoire controlees. Notre demarche est d'autant plus importante que nous surveillons une machine reelle en pleine production
35
Chakik, Fadi El. "Maximum d'entropie et réseaux de neurones pour la classification." Grenoble INPG, 1998. http://www.theses.fr/1998INPG0091.
Abstract:
Cette these s'inscrit dans le cadre de la classification. Elle porte particulierement sur l'etude des methodes basees sur le principe du maximum d'entropie (maxent). Ces approches ont ete utilisees dans le laboratoire leibniz, par exemple, pour apprendre des comportements a un robot autonome. Le but du travail a ete de comparer cette approche a celles basees sur des reseaux de neurones. Une analyse theorique de la classification a permis de montrer qu'il existe une equivalence entre le maxent et l'apprentissage hebbien des reseaux neuronaux. Apprendre les valeurs des poids de ces derniers est equivalent a apprendre les valeurs moyennes de certains observables du maxent. L'inclusion de nouveaux observables permet d'apprendre a apprendre avec des regles d'apprentissage plus performantes dans le cadre des reseaux de neurones. Le maxent a ete applique a deux problemes particuliers : la classification des ondes de breiman (probleme standard en apprentissage), et la reconnaissance de textures d'images spot. Ces applications ont montre que le maxent permet d'atteindre des performances comparables, voire meilleures, que les methodes neuronales. La robustesse du code du maxent mis au point au cours de cette these est en train d'etre etudiee dans le laboratoire tima. Il est prevu qu'il soit telecharge sur un satellite americain (projet mptb), pour l'evaluer en presence de rayonnements ionisants, dans la perspective de faire des traitements d'images en systemes embarques.
36
Demartines, Pierre. "Analyse de données par réseaux de neurones auto-organisés." Grenoble INPG, 1994. http://www.theses.fr/1994INPG0129.
Abstract:
Chercher a comprendre des donnees, c'est souvent chercher a trouver de l'information cachee dans un gros volume de mesures redondantes. C'est chercher des dependances, lineaires ou non, entre les variables observees pour pouvoir resumer ces dernieres par un petit nombre de parametres. Une methode classique, l'analyse en composantes principales (acp), est abondamment employee dans ce but. Malheureusement, il s'agit d'une methode exclusivement lineaire, qui est donc incapable de reveler les dependances non lineaires entre les variables. Les cartes auto-organisantes de kohonen sont des reseaux de neurones artificiels dont la fonction peut etre vue comme une extension de l'acp aux cas non-lineaires. L'espace parametrique est represente par une grille de neurones, dont al forme, generaleent carree ou rectangulaire, doit malheureusement etre choisie a priori. Cette forme est souvent inadaptee a celle de l'espace parametriue recherche. Nous liberons cette contrainte avec un nouvel algorithme, nomme vector quantization and projection (vqp), qui est une sorte de carte auto-organisante dont l'espace de sortie est continu et prend automatiquement la forme adequate. Sur le plan mathematique, vqp peut etre defini comme la recherche d'un diffeomorphisme entre l'espace brute des donnees et un espace parametrique inconnu a trouver. Plus intuitivement, il s'agit d'un depliage de la structure des donnees vers un espace de plus petite dimension. Cette dimension, qui correspond au nombre de degres de liberte du phenomene etudie, peut etre determinee par des methodes d'analyse fractale du nuage de donnees. Afin d'illustrer la generalite de l'approche vqp, nous donnons une serie d'exemples d'applications, simulees ou reelles, dans des domaines varies qui vont de la fusion de donnees a l'appariement de graphes, en passant par l'analyse ou la surveillance de procedes industriels, la detection de defauts dans des machines ou le routage adaptatif en telecommunications
37
Oussar, Yacine. "Réseaux d'ondelettes et réseaux de neurones pour la modélisation statique et dynamique de processus." Phd thesis, Université Pierre et Marie Curie - Paris VI, 1998. http://pastel.archives-ouvertes.fr/pastel-00000677.
Abstract:
Durant les dix dernières années, les réseaux de neurones à fonctions sigmoïdales ont connu de grands succès dans de nombreux domaines. Associés à des algorithmes d'apprentissage efficaces, ils constituent un puissant outil de modélisation non linéaire de processus, grâce à leur propriété d'approximation universelle parcimonieuse. Ce travail de thèse propose une mise en uvre de réseaux d'ondelettes, alternative possible aux réseaux de neurones, pour la modélisation statique et dynamique. Les ondelettes sont une famille de fonctions issues du traitement du signal et de l'image, dont il a été récemment montré qu'elles possèdent la propriété d'approximateur universel. La mise en uvre des réseaux d'ondelettes est effectuée suivant deux approches : - Approche fondée sur la transformée continue: les paramètres des fonctions sont à valeurs continues dans l'ensemble des nombres réels et peuvent donc être ajustés, comme ceux d'un réseau de neurones classique, à l'aide de méthodes de gradient. Nous proposons des réseaux et des algorithmes d'apprentissage pour la modélisation entrée-sortie et d'état. Les résultats obtenus sur des processus simulés et réel montrent que ces réseaux permettent d'obtenir des modèles de performance et de parcimonie équivalentes à celles des réseaux de neurones si des précautions de mise en uvre sont prises. - Approche fondée sur la transformée discrète: les paramètres des fonctions étant à valeurs discrètes, les apprentissages fondés sur des méthodes de gradient ne sont pas applicables. Nous proposons de construire des réseaux par sélection d'ondelettes dans une bibliothèque pré-établie. Cette procédure est également utilisée pour l'initialisation des paramètres des ondelettes avant leur apprentissage. Les résultats obtenus montrent que la procédure proposée confère à l'apprentissage une meilleure indépendance vis-à-vis de l'initialisation aléatoire des autres paramètres ajustables du réseau.
38
Bissery, Christophe. "La détection centralisée des fuites sur les réseaux d'eau potable par réseaux de neurones." Lyon, INSA, 1994. http://www.theses.fr/1994ISAL0112.
Abstract:
On assiste depuis quelques années, sous la pression de l'environnement, à un changement de perception du risque de dysfonctionnement des systèmes techniques et en particulier des réseaux d'eau potable. Le risque nul n'existe pas et il faut donc apprendre à le gérer. C'est dans ce cadre qu'émerge le besoin de détection centralisée des fuites sur les réseaux d'eau potable, les fuites qui représentent une part importante du risque de dysfonctionnement de la distribution d'eau. Ce travail de recherche propose un système de détection centralisée des fuites sur les réseaux d'eau potable à base de réseaux de neurones. On y étudie en particulier des méthodologies de construction des bases d'apprentissage et de localisation des capteurs qui permettent un passage simple de l'expérimentation à la détection en site réel. Ce travail a permis de constater que sur modèle hydraulique de réseau réel, le système de détection à base de réseau de neurones permettait d'obtenir des résultats en détection qui justifiaient d'une mise en place réelle. L'étude s'achève sur une définition des priorités d'étude pour permettre cette mise en place sur site réel (en particulier, les besoins de prévision de consommation horaire)For few years, under the influence of the urban environment, the perception of dysfunction risk in technical systems and in particular in water supply networks has changed. The lack of risk doesn't exist and it's necessary to learn how to manage it. It's in this way that appears the need of centralized leakage detection on water supply networks, leaks that represent an important part of the dysfunction risk of water supply. This study proposes a centralized leakage detection system using a computerized neural network approach. The building method of learning bases and the sensors localization method are pointed out and developed. This study has showed that on a realistic network model results obtained with the centralized leakage detection system using a computerized neural network approach allowed experimentations on real networks. The study ends on the presentation of the working priorities for these real experimentations (and in particular the need of hourly water consumption previsions)
39
Basterrech, Sebastián. "Apprentissage avec les réseaux de neurones aléatoires et les machines de calcul avec réservoir de neurones." Rennes 1, 2012. http://www.theses.fr/2012REN1S178.
Abstract:
Au cours de ces dernières années, un nouveau paradigme a été introduit dans le domaine de l'apprentissage automatique sous le nom de Reservoir Computing (RC). La croissance de ces méthodes a été rapide en raison de leur succès dans la résolution de problèmes d'apprentissage automatique et dans d'autres applications informatiques. L'une des premières méthodes de RC proposée a été le modèle Echo State Network (ESN). Dans cette thèse nous avons conçu une nouvelle technique d'initialisation du modèle ESN, qui est basée sur des cartes topographiques. Dans les années 80s, un nouvel outil d'apprentissage statistique mélangeant des concepts des réseaux de neurones et de la théorie des files d'attente a été proposé sous le nom de Réseau de Neurones Aléatoires (RNNs). Nous développons de nouvelles techniques d'apprentissage (de type Quasi-Newton) pour ces outils, basées dans ce qui se fait de mieux dans le domaine des réseaux de neurones classiques. Par la suite, nous proposons un nouvel outil bien adapté à la prédiction de séries temporelles comme le trafic observé dans un point de l'Internet, que nous avons appelé Echo State Queueing Networks. Notre dernière contribution est la proposition de nouvelles idées pour la mesure de la qualité perceptuelle. La qualité de l'audio ou la voix sur Internet est fortement affectée par l'état du réseau. L'outil PESQ (Perceptual Evaluation of Speech Quality) sous recommandation ITU-T P. 862, permet d'évaluer la qualité de la voix transmise par un système de télécommunications. PESQ est un procédé fournissant de façon automatique une évaluation précise réalisée en comparant les signaux originaux et ceux reçus. Nous avons développé un outil pour mesurer la qualité des flux VoIP en estimant PESQ à l'aide des outils d'apprentissage statistique précédemment présentés. Ceci permet d'estimer la qualité des flux VoIP de façon automatique, en temps réel et sans avoir recours aux signaux d'origineSince the 1980s a new computational model merging concepts from neural networks and queuing theory was developed. The model was introduced under the name of Random Neural Networks (RNNs), inside the field of Neural Networks. In this thesis, a first contribution consists of an adaptation of quasi-Newton optimisation methods for training the RNN model. In the last decade, a new computational paradigm was introduced in the field of Machine Learning, under the name of Reservoir Computing (RC). One of the pioneers and most diffused RC methods is the Echo State Network (ESN) model. Here, we propose a method based on topographic maps to initialise the ESN procedure. Another contribution of the thesis is the introduction of a new RC model called the Echo State Queueing Network (ESQN), where we use ideas coming from RNNs for the design of the reservoir. An ESQN consists of an ESN where the reservoir has a new dynamics inspired by recurrent RNNs. In this thesis, we position the ESQN method in the global Machine Learning area, and provide examples of their use and performances. Finally, we propose a method for real–time estimation of Speech Quality using the learning tools above described. Audio quality in the Internet can be strongly affected by network conditions. As a consequence, many techniques to evaluate it have been developed. In particular, the ITU-T adopted in 2001 a technique called Perceptual Evaluation of Speech Quality (PESQ) to automatically measuring speech quality. PESQ is a well-known and widely used procedure, providing in general an accurate evaluation of perceptual quality by comparing the original and received voice sequences. The thesis provides a procedure for estimating PESQ output working only with measures taken on the network state and using some properties of the communication system, without any original signal. The experimental results obtained prove the capability of our approach to give good estimations of the speech quality in a real–time context
40
Krauth, Werner. "Physique statistique des réseaux de neurones et de l'optimisation combinatoire." Phd thesis, Université Paris Sud - Paris XI, 1989. http://tel.archives-ouvertes.fr/tel-00011866.
Abstract:
Dans la première partie nous étudions l'apprentissage et le rappel dans des réseaux de neurones à une couche (modèle de Hopfield). Nous proposons un algorithme d'apprentissage qui est capable d'optimiser la 'stabilité', un paramètre qui décrit la qualité de la représentation d'un pattern dans le réseau. Pour des patterns aléatoires, cet algorithme permet d'atteindre la borne théorique de Gardner. Nous étudions ensuite l'importance dynamique de la stabilité et d'un paramètre concernant la symétrie de la matrice de couplages. Puis, nous traitons le cas où les couplages ne peuvent prendre que deux valeurs (inhibiteur, excitateur). Pour ce modèle nous établissons les limites supérieures de la capacité par un calcul numérique, et nous proposons une solution analytique. La deuxième partie de la thèse est consacrée à une étude détaillée - du point de vue de la physique statistique - du problème du voyageur de commerce. Nous étudions le cas spécial d'une matrice aléatoire de connexions. Nous exposons la théorie de ce problème (suivant la méthode des répliques) et la comparons aux résultats d'une étude numérique approfondie.
41
Personnaz, Léon. "Etude des réseaux de neurones formels : conception, propriétés et applications." Paris 6, 1986. http://www.theses.fr/1986PA066569.
Abstract:
Etude de l'application des réseaux de neurones à résoudre des problèmes de classification et de reconnaissance de formes. Définition des conditions que les réseaux de neurones doivent satisfaire pour être efficaces. Evaluation des aspects fondamentaux des mécanismes d'apprentissage
42
Mercier, David. "Hétéro-association de signaux audio-vidéo par réseaux de neurones." Rennes 1, 2003. http://www.theses.fr/2003REN10009.
Abstract:
Ce travail de thèse poursuit la définition de la méthodologie d'utilisation des STANN en abordant deux problématiques importantes : la génération de signaux impulsionnels et l'utilisation de plusieurs modalités. Dans un premier temps, nous proposons une méthode de conversion automatique des informations continues en impulsions. Elle permet d'utiliser ces réseaux de neurones avec les mêmes prétraitements classiques que ceux utilisés avec d'autres outils comme les HMM. Puis nous effectuons une étude sur la fusion des modalités avec ce modèle spatio-temporel. De légères modifications des architectures sont proposées afin de permettre d'exploiter très simplement et sans calculs de rééchantillonnage, des modalités disponibles à des cadences différentes. Ces propositions ont été validées par l'implémentation de systèmes de reconnaissance de la parole audio, vidéo et bimodaux. Les résultats sont principalement présentés dans le cadre monolocuteur avec un apprentissage direct en un seul coup.
43
Puechmorel, Stéphane. "Réseaux de neurones et optimisation globale en analyse temps-fréquence." Toulouse, INPT, 1994. http://www.theses.fr/1994INPT105H.
Abstract:
Dans de nombreux domaines du traitement du signal, il est necessaire d'estimer la frequence instantanee de signaux se presentant comme une somme de composantes elementaires modulees en frequence. Apres un bref rappel des methodes temps-frequence classiques, de nouveaux algorithmes utilisant les reseaux de neurones et des techniques d'optimisation globale sont presentes. En particulier, une nouvelle classe de reseaux a apprentissage non supervise adaptes a l'analyse temps-frequence est decrite en detail. De meme, une approche basee sur des operateurs integraux lineaires couplee a un algorithme d'optimisation globale est etudiee. Pour chaque methode, des resultats compares issus de simulations numeriques sont donnes
44
Boné, Romuald. "Réseaux de neurones récurrents pour la prévision de séries temporelles." Tours, 2000. http://www.theses.fr/2000TOUR4003.
Abstract:
Les réseaux de neurones à propagation avant sont statiques, leurs sorties ne dépendant que des entrées courantes. Pour contourner cette limitation, la technique la plus répandue repose sur l'utilisation de fenêtres temporelles. Ces techniques sont insuffisantes lorsqu'une mémoire relativement profondes est nécessaire ou lorsque la profondeur de celle-ci est inconnue. Les réseaux de neurones récurrents sont capables de modéliser des dépendances temporelles de durée quelconque entre les entrées et les sorties désirées associées, en utilisant une mémoire implicite, codée grace aux connexions récurrentes et aux sorties des neurones eux-mêmes. Cependant, en pratique les réseaux récurrents sont associés à des algorithmes d'apprentissage bases sur le calcul du gradient, qui présentent des limitations dans la prise en compte des dépendances à moyen ou long terme. La résolution de ce problème peut passer par l'ajout de connexions contenant des retards. Le choix de la localisation de ces connexions et du nombre de retards nécessaires restent à la charge de l'expérimentateur. Nous proposons une nouvelle approche qui repose sur la définition de critères pour l'ajout sélectif de connexions à délais. Il en résulte des algorithmes constructifs, permettant d'adapter l'architecture du réseau au problème temporel à traiter. Le premier critère propose correspond à la variation de l'erreur lors de l'exploration restreinte des différentes alternatives d'implantation de connexions supplémentaires. L'exploration consiste en un apprentissage limite à quelques itérations. Le deuxième critère repose sur un calcul des corrélations entre des quantités générées à l'intérieur du réseau au cours de l'apprentissage, et correspond à une estimation de la variation des poids des connexions à délais candidates. Des expérimentations systématiques ont été menées sur des problèmes de référence de prévision de séries temporelles. Les résultats obtenus montrent l'intérêt de nos contributions.
45
Strock, Anthony. "Mémoire de travail dans les réseaux de neurones récurrents aléatoires." Thesis, Bordeaux, 2020. http://www.theses.fr/2020BORD0195.
Abstract:
La mémoire de travail peut être définie comme la capacité à stocker temporairement et à manipuler des informations de toute nature.Par exemple, imaginez que l'on vous demande d'additionner mentalement une série de nombres. Afin de réaliser cette tâche, vous devez garder une trace de la somme partielle qui doit être mise à jour à chaque fois qu'un nouveau nombre est donné. La mémoire de travail est précisément ce qui permettrait de maintenir (i.e. stocker temporairement) la somme partielle et de la mettre à jour (i.e. manipuler). Dans cette thèse, nous proposons d'explorer les implémentations neuronales de cette mémoire de travail en utilisant un nombre restreint d'hypothèses.Pour ce faire, nous nous plaçons dans le contexte général des réseaux de neurones récurrents et nous proposons d'utiliser en particulier le paradigme du reservoir computing.Ce type de modèle très simple permet néanmoins de produire des dynamiques dont l'apprentissage peut tirer parti pour résoudre une tâche donnée.Dans ce travail, la tâche à réaliser est une mémoire de travail à porte (gated working memory).Le modèle reçoit en entrée un signal qui contrôle la mise à jour de la mémoire.Lorsque la porte est fermée, le modèle doit maintenir son état de mémoire actuel, alors que lorsqu'elle est ouverte, il doit la mettre à jour en fonction d'une entrée.Dans notre approche, cette entrée supplémentaire est présente à tout instant, même lorsqu'il n'y a pas de mise à jour à faire.En d'autres termes, nous exigeons que notre modèle soit un système ouvert, i.e. un système qui est toujours perturbé par ses entrées mais qui doit néanmoins apprendre à conserver une mémoire stable.Dans la première partie de ce travail, nous présentons l'architecture du modèle et ses propriétés, puis nous montrons sa robustesse au travers d'une étude de sensibilité aux paramètres.Celle-ci montre que le modèle est extrêmement robuste pour une large gamme de paramètres.Peu ou prou, toute population aléatoire de neurones peut être utilisée pour effectuer le gating.Par ailleurs, après apprentissage, nous mettons en évidence une propriété intéressante du modèle, à savoir qu'une information peut être maintenue de manière entièrement distribuée, i.e. sans être corrélée à aucun des neurones mais seulement à la dynamique du groupe.Plus précisément, la mémoire de travail n'est pas corrélée avec l'activité soutenue des neurones ce qui a pourtant longtemps été observé dans la littérature et remis en cause récemment de façon expérimentale.Ce modèle vient confirmer ces résultats au niveau théorique.Dans la deuxième partie de ce travail, nous montrons comment ces modèles obtenus par apprentissage peuvent être étendus afin de manipuler l'information qui se trouve dans l'espace latent.Nous proposons pour cela de considérer les conceptors qui peuvent être conceptualisé comme un jeu de poids synaptiques venant contraindre la dynamique du réservoir et la diriger vers des sous-espaces particuliers; par exemple des sous-espaces correspondants au maintien d'une valeur particulière.Plus généralement, nous montrons que ces conceptors peuvent non seulement maintenir des informations, ils peuvent aussi maintenir des fonctions.Dans le cas du calcul mental évoqué précédemment, ces conceptors permettent alors de se rappeler et d'appliquer l'opération à effectuer sur les différentes entrées données au système.Ces conceptors permettent donc d'instancier une mémoire de type procédural en complément de la mémoire de travail de type déclaratif.Nous concluons ce travail en remettant en perspective ce modèle théorique vis à vis de la biologie et des neurosciencesWorking memory can be defined as the ability to temporarily store and manipulate information of any kind.For example, imagine that you are asked to mentally add a series of numbers.In order to accomplish this task, you need to keep track of the partial sum that needs to be updated every time a new number is given.The working memory is precisely what would make it possible to maintain (i.e. temporarily store) the partial sum and to update it (i.e. manipulate).In this thesis, we propose to explore the neuronal implementations of this working memory using a limited number of hypotheses.To do this, we place ourselves in the general context of recurrent neural networks and we propose to use in particular the reservoir computing paradigm.This type of very simple model nevertheless makes it possible to produce dynamics that learning can take advantage of to solve a given task.In this job, the task to be performed is a gated working memory task.The model receives as input a signal which controls the update of the memory.When the door is closed, the model should maintain its current memory state, while when open, it should update it based on an input.In our approach, this additional input is present at all times, even when there is no update to do.In other words, we require our model to be an open system, i.e. a system which is always disturbed by its inputs but which must nevertheless learn to keep a stable memory.In the first part of this work, we present the architecture of the model and its properties, then we show its robustness through a parameter sensitivity study.This shows that the model is extremely robust for a wide range of parameters.More or less, any random population of neurons can be used to perform gating.Furthermore, after learning, we highlight an interesting property of the model, namely that information can be maintained in a fully distributed manner, i.e. without being correlated to any of the neurons but only to the dynamics of the group.More precisely, working memory is not correlated with the sustained activity of neurons, which has nevertheless been observed for a long time in the literature and recently questioned experimentally.This model confirms these results at the theoretical level.In the second part of this work, we show how these models obtained by learning can be extended in order to manipulate the information which is in the latent space.We therefore propose to consider conceptors which can be conceptualized as a set of synaptic weights which constrain the dynamics of the reservoir and direct it towards particular subspaces; for example subspaces corresponding to the maintenance of a particular value.More generally, we show that these conceptors can not only maintain information, they can also maintain functions.In the case of mental arithmetic mentioned previously, these conceptors then make it possible to remember and apply the operation to be carried out on the various inputs given to the system.These conceptors therefore make it possible to instantiate a procedural working memory in addition to the declarative working memory.We conclude this work by putting this theoretical model into perspective with respect to biology and neurosciences
46
Chevallier, Julien. "Modélisation de grands réseaux de neurones par processus de Hawkes." Thesis, Université Côte d'Azur (ComUE), 2016. http://www.theses.fr/2016AZUR4051/document.
Abstract:
Comment fonctionne le cerveau ? Peut-on créer un cerveau artificiel ? Une étape essentielle en vue d'obtenir une réponse à ces questions est la modélisation mathématique des phénomènes à l'œuvre dans le cerveau. Ce manuscrit se focalise sur l'étude de modèles de réseaux de neurones inspirés de la réalité.Cette thèse se place à la rencontre entre trois grands domaines des mathématiques - l'étude des équations aux dérivées partielles (EDP), les probabilités et la statistique - et s'intéresse à leur application en neurobiologie. Dans un premier temps, nous établissons les liens qui existent entre deux échelles de modélisation neurobiologique. À un niveau microscopique, l'activité électrique de chaque neurone est représentée par un processus ponctuel. À une plus grande échelle, un système d'EDP structuré en âge décrit la dynamique moyenne de ces activités. Il est alors montré que le modèle macroscopique peut se retrouver de deux manières distinctes : en étudiant la dynamique moyenne d'un neurone typique ou bien en étudiant la dynamique d'un réseau de $n$ neurones en champ-moyen quand $n$ tend vers l’infini. Dans le second cas, la convergence vers une dynamique limite est démontrée et les fluctuations de la dynamique microscopique autour de cette limite sont examinées. Dans un second temps, nous construisons une procédure de test d'indépendance entre processus ponctuels, ces derniers étant destinés à modéliser l'activité de certains neurones. Ses performances sont contrôlées théoriquement et vérifiées d'un point de vue pratique par une étude par simulations. Pour finir, notre procédure est appliquée sur de vraies donnéesHow does the brain compute complex tasks? Is it possible to create en artificial brain? In order to answer these questions, a key step is to build mathematical models for information processing in the brain. Hence this manuscript focuses on biological neural networks and their modelling. This thesis lies in between three domains of mathematics - the study of partial differential equations (PDE), probabilities and statistics - and deals with their application to neuroscience. On the one hand, the bridges between two neural network models, involving two different scales, are highlighted. At a microscopic scale, the electrical activity of each neuron is described by a temporal point process. At a larger scale, an age structured system of PDE gives the global activity. There are two ways to derive the macroscopic model (PDE system) starting from the microscopic one: by studying the mean dynamics of one typical neuron or by investigating the dynamics of a mean-field network of $n$ neurons when $n$ goes to infinity. In the second case, we furthermore prove the convergence towards an explicit limit dynamics and inspect the fluctuations of the microscopic dynamics around its limit. On the other hand, a method to detect synchronisations between two or more neurons is proposed. To do so, tests of independence between temporal point processes are constructed. The level of the tests are theoretically controlled and the practical validity of the method is illustrated by a simulation study. Finally, the method is applied on real data
47
Pothier, Dominique. "Réseaux convolutifs à politiques." Master's thesis, Université Laval, 2021. http://hdl.handle.net/20.500.11794/69184.
Abstract:
Malgré leurs excellentes performances, les exigences élevées des réseaux de neurones artificiels en terme de volume de données et de puissance de calcul limitent leur adoption dans plusieurs domaines. C'est pourquoi il reste important de développer de nouvelles architectures moins voraces. Ce mémoire cherche à produire une architecture plus flexible et moins vorace en s'appuyant sur la théorie de l'apprentissage par renforcement. En considérant le réseau comme un agent suivant une politique, on réalise que cette politique est beaucoup plus rigide que celle suivie habituellement par les agents d'apprentissage par renforcement. Nous posons l'hypothèse qu'une architecture capable de formuler une politique plus flexible pourrait atteindre des performances similaires tout en limitant son utilisation de ressources. L'architecture que nous proposons s'inspire de la recherche faite en prédiction de paramètres, particulièrement de l'architecture hypernetwork, que nous utilisons comme base de référence. Nos résultats montrent que l'apprentissage d'une politique dynamique aussi performante que les politiques statiques suivies par les réseaux conventionnels n'est pas une tâche triviale. Nos meilleurs résultats indiquent une diminution du nombre de paramètres de 33%, une diminution des calculs de 12% au prix d'une baisse de l'exactitude des prédictions de 2%. Malgré ces résultats, nous croyons que notre architecture est un point de départ pouvant être amélioré de plusieurs manières que nous explorons rapidement en conclusion.Despite their excellent performances, artificial neural networks high demand of both data and computational power limit their adoption in many domains. Developing less demanding architecture thus remain an important endeavor. This thesis seeks to produce a more flexible and less resource-intensive architecture by using reinforcement learning theory. When considering a network as an agent instead of a function approximator, one realize that the implicit policy followed by popular feed forward networks is extremely simple. We hypothesize that an architecture able to learn a more flexible policy could reach similar performances while reducing its resource footprint. The architecture we propose is inspired by research done in weight prediction, particularly by the hypernetwork architecture, which we use as a baseline model.Our results show that learning a dynamic policy achieving similar results to the static policies of conventional networks is not a trivial task. Our proposed architecture succeeds in limiting its parameter space by 20%, but does so at the cost of a 24% computation increase and loss of5% accuracy. Despite those results, we believe that this architecture provides a baseline that can be improved in multiple ways that we describe in the conclusion.
48
Koubi, Vassilada. "Reseaux de neurones et optimisation combinatoire." Paris 5, 1994. http://www.theses.fr/1994PA05S014.
Abstract:
Les problemes d'optimisation combinatoire ont des donnees assez structurees qui conviennent au traitement d'une architecture neuronale. Ces problemes qui appartiennent en general a la classe np-complet, necessitent une grande puissance de calcul. L'objectif de ce travail est d'appliquer le modele de reseau de neurones aleatoires aux problemes d'optimisation combinatoire. L'application du reseau neuronal aleatoire de gelenbe, a un probleme d'optimisation combinatoire, est caracterisee par l'evolution des entrees externes, qui correspondent au gradient de la fonction objective, en contradiction avec les autres methodes neuronales ou les entrees sont en general constantes. Deux alternatives de resolution sont proposees : l'approche gradient, application de l'algorithme du gradient sur la fonction et l'approche dynamique, introduction du gradient de la fonction aux equations dynamiques qui sont liees au probleme considere. Nous avons resolu un probleme classique d'optimisation combinatoire, le probleme du voyageur de commerce, et un probleme de satisfaction des contraintes, le probleme de reines non attaquantes. De plus nous avons propose la solution pour d'autres problemes. Le reseau neuronal aleatoire applique au probleme du voyageur de commerce a ete evalue et compare avec les autres methodes connexionnistes. Les resultats obtenus sont assez satisfaisants, de qualite similaire (ou meme meilleure) a ceux obtenus par d'autres methodes. Le probleme de reines a ete resolu par deux modelisations. La premiere consiste a resoudre directement ce probleme, alors que dans la seconde on considere le probleme des reines comme un probleme du stable maximal. Quelque soit la methode retenue, toutes les solutions possibles, ou presque, pour ce probleme ont ete obtenues.
49
Richard, Vincent. "Outils de synthèse pour les réseaux réflecteurs exploitant la cellule Phoenix et les réseaux de neurones." Thesis, Rennes, INSA, 2018. http://www.theses.fr/2018ISAR0004/document.
Abstract:
Menée en partenariat avec Thales Alenia Space et le Centre National d’Etudes Spatiales (CNES), cette thèse s’inscrit dans un contexte international très actif sur une nouvelle technologie de systèmes antennaires : les réseaux réflecteurs (RA). Combinant les atouts des réflecteurs classiques et ceux des réseaux, les RA pourraient remplacer, à terme, les réflecteurs formés utilisés aujourd’hui. Ils sont constitués d’une source primaire placée en regard d’un réseau de cellules contrôlant les propriétés du champ électromagnétique réfléchi. Si de nombreuses études portent déjà sur la caractérisation des cellules, une des problématiques consiste à les sélectionner judicieusement pour réaliser l’antenne finale : c’est l’étape de synthèse.Un tour d’horizon consacré aux différentes méthodes de synthèse a révélé toute la complexité d’obtenir rapidement de bonnes performances simultanément sur les polarisations directes et croisées, pour une large bande de fréquences et pour la réalisation de diagrammes formés. La cellule Phoenix est sélectionnée dans ce travail pour ses bonnes propriétés puisqu’elle fournit l’ensemble de la gamme de phase suivant un cycle continu de géométries.Parce qu’une des contraintes dans la conception de RA est de maintenir des variations de géométries continues entre deux cellules juxtaposées à la surface du RA, un outil de représentation sphérique permettant de classer l’ensemble des cellules d’étude est proposé. Il répertorie judicieusement toutes les cellules sur une surface continue, fermée et périodique.Une nouvelle étape est franchie avec la conception de modèles comportementaux à l’aide de réseaux de neurones (ANN). Ces modèles permettent une caractérisation électromagnétique très rapide des cellules en termes de phase et d’amplitude des coefficients directs et croisées de la matrice de réflexion.L’originalité de l’algorithme de synthèse proposé dans ce travail se base sur l’utilisation combinée de la représentation sphérique et de la caractérisation rapide par ANN. Un outil d’optimisation de type min / max est utilisé pour améliorer les performances globales du panneau RA. Il est ensuite appliqué à un cas concret dans le cadre d’une mission de télécommunicationIn collaboration with Thales Alenia Space and the French Space Agency (CNES), this PHD takes part in a very active international context on a new antenna: the reflectarrays (RA).Combining the advantages of conventional reflectors and those of networks, RA could eventually replace the currently used shaped reflectors. They consist of a primary source placed in front of a network of cells controlling the properties of the reflected electromagnetic field. Although many studies already focus on the characterization of cells, one of the issues is to carefully select them to achieve the final antenna: this is the synthesis step.An overview of different synthesis methods revealed the complexity to quickly obtain good performance simultaneously on the co- and cross-polarizations, for a wide frequency band and for the realization of shaped radiation pattern. The Phoenix cell is selected in this work for its good properties since it provides the entire phase range following a continuous cycle of geometries.Because one of the constraints in the design of RA is to maintain continuous geometry variations between two juxtaposed cells on the layout, a spherical representation tool made it possible to classify all the studied cells. It judiciously lists all the cells on a continuous, closed and periodic surface.A new step is reached with the design of behavioral models using Artificial Neural Networks (ANN). These models enable to a fast electromagnetic characterization of cells in terms of phase and amplitude of the direct and cross coefficients of the reflection matrix.The originality of the synthesis algorithm proposed in this work is the combined use of the spherical representation and a rapid cell characterization by ANN. A min / max optimization tool is used to improve the overall performance of the RA panel. It is then applied to a concrete case as part of a telecommunication mission
50
Bernauer, Éric. "Les réseaux de neurones et l'aide au diagnostic : un modèle de neurones bouclés pour l'apprentissage de séquences temporelles." Toulouse 3, 1996. http://www.theses.fr/1996TOU30277.
Abstract:
Apres avoir defini le probleme du diagnostic, les methodes habituellement employees pour le resoudre sont tout d'abord exposees selon l'existence, ou non, d'un modele, plutot mathematique ou plutot symbolique, du systeme a surveiller. Les reseaux de neurones artificiels sont ensuite presentes au travers de leurs proprietes fondamentales et notamment celles utiles au diagnostic. Une attention particuliere est portee sur les modeles proposes pour la detection des fautes dans laquelle le probleme est ramene a une reconnaissance des formes dans le cas de donnees statiques. La presence d'une dimension temporelle dans le probleme du diagnostic, notamment dans le cadre des systemes a evenements discrets, conduit alors a etudier les moyens de representer le temps dans les reseaux de neurones, modeles qui apprehendent habituellement cette grandeur avec difficulte. Le probleme type qui est envisage est celui de l'apprentissage de sequences temporelles. La representation spatiale du temps, dans laquelle ce dernier est introduit par un mecanisme externe, est tout d'abord etudiee. Les difficultes qu'elle pose font qu'il lui est prefere une representation dynamique du temps pour laquelle ce dernier est implicite. Les reseaux de neurones recurrents et les reseaux a delais sur les connexions sont alors etudies. Le modele du neurone boucle comme cas particulier d'un reseau recurrent est ensuite introduit. L'oubli et la memorisation d'informations apparaissent alors comme deux proprietes dynamiques du modele. Nous montrons ensuite comment utiliser ces neurones boucles pour l'apprentissage de sequences simples. Nous proposons alors, dans le cas de l'apprentissage de sequences complexes, plusieurs architectures et regles d'apprentissage. Le modele est evalue sur des problemes classiques d'apprentissage de grammaires. Un exemple d'application au diagnostic d'une cellule flexible est traite