Dissertations / Theses: 'Elagage de réseaux de neurones'

1

Hubens, Nathan. "Towards lighter and faster deep neural networks with parameter pruning." Electronic Thesis or Diss., Institut polytechnique de Paris, 2022. http://www.theses.fr/2022IPPAS025.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Depuis leur résurgence en 2012, les réseaux de neurones profonds sont devenus omniprésents dans la plupart des disciplines de l'intelligence artificielle, comme la reconnaissance d'images, le traitement de la parole et le traitement du langage naturel. Cependant, au cours des dernières années, les réseaux de neurones sont devenus exponentiellement profonds, faisant intervenir de plus en plus de paramètres. Aujourd'hui, il n'est pas rare de rencontrer des architectures impliquant plusieurs milliards de paramètres, alors qu'elles en contenaient le plus souvent des milliers il y a moins de dix ans.Cette augmentation généralisée du nombre de paramètres rend ces grands modèles gourmands en ressources informatiques et essentiellement inefficaces sur le plan énergétique. Cela rend les modèles déployés coûteux à maintenir, mais aussi leur utilisation dans des environnements limités en ressources très difficile.Pour ces raisons, de nombreuses recherches ont été menées pour proposer des techniques permettant de réduire la quantité de stockage et de calcul requise par les réseaux neuronaux. Parmi ces techniques, l'élagage synaptique, consistant à créer des modèles réduits, a récemment été mis en évidence. Cependant, bien que l'élagage soit une technique de compression courante, il n'existe actuellement aucune méthode standard pour mettre en œuvre ou évaluer les nouvelles méthodes, rendant la comparaison avec les recherches précédentes difficile.Notre première contribution concerne donc une description inédite des techniques d'élagage, développée selon quatre axes, et permettant de définir de manière univoque et complète les méthodes existantes. Ces composantes sont : la granularité, le contexte, les critères et le programme. Cette nouvelle définition du problème de l'élagage nous permet de le subdiviser en quatre sous-problèmes indépendants et de mieux déterminer les axes de recherche potentiels.De plus, les méthodes d'élagage en sont encore à un stade de développement précoce et principalement destinées aux chercheurs, rendant difficile pour les novices d'appliquer ces techniques. Pour combler cette lacune, nous avons proposé l'outil FasterAI, destiné aux chercheurs, désireux de créer et d'expérimenter différentes techniques de compression, mais aussi aux nouveaux venus, souhaitant compresser leurs modèles pour des applications concrètes. Cet outil a de plus été construit selon les quatre composantes précédemment définis, permettant une correspondance aisée entre les idées de recherche et leur mise en œuvre.Nous proposons ensuite quatre contributions théoriques, chacune visant à fournir de nouvelles perspectives et à améliorer les méthodes actuelles dans chacun des quatre axes de description identifiés. De plus, ces contributions ont été réalisées en utilisant l'outil précédemment développé, validant ainsi son utilité scientifique.Enfin, afin de démontrer que l'outil développé, ainsi que les différentes contributions scientifiques proposées, peuvent être applicables à un problème complexe et réel, nous avons sélectionné un cas d'utilisation : la détection de la manipulation faciale, également appelée détection de DeepFakes. Cette dernière contribution est accompagnée d'une application de preuve de concept, permettant à quiconque de réaliser la détection sur une image ou une vidéo de son choix.L'ère actuelle du Deep Learning a émergé grâce aux améliorations considérables des puissances de calcul et à l'accès à une grande quantité de données. Cependant, depuis le déclin de la loi de Moore, les experts suggèrent que nous pourrions observer un changement dans la façon dont nous concevons les ressources de calcul, conduisant ainsi à une nouvelle ère de collaboration entre les communautés du logiciel, du matériel et de l'apprentissage automatique. Cette nouvelle quête de plus d'efficacité passera donc indéniablement par les différentes techniques de compression des réseaux neuronaux, et notamment les techniques d'élagage
Since their resurgence in 2012, Deep Neural Networks have become ubiquitous in most disciplines of Artificial Intelligence, such as image recognition, speech processing, and Natural Language Processing. However, over the last few years, neural networks have grown exponentially deeper, involving more and more parameters. Nowadays, it is not unusual to encounter architectures involving several billions of parameters, while they mostly contained thousands less than ten years ago.This generalized increase in the number of parameters makes such large models compute-intensive and essentially energy inefficient. This makes deployed models costly to maintain but also their use in resource-constrained environments very challenging.For these reasons, much research has been conducted to provide techniques reducing the amount of storage and computing required by neural networks. Among those techniques, neural network pruning, consisting in creating sparsely connected models, has been recently at the forefront of research. However, although pruning is a prevalent compression technique, there is currently no standard way of implementing or evaluating novel pruning techniques, making the comparison with previous research challenging.Our first contribution thus concerns a novel description of pruning techniques, developed according to four axes, and allowing us to unequivocally and completely define currently existing pruning techniques. Those components are: the granularity, the context, the criteria, and the schedule. Defining the pruning problem according to those components allows us to subdivide the problem into four mostly independent subproblems and also to better determine potential research lines.Moreover, pruning methods are still in an early development stage, and primarily designed for the research community. Indeed, most pruning works are usually implemented in a self-contained and sophisticated way, making it troublesome for non-researchers to apply such techniques without having to learn all the intricacies of the field. To fill this gap, we proposed FasterAI toolbox, intended to be helpful to researchers, eager to create and experiment with different compression techniques, but also to newcomers, that desire to compress their neural network for concrete applications. In particular, the sparsification capabilities of FasterAI have been built according to the previously defined pruning components, allowing for a seamless mapping between research ideas and their implementation.We then propose four theoretical contributions, each one aiming at providing new insights and improving on state-of-the-art methods in each of the four identified description axes. Also, those contributions have been realized by using the previously developed toolbox, thus validating its scientific utility.Finally, to validate the applicative character of the pruning technique, we have selected a use case: the detection of facial manipulation, also called DeepFakes Detection. The goal is to demonstrate that the developed tool, as well as the different proposed scientific contributions, can be applicable to a complex and actual problem. This last contribution is accompanied by a proof-of-concept application, providing DeepFake detection capabilities in a web-based environment, thus allowing anyone to perform detection on an image or video of their choice.This Deep Learning era has emerged thanks to the considerable improvements in high-performance hardware and access to a large amount of data. However, since the decline of Moore's Law, experts are suggesting that we might observe a shift in how we conceptualize the hardware, by going from task-agnostic to domain-specialized computations, thus leading to a new era of collaboration between software, hardware, and machine learning communities. This new quest for more efficiency will thus undeniably go through neural network compression techniques, and particularly sparse computations

2

Wenzek, Didier. "Construction de réseaux de neurones." Phd thesis, Grenoble INPG, 1993. http://tel.archives-ouvertes.fr/tel-00343569.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

La dénomination de réseaux de neurones recouvre tout un ensemble de méthodes de calcul dont le point commun est de décrire le calcul d'une solution a un probleme comme la recherche d'un état d'équilibre par un ensemble de cellules simples inter-agissant entre elles via un réseau de connections paramétrées. L'approche usuelle, pour obtenir un réseau de neurones ayant un comportement souhaite, consiste a tester sur des exemples un réseau choisi a priori et a modifier ses paramètres de contrôle jusqu'à ce que l'on obtienne un comportement satisfaisant. La difficulté de ces méthodes est que leur succès ou leur échec reposent sur le choix d'un premier réseau et que l'on ne dispose pas de règles permettant de déduire ce choix de la structure du probleme. La motivation de cette thèse a donc été de décrire des méthodes de synthèse permettant une construction modulaire de réseaux de neurones. Aussi, cette thèse propose une classe de réseaux de neurones parmi lesquels toute spécification de la forme chercher un élément de e (fini) vérifiant la propriété p admet au moins une réalisation. En outre, les réseaux de cette classe peuvent être combines pour obtenir un réseau réalisant une combinaison des spécifications des réseaux combines

3

Tsopze, Norbert. "Treillis de Galois et réseaux de neurones : une approche constructive d'architecture des réseaux de neurones." Thesis, Artois, 2010. http://www.theses.fr/2010ARTO0407/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux de neurones artificiels connaissent des succès dans plusieurs domaines. Maisles utilisateurs des réseaux de neurones sont souvent confrontés aux problèmes de définitionde son architecture et d’interprétabilité de ses résultats. Plusieurs travaux ont essayé d’apporterune solution à ces problèmes. Pour les problèmes d’architecture, certains auteurs proposentde déduire cette architecture à partir d’un ensemble de connaissances décrivant le domaine duproblème et d’autres proposent d’ajouter de manière incrémentale les neurones à un réseauayant une taille initiale minimale. Les solutions proposées pour le problème d’interprétabilitédes résultats consistent à extraire un ensemble de règles décrivant le fonctionnement du réseau.Cette thèse contribue à la résolution de ces deux problèmes. Nous nous limitons à l’utilisationdes réseaux de neurones dans la résolution des problèmes de classification.Nous présentons dans cette thèse un état de l’art des méthodes existantes de recherche d’architecturede réseaux de neurones : une étude théorique et expérimentale est aussi faite. Decette étude, nous observons comme limites de ces méthodes la disponibilité absolue des connaissancespour construire un réseau interprétable et la construction des réseaux difficiles à interpréteren absence de connaissances. En alternative, nous proposons une méthode appelée CLANN(Concept Lattice-based Artificial Neural network) basée les treillis de Galois qui construit undemi-treillis à partir des données et déduire de ce demi-treillis l’architacture du réseau. CLANNétant limitée à la résolution des problèmes à deux classes, nous proposons MCLANN permettantd’étendre cette méthodes de recherche d’architecture des réseaux de neurones aux problèmes àplusieurs classes.Nous proposons aussi une méthode appelée ’Approche des MaxSubsets’ pour l’extractiondes règles à partir d’un réseau de neurones. La particularité de cette méthode est la possibilitéd’extraire les deux formats de règles (’si alors’ et ’m parmi N’) à partir d’une structure quenous construisons. Nous proposons aussi une façon d’expliquer le résultat calculé par le réseauconstruit par la méthode MCLANN au sujet d’un exemple
The artificial neural networks are successfully applied in many applications. But theusers are confronted with two problems : defining the architecture of the neural network able tosolve their problems and interpreting the network result. Many research works propose some solutionsabout these problems : to find out the architecture of the network, some authors proposeto use the problem domain theory and deduct the network architecture and some others proposeto dynamically add neurons in the existing networks until satisfaction. For the interpretabilityproblem, solutions consist to extract rules which describe the network behaviour after training.The contributions of this thesis concern these problems. The thesis are limited to the use of theartificial neural networks in solving the classification problem.In this thesis, we present a state of art of the existing methods of finding the neural networkarchitecture : we present a theoritical and experimental study of these methods. From this study,we observe some limits : difficulty to use some method when the knowledges are not available ;and the network is seem as ’black box’ when using other methods. We a new method calledCLANN (Concept Lattice-based Artificial Neural Network) which builds from the training dataa semi concepts lattice and translates this semi lattice into the network architecture. As CLANNis limited to the two classes problems, we propose MCLANN which extends CLANN to manyclasses problems.A new method of rules extraction called ’MaxSubsets Approach’ is also presented in thisthesis. Its particularity is the possibility of extracting the two kind of rules (If then and M-of-N)from an internal structure.We describe how to explain the MCLANN built network result aboutsome inputs

4

Voegtlin, Thomas. "Réseaux de neurones et auto-référence." Lyon 2, 2002. http://theses.univ-lyon2.fr/documents/lyon2/2002/voegtlin_t.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Le sujet de cette thèse est l'étude d'une classe d'algorithmes d'apprentissage non supervisés pour réseaux de neurones récurrents. Dans la 1ere partie (chap. 1 à 4), je présente plusieurs algorithmes, basés sur un même principe d'apprentissage : l'auto-référence. L'apprentissage auto-référent n'implique pas l'optimisation d'un critère objectif (comme une fonction d'erreur), mais il fait intervenir une fonction subjective, qui dépend de ce que le réseau a déjà appris. Un exemple de réseau supervisé basé sur ce principe est le Simple Recurrent Netword d'Elman (1990). Dans ce cas, l'auto-référence est appliquée à l'algorithme de rétro-propagation du gradient. Sur ce point, le réseau d'Elman diffère des autres méthodes de rétro-propagation pour réseaux récurrents, qui font intervenir un gradient objectif (Back-propagation Through Time, Real-Time Recurrent learning). Je montr que l'auto-référence peut être utilisée avec les principales techniques d'apprentissage non supervisé : Cartes de Kohonen, Analyse en composantes principales, Analyse en composantes indépendantes. Ces techniques sont classiquement utilisées pour représenter des données statiques. L'auto-référence permet de les généraliser à des séries temporelles, et de définir des algorithmes d'apprentissage nouveaux
The purpose of this thesis is to present a class of unsupervised learning algorithms for recurrent networks. In the first part (chapters 1 to 4), I propose a new approach to this question, based on a simple principle: self-reference. A self-referent algorithm is not based on the minimization of an objective criterion, such as an error function, but on a subjective function, that depends on what the network has previously learned. An example of a supervised recurrent network where learning is self-referent is the Simple Recurrent Network (SRN) by Elman (1990). In the SRN, self-reference is applied to the supervised error back-propagation algorithm. In this aspect, the SRN differs from other generalizations of back-propagation to recurrent networks, that use an objective criterion, such as Back-Propagation Through Time, or Real-Time Recurrent Learning. In this thesis, I show that self-reference can be combined with several well-known unsupervised learning methods: the Self-Organizing Map (SOM), Principal Components Analysis (PCA), and Independent Components Analysis (ICA). These techniques are classically used to represent static data. Self-reference allows one to generalize these techniques to time series, and to define unsupervised learning algorithms for recurrent networks

5

Teytaud, Olivier. "Apprentissage, réseaux de neurones et applications." Lyon 2, 2001. http://theses.univ-lyon2.fr/documents/lyon2/2001/teytaud_o.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les fondements théoriques de l'apprentissage sont en grande partie posés. Comme la calculabilité est venue à maturité en s'orientant vers la complexité, l'apprentissage mûrit face à des résultats négatifs forts qui rendent sans espoir la quête d'algorithmes universels, efficaces pour toute donnée. Vraisemblablement les grandes avancées à venir seront (a) soit dans des domaines connexes où l'étude théorique a moins été poussée, (b) soit moins philosophiques et plus concrètes (théorique à préoccupations algorithmiques, représentation de données structurées, implémentation physique, modularité), soit enfin (c) dans la modélisation biologique. Cette thèse résume (et essaie modestement de compléter) les avancées théoriques statistiques, des points de vue successifs des cas où l'apprentissage est difficile (i. E. , où l'on sort du cadre iid sans bruit avec a priori de VC-dimension finie), des utilisations non-standards de la VC-théorie (non-supervisé, extraction de règles : c'est le (a) ci-dessus), puis du passage au concret avec le passage aux préoccupations algorithmiques (validité des approximations dans les Supports Vector Machines, efficacité des algorithmes de Gibbs quoique l'étude soit très incomplète, plus proches voisins rapides d'un point de vue expérimental représentation de données structurées images ou textes - tout cela est le (b)) et la modélisation biologique (c)

6

Côté, Marc-Alexandre. "Réseaux de neurones génératifs avec structure." Thèse, Université de Sherbrooke, 2017. http://hdl.handle.net/11143/10489.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse porte sur les modèles génératifs en apprentissage automatique. Deux nouveaux modèles basés sur les réseaux de neurones y sont proposés. Le premier modèle possède une représentation interne où une certaine structure a été imposée afin d’ordonner les caractéristiques apprises. Le deuxième modèle parvient à exploiter la structure topologique des données observées, et d’en tenir compte lors de la phase générative. Cette thèse présente également une des premières applications de l’apprentissage automatique au problème de la tractographie du cerveau. Pour ce faire, un réseau de neurones récurrent est appliqué à des données de diffusion afin d’obtenir une représentation des fibres de la matière blanche sous forme de séquences de points en trois dimensions.

7

Jodouin, Jean-François. "Réseaux de neurones et traitement du langage naturel : étude des réseaux de neurones récurrents et de leurs représentations." Paris 11, 1993. http://www.theses.fr/1993PA112079.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Le but de ce travail a été d'évaluer les possibilités d'application des réseaux connexionnistes aux taches de haut niveau comme le traitement du langage naturel (tln). Un travail de réflexion a permis de cerner les types de réseaux et les techniques de représentation propices à ce domaine d'application. Deux réseaux de la classe des réseaux récurrents à couches ont été sélectionnés pour des études approfondies: le simple récurrent network et le time-unfolding network (tun). Le perceptron multicouches a servi d'étalon. Un domaine d'application mettant à l'épreuve la mémoire et les capacités de représentation des réseaux a aussi été choisi: la prédiction de séquences non déterministes. Un outil de simulation graphique, Baptise Simon, a été crée pour l'étude. Le travail empirique a consisté en trois séries d'expériences qui ont pour but d'étudier les capacités de réseaux dans des conditions se rapprochant progressivement du traitement d'énoncés réels. Cette étude a été approfondie par l'analyse des représentations développées par les réseaux durant leur traitement. Cette recherche semble montrer que les réseaux récurrents ont le potentiel de développer des représentations complexes, ce qui leur permet de traiter de façon efficace les taches qui leur ont été données. En particulier, les performances des tuns dépassent, dans le meilleur des cas, celles de nos meilleurs outils de comparaison. En conclusion, les réseaux récurrents à couches ont une utilité immédiate à la frontière entre la parole (ou l'information est généralement bruitée et incomplète) et le langage (ou les représentations symboliques pures supportent mal ce type d'imprécision). De plus, si un important travail de recherche reste encore à faire, les résultats obtenus permettent d'espérer l'application future de ces réseaux à des taches plus évoluées du tln

8

Brette, Romain. "Modèles Impulsionnels de Réseaux de Neurones Biologiques." Phd thesis, Université Pierre et Marie Curie - Paris VI, 2003. http://tel.archives-ouvertes.fr/tel-00005340.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les neurosciences computationnelles sont traditionnellement dominées par la conception selon laquelle les neurones codent l'information à travers leur fréquence de décharge. Récemment, les observations expérimentales de synchronisation neuronale ont motivé un renouveau du point de vue impulsionnel, selon lequel la structure temporelle des décharges est pertinente. Les modèles impulsionnels étant moins bien compris que leurs homologues fréquentiels, nous commençons par établir des résultats théoriques généraux, qui nous permettent en particulier de montrer que les modèles impulsionnels répondent de manière reproductible aux stimulations variables apériodiques. Cette propriété nous permet de construire un modèle de sélectivité à l'orientation dans le cortex visuel, le perceptron impulsionnel, qui, en détectant une propriété géométrique de l'image plutôt que l'adéquation entre l'image et un patron, permet d'obtenir avec une architecture feedforward une invariance naturelle au contraste.

9

Tardif, Patrice. "Autostructuration des réseaux de neurones avec retards." Thesis, Université Laval, 2007. http://www.theses.ulaval.ca/2007/24240/24240.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

10

Maktoobi, Sheler. "Couplage diffractif pour réseaux de neurones optiques." Thesis, Bourgogne Franche-Comté, 2020. http://www.theses.fr/2020UBFCD019.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux photoniques à haute performance peuvent être considérés comme des supports pour les futurs systèmes de calcul. Contrairement à l'électronique, les systèmes photoniques offrent des avantages intéressants, par exemple la possibilité de réaliser des réseaux complètement parallèles. Récemment, les réseaux de neurones ont attiré l'attention de la communauté photonique. L'une des difficultés les plus importantes, en matière de réseaux photoniques parallèles à grande échelle, est la réalisation des connexions. La diffraction est exploitée ici comme méthode pour traiter les connexions entre les nœuds (couplage) dans les réseaux de neurones optiques. Dans cette thèse, nous étudions l'extensibilité d'un couplage diffractif en détails de la façon suivante :Tout d'abord, nous commençons par une introduction générale à propos de l'intelligence artificielle, de l'apprentissage machine, des réseaux de neurones artificiels et des réseaux de neurones photoniques. Lors de la conception d'un réseau neuronal fonctionnel, les règles de l'apprentissage machine sont des éléments essentiels pour optimiser une configuration et ainsi obtenir une faible erreur du système, donc les règles de l'apprentissage sont introduites (chapitre 1). Nous étudions les concepts fondamentaux du couplage diffractif dans notre réservoir spatio-temporel. Dans ce cas, la théorie de la diffraction est expliquée. Nous utilisons un schéma analytique pour fournir les limites en termes de taille des réseaux diffractifs, qui font partie intégrante de notre réseau neuronal photonique (chapitre 2). Les concepts du couplage diffractif sont étudiés expérimentalement dans deux expériences différentes afin de confirmer les limites obtenues analytiquement, et pour déterminer le nombre maximum de nœuds pouvant être couplés dans le réseau photonique (Chapitre 3). Les simulations numériques d'une telle expérience sont basées sur deux schémas différents pour calculer numériquement la taille maximale du réseau, qui approche une surface de 100 mm2 (chapitre 4). Enfin, l'ensemble du réseau neuronal photonique est démontré. Nous concevons un réservoir spatialement étendu sur 900 nœuds. En conséquence, notre système généralise la prédiction pour la séquence chaotique de Mackey-Glass (chapitre 5)
Photonic networks with high performance can be considered as substrates for future computing systems. In comparison with electronics, photonic systems have substantial privileges, for instance the possibility of a fully parallel implementation of networks. Recently, neural networks have moved into the center of attention of the photonic community. One of the most important requirements for parallel large-scale photonic networks is to realize the connectivities. Diffraction is considered as a method to process the connections between the nodes (coupling) in optical neural networks. In the current thesis, we evaluate the scalability of a diffractive coupling in more details as follow:First, we begin with a general introductions for artificial intelligence, machine learning, artificial neural network and photonic neural networks. To establish a working neural network, learning rules are an essential part to optimize a configuration for obtaining a low error from the system, hence learning rules are introduced (Chapter 1). We investigate the fundamental concepts of diffractive coupling in our spatio-temporal reservoir. In that case, theory of diffraction is explained. We use an analytical scheme to provide the limits for the size of diffractive networks which is a part of our photonic neural network (Chapter 2). The concepts of diffractive coupling are investigated experimentally by two different experiments to confirm the analytical limits and to obtain maximum number of nodes which can be coupled in the photonic network (Chapter 3). Numerical simulations for such an experimental setup is modeled in two different schemes to obtain the maximum size of network numerically, which approaches a surface of 100 mm2 (Chapter 4). Finally, the complete photonic neural network is demonstrated. We design a spatially extended reservoir for 900 nodes. Consequently, our system generalizes the prediction for the chaotic Mackey–Glass sequence (Chapter 5)

11

Ouali, Jamel. "Architecture intégrée flexible pour réseaux de neurones." Grenoble INPG, 1991. http://www.theses.fr/1991INPG0035.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Ayant rappelé brièvement quelques réalisations matérielles de réseaux de neurones artificiels dans un premier chapitre cette thèse propose une architecture distribuée, synchrone fondée sur l'existence d'un processeur neurone autonome. Ce processeur pourra être personnalise suivant les caractéristiques du réseaux de neurones a implanter et pourra être connecte a d'autres neurones pour former un réseau de structure et de dimension fixées. Ce neurone se présente comme un circuit dédié fabrique dans un temps court dans un environnement du type compilateur de silicium. Un tel neurone a été conçu et fabrique et s'est avéré complètement opérationnel. Il implémenté sous sa version fabrique uniquement la phase de relaxation. Dans un troisième chapitre, on montre que sans modification de l'architecture, on peut inclure des possibilités d'apprentissage. Pour ceci un algorithme d'apprentissage par la rétropropagation du gradient a été propose et étudié et on montre son implantation sur le réseau de neurones propose en précisant l'adjonction dans la partie de contrôle du neurone a implanter. Enfin, dans un dernier chapitre, nous explorons la possibilité de réaliser de très grands circuits ce qui serait très judicieux pour faire face a la taille des réseaux de neurones requise pour les applications. Pour ceci, nous explorons les possibilités d'intégration tranche entière. En effet, il existe une tolérance aux fautes intrinsèques au calcul neuronal et de plus l'implantation physique régulière doit permettre d'isoler et d'exclure les neurones défaillants. Les possibilités d'implantation physique d'une architecture tranche entière sont donc présentées dans ce chapitre

12

Bigot, Pascal. "Utilisation des réseaux de neurones pour la télégestion des réseaux techniques urbains." Lyon 1, 1995. http://www.theses.fr/1995LYO10036.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

La telegestion des reseaux techniques urbains fait appel a des techniques de reconnaissance de formes: etant donnee une image de l'etat du reseau, determiner si il fonctionne correctement ou non. Une methode employee pour resoudre ce type de probleme fait appel aux reseaux de neurones. Nous definissons une methodologie de construction de l'architecture employee afin d'obtenir des capacites de generalisation satisfaisantes. On s'oriente vers un reseau multicouches et l'algorithme de retropropagation du gradient. Nous precisons aussi une methodologie d'elaboration des bases d'apprentissage qui tienne compte de la nature numerique des donnees utilisees et, en particulier, des sources d'incertitudes qui les caracterisent. Celles-ci sont d'ordre physique (erreurs dues a l'imprecision des mesures et a la presence de bruit) et d'ordre statistique (erreurs dues a des previsions de grandeurs non mesurables). La methode utilisee suppose que l'on peut mesurer tous les parametres necessaires a sa mise en uvre. Ce qui n'est pas le cas dans la pratique. C'est pourquoi nous explorons differentes techniques de selection des parametres mesures et nous etudions les degradations eventuelles des capacites de detection. Nous etudions ensuite un systeme de localisation geographique des anomalies qui utilise les reseaux de neurones. On en montre les limitations. Cette approche est experimentee sur un reseau de distribution d'eau potable. Nous developpons d'autre part une etude theorique sur les relations qui existent entre les fonctions calculables par un reseau de neurones et celles qui sont calculables par un arbre binaire de decision. Ceci nous conduit a des algorithmes d'apprentissage pour des reseaux de neurones dont l'architecture (le nombre de neurones par couches) est variable

13

Koiran, Pascal. "Puissance de calcul des réseaux de neurones artificiels." Lyon 1, 1993. http://www.theses.fr/1993LYO19003.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Depuis quelques annees on s'est beaucoup interesse a la resolution de problemes d'ingenierie avec des reseaux de neurones artificiels (par exemple en reconnaissance de formes, robotique, prediction de series temporelles, optimisation. . . ). La plupart de ces travaux sont de nature empirique, et ne comportent que peu ou pas du tout d'analyse mathematique rigoureuse. Cette these se situe dans une perspective tout-a-fait differente: il s'agit d'etudier les relations entre les reseaux de neurones et les modeles de calculs classiques ou moins classiques de l'informatique theorique (automates finis, machines de turing, circuits booleens, machines de turing reelles de blum, shub et smale). Les principaux resultats sont les suivants: 1) simulation d'une machine de turing universelle par des reseaux recurrents; 2) etude generale de la puissance de calcul des systemes dynamiques definis par des iterations de fonctions, notamment en petites dimensions; 3) etude de modeles de calculs sur les nombres reels, avec application aux reseaux recurrents et acycliques. On montre que la classe des fonctions (discretes) calculables en temps polynomial est p/poly

14

Graïne, Slimane. "Inférence grammaticale régulière par les réseaux de neurones." Paris 13, 1994. http://www.theses.fr/1994PA132020.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Dans cette thèse, nous proposons: - une méthode pour la simulation des automates finis par les réseaux de neurones (chapitre 4), - une méthode pour la reconnaissance des grammaires hors contexte et des grammaires stochastiques hors contexte par les réseaux de neurones (chapitre (5), - deux méthodes pour l'apprentissage des langages réguliers par les réseaux de neurones (chapitre 6). Les chapitres 2 et 3 présentent respectivement les réseaux de neurones et le problème de l'inférence grammaticale. Les chapitres 1 et 7 respectivement consacrés à l'introduction et à la conclusion.

15

Le, Fablec Yann. "Prévision de trajectoires d'avions par réseaux de neurones." Toulouse, INPT, 1999. http://www.theses.fr/1999INPT034H.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

La prévision de trajectoires d'avions est un problème crucial pour les systèmes de gestion du traffic aérien. Des méthodes de prévision utilisant des modélisations d'avion existent déjà mais nécessitent beaucoup de paramètres en n'offrant qu'une précision moyenne. C'est pourquoi nous développons une nouvelle approche nútilisant que peu d'informations initiales. La méthode choisie est basée sur l'utilisation de réseaux de neurones auxquels on fait apprendre un ensemble de trajectoires avant de les utiliser pour en prédire de nouvelles. Nous développons trois méthodes différentes qui permettent une prédiction à long terme dans le plan vertical et à court et moyen terme dans le plan horizontal. L'une d'elles est capable d'intégrer de nouvelles données au fur et à mesure que l'avion vole, ce qui lui permet de réagir aux éventuels changements de trajectoire et ainsi de parfaire la prévision. Les deux autres réalisent la prédiction même lorsque l'avion ne vole pas. Nous introduisons aussi une structure de type mélange hiérarchique d'experts qui permet de regrouper le savoir emmagaziné dans plusieurs réseaux, ainsi, il est possible de se passer de la connaissance du type d'avion étudié. Les méthodes utilisant des réseaux de neurones sont ensuite comparées aux méthodes à base de modèles avion. Nous montrons alors que les réseaux de neurones donnent de bien meilleurs résultats tout en permettant une prédiction très rapide. De plus, ne nécessitant que très peu de paramètres au départ, ils sont applicables sur un plus grand nombre de cas.

16

Corne, Christophe. "Parallélisation de réseaux de neurones sur architecture distribuée." Mulhouse, 1999. http://www.theses.fr/1999MULH0583.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Notre étude a pour objectif d'établir le rôle prépondérant que peuvent avoir les techniques parallèles dans la résolution de calculs complexes utilisant des réseaux de neurones. Nous présentons les différents modèles de réseaux de neurones afin d'évaluer leur adaptabilité au parallélisme et de retenir la meilleure méthode de parallélisation. La structure choisie est basée sur l'algorithme neuromimétique Self-Organizing Map (SOM). Nous parallélisons cet algorithme sur différents types de plate-formes à architecture distribuée, l'une d'entre elles étant un réseau de stations de travail. Nous présentons un réseau grossissant, auto-organisé dans sa généralité et détaillons la forme séquentielle de son algorithme fondateur. La parallélisation de ce dernier algorithme sur une architecture utilisant la norme SCI (Scalable Coherent Interface) comme moyen de communication nous permet de montrer l'intérêt à la fois d'un réseau d'ordinateurs comme ressources de calcul et de ce nouveau protocole à 1 Gigabit/s. Pour évaluer les performances de nos algorithmes et les faire fonctionner, nous avons dû soutirer la puissance optimale des matériels dont nous disposions. Nous avons constaté à cette occasion, que les ressources informatiques, prises dans leur ensemble, avaient un potentiel et une disponibilité en puissance de calcul largement inexploitée. Ces circonstances nous ont conduit à une réflexion sur l'optimisation des ressources informatiques et à la conception d'un logiciel de répartition des tâches, sur systèmes distribués. Nous détaillons le fonctionnement de ce logiciel nommé «ReTrop» et présentons succinctement ses débouchés industriels. Comme exemple d'utilisation de ce principe, nous présentons les résultats obtenus pour améliorer le choix des paramètres d'un réseau grossissant, auto-organisé.

17

Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeur
Recently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE

18

He, Bing. "Estimation paramétrique du signal par réseaux de neurones." Lille 1, 2002. https://pepite-depot.univ-lille.fr/RESTREINT/Th_Num/2002/50376-2002-75.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

19

Pompougnac, Hugo. "Spécification et compilation de réseaux de neurones embarqués." Electronic Thesis or Diss., Sorbonne université, 2022. http://www.theses.fr/2022SORUS436.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Dans cette thèse, nous proposons une approche pour spécifier et compiler conjointement les aspects Calcul Haute Performance (HPC) et Temps-Réel Embarqué (RTE) d’un même système. Notre approche est fondée sur une intégration formelle, algorithmique et outillée entre deux formalismes sous-tendant une bonne partie des travaux en HPC et en RTE : le formalisme SSA et le langage flot de données synchrone Lustre. Le formalisme SSA est au cœur de bon nombre de compilateurs HPC, dont ceux employés par les frameworks d'apprentissage machine tels TensorFlow ou PyTorch. Le langage Lustre est au cœur des processus de mise en œuvre de systèmes embarqués critiques dans l’avionique, ou encore le rail
In this thesis, we propose an approach for the joint specification and compilation of both High-Performance Computing (HPC) and Real-Time Embedded (RTE) aspects of a system. Our approach is based on a formal, algorithmic and tooled integration between two formalisms underlying a large part of works in HPC and RTE fields: the SSA formalism and the synchronous dataflow language Lustre. The SSA formalism is a key component of many HPC compilers, including those used by Machine Learning frameworks such as TensorFlow or PyTorch. The Lustre language is a key component of implementation processes of critical embedded systems in avionics or rail transportation

20

Bénédic, Yohann. "Approche analytique pour l'optimisation de réseaux de neurones artificiels." Phd thesis, Université de Haute Alsace - Mulhouse, 2007. http://tel.archives-ouvertes.fr/tel-00605216.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux de neurones artiﬁciels sont nés, il y a presque cinquante ans, de la volonté de modéliser les capacités de mémorisation et de traitement du cerveau biologique. Aujourd'hui encore, les nombreux modèles obtenus brillent par leur simplicité de mise en œuvre, leur puissance de traitement, leur polyvalence, mais aussi par la complexité des méthodes de programmation disponibles. En réalité, très peu d'entre-elles sont capables d'aboutir analytiquement à un réseau de neurones correctement conﬁguré. Bien au contraire, la plupart se " contentent " d'ajuster, petit à petit, une ébauche de réseau de neurones, jusqu'à ce qu'il fonctionne avec suffisamment d'exemples de la tâche à accomplir. Au travers de ces méthodes, dites " d'apprentissages ", les réseaux de neurones sont devenus des boîtes noires, que seuls quelques experts sont effectivement capables de programmer. Chaque traitement demande en effet de choisir convenablement une conﬁguration initiale, la nature des exemples, leur nombre, l'ordre d'utilisation, ... Pourtant, la tâche finalement apprise n'en reste pas moins le résultat d'une stratégie algorithmique implémentée par le réseau de neurones. Une stratégie qui peut donc être identiﬁée par le biais de l'analyse, et surtout réutilisée lors de la conception d'un réseau de neurones réalisant une tâche similaire, court-circuitant ainsi les nombreux aléas liés à ces méthodes d'apprentissage. Les bénéﬁces de l'analyse sont encore plus évidents dans le cas de réseaux de neurones à sortie binaire. En effet, le caractère discret des signaux traités simplifie grandement l'identification des mécanismes mis en jeu, ainsi que leur contribution au traitement global. De ce type d'analyse systématique naît un formalisme original, qui décrit la stratégie implémentée par les réseaux de neurones à sortie binaire de façon particulièrement efficace. Schématiquement, ce formalisme tient lieu d'" état intermédiaire " entre la forme boîte noire d'un réseau de neurones et sa description mathématique brute. En étant plus proche des modèles de réseaux de neurones que ne l'est cette dernière, il permet de retrouver, par synthèse analytique, un réseau de neurones effectuant la même opération que celui de départ, mais de façon optimisée selon un ou plusieurs critères : nombre de neurones, nombre de connexions, dynamique de calcul, etc. Cette approche analyse-formalisation-synthèse constitue la contribution de ces travaux de thèse.

21

Gatet, Laurent. "Intégration de Réseaux de Neurones pour la Télémétrie Laser." Phd thesis, Toulouse, INPT, 2007. http://oatao.univ-toulouse.fr/7595/1/gatet.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Grandes lignes : Un réseau de neurones est une architecture paramétrable composée de plusieurs modules appelés neurones. Ils peuvent être utilisés pour compenser des variations non souhaitées de certains phénomènes physiques ou pour effectuer des tâches de discrimination. Un réseau de neurones a été intégré en technologie CMOS basse tension pour être implanté au sein d'un télémètre laser par déphasage. Deux études ont été menées en parallèle. La première consiste à lever l'indétermination sur la mesure de distance déduite de la mesure de déphasage. La seconde étude permet la classification de différents types de surfaces à partir de deux signaux issus du télémètre. Résumé détaillé : Un réseau de neurones a la faculté de pouvoir être entraîné afin d'accomplir une tâche d'approximation de fonction ou de classification à partir d'un nombre limité de données sur un intervalle bien défini. L'objectif de cette thèse est de montrer l'intérêt d'adapter les réseaux de neurones à un type de système optoélectronique de mesure de distance, la télémétrie laser par déphasage. La première partie de ce manuscrit développe de manière succincte leurs diverses propriétés et aptitudes, en particulier leur reconfigurabilité par l'intermédiaire de leurs paramètres et leur capacité à être intégré directement au sein de l'application. La technique de mesure par télémétrie laser par déphasage est développée dans le deuxième chapitre et comparée à d'autres techniques télémétriques. Le troisième chapitre montre qu'un réseau de neurones permet d'améliorer nettement le fonctionnement du télémètre. Une première étude met en valeur sa capacité à accroître la plage de mesure de distance sans modifier la résolution. Elle est réalisée à partir de mesures expérimentales afin de prouver le réel intérêt de la méthode comportementale développée. La deuxième étude ouvre une nouvelle perspective relative à l'utilisation d'un télémètre laser par déphasage, celle d'effectuer la classification de différents types de surfaces sur des plages de distances et d'angles d'incidence variables. Pour valider expérimentalement ces deux études, les cellules de base du neurone de type perceptron multi-couches ont été simulées puis implantées de manière analogique. Les phases de simulation, de conception et de test du neurone analogique sont détaillées dans le quatrième chapitre. Un démonstrateur du réseau de neurones global a été réalisé à partir de neurones élémentaires intégrés mis en parallèle. Une étude de la conception des mêmes cellules en numérique est détaillée succinctement dans le cinquième chapitre afin de justifier les avantages associés à chaque type d'intégration. Le dernier chapitre présente les phases d'entraînement et de validation expérimentales du réseau intégré pour les deux applications souhaitées. Ces phases de calibrage sont effectuées extérieurement à l'ASIC, par l'intermédiaire de l'équation de transfert déterminée après caractérisation expérimentale et qualification du réseau de neurones global. Les résultats expérimentaux issus de la première étude montrent qu'il est possible d'obtenir à partir des signaux de sorties du télémètre et du réseau de neurones, une mesure de distance de précision (50µm) sur un intervalle de mesure 3 fois plus important que celui limité à la mesure du déphasage. Concernant l'application de discrimination de surfaces, le réseau de neurones analogique implanté est capable de classer quatre types de cibles sur l'intervalle [0.5m ; 1.25m] pour un angle d'incidence pouvant varier de - π /6 à + π /6.

22

Robitaille, Benoît. "Contrôle adaptatif par entraînement spécialisé de réseaux de neurones." Thesis, National Library of Canada = Bibliothèque nationale du Canada, 1997. http://www.collectionscanada.ca/obj/s4/f2/dsk2/ftp02/NQ35778.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

23

Ducom, Jean-Christophe. "Codage temporel et apprentissage dans les réseaux de neurones." Aix-Marseille 1, 1996. http://www.theses.fr/1996AIX11041.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Nous rappelons dans un premier temps quelques bases de neurobiologie sur les caracteristiques et les proprietes du neurone, ainsi que sur l'organisation generale des neurones dans le cerveau. Ceci nous amene par la suite a reconsiderer les modeles classiques de reseaux de neurones formels, a cause de leur manque de realisme et de leur incapacite a resoudre certains problemes, tels que la segmentation et le liage d'attributs visuels. Or, de recentes experiences sur le traitement de stimuli par le cortex visuel exhibent un nouveau type de codage de l'information, base sur les relations temporelles entre les differents potentiels d'action (en particulier la synchronisation de leurs temps d'emission), et non plus sur la frequence de decharge des neurones. A partir de la variante de codage temporel de s. Thorpe, nous proposons un modele de presynchronisation d'activite neuronale reposant sur un couplage diffusif entre neurones et sur un signal inhibiteur. Nous etudions les proprietes d'un tel reseau de neurones realistes, de type integrateur a seuil avec fuite, suivant differents types de signal d'entree et de bruit. Dans une seconde partie, nous etudions les consequences de l'introduction du temps pour l'apprentissage: les temps de transmission du signal entre neurones sont pris en compte. Apres avoir rappele les principaux resultats experimentaux sur l'apprentissage, ceux-ci permettant de degager certaines contraintes biologiques, nous proposons une loi de modification des efficacites synaptiques. Elle permet au reseau de conserver et de recuperer une suite de configurations d'activite spatio-temporelle. Enfin, nous etudions ses proprietes lorsque certaines contraintes de normalisation lui sont imposees au niveau des variations des poids synaptiques ; on montre alors que le comportement du reseau est different selon la maniere utilisee pour realiser ces contraintes

24

Benaïm, Michel. "Dynamiques d'activation et dynamiques d'apprentissage des réseaux de neurones." Toulouse, ENSAE, 1992. http://www.theses.fr/1992ESAE0001.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

L'objet principal de cette these est d'etudier de facon rigoureuse un modele temps-reel de reseau de neurones. La description mathematique complete d'un modele temps-reel requiert la donnee de trois dynamiques: la dynamique d'activation ou dynamique des memoires a court terme qui determine l'evolution des etats d'activation des unites. La dynamique des poids ou dynamique des memoires a long terme qui determine l'evolution des vecteurs poids selon une regle d'apprentissage ou un mecanisme d'auto-organisation. Une dynamique exogene qui decrit l'evolution des stimuli exterieurs au reseau et que nous representerons par un processus aleatoire. Aussi l'evolution du reseau est donnee par un systeme dynamique non autonome couple, dans le produit cartesien de l'espace d'activation par l'espace des poids. Avec ce formalisme, nous etudions un modele de reseau qui peut etre vu comme une version temps-reel des cartes auto-organisatrices de kohonen et plus generalement d'une classe de reseaux utilises comme modules elementaires dans des architectures evoluees (art, neocognitron,. . . )

25

Aupetit, Michaël. "Approximation de variétés par réseaux de neurones auto-organisés." Grenoble INPG, 2001. http://www.theses.fr/2001INPG0128.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les problèmes de discrimination, de classification, d'approximation de fonctions, de diagnostic ou de commande qui se posent notamment dans le domaine du génie industriel, peuvent se ramener à un problème d'approximation de variétés. Nous proposons une méthode d'approximation de variétés sous-jacentes à une distribution de données, basée sur une approche connexionniste auto-organisée et procédant en trois étapes : un positionnement de représentants de la distribution par des techniques de quantification vectorielle permet d'obtenir un modèle discret, un apprentissage de la topologie de cette distribution par construction de la triangulation induite de Delaunay selon un algorithme d'apprentissage compétitif donne un modèle linéaire par morceaux, et une interpolation non linéaire mène à un modèle non linéaire des variétés. Notre première contribution concerne la définition, l'étude des propriétés géométriques et la proposition d'algorithmes de recherche d'un nouveau type de voisinage "[gamma]-Observable" alliant des avantages du voisinage des k-plus-proches-voisins et du voisinage naturel, utilisable en grande dimension et en quantification vectorielle. Notre seconde contribution concerne une méthode d'interpolation basée sur des "noyaux de Voronoi͏̈" assurant la propriété d'orthogonalité nécessaire à la modélisation de variétés, avec une complexité de calcul équivalente ou plus faible que les méthodes d'interpolation existantes. Cette technique est liée au voisinage [gamma]-Observable et permet de construire différents noyaux gaussiens utilisés dans les réseaux RBFs. Les outils développés dans cette approche originale sont appliqués en approximation de fonctions pour l'identification d'un préhenseur électropneumatique, en approximation de variétés, et en discrimination et analyse de données. Il est notamment montré qu'il est intéressant d'utiliser les voisins 0. 5-observables pour définir les points frontières entre classes et affecter les éléments à leur classe d'appartenance.

26

Jiang, Fei. "Optimisation de la topologie de grands réseaux de neurones." Paris 11, 2009. http://www.theses.fr/2009PA112211.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Dans cette thèse, nous présentons notre étude concernant l'influence de la topologie sur les performances d'apprentissage des réseaux de neurones à topologie complexe. Trois réseaux de neurones différents ont été étudiés : le classique « Self-Organizing Maps » (SOM) avec topologie non-régulière complexe, le « Echo States Network » (ESN) et le « Standard Model Features » (SMF). Dans chaque cas, nous avons commencé par comparer les performances de différentes topologies pour la même tâche. Nous avons ensuite essayé d'optimiser la topologie de certains réseaux de neurones afin d'améliorer ces performances. La première partie traite des Cartes Auto-Organisatrices (SOMs) et la tâche est la classification des chiffres manuscrits de la base de MNIST. Nous montrons que la topologie a un faible impact sur les performances et la robustesse aux défaillances du neurone, du moins pour l'apprentissage à longue durée. La performance peut cependant être améliorée de près de 10% par évolution artificielle de la topologie du réseau. Dans nos conditions expérimentales, les réseaux évolués sont "plus aléatoires" que les réseaux de départ, et affichent une distribution des degrés plus hétérogène. Dans la seconde partie, on propose d'appliquer CMA-ES, la méthode "état de l'art" pour l'optimisation évolutionnaire continue, à l'apprentissage évolutionnaire des paramètres d'un Echo States Network. Sont ainsi optimisés les poids de sortie, bien sûr, mais aussi, le Rayon Spectral et/ou les pentes de la fonction d'activation des neurones). Tout d'abord, un problème standard d'apprentissage supervisé est utilisée pour valider l'approche et la comparer à celle d'origine. Mais la flexibilité de l'optimisation évolutionnaire nous permet d'optimiser non seulement les poids de sortie, mais également, ou alternativement, les autre paramètres des ESN, menant parfois à des résultats améliorés. Le problème classique de l'équilibre du « double pôle » est utilisé pour démontrer la faisabilité de l'apprentissage par renforcement évolutionnaire des ESN. Nous montrons que l'ESN évolutionaire obtient des résultats qui sont comparables à ceux des meilleures méthodes de l'apprentissage de topologie et de l'évolution de neurones. Enfin, la dernière partie présente notre recherche initiale de la SMF - un modèle de reconnaissance d'objets visuels qui est inspirée par le cortex visuel. Deux versions basées sur SMF sont appliquées au problème posé dans un des Challenges PASCAL – Visual multi-Object Challenge (VOC2008). Notre but sur le long terme est de trouver la topologie optimale du modèle SMF, mais le coût de calcul est pour l'instant trop important pour optimiser la topologie complète directement. Dans un premier temps, donc, nous appliquons un algorithme évolutionnaire pour sélectionner automatiquement les caractèristiques utilisés par les systèmes. Nous montrons que, pour le défi VOC2008, avec seulement 20% caractèristiques choisies, le système fonctionne aussi bien qu'avec la totalité des 1000 caractèristiques choisies au hasard
In this dissertation, we present our study regarding the influence of the topology on the learning performances of neural networks with complex topologies. Three different neural networks have been investigated: the classical Self-Organizing Maps (SOM) with complex graph topology, the Echo States Network (ESN) and the Standard Model Features(SMF). In each case, we begin by comparing the performances of different topologies for the same task. We then try to optimize the topology of some neural network in order to improve such performance. The first part deals with Self-Organizing Maps, and the task is the standard classification of handwritten digits from the MNIST database. We show that topology has a small impact on performance and robustness to neuron failures, at least at long learning times. Performance may however be increased by almost 10% by artificial evolution of the network topology. In our experimental conditions, the evolved networks are more random than their parents, but display a more heterogeneous degree distribution. In the second part, we propose to apply CMA-ES, the state-of-the-art method in evolutionary continuous parameter optimization, to the evolutionary learning of the parameters of an Echo State Network (the Readout weights, of course, but also, Spectral Radius, Slopes of the neurons active function). First, a standard supervised learning problem is used to validate the approach and compare it to the original one. But the flexibility of Evolutionary optimization allows us to optimize not only the outgoing weights but also, or alternatively, other ESN parameters, sometimes leading to improved results. The classical double pole balancing control problem is used to demonstrate the feasibility of evolutionary reinforcement learning of ESN. We show that the evolutionary ESN obtain results that are comparable with those of the best topology-learning neuro-evolution methods. Finally, the last part presents our initial research of the SMF - a visual object recognition model which is inspired by the visual cortex. Two version based on SMF are applied to the PASCAL Visual multi-Object recognition Challenge (VOC2008). The long terms goal is to find the optimal topology of the SMF model, but the computation cost is however too expensive to optimize the complete topology directly. So as a first step, we apply an Evolutionary Algorithm to auto-select the feature used by the systems. We show that, for the VOC2008 challenge, with only 20% selected feature, the system can perform as well as with all 1000 randomly selected feature

27

Alvado, Ludovic. "Neurones artificiels sur silicium : une évolution vers les réseaux." Bordeaux 1, 2003. http://www.theses.fr/2003BOR12674.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse décrit une nouvelle approche pour la modélisation de réseaux de neurones biologiques. Cette approche utilise des circuits intégrés analogiques spécifiques (ASIC) dans lesquels le formalisme de Hodgkin-Huxley est implémenté dans le but de réaliser des réseaux de neurones artificiels de densité moyenne et biologiquement réaliste. Elle aborde aussi les problèmes de disparités entre composants et le choix d’une structure optimisée pour l’utilisation en réseau
This thesis describes a new approach for modelling biological neuron networks. This approach uses analogue specific integrated circuit (ASIC) in which Hodgkin-Huxley formalism as been implemented to integrate medium density artificial neural network, modelled at a biological realistic level. This thesis also deals with the component mismatches problem and the pertinent choice of optimized structure dedicated to network applications

28

Biela, Philippe. "Classification automatique d'observations multidimensionnelles par réseaux de neurones compétitifs." Lille 1, 1999. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/1999/50376-1999-469.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

L'objet du travail présenté dans ce mémoire est la classification d'observations multidimensionnelles à l'aide d'outils connexionistes appelés réseaux de neurones compétitifs. Le premier chapitre expose les principales techniques dites classique dédiées à la classification automatique d'un ensemble d'observations. Le second chapitre positionne le champ d'investigation de nos recherches dans le domaine de la classification automatique par réseaux de neurones. Nous y présentons quelques développements récents faits en classification dans le domaine cognitif en distinguant les techniques probabilistes utilisant une approche statistique et celles dédiées au domaine métrique avec une approche itérative. Le troisième chapitre présente dans le détail l'architecture et les spécificités comportementales de l'outil que nous avons développé à des fins de classification : le réseau de neurones compétitif. Enfin, le dernier chapitre montre comment, par l'action simultanée et coopérative des réseaux compétitifs, nous pouvons engendrer une action de classification cohérente parmi un ensemble d'observations disponibles d'origines inconnues. Pour illustrer et valider notre méthode nous utilisons différents échantillons d'observations issus de la simulation ou d'applications réelles comme le contrôle qualité de bouteilles en verre par vision artificielle.

29

Elhor, Noureddine. "Suivi de fonctionnement d'une éolienne par réseaux de neurones." Lille 1, 2000. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/2000/50376-2000-57.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Nous presentons une approche de suivi de fonctionnement d'un systeme aerogenerateur par analyse des signaux de vibration observes sur des fenetres temporelles glissantes. En particulier, nous sommes interesses par la surveillance du multiplicateur et de la generatrice elements sensibles sur lesquels nous avons installe des capteurs de vibration. Puisqu'il est difficile voire dangereux de creer des defauts sur une machine en pleine production, les signaux qui nous ont ete disponibles sont ceux du fonctionnement normal. Notre demarche a consiste alors a caracteriser ce fonctionnement par des spectres d'energie calcules sous differentes conditions. Nous justifions cette demarche par le fait que l'eolienne est une machine tournante et il est important de connaitre et verifier la presence de certaines frequences caracteristiques de certains elements de la machine. Les spectres extraits ont ete reduits a un nombre limite de bandes d'energies realisant ainsi des gabarits. Ces spectres reduits ont constitue les entrees et les sorties de reseaux de neurones autoassociateurs. Ce type de reseaux assure une double fonction : une projection non lineaire plane obtenue sur sa couche centrale et une estimation du spectre de fonctionnement normal en sortie
La projection non lineaire offre une visualisation plane des donnees alors que les comparaisons entre les sorties estimees et reelles generent des residus permettant de verifier si le spectre courant a devie ou non du fonctionnement normal memorise par le reseau. Pour valider notre etude, nous avons teste les performances du reseau sur des donnees en fonctionnement normal acquis dans des situations differentes de celles de la base d'apprentissage et sur des situations correspondant a des defauts simules type balourd. Ce type de defauts se manifeste par l'apparition d'une frequence et ses harmoniques dans le spectre d'energie. Dans les deux situations, les resultats obtenus par le reseau ont ete quantifies et se sont reveles satisfaisants. Nous avons exploite, par ailleurs, un reseau modulaire a apprentissage supervise pour la discrimination entre deux situations : le fonctionnement normal et la presence d'un defaut type balourd d'une amplitude minimale fixee. Les performances du reseau ont ete testees sur des defauts d'amplitudes differentes. Souvent les methodes de diagnostic sont appliquees sur des bancs d'essais dans des conditions de laboratoire controlees. Notre demarche est d'autant plus importante que nous surveillons une machine reelle en pleine production

30

Chakik, Fadi El. "Maximum d'entropie et réseaux de neurones pour la classification." Grenoble INPG, 1998. http://www.theses.fr/1998INPG0091.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette these s'inscrit dans le cadre de la classification. Elle porte particulierement sur l'etude des methodes basees sur le principe du maximum d'entropie (maxent). Ces approches ont ete utilisees dans le laboratoire leibniz, par exemple, pour apprendre des comportements a un robot autonome. Le but du travail a ete de comparer cette approche a celles basees sur des reseaux de neurones. Une analyse theorique de la classification a permis de montrer qu'il existe une equivalence entre le maxent et l'apprentissage hebbien des reseaux neuronaux. Apprendre les valeurs des poids de ces derniers est equivalent a apprendre les valeurs moyennes de certains observables du maxent. L'inclusion de nouveaux observables permet d'apprendre a apprendre avec des regles d'apprentissage plus performantes dans le cadre des reseaux de neurones. Le maxent a ete applique a deux problemes particuliers : la classification des ondes de breiman (probleme standard en apprentissage), et la reconnaissance de textures d'images spot. Ces applications ont montre que le maxent permet d'atteindre des performances comparables, voire meilleures, que les methodes neuronales. La robustesse du code du maxent mis au point au cours de cette these est en train d'etre etudiee dans le laboratoire tima. Il est prevu qu'il soit telecharge sur un satellite americain (projet mptb), pour l'evaluer en presence de rayonnements ionisants, dans la perspective de faire des traitements d'images en systemes embarques.

31

Demartines, Pierre. "Analyse de données par réseaux de neurones auto-organisés." Grenoble INPG, 1994. http://www.theses.fr/1994INPG0129.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Chercher a comprendre des donnees, c'est souvent chercher a trouver de l'information cachee dans un gros volume de mesures redondantes. C'est chercher des dependances, lineaires ou non, entre les variables observees pour pouvoir resumer ces dernieres par un petit nombre de parametres. Une methode classique, l'analyse en composantes principales (acp), est abondamment employee dans ce but. Malheureusement, il s'agit d'une methode exclusivement lineaire, qui est donc incapable de reveler les dependances non lineaires entre les variables. Les cartes auto-organisantes de kohonen sont des reseaux de neurones artificiels dont la fonction peut etre vue comme une extension de l'acp aux cas non-lineaires. L'espace parametrique est represente par une grille de neurones, dont al forme, generaleent carree ou rectangulaire, doit malheureusement etre choisie a priori. Cette forme est souvent inadaptee a celle de l'espace parametriue recherche. Nous liberons cette contrainte avec un nouvel algorithme, nomme vector quantization and projection (vqp), qui est une sorte de carte auto-organisante dont l'espace de sortie est continu et prend automatiquement la forme adequate. Sur le plan mathematique, vqp peut etre defini comme la recherche d'un diffeomorphisme entre l'espace brute des donnees et un espace parametrique inconnu a trouver. Plus intuitivement, il s'agit d'un depliage de la structure des donnees vers un espace de plus petite dimension. Cette dimension, qui correspond au nombre de degres de liberte du phenomene etudie, peut etre determinee par des methodes d'analyse fractale du nuage de donnees. Afin d'illustrer la generalite de l'approche vqp, nous donnons une serie d'exemples d'applications, simulees ou reelles, dans des domaines varies qui vont de la fusion de donnees a l'appariement de graphes, en passant par l'analyse ou la surveillance de procedes industriels, la detection de defauts dans des machines ou le routage adaptatif en telecommunications

32

Oussar, Yacine. "Réseaux d'ondelettes et réseaux de neurones pour la modélisation statique et dynamique de processus." Phd thesis, Université Pierre et Marie Curie - Paris VI, 1998. http://pastel.archives-ouvertes.fr/pastel-00000677.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Durant les dix dernières années, les réseaux de neurones à fonctions sigmoïdales ont connu de grands succès dans de nombreux domaines. Associés à des algorithmes d'apprentissage efficaces, ils constituent un puissant outil de modélisation non linéaire de processus, grâce à leur propriété d'approximation universelle parcimonieuse. Ce travail de thèse propose une mise en uvre de réseaux d'ondelettes, alternative possible aux réseaux de neurones, pour la modélisation statique et dynamique. Les ondelettes sont une famille de fonctions issues du traitement du signal et de l'image, dont il a été récemment montré qu'elles possèdent la propriété d'approximateur universel. La mise en uvre des réseaux d'ondelettes est effectuée suivant deux approches : - Approche fondée sur la transformée continue: les paramètres des fonctions sont à valeurs continues dans l'ensemble des nombres réels et peuvent donc être ajustés, comme ceux d'un réseau de neurones classique, à l'aide de méthodes de gradient. Nous proposons des réseaux et des algorithmes d'apprentissage pour la modélisation entrée-sortie et d'état. Les résultats obtenus sur des processus simulés et réel montrent que ces réseaux permettent d'obtenir des modèles de performance et de parcimonie équivalentes à celles des réseaux de neurones si des précautions de mise en uvre sont prises. - Approche fondée sur la transformée discrète: les paramètres des fonctions étant à valeurs discrètes, les apprentissages fondés sur des méthodes de gradient ne sont pas applicables. Nous proposons de construire des réseaux par sélection d'ondelettes dans une bibliothèque pré-établie. Cette procédure est également utilisée pour l'initialisation des paramètres des ondelettes avant leur apprentissage. Les résultats obtenus montrent que la procédure proposée confère à l'apprentissage une meilleure indépendance vis-à-vis de l'initialisation aléatoire des autres paramètres ajustables du réseau.

33

Bissery, Christophe. "La détection centralisée des fuites sur les réseaux d'eau potable par réseaux de neurones." Lyon, INSA, 1994. http://www.theses.fr/1994ISAL0112.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

On assiste depuis quelques années, sous la pression de l'environnement, à un changement de perception du risque de dysfonctionnement des systèmes techniques et en particulier des réseaux d'eau potable. Le risque nul n'existe pas et il faut donc apprendre à le gérer. C'est dans ce cadre qu'émerge le besoin de détection centralisée des fuites sur les réseaux d'eau potable, les fuites qui représentent une part importante du risque de dysfonctionnement de la distribution d'eau. Ce travail de recherche propose un système de détection centralisée des fuites sur les réseaux d'eau potable à base de réseaux de neurones. On y étudie en particulier des méthodologies de construction des bases d'apprentissage et de localisation des capteurs qui permettent un passage simple de l'expérimentation à la détection en site réel. Ce travail a permis de constater que sur modèle hydraulique de réseau réel, le système de détection à base de réseau de neurones permettait d'obtenir des résultats en détection qui justifiaient d'une mise en place réelle. L'étude s'achève sur une définition des priorités d'étude pour permettre cette mise en place sur site réel (en particulier, les besoins de prévision de consommation horaire)
For few years, under the influence of the urban environment, the perception of dysfunction risk in technical systems and in particular in water supply networks has changed. The lack of risk doesn't exist and it's necessary to learn how to manage it. It's in this way that appears the need of centralized leakage detection on water supply networks, leaks that represent an important part of the dysfunction risk of water supply. This study proposes a centralized leakage detection system using a computerized neural network approach. The building method of learning bases and the sensors localization method are pointed out and developed. This study has showed that on a realistic network model results obtained with the centralized leakage detection system using a computerized neural network approach allowed experimentations on real networks. The study ends on the presentation of the working priorities for these real experimentations (and in particular the need of hourly water consumption previsions)

34

Basterrech, Sebastián. "Apprentissage avec les réseaux de neurones aléatoires et les machines de calcul avec réservoir de neurones." Rennes 1, 2012. http://www.theses.fr/2012REN1S178.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Au cours de ces dernières années, un nouveau paradigme a été introduit dans le domaine de l'apprentissage automatique sous le nom de Reservoir Computing (RC). La croissance de ces méthodes a été rapide en raison de leur succès dans la résolution de problèmes d'apprentissage automatique et dans d'autres applications informatiques. L'une des premières méthodes de RC proposée a été le modèle Echo State Network (ESN). Dans cette thèse nous avons conçu une nouvelle technique d'initialisation du modèle ESN, qui est basée sur des cartes topographiques. Dans les années 80s, un nouvel outil d'apprentissage statistique mélangeant des concepts des réseaux de neurones et de la théorie des ﬁles d'attente a été proposé sous le nom de Réseau de Neurones Aléatoires (RNNs). Nous développons de nouvelles techniques d'apprentissage (de type Quasi-Newton) pour ces outils, basées dans ce qui se fait de mieux dans le domaine des réseaux de neurones classiques. Par la suite, nous proposons un nouvel outil bien adapté à la prédiction de séries temporelles comme le traﬁc observé dans un point de l'Internet, que nous avons appelé Echo State Queueing Networks. Notre dernière contribution est la proposition de nouvelles idées pour la mesure de la qualité perceptuelle. La qualité de l'audio ou la voix sur Internet est fortement aﬀectée par l'état du réseau. L'outil PESQ (Perceptual Evaluation of Speech Quality) sous recommandation ITU-T P. 862, permet d'évaluer la qualité de la voix transmise par un système de télécommunications. PESQ est un procédé fournissant de façon automatique une évaluation précise réalisée en comparant les signaux originaux et ceux reçus. Nous avons développé un outil pour mesurer la qualité des ﬂux VoIP en estimant PESQ à l'aide des outils d'apprentissage statistique précédemment présentés. Ceci permet d'estimer la qualité des ﬂux VoIP de façon automatique, en temps réel et sans avoir recours aux signaux d'origine
Since the 1980s a new computational model merging concepts from neural networks and queuing theory was developed. The model was introduced under the name of Random Neural Networks (RNNs), inside the ﬁeld of Neural Networks. In this thesis, a ﬁrst contribution consists of an adaptation of quasi-Newton optimisation methods for training the RNN model. In the last decade, a new computational paradigm was introduced in the ﬁeld of Machine Learning, under the name of Reservoir Computing (RC). One of the pioneers and most diﬀused RC methods is the Echo State Network (ESN) model. Here, we propose a method based on topographic maps to initialise the ESN procedure. Another contribution of the thesis is the introduction of a new RC model called the Echo State Queueing Network (ESQN), where we use ideas coming from RNNs for the design of the reservoir. An ESQN consists of an ESN where the reservoir has a new dynamics inspired by recurrent RNNs. In this thesis, we position the ESQN method in the global Machine Learning area, and provide examples of their use and performances. Finally, we propose a method for real–time estimation of Speech Quality using the learning tools above described. Audio quality in the Internet can be strongly affected by network conditions. As a consequence, many techniques to evaluate it have been developed. In particular, the ITU-T adopted in 2001 a technique called Perceptual Evaluation of Speech Quality (PESQ) to automatically measuring speech quality. PESQ is a well-known and widely used procedure, providing in general an accurate evaluation of perceptual quality by comparing the original and received voice sequences. The thesis provides a procedure for estimating PESQ output working only with measures taken on the network state and using some properties of the communication system, without any original signal. The experimental results obtained prove the capability of our approach to give good estimations of the speech quality in a real–time context

35

Krauth, Werner. "Physique statistique des réseaux de neurones et de l'optimisation combinatoire." Phd thesis, Université Paris Sud - Paris XI, 1989. http://tel.archives-ouvertes.fr/tel-00011866.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Dans la première partie nous étudions l'apprentissage et le rappel dans des réseaux de neurones à une couche (modèle de Hopfield). Nous proposons un algorithme d'apprentissage qui est capable d'optimiser la 'stabilité', un paramètre qui décrit la qualité de la représentation d'un pattern dans le réseau. Pour des patterns aléatoires, cet algorithme permet d'atteindre la borne théorique de Gardner. Nous étudions ensuite l'importance dynamique de la stabilité et d'un paramètre concernant la symétrie de la matrice de couplages. Puis, nous traitons le cas où les couplages ne peuvent prendre que deux valeurs (inhibiteur, excitateur). Pour ce modèle nous établissons les limites supérieures de la capacité par un calcul numérique, et nous proposons une solution analytique. La deuxième partie de la thèse est consacrée à une étude détaillée - du point de vue de la physique statistique - du problème du voyageur de commerce. Nous étudions le cas spécial d'une matrice aléatoire de connexions. Nous exposons la théorie de ce problème (suivant la méthode des répliques) et la comparons aux résultats d'une étude numérique approfondie.

36

Personnaz, Léon. "Etude des réseaux de neurones formels : conception, propriétés et applications." Paris 6, 1986. http://www.theses.fr/1986PA066569.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Etude de l'application des réseaux de neurones à résoudre des problèmes de classification et de reconnaissance de formes. Définition des conditions que les réseaux de neurones doivent satisfaire pour être efficaces. Evaluation des aspects fondamentaux des mécanismes d'apprentissage

37

Mercier, David. "Hétéro-association de signaux audio-vidéo par réseaux de neurones." Rennes 1, 2003. http://www.theses.fr/2003REN10009.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Ce travail de thèse poursuit la définition de la méthodologie d'utilisation des STANN en abordant deux problématiques importantes : la génération de signaux impulsionnels et l'utilisation de plusieurs modalités. Dans un premier temps, nous proposons une méthode de conversion automatique des informations continues en impulsions. Elle permet d'utiliser ces réseaux de neurones avec les mêmes prétraitements classiques que ceux utilisés avec d'autres outils comme les HMM. Puis nous effectuons une étude sur la fusion des modalités avec ce modèle spatio-temporel. De légères modifications des architectures sont proposées afin de permettre d'exploiter très simplement et sans calculs de rééchantillonnage, des modalités disponibles à des cadences différentes. Ces propositions ont été validées par l'implémentation de systèmes de reconnaissance de la parole audio, vidéo et bimodaux. Les résultats sont principalement présentés dans le cadre monolocuteur avec un apprentissage direct en un seul coup.

38

Puechmorel, Stéphane. "Réseaux de neurones et optimisation globale en analyse temps-fréquence." Toulouse, INPT, 1994. http://www.theses.fr/1994INPT105H.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Dans de nombreux domaines du traitement du signal, il est necessaire d'estimer la frequence instantanee de signaux se presentant comme une somme de composantes elementaires modulees en frequence. Apres un bref rappel des methodes temps-frequence classiques, de nouveaux algorithmes utilisant les reseaux de neurones et des techniques d'optimisation globale sont presentes. En particulier, une nouvelle classe de reseaux a apprentissage non supervise adaptes a l'analyse temps-frequence est decrite en detail. De meme, une approche basee sur des operateurs integraux lineaires couplee a un algorithme d'optimisation globale est etudiee. Pour chaque methode, des resultats compares issus de simulations numeriques sont donnes

39

Boné, Romuald. "Réseaux de neurones récurrents pour la prévision de séries temporelles." Tours, 2000. http://www.theses.fr/2000TOUR4003.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux de neurones à propagation avant sont statiques, leurs sorties ne dépendant que des entrées courantes. Pour contourner cette limitation, la technique la plus répandue repose sur l'utilisation de fenêtres temporelles. Ces techniques sont insuffisantes lorsqu'une mémoire relativement profondes est nécessaire ou lorsque la profondeur de celle-ci est inconnue. Les réseaux de neurones récurrents sont capables de modéliser des dépendances temporelles de durée quelconque entre les entrées et les sorties désirées associées, en utilisant une mémoire implicite, codée grace aux connexions récurrentes et aux sorties des neurones eux-mêmes. Cependant, en pratique les réseaux récurrents sont associés à des algorithmes d'apprentissage bases sur le calcul du gradient, qui présentent des limitations dans la prise en compte des dépendances à moyen ou long terme. La résolution de ce problème peut passer par l'ajout de connexions contenant des retards. Le choix de la localisation de ces connexions et du nombre de retards nécessaires restent à la charge de l'expérimentateur. Nous proposons une nouvelle approche qui repose sur la définition de critères pour l'ajout sélectif de connexions à délais. Il en résulte des algorithmes constructifs, permettant d'adapter l'architecture du réseau au problème temporel à traiter. Le premier critère propose correspond à la variation de l'erreur lors de l'exploration restreinte des différentes alternatives d'implantation de connexions supplémentaires. L'exploration consiste en un apprentissage limite à quelques itérations. Le deuxième critère repose sur un calcul des corrélations entre des quantités générées à l'intérieur du réseau au cours de l'apprentissage, et correspond à une estimation de la variation des poids des connexions à délais candidates. Des expérimentations systématiques ont été menées sur des problèmes de référence de prévision de séries temporelles. Les résultats obtenus montrent l'intérêt de nos contributions.

40

Strock, Anthony. "Mémoire de travail dans les réseaux de neurones récurrents aléatoires." Thesis, Bordeaux, 2020. http://www.theses.fr/2020BORD0195.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

La mémoire de travail peut être définie comme la capacité à stocker temporairement et à manipuler des informations de toute nature.Par exemple, imaginez que l'on vous demande d'additionner mentalement une série de nombres. Afin de réaliser cette tâche, vous devez garder une trace de la somme partielle qui doit être mise à jour à chaque fois qu'un nouveau nombre est donné. La mémoire de travail est précisément ce qui permettrait de maintenir (i.e. stocker temporairement) la somme partielle et de la mettre à jour (i.e. manipuler). Dans cette thèse, nous proposons d'explorer les implémentations neuronales de cette mémoire de travail en utilisant un nombre restreint d'hypothèses.Pour ce faire, nous nous plaçons dans le contexte général des réseaux de neurones récurrents et nous proposons d'utiliser en particulier le paradigme du reservoir computing.Ce type de modèle très simple permet néanmoins de produire des dynamiques dont l'apprentissage peut tirer parti pour résoudre une tâche donnée.Dans ce travail, la tâche à réaliser est une mémoire de travail à porte (gated working memory).Le modèle reçoit en entrée un signal qui contrôle la mise à jour de la mémoire.Lorsque la porte est fermée, le modèle doit maintenir son état de mémoire actuel, alors que lorsqu'elle est ouverte, il doit la mettre à jour en fonction d'une entrée.Dans notre approche, cette entrée supplémentaire est présente à tout instant, même lorsqu'il n'y a pas de mise à jour à faire.En d'autres termes, nous exigeons que notre modèle soit un système ouvert, i.e. un système qui est toujours perturbé par ses entrées mais qui doit néanmoins apprendre à conserver une mémoire stable.Dans la première partie de ce travail, nous présentons l'architecture du modèle et ses propriétés, puis nous montrons sa robustesse au travers d'une étude de sensibilité aux paramètres.Celle-ci montre que le modèle est extrêmement robuste pour une large gamme de paramètres.Peu ou prou, toute population aléatoire de neurones peut être utilisée pour effectuer le gating.Par ailleurs, après apprentissage, nous mettons en évidence une propriété intéressante du modèle, à savoir qu'une information peut être maintenue de manière entièrement distribuée, i.e. sans être corrélée à aucun des neurones mais seulement à la dynamique du groupe.Plus précisément, la mémoire de travail n'est pas corrélée avec l'activité soutenue des neurones ce qui a pourtant longtemps été observé dans la littérature et remis en cause récemment de façon expérimentale.Ce modèle vient confirmer ces résultats au niveau théorique.Dans la deuxième partie de ce travail, nous montrons comment ces modèles obtenus par apprentissage peuvent être étendus afin de manipuler l'information qui se trouve dans l'espace latent.Nous proposons pour cela de considérer les conceptors qui peuvent être conceptualisé comme un jeu de poids synaptiques venant contraindre la dynamique du réservoir et la diriger vers des sous-espaces particuliers; par exemple des sous-espaces correspondants au maintien d'une valeur particulière.Plus généralement, nous montrons que ces conceptors peuvent non seulement maintenir des informations, ils peuvent aussi maintenir des fonctions.Dans le cas du calcul mental évoqué précédemment, ces conceptors permettent alors de se rappeler et d'appliquer l'opération à effectuer sur les différentes entrées données au système.Ces conceptors permettent donc d'instancier une mémoire de type procédural en complément de la mémoire de travail de type déclaratif.Nous concluons ce travail en remettant en perspective ce modèle théorique vis à vis de la biologie et des neurosciences
Working memory can be defined as the ability to temporarily store and manipulate information of any kind.For example, imagine that you are asked to mentally add a series of numbers.In order to accomplish this task, you need to keep track of the partial sum that needs to be updated every time a new number is given.The working memory is precisely what would make it possible to maintain (i.e. temporarily store) the partial sum and to update it (i.e. manipulate).In this thesis, we propose to explore the neuronal implementations of this working memory using a limited number of hypotheses.To do this, we place ourselves in the general context of recurrent neural networks and we propose to use in particular the reservoir computing paradigm.This type of very simple model nevertheless makes it possible to produce dynamics that learning can take advantage of to solve a given task.In this job, the task to be performed is a gated working memory task.The model receives as input a signal which controls the update of the memory.When the door is closed, the model should maintain its current memory state, while when open, it should update it based on an input.In our approach, this additional input is present at all times, even when there is no update to do.In other words, we require our model to be an open system, i.e. a system which is always disturbed by its inputs but which must nevertheless learn to keep a stable memory.In the first part of this work, we present the architecture of the model and its properties, then we show its robustness through a parameter sensitivity study.This shows that the model is extremely robust for a wide range of parameters.More or less, any random population of neurons can be used to perform gating.Furthermore, after learning, we highlight an interesting property of the model, namely that information can be maintained in a fully distributed manner, i.e. without being correlated to any of the neurons but only to the dynamics of the group.More precisely, working memory is not correlated with the sustained activity of neurons, which has nevertheless been observed for a long time in the literature and recently questioned experimentally.This model confirms these results at the theoretical level.In the second part of this work, we show how these models obtained by learning can be extended in order to manipulate the information which is in the latent space.We therefore propose to consider conceptors which can be conceptualized as a set of synaptic weights which constrain the dynamics of the reservoir and direct it towards particular subspaces; for example subspaces corresponding to the maintenance of a particular value.More generally, we show that these conceptors can not only maintain information, they can also maintain functions.In the case of mental arithmetic mentioned previously, these conceptors then make it possible to remember and apply the operation to be carried out on the various inputs given to the system.These conceptors therefore make it possible to instantiate a procedural working memory in addition to the declarative working memory.We conclude this work by putting this theoretical model into perspective with respect to biology and neurosciences

41

Chevallier, Julien. "Modélisation de grands réseaux de neurones par processus de Hawkes." Thesis, Université Côte d'Azur (ComUE), 2016. http://www.theses.fr/2016AZUR4051/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Comment fonctionne le cerveau ? Peut-on créer un cerveau artificiel ? Une étape essentielle en vue d'obtenir une réponse à ces questions est la modélisation mathématique des phénomènes à l'œuvre dans le cerveau. Ce manuscrit se focalise sur l'étude de modèles de réseaux de neurones inspirés de la réalité.Cette thèse se place à la rencontre entre trois grands domaines des mathématiques - l'étude des équations aux dérivées partielles (EDP), les probabilités et la statistique - et s'intéresse à leur application en neurobiologie. Dans un premier temps, nous établissons les liens qui existent entre deux échelles de modélisation neurobiologique. À un niveau microscopique, l'activité électrique de chaque neurone est représentée par un processus ponctuel. À une plus grande échelle, un système d'EDP structuré en âge décrit la dynamique moyenne de ces activités. Il est alors montré que le modèle macroscopique peut se retrouver de deux manières distinctes : en étudiant la dynamique moyenne d'un neurone typique ou bien en étudiant la dynamique d'un réseau de $n$ neurones en champ-moyen quand $n$ tend vers l’infini. Dans le second cas, la convergence vers une dynamique limite est démontrée et les fluctuations de la dynamique microscopique autour de cette limite sont examinées. Dans un second temps, nous construisons une procédure de test d'indépendance entre processus ponctuels, ces derniers étant destinés à modéliser l'activité de certains neurones. Ses performances sont contrôlées théoriquement et vérifiées d'un point de vue pratique par une étude par simulations. Pour finir, notre procédure est appliquée sur de vraies données
How does the brain compute complex tasks? Is it possible to create en artificial brain? In order to answer these questions, a key step is to build mathematical models for information processing in the brain. Hence this manuscript focuses on biological neural networks and their modelling. This thesis lies in between three domains of mathematics - the study of partial differential equations (PDE), probabilities and statistics - and deals with their application to neuroscience. On the one hand, the bridges between two neural network models, involving two different scales, are highlighted. At a microscopic scale, the electrical activity of each neuron is described by a temporal point process. At a larger scale, an age structured system of PDE gives the global activity. There are two ways to derive the macroscopic model (PDE system) starting from the microscopic one: by studying the mean dynamics of one typical neuron or by investigating the dynamics of a mean-field network of $n$ neurons when $n$ goes to infinity. In the second case, we furthermore prove the convergence towards an explicit limit dynamics and inspect the fluctuations of the microscopic dynamics around its limit. On the other hand, a method to detect synchronisations between two or more neurons is proposed. To do so, tests of independence between temporal point processes are constructed. The level of the tests are theoretically controlled and the practical validity of the method is illustrated by a simulation study. Finally, the method is applied on real data

42

Pothier, Dominique. "Réseaux convolutifs à politiques." Master's thesis, Université Laval, 2021. http://hdl.handle.net/20.500.11794/69184.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Malgré leurs excellentes performances, les exigences élevées des réseaux de neurones artificiels en terme de volume de données et de puissance de calcul limitent leur adoption dans plusieurs domaines. C'est pourquoi il reste important de développer de nouvelles architectures moins voraces. Ce mémoire cherche à produire une architecture plus flexible et moins vorace en s'appuyant sur la théorie de l'apprentissage par renforcement. En considérant le réseau comme un agent suivant une politique, on réalise que cette politique est beaucoup plus rigide que celle suivie habituellement par les agents d'apprentissage par renforcement. Nous posons l'hypothèse qu'une architecture capable de formuler une politique plus flexible pourrait atteindre des performances similaires tout en limitant son utilisation de ressources. L'architecture que nous proposons s'inspire de la recherche faite en prédiction de paramètres, particulièrement de l'architecture hypernetwork, que nous utilisons comme base de référence. Nos résultats montrent que l'apprentissage d'une politique dynamique aussi performante que les politiques statiques suivies par les réseaux conventionnels n'est pas une tâche triviale. Nos meilleurs résultats indiquent une diminution du nombre de paramètres de 33%, une diminution des calculs de 12% au prix d'une baisse de l'exactitude des prédictions de 2%. Malgré ces résultats, nous croyons que notre architecture est un point de départ pouvant être amélioré de plusieurs manières que nous explorons rapidement en conclusion.
Despite their excellent performances, artificial neural networks high demand of both data and computational power limit their adoption in many domains. Developing less demanding architecture thus remain an important endeavor. This thesis seeks to produce a more flexible and less resource-intensive architecture by using reinforcement learning theory. When considering a network as an agent instead of a function approximator, one realize that the implicit policy followed by popular feed forward networks is extremely simple. We hypothesize that an architecture able to learn a more flexible policy could reach similar performances while reducing its resource footprint. The architecture we propose is inspired by research done in weight prediction, particularly by the hypernetwork architecture, which we use as a baseline model.Our results show that learning a dynamic policy achieving similar results to the static policies of conventional networks is not a trivial task. Our proposed architecture succeeds in limiting its parameter space by 20%, but does so at the cost of a 24% computation increase and loss of5% accuracy. Despite those results, we believe that this architecture provides a baseline that can be improved in multiple ways that we describe in the conclusion.

43

Koubi, Vassilada. "Reseaux de neurones et optimisation combinatoire." Paris 5, 1994. http://www.theses.fr/1994PA05S014.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les problemes d'optimisation combinatoire ont des donnees assez structurees qui conviennent au traitement d'une architecture neuronale. Ces problemes qui appartiennent en general a la classe np-complet, necessitent une grande puissance de calcul. L'objectif de ce travail est d'appliquer le modele de reseau de neurones aleatoires aux problemes d'optimisation combinatoire. L'application du reseau neuronal aleatoire de gelenbe, a un probleme d'optimisation combinatoire, est caracterisee par l'evolution des entrees externes, qui correspondent au gradient de la fonction objective, en contradiction avec les autres methodes neuronales ou les entrees sont en general constantes. Deux alternatives de resolution sont proposees : l'approche gradient, application de l'algorithme du gradient sur la fonction et l'approche dynamique, introduction du gradient de la fonction aux equations dynamiques qui sont liees au probleme considere. Nous avons resolu un probleme classique d'optimisation combinatoire, le probleme du voyageur de commerce, et un probleme de satisfaction des contraintes, le probleme de reines non attaquantes. De plus nous avons propose la solution pour d'autres problemes. Le reseau neuronal aleatoire applique au probleme du voyageur de commerce a ete evalue et compare avec les autres methodes connexionnistes. Les resultats obtenus sont assez satisfaisants, de qualite similaire (ou meme meilleure) a ceux obtenus par d'autres methodes. Le probleme de reines a ete resolu par deux modelisations. La premiere consiste a resoudre directement ce probleme, alors que dans la seconde on considere le probleme des reines comme un probleme du stable maximal. Quelque soit la methode retenue, toutes les solutions possibles, ou presque, pour ce probleme ont ete obtenues.

44

Richard, Vincent. "Outils de synthèse pour les réseaux réflecteurs exploitant la cellule Phoenix et les réseaux de neurones." Thesis, Rennes, INSA, 2018. http://www.theses.fr/2018ISAR0004/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Menée en partenariat avec Thales Alenia Space et le Centre National d’Etudes Spatiales (CNES), cette thèse s’inscrit dans un contexte international très actif sur une nouvelle technologie de systèmes antennaires : les réseaux réflecteurs (RA). Combinant les atouts des réflecteurs classiques et ceux des réseaux, les RA pourraient remplacer, à terme, les réflecteurs formés utilisés aujourd’hui. Ils sont constitués d’une source primaire placée en regard d’un réseau de cellules contrôlant les propriétés du champ électromagnétique réfléchi. Si de nombreuses études portent déjà sur la caractérisation des cellules, une des problématiques consiste à les sélectionner judicieusement pour réaliser l’antenne finale : c’est l’étape de synthèse.Un tour d’horizon consacré aux différentes méthodes de synthèse a révélé toute la complexité d’obtenir rapidement de bonnes performances simultanément sur les polarisations directes et croisées, pour une large bande de fréquences et pour la réalisation de diagrammes formés. La cellule Phoenix est sélectionnée dans ce travail pour ses bonnes propriétés puisqu’elle fournit l’ensemble de la gamme de phase suivant un cycle continu de géométries.Parce qu’une des contraintes dans la conception de RA est de maintenir des variations de géométries continues entre deux cellules juxtaposées à la surface du RA, un outil de représentation sphérique permettant de classer l’ensemble des cellules d’étude est proposé. Il répertorie judicieusement toutes les cellules sur une surface continue, fermée et périodique.Une nouvelle étape est franchie avec la conception de modèles comportementaux à l’aide de réseaux de neurones (ANN). Ces modèles permettent une caractérisation électromagnétique très rapide des cellules en termes de phase et d’amplitude des coefficients directs et croisées de la matrice de réflexion.L’originalité de l’algorithme de synthèse proposé dans ce travail se base sur l’utilisation combinée de la représentation sphérique et de la caractérisation rapide par ANN. Un outil d’optimisation de type min / max est utilisé pour améliorer les performances globales du panneau RA. Il est ensuite appliqué à un cas concret dans le cadre d’une mission de télécommunication
In collaboration with Thales Alenia Space and the French Space Agency (CNES), this PHD takes part in a very active international context on a new antenna: the reflectarrays (RA).Combining the advantages of conventional reflectors and those of networks, RA could eventually replace the currently used shaped reflectors. They consist of a primary source placed in front of a network of cells controlling the properties of the reflected electromagnetic field. Although many studies already focus on the characterization of cells, one of the issues is to carefully select them to achieve the final antenna: this is the synthesis step.An overview of different synthesis methods revealed the complexity to quickly obtain good performance simultaneously on the co- and cross-polarizations, for a wide frequency band and for the realization of shaped radiation pattern. The Phoenix cell is selected in this work for its good properties since it provides the entire phase range following a continuous cycle of geometries.Because one of the constraints in the design of RA is to maintain continuous geometry variations between two juxtaposed cells on the layout, a spherical representation tool made it possible to classify all the studied cells. It judiciously lists all the cells on a continuous, closed and periodic surface.A new step is reached with the design of behavioral models using Artificial Neural Networks (ANN). These models enable to a fast electromagnetic characterization of cells in terms of phase and amplitude of the direct and cross coefficients of the reflection matrix.The originality of the synthesis algorithm proposed in this work is the combined use of the spherical representation and a rapid cell characterization by ANN. A min / max optimization tool is used to improve the overall performance of the RA panel. It is then applied to a concrete case as part of a telecommunication mission

45

Bernauer, Éric. "Les réseaux de neurones et l'aide au diagnostic : un modèle de neurones bouclés pour l'apprentissage de séquences temporelles." Toulouse 3, 1996. http://www.theses.fr/1996TOU30277.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Apres avoir defini le probleme du diagnostic, les methodes habituellement employees pour le resoudre sont tout d'abord exposees selon l'existence, ou non, d'un modele, plutot mathematique ou plutot symbolique, du systeme a surveiller. Les reseaux de neurones artificiels sont ensuite presentes au travers de leurs proprietes fondamentales et notamment celles utiles au diagnostic. Une attention particuliere est portee sur les modeles proposes pour la detection des fautes dans laquelle le probleme est ramene a une reconnaissance des formes dans le cas de donnees statiques. La presence d'une dimension temporelle dans le probleme du diagnostic, notamment dans le cadre des systemes a evenements discrets, conduit alors a etudier les moyens de representer le temps dans les reseaux de neurones, modeles qui apprehendent habituellement cette grandeur avec difficulte. Le probleme type qui est envisage est celui de l'apprentissage de sequences temporelles. La representation spatiale du temps, dans laquelle ce dernier est introduit par un mecanisme externe, est tout d'abord etudiee. Les difficultes qu'elle pose font qu'il lui est prefere une representation dynamique du temps pour laquelle ce dernier est implicite. Les reseaux de neurones recurrents et les reseaux a delais sur les connexions sont alors etudies. Le modele du neurone boucle comme cas particulier d'un reseau recurrent est ensuite introduit. L'oubli et la memorisation d'informations apparaissent alors comme deux proprietes dynamiques du modele. Nous montrons ensuite comment utiliser ces neurones boucles pour l'apprentissage de sequences simples. Nous proposons alors, dans le cas de l'apprentissage de sequences complexes, plusieurs architectures et regles d'apprentissage. Le modele est evalue sur des problemes classiques d'apprentissage de grammaires. Un exemple d'application au diagnostic d'une cellule flexible est traite

46

Aziz, Mohammed, and Abdelaziz Bensrhair. "Apprentissage de réseaux de neurones impulsionnels. Application à des systèmes sensorimoteurs." INSA de Rouen, 2005. http://www.theses.fr/2005ISAM0005.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

L'intérêt des neurones impulsionnels réside en leur fonctionnement très proche de celui des neurones biologiques. Ces derniers codent leur information et leurs échanges inter-neuronaux sous forme d'impulsions calibrées et non comme le modèle de Mc Culloth et Pitts qui lui s'exprime en termes de fréquences moyennes d'émission d'impulsions. Si les modèles fréquentiels sont bien connus théoriquement du fait de leur ancienneté et de leur relative simplicité, ce n'est pas le cas des modèles impulsionnels. Le seul modèle développé actuellement est le modèle d'"Integre-and-Fire". Ce dernier avec ses variantes est aujourd'hui l'un des plus utilisés dans les simulations numériques utilisant des modèles impulsionnels. Les méthodes d'apprentissage classiques ne sont pas applicables à ce type de réseaux de neurones. De ce fait, des méthodes d'apprentissage spécifiques doivent être développées. Puisque les échanges inter-neuronaux s'effectuent sous forme d'impulsions calibrées et non sous forme de niveaux continus comme dans les neurones classiques. Dans cette thèse, nous avons présenté un système sensorimoteur constitué de réseau de neurones artificiels, utilisant un modèle biologiquement plausible de neurones impulsionnels. Nous avons proposé une méthode d'apprentissage adaptée pour ce système sensorimoteur. Cette méthode est basée sur la règle de Hebb. Il consiste à ne modifier que les poids synaptiques impliqués dans une action selon une loi apparentée à la méthode du renforcement. Avec le système sensorimoteur, nous avons simulé l'attraction du regard et le suivi de mouvement par l'apparition d'un objet contrasté par rapport au fond. Pour valider ce système sensorimoteur, nous avons présenté dans la dernière partie de cette thèse notre méthode d'apprentissage appliquée à un cas d'école : le pendule inversé.

47

Wang, Shengrui. "Réseaux multicouches de neurones artificiels : algorithmes d'apprentissage, implantations sur hypercube : applications." Phd thesis, Grenoble INPG, 1989. http://tel.archives-ouvertes.fr/tel-00335818.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

En adoptant une methode générale de distribution du réseau de cellules, sont proposes des algorithmes de communication sur un anneau et sur un hypercube qui résolvent les problèmes de multi-accumulation et de diffusion all-to-all. Il est montre, de plus, que ces algorithmes sont asymptotiquement optimaux. La simulation de l'identification des visages en contexte présentée constitue une tentative d'utilisation du modèle connexioniste comme nouveau paradigme pour modéliser des phénomènes cognitifs. Par ailleurs, l'application des réseaux multicouches a la reconnaissance de mots met en valeur l'intérêt de l'architecture a connexions partielles et superposées pour traiter des informations temporelles

48

Chabot, Florian. "Analyse fine 2D/3D de véhicules par réseaux de neurones profonds." Thesis, Université Clermont Auvergne‎ (2017-2020), 2017. http://www.theses.fr/2017CLFAC018/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les travaux développés dans cette thèse s’intéressent à l’analyse fine des véhicules à partir d’une image. Nous définissons le terme d’analyse fine comme un regroupement des concepts suivants : la détection des véhicules dans l’image, l’estimation de leur point de vue (ou orientation), la caractérisation de leur visibilité, leur localisation 3D dans la scène et la reconnaissance de leur marque et de leur modèle. La construction de solutions fiables d’analyse fine de véhicules laisse place à de nombreuses applications notamment dans le domaine du transport intelligent et de la vidéo surveillance.Dans ces travaux, nous proposons plusieurs contributions permettant de traiter partiellement ou complètement cette problématique. Les approches mises en oeuvre se basent sur l’utilisation conjointe de l’apprentissage profond et de modèles 3D de véhicule. Dans une première partie, nous traitons le problème de reconnaissance de marques et modèles en prenant en compte la difficulté de la création de bases d’apprentissage. Dans une seconde partie, nous investiguons une méthode de détection et d’estimation du point de vue précis en nous basant sur l’extraction de caractéristiques visuelles locales et de la cohérence géométrique. La méthode utilise des modèles mathématiques uniquement appris sur des données synthétiques. Enfin, dans une troisième partie, un système complet d’analyse fine de véhicules dans le contexte de la conduite autonome est proposé. Celui-ci se base sur le concept d’apprentissage profond multi-tâches. Des résultats quantitatifs et qualitatifs sont présentés tout au long de ce manuscrit. Sur certains aspects de l’analyse fine de véhicules à partir d’une image, ces recherches nous ont permis de dépasser l’état de l’art
In this thesis, we are interested in fine-grained analysis of vehicle from an image. We define fine-grained analysis as the following concepts : vehicle detection in the image, vehicle viewpoint (or orientation) estimation, vehicle visibility characterization, vehicle 3D localization and make and model recognition. The design of reliable solutions for fine-grained analysis of vehicle open the door to multiple applications in particular for intelligent transport systems as well as video surveillance systems. In this work, we propose several contributions allowing to address partially or wholly this issue. Proposed approaches are based on joint deep learning technologies and 3D models. In a first section, we deal with make and model classification keeping in mind the difficulty to create training data. In a second section, we investigate a novel method for both vehicle detection and fine-grained viewpoint estimation based on local apparence features and geometric spatial coherence. It uses models learned only on synthetic data. Finally, in a third section, a complete system for fine-grained analysis is proposed. It is based on the multi-task concept. Throughout this report, we provide quantitative and qualitative results. On several aspects related to vehicle fine-grained analysis, this work allowed to outperform state of the art methods

49

Simonnet, Edwin. "Réseaux de neurones profonds appliqués à la compréhension de la parole." Thesis, Le Mans, 2019. http://www.theses.fr/2019LEMA1006/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse s'inscrit dans le cadre de l'émergence de l'apprentissage profond et aborde la compréhension de la parole assimilée à l'extraction et à la représentation automatique du sens contenu dans les mots d'une phrase parlée. Nous étudions une tâche d'étiquetage en concepts sémantiques dans un contexte de dialogue oral évaluée sur le corpus français MEDIA. Depuis une dizaine d'années, les modèles neuronaux prennent l'ascendant dans de nombreuses tâches de traitement du langage naturel grâce à des avancées algorithmiques ou à la mise à disposition d'outils de calcul puissants comme les processeurs graphiques. De nombreux obstacles rendent la compréhension complexe, comme l'interprétation difficile des transcriptions automatiques de la parole étant donné que de nombreuses erreurs sont introduites par le processus de reconnaissance automatique en amont du module de compréhension. Nous présentons un état de l'art décrivant la compréhension de la parole puis les méthodes d'apprentissage automatique supervisé pour la résoudre en commençant par des systèmes classiques pour finir avec des techniques d'apprentissage profond. Les contributions sont ensuite exposées suivant trois axes. Premièrement, nous développons une architecture neuronale efficace consistant en un réseau récurent bidirectionnel encodeur-décodeur avec mécanisme d’attention. Puis nous abordons la gestion des erreurs de reconnaissance automatique et des solutions pour limiter leur impact sur nos performances. Enfin, nous envisageons une désambiguïsation de la tâche de compréhension permettant de rendre notre système plus performant
This thesis is a part of the emergence of deep learning and focuses on spoken language understanding assimilated to the automatic extraction and representation of the meaning supported by the words in a spoken utterance. We study a semantic concept tagging task used in a spoken dialogue system and evaluated with the French corpus MEDIA. For the past decade, neural models have emerged in many natural language processing tasks through algorithmic advances or powerful computing tools such as graphics processors. Many obstacles make the understanding task complex, such as the difficult interpretation of automatic speech transcriptions, as many errors are introduced by the automatic recognition process upstream of the comprehension module. We present a state of the art describing spoken language understanding and then supervised automatic learning methods to solve it, starting with classical systems and finishing with deep learning techniques. The contributions are then presented along three axes. First, we develop an efficient neural architecture consisting of a bidirectional recurrent network encoder-decoder with attention mechanism. Then we study the management of automatic recognition errors and solutions to limit their impact on our performances. Finally, we envisage a disambiguation of the comprehension task making the systems more efficient

50

Thomas, Philippe. "Contribution à l'identification de systèmes non linéaires par réseaux de neurones." Nancy 1, 1997. http://docnum.univ-lorraine.fr/public/SCD_T_1997_0030_THOMAS.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse est consacrée à l'identification de systèmes dynamiques non-linéaires SISO et MISO à l'aide de réseaux de neurones multicouches non-récurrents. Dans un premier temps, une présentation succincte de l'ensemble des méthodes d'identification non-linéaire est effectuée. Nous poursuivons notre étude par un bref historique des réseaux de neurones ainsi que par une présentation des divers modèles neuronaux existants. Une fois posé le cadre de ce travail, nous définissons plus particulièrement l'architecture générale du réseau de neurone retenu, puis nous présentons les algorithmes permettant d'adapter cette architecture générale à un cas précis. Ces choix concernent notamment le vecteur de régression et le nombre de neurones utilisés dans la couche cachée. Notre étude des réseaux de neurones s'effectuant dans le domaine précis de l'identification de systèmes, les liens importants existant entre la modélisation neuronale et les modèles non-linéaires classiques sont démontrés. Les divers critères de validation de modèles non-linéaires utilisables pour les réseaux neuronaux sont alors présentés. Le reste de ce travail est consacré aux diverses difficultés rencontrées lors de l'identification par réseau de neurones. La première difficulté se présente des l'initialisation des poids du réseau. En effet, un mauvais choix des poids initiaux peut conduire à l'obtention d'un minimum local très éloigné du minimum global, à la saturation des neurones de la couche cachée, à une convergence lente. Afin de résoudre ce problème, divers algorithmes ont été proposés et comparés sur divers exemples. Les problèmes de lenteur de convergence, ou même de divergence, peuvent également être dus a l'algorithme d'apprentissage utilisé. Nous proposerons alors un nouvel algorithme permettant de s'affranchir de cette seconde difficulté. Ce nouvel algorithme sera alors comparé à l'algorithme plus classique rpe sur un exemple de simulation. Nous finirons notre étude en nous intéressant au troisième problème qui est posé par la présence de valeurs aberrantes dans les données d'identification. En effet, cette présence de valeurs aberrantes risque de conduire à des biais sur les paramètres. Nous proposons alors divers critères d'apprentissage qui sont robustes aux valeurs aberrantes. Ces critères sont comparés sur des exemples de simulation et des données industrielles réelles
This thesis deals with the idenlificalion of dynamical non-linear ISO and MlSO systems with multilayer feedforward neural networks. Firstly, a short presentation of the non-linear identification methods is proposed and the neural network are reviewed. Secondly, the general architecture of the neural network used is more precisely defined. Some methods are presented to adapt this architecture to a particular case. These methods give the regressors and the number of neurons in the hidden layer. The relationships between neural identification and the most classical non-Iinear models are then shown. The validation criteria of non-linear models usable for the neural identification are presented. Three difficulties encountered in neural identification are investigated in the sequel. The first one is due to the initialisation of the parameters of the network. A bad choice of these initial parameters can lead to local minima very far from of the global minimum, to saturation of the hidden neurons, or to slow convergence. Two new algorithms are proposed to solve this problem and compared with others on three different examples. The slow convergence can be the result of the learning algorithm used. One algorithm is proposed to deal with this second difficulty. This algorithm is compared with the more classical RPE algorithm. This study is ends with the third studied problem which is posed by the presence of outliers in the identification data set. Lndeed, outliers can produce biases on estimated parameters. Three robust criteria are then proposed and are compared with the classical quadratic criterion on a simulation example and on a real industrial data set

Dissertations / Theses on the topic 'Elagage de réseaux de neurones'

Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles