Tesi: "Compression de réseaux de neurones"

1

Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée". Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeur
Recently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE

2

Hubens, Nathan. "Towards lighter and faster deep neural networks with parameter pruning". Electronic Thesis or Diss., Institut polytechnique de Paris, 2022. http://www.theses.fr/2022IPPAS025.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Depuis leur résurgence en 2012, les réseaux de neurones profonds sont devenus omniprésents dans la plupart des disciplines de l'intelligence artificielle, comme la reconnaissance d'images, le traitement de la parole et le traitement du langage naturel. Cependant, au cours des dernières années, les réseaux de neurones sont devenus exponentiellement profonds, faisant intervenir de plus en plus de paramètres. Aujourd'hui, il n'est pas rare de rencontrer des architectures impliquant plusieurs milliards de paramètres, alors qu'elles en contenaient le plus souvent des milliers il y a moins de dix ans.Cette augmentation généralisée du nombre de paramètres rend ces grands modèles gourmands en ressources informatiques et essentiellement inefficaces sur le plan énergétique. Cela rend les modèles déployés coûteux à maintenir, mais aussi leur utilisation dans des environnements limités en ressources très difficile.Pour ces raisons, de nombreuses recherches ont été menées pour proposer des techniques permettant de réduire la quantité de stockage et de calcul requise par les réseaux neuronaux. Parmi ces techniques, l'élagage synaptique, consistant à créer des modèles réduits, a récemment été mis en évidence. Cependant, bien que l'élagage soit une technique de compression courante, il n'existe actuellement aucune méthode standard pour mettre en œuvre ou évaluer les nouvelles méthodes, rendant la comparaison avec les recherches précédentes difficile.Notre première contribution concerne donc une description inédite des techniques d'élagage, développée selon quatre axes, et permettant de définir de manière univoque et complète les méthodes existantes. Ces composantes sont : la granularité, le contexte, les critères et le programme. Cette nouvelle définition du problème de l'élagage nous permet de le subdiviser en quatre sous-problèmes indépendants et de mieux déterminer les axes de recherche potentiels.De plus, les méthodes d'élagage en sont encore à un stade de développement précoce et principalement destinées aux chercheurs, rendant difficile pour les novices d'appliquer ces techniques. Pour combler cette lacune, nous avons proposé l'outil FasterAI, destiné aux chercheurs, désireux de créer et d'expérimenter différentes techniques de compression, mais aussi aux nouveaux venus, souhaitant compresser leurs modèles pour des applications concrètes. Cet outil a de plus été construit selon les quatre composantes précédemment définis, permettant une correspondance aisée entre les idées de recherche et leur mise en œuvre.Nous proposons ensuite quatre contributions théoriques, chacune visant à fournir de nouvelles perspectives et à améliorer les méthodes actuelles dans chacun des quatre axes de description identifiés. De plus, ces contributions ont été réalisées en utilisant l'outil précédemment développé, validant ainsi son utilité scientifique.Enfin, afin de démontrer que l'outil développé, ainsi que les différentes contributions scientifiques proposées, peuvent être applicables à un problème complexe et réel, nous avons sélectionné un cas d'utilisation : la détection de la manipulation faciale, également appelée détection de DeepFakes. Cette dernière contribution est accompagnée d'une application de preuve de concept, permettant à quiconque de réaliser la détection sur une image ou une vidéo de son choix.L'ère actuelle du Deep Learning a émergé grâce aux améliorations considérables des puissances de calcul et à l'accès à une grande quantité de données. Cependant, depuis le déclin de la loi de Moore, les experts suggèrent que nous pourrions observer un changement dans la façon dont nous concevons les ressources de calcul, conduisant ainsi à une nouvelle ère de collaboration entre les communautés du logiciel, du matériel et de l'apprentissage automatique. Cette nouvelle quête de plus d'efficacité passera donc indéniablement par les différentes techniques de compression des réseaux neuronaux, et notamment les techniques d'élagage
Since their resurgence in 2012, Deep Neural Networks have become ubiquitous in most disciplines of Artificial Intelligence, such as image recognition, speech processing, and Natural Language Processing. However, over the last few years, neural networks have grown exponentially deeper, involving more and more parameters. Nowadays, it is not unusual to encounter architectures involving several billions of parameters, while they mostly contained thousands less than ten years ago.This generalized increase in the number of parameters makes such large models compute-intensive and essentially energy inefficient. This makes deployed models costly to maintain but also their use in resource-constrained environments very challenging.For these reasons, much research has been conducted to provide techniques reducing the amount of storage and computing required by neural networks. Among those techniques, neural network pruning, consisting in creating sparsely connected models, has been recently at the forefront of research. However, although pruning is a prevalent compression technique, there is currently no standard way of implementing or evaluating novel pruning techniques, making the comparison with previous research challenging.Our first contribution thus concerns a novel description of pruning techniques, developed according to four axes, and allowing us to unequivocally and completely define currently existing pruning techniques. Those components are: the granularity, the context, the criteria, and the schedule. Defining the pruning problem according to those components allows us to subdivide the problem into four mostly independent subproblems and also to better determine potential research lines.Moreover, pruning methods are still in an early development stage, and primarily designed for the research community. Indeed, most pruning works are usually implemented in a self-contained and sophisticated way, making it troublesome for non-researchers to apply such techniques without having to learn all the intricacies of the field. To fill this gap, we proposed FasterAI toolbox, intended to be helpful to researchers, eager to create and experiment with different compression techniques, but also to newcomers, that desire to compress their neural network for concrete applications. In particular, the sparsification capabilities of FasterAI have been built according to the previously defined pruning components, allowing for a seamless mapping between research ideas and their implementation.We then propose four theoretical contributions, each one aiming at providing new insights and improving on state-of-the-art methods in each of the four identified description axes. Also, those contributions have been realized by using the previously developed toolbox, thus validating its scientific utility.Finally, to validate the applicative character of the pruning technique, we have selected a use case: the detection of facial manipulation, also called DeepFakes Detection. The goal is to demonstrate that the developed tool, as well as the different proposed scientific contributions, can be applicable to a complex and actual problem. This last contribution is accompanied by a proof-of-concept application, providing DeepFake detection capabilities in a web-based environment, thus allowing anyone to perform detection on an image or video of their choice.This Deep Learning era has emerged thanks to the considerable improvements in high-performance hardware and access to a large amount of data. However, since the decline of Moore's Law, experts are suggesting that we might observe a shift in how we conceptualize the hardware, by going from task-agnostic to domain-specialized computations, thus leading to a new era of collaboration between software, hardware, and machine learning communities. This new quest for more efficiency will thus undeniably go through neural network compression techniques, and particularly sparse computations

3

Dupont, Robin. "Deep Neural Network Compression for Visual Recognition". Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS565.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Grâce à la miniaturisation de l'électronique, les dispositifs embarqués sont devenus omniprésents depuis les années 2010, réalisant diverses tâches autour de nous. À mesure que leur utilisation augmente, la demande pour des dispositifs traitant les données et prenant des décisions complexes de manière efficace s'intensifie. Les réseaux de neurones profonds sont puissants pour cet objectif, mais souvent trop lourds pour les appareils embarqués. Il est donc impératif de compresser ces réseaux sans compromettre leur performance. Cette thèse introduit deux méthodes innovantes centrées sur l'élagage, pour compresser les réseaux sans impacter leur précision. Elle introduit d'abord une méthode qui considère un budget pour la compression de grands réseaux via la reparamétrisation des poids et une fonction de coût budgétaire, sans nécessité de fine-tuning. Les méthodes d'élagage traditionnelles reposent sur des indicateurs post-entraînement pour éliminer les poids, négligeant le taux d'élagage visé. Notre approche intègre une fonction de coût, guidant l'élagage vers une parcimonie précise pendant l'entraînement, optimisant la topologie et les poids. En simulant l'élagage des petits poids pendant l'entraînement via reparamétrisation, notre méthode limite la perte de précision par rapport aux méthodes traditionnelles. Nous démontrons son efficacité sur divers ensembles de données et architectures. La thèse se penche ensuite sur l'extraction de sous-réseaux efficaces sans entraîner les poids. L'objectif est de trouver la meilleure topologie d'un sous-réseau dans un grand réseau sans optimiser les poids, tout en offrant de bonnes performances. Ceci est fait grâce à notre méthode, l'Arbitrarily Shifted Log-Parametrisation, qui échantillonne des topologies de manière différentiable, permettant de former des masques indiquant la probabilité de sélection des poids. En parallèle, un mécanisme de recalibrage des poids, le Smart Rescale, est introduit, améliorant la performance des sous-réseaux et accélérant leur formation. Notre méthode trouve également le taux d'élagage optimal après un entraînement unique, évitant la recherche d'hyperparamètres et un entraînement pour chaque taux. Nous prouvons que notre méthode dépasse les techniques de pointe et permet de créer des réseaux légers avec haute parcimonie sans perdre en précision
Thanks to the miniaturisation of electronics, embedded devices have become ubiquitous since the 2010s, performing various tasks around us. As their usage expands, there's an increasing demand for efficient data processing and decision-making. Deep neural networks are apt tools for this, but they are often too large and intricate for embedded systems. Therefore, methods to compress these networks without affecting their performance are crucial. This PhD thesis introduces two methods focused on pruning to compress networks, maintaining accuracy. The thesis first details a budget-aware method for compressing large neural networks using weight reparametrisation and a budget loss, eliminating the need for fine-tuning. Traditional pruning methods often use post-training indicators to cut weights, ignoring desired pruning rates. Our method incorporates a budget loss, directing pruning during training, enabling simultaneous topology and weight optimisation. By soft-pruning smaller weights via reparametrisation, we reduce accuracy loss compared to standard pruning. We validate our method on several datasets and architectures. Later, the thesis examines extracting efficient subnetworks without weight training. We aim to discern the optimal subnetwork topology within a large network, bypassing weight optimisation yet ensuring strong performance. This is realized with our Arbitrarily Shifted Log Parametrisation, a differentiable method for discrete topology sampling, facilitating masks' training to denote weight selection probability. Additionally, a weight recalibration technique, Smart Rescale, is presented. It boosts extracted subnetworks' performance and hastens their training. Our method identifies the best pruning rate in a single training cycle, averting exhaustive hyperparameter searches and various rate training. Through extensive tests, our technique consistently surpasses similar state-of-the-art methods, creating streamlined networks that achieve high sparsity without notable accuracy drops

4

Yvinec, Edouard. "Efficient Neural Networks : Post Training Pruning and Quantization". Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS581.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les réseaux de neurones profonds sont devenus les modèles les plus utilisés, que ce soit en vision par ordinateur ou en traitement du langage. Depuis le sursaut provoqué par l'utilisation des ordinateurs modernes, en 2012, la taille de ces modèles n'a fait qu'augmenter, aussi bien en matière de taille mémoire qu'en matière de coût de calcul. Ce phénomène a grandement limité le déploiement industriel de ces modèles. Spécifiquement, le cas de l'IA générative, et plus particulièrement des modèles de langue tels que GPT, a fait atteindre une toute nouvelle dimension à ce problème. En effet, ces réseaux sont définis par des milliards de paramètres et nécessitent plusieurs gpu en parallèle pour effectuer des inférences en temps réel. En réponse, la communauté scientifique et les spécialistes de l'apprentissage profond ont développé des solutions afin de compresser et d'accélérer ces modèles. Ces solutions sont : l'utilisation d'architecture efficiente par design, la décomposition tensorielle, l'élagage (ou pruning) et la quantification. Dans ce manuscrit de thèse, je propose de dépeindre une vue d'ensemble du domaine de la compression des réseaux de neurones artificiels ainsi que de mes contributions. Dans le premier chapitre, je présente une introduction générale au fonctionnement de chaque méthode de compression précédemment citée. De plus, j'y ajoute les intuitions relatives à leurs limitations ainsi que des exemples pratiques, issus des cours que j'ai donnés. Dans le second chapitre, je présente mes contributions au sujet du pruning. Ces dernières ont mené à la publications de trois articles: RED, RED++ et SInGE. Dans RED et RED++, j'ai proposé une nouvelle approche pour le pruning et la décomposition tensorielle, sans données. L'idée centrale était de réduire la redundance au sein des opérations effectuées par le modèle. 'A l'opposé, dans SInGE, j'ai défini un nouveau critère de pruning par importance. Pour ce faire, j'ai puisé de l'inspiration dans le domaine de l'attribution. En effet, afin d'expliquer les règles de décisions des réseaux de neurones profonds, les chercheurs et les chercheuses ont introduit des techniques visant à estimer l'importance relative des entrées du modèle par rapport aux sorties. Dans SInGE, j'ai adapté l'une de ces méthodes les plus efficaces, au pruning afin d'estimer l'importance des poids et donc des calculs du modèle. Dans le troisième chapitre, j'aborde mes contributions relatives à la quantification de réseaux de neurones. Celles-ci ont donné lieu à plusieurs publications dont les principales: SPIQ, PowerQuant, REx, NUPES et une publication sur les meilleurs pratiques à adopter. Dans SPIQ, PowerQuant et REx, j'adresse des limites spécifiques à la quantification sans données. En particulier, la granularité, dans SPIQ, la quantification non-uniform par automorphismes dans PowerQuant et l'utilisation d'une bit-width spécifique dans REx. Par ailleurs, dans les deux autres articles, je me suis attelé à la quantification post-training avec optimisation par descente de gradient. N'ayant pas eu le temps de toucher à tous les aspects de la compression de réseau de neurones, je conclue ce manuscrit par un chapitre sur ce qui me semble être les enjeux de demain ainsi que des pistes de solutions
Deep neural networks have grown to be the most widely adopted models to solve most computer vision and natural language processing tasks. Since the renewed interest, sparked in 2012, for these architectures, in machine learning, their size in terms of memory footprint and computational costs have increased tremendously, which has hindered their deployment. In particular, with the rising interest for generative ai such as large language models and diffusion models, this phenomenon has recently reached new heights, as these models can weight several billions of parameters and require multiple high-end gpus in order to infer in real-time. In response, the deep learning community has researched for methods to compress and accelerate these models. These methods are: efficient architecture design, tensor decomposition, pruning and quantization. In this manuscript, I paint a landscape of the current state-of-the art in deep neural networks compression and acceleration as well as my contributions to the field. First, I propose a general introduction to the aforementioned techniques and highlight their shortcomings and current challenges. Second, I provide a detailed discussion regarding my contributions to the field of deep neural networks pruning. These contributions led to the publication of three articles: RED, RED++ and SInGE. In RED and RED++, I introduced a novel way to perform data-free pruning and tensor decomposition based on redundancy reduction. On the flip side, in SInGE, I proposed a new importance-based criterion for data-driven pruning. This criterion was inspired by attribution techniques which consist in ranking inputs by their relative importance with respect to the final prediction. In SInGE, I adapted one of the most effective attribution technique to weight importance ranking for pruning. In the third chapter, I layout my contributions to the field of deep quantization: SPIQ, PowerQuant, REx, NUPES, and a best practice paper. Each of these methods address one of the previous limitations of post-training quantization. In SPIQ, PowerQuant and REx, I provide a solution to the granularity limitations of quantization, a novel non-uniform format which is particularly effective on transformer architectures and a technique for quantization decomposition which eliminates the need for unsupported bit-widths, respectively. In the two remaining articles, I provide significant improvements over existing gradient-based post-training quantization techniques, bridging the gap between such techniques and non-uniform quantization. In the last chapter, I propose a set of leads for future work which I believe to be the, current, most important unanswered questions in the field

5

Resmerita, Diana. "Compression pour l'apprentissage en profondeur". Thesis, Université Côte d'Azur, 2022. http://www.theses.fr/2022COAZ4043.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les voitures autonomes sont des applications complexes qui nécessitent des machines puissantes pour pouvoir fonctionner correctement. Des tâches telles que rester entre les lignes blanches, lire les panneaux ou éviter les obstacles sont résolues en utilisant plusieurs réseaux neuronaux convolutifs (CNN) pour classer ou détecter les objets. Il est très important que tous les réseaux fonctionnent en parallèle afin de transmettre toutes les informations nécessaires et de prendre une décision commune. Aujourd'hui, à force de s'améliorer, les réseaux sont devenus plus gros et plus coûteux en termes de calcul. Le déploiement d'un seul réseau devient un défi. La compression des réseaux peut résoudre ce problème. Par conséquent, le premier objectif de cette thèse est de trouver des méthodes de compression profonde afin de faire face aux limitations de mémoire et de puissance de calcul présentes sur les systèmes embarqués. Les méthodes de compression doivent être adaptées à un processeur spécifique, le MPPA de Kalray, pour des implémentations à court terme. Nos contributions se concentrent principalement sur la compression du réseau après l'entraînement pour le stockage, ce qui signifie compresser des paramètres du réseau sans réentraîner ou changer l'architecture originale et le type de calculs. Dans le contexte de notre travail, nous avons décidé de nous concentrer sur la quantification. Notre première contribution consiste à comparer les performances de la quantification uniforme et de la quantification non-uniforme, afin d'identifier laquelle des deux présente un meilleur compromis taux-distorsion et pourrait être rapidement prise en charge par l'entreprise. L'intérêt de l'entreprise est également orienté vers la recherche de nouvelles méthodes innovantes pour les futures générations de MPPA. Par conséquent, notre deuxième contribution se concentre sur la comparaison des représentations en virgule flottante (FP32, FP16) aux représentations arithmétiques alternatives telles que BFloat16, msfp8, Posit8. Les résultats de cette analyse étaient en faveur de Posit8. Ceci a motivé la société Kalray à concevoir un décompresseur de FP16 vers Posit8. Enfin, de nombreuses méthodes de compression existent déjà, nous avons décidé de passer à un sujet adjacent qui vise à quantifier théoriquement les effets de l'erreur de quantification sur la précision du réseau. Il s'agit du deuxième objectif de la thèse. Nous remarquons que les mesures de distorsion bien connues ne sont pas adaptées pour prédire la dégradation de la précision dans le cas de l'inférence pour les réseaux de neurones compressés. Nous définissons une nouvelle mesure de distorsion avec une expression analytique qui s’apparente à un rapport signal/bruit. Un ensemble d'expériences a été réalisé en utilisant des données simulées et de petits réseaux qui montrent le potentiel de cette mesure de distorsion
Autonomous cars are complex applications that need powerful hardware machines to be able to function properly. Tasks such as staying between the white lines, reading signs, or avoiding obstacles are solved by using convolutional neural networks (CNNs) to classify or detect objects. It is highly important that all the networks work in parallel in order to transmit all the necessary information and take a common decision. Nowadays, as the networks improve, they also have become bigger and more computational expensive. Deploying even one network becomes challenging. Compressing the networks can solve this issue. Therefore, the first objective of this thesis is to find deep compression methods in order to cope with the memory and computational power limitations present on embedded systems. The compression methods need to be adapted to a specific processor, Kalray's MPPA, for short term implementations. Our contributions mainly focus on compressing the network post-training for storage purposes, which means compressing the parameters of the network without retraining or changing the original architecture and the type of the computations. In the context of our work, we decided to focus on quantization. Our first contribution consists in comparing the performances of uniform quantization and non-uniform quantization, in order to identify which of the two has a better rate-distortion trade-off and could be quickly supported in the company. The company's interest is also directed towards finding new innovative methods for future MPPA generations. Therefore, our second contribution focuses on comparing standard floating-point representations (FP32, FP16) to recently proposed alternative arithmetical representations such as BFloat16, msfp8, Posit8. The results of this analysis were in favor for Posit8. This motivated the company Kalray to conceive a decompressor from FP16 to Posit8. Finally, since many compression methods already exist, we decided to move to an adjacent topic which aims to quantify theoretically the effects of quantization error on the network's accuracy. This is the second objective of the thesis. We notice that well-known distortion measures are not adapted to predict accuracy degradation in the case of inference for compressed neural networks. We define a new distortion measure with a closed form which looks like a signal-to-noise ratio. A set of experiments were done using simulated data and small networks, which show the potential of this distortion measure

6

Cherkashyn, Valeriy. "Représentation adaptative d'images de télédétection à très haute résolution spatiale une nouvelle approche hybride (la décomposition pyramidale avec des réseaux de neurones)". Thèse, Université de Sherbrooke, 2011. http://hdl.handle.net/11143/5831.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Résumé: De nos jours l’observation de la terre à l’aide d’images satellitaires de très haute résolution spatiale (Ikonos, Quickbird, World View-2) donne de nombreuses possibilités pour gérer de l’information à l’échelle mondiale. Les technologies actuelles d’acquisition d’information sont à l’origine de l’augmentation importante du volume des données. L’objectif général de cette thèse consiste à développer une nouvelle méthode hybride de représentation d’image numérique de très haute résolution spatiale qui améliore la qualité visuelle d’images compressée avec un haut niveau de compression (100 fois et plus). La nouvelle méthode hybride exploite la transformation pyramidale inverse d’image numérique en utilisant des réseaux de neurones artificiels. Elle combine le traitement spatial et la transformation abstraite de l’image. L’emploi de l’approche de la transformation pyramidale inverse a démontré l’efficacité du traitement de l’information à une ou à des échelles spécifiques, sans interférer ou ajouter un temps de calcul inutile. Cette approche est essentielle pour réaliser une transformation progressive d’image. Les résultats montrent une amélioration du rapport signal pur bruit de 4 dB pour chaque couche additionnelle de la transformation progressive. Nous avons réussi à garder une qualité visuelle d’images compressées comparable, jusqu’au niveau de la compression de 107 fois. De plus, pour le niveau de la compression de 274 fois, nous avons obtenu une amélioration de la qualité visuelle en comparaison des méthodes de compression courantes (JPEG, JPEG2000). Les résultats du travail confirment l’hypothèse que les images de télédétection possèdent un haut degré de redondance et que l’utilisation d’un réseau de neurones est un bon moyen pour trouver l’opérateur efficace du regroupement de pixels. Cette nouvelle méthode de représentation d’images à très haute résolution spatiale permet de réduire le volume des données sans détérioration majeure de la qualité visuelle, comparé aux méthodes existantes. Enfin, nous recommandons de poursuivre l’exploration du domaine des calculs distribués tels que les réseaux des neurones artificiels, considérant l’augmentation de la performance des outils informatiques (nanotechnologies et calculs parallèles). || Abstract: Earth observations using very high-resolution satellite imagery, such as from Ikonos, QuickBird or WorldView-2, provide many possibilities for addressing issues on a global scale. However, the acquisition of high-resolution imagery using these technologies also significantly increases the volume of data that must be managed. With the passing of each day, the number of collected satellite images continues to increase. The overall objective of this work is to develop new hybrid methods for numerical data representation that improve the visual quality of compressed satellite visible imagery for compression levels of 100 times and more. Our new method exploits the inverse pyramid transform using artificial neural networks, and thus addresses the trend in the field of remote sensing and image compression towards combining the spatial processing and abstract transformation of an image. Our implementation of the pyramidal inverse transformation demonstrates the effectiveness of information processing for specific levels, without interfering or adding unnecessary computation time. This approach is essential in order to achieve a gradual transformation of an image. The results showed an improvement in the signal to noise ratio of 4dB for each additional layer in the pyramidal image transformation. We managed to keep a similar level of visual quality for the compressed images up to a compression level of 107 times. In addition, for a compression level of 274, we improved the visual quality as compared to standard compression methods (JPEG, JPEG2000). The results of this study confirm the hypothesis that remote sensing images have a high degree of redundancy and that the use of neural networks is a good way to find the effective operator of the pixel combination. This new method for image representation reduces the volume of data without major deterioration in the visual quality of the compressed images, as compared to existing methods. Finally, we recommend further exploration in the field of distributed computing, such as artificial neural networks, considering the rapidly increasing performance of computers in the near future (parallel computing technology and nanotechnology).

7

Mitrica, Iulia. "Video compression of airplane cockpit screens content". Electronic Thesis or Diss., Institut polytechnique de Paris, 2021. http://www.theses.fr/2021IPPAT042.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Cette thèse aborde le problème de l'encodage de la vidéo des cockpits d'avion. Le cockpit des avions de ligne modernes consiste en un ou plusieurs écrans affichant l'état des instruments de l'avion (par exemple, la position de l'avion telle que rapportée par le GPS, le niveau de carburant tel que lu par les capteurs dans les réservoirs, etc.,) souvent superposés au naturel images (par exemple, cartes de navigation, caméras extérieures, etc.). Les capteurs d'avion sont généralement inaccessibles pour des raisons de sécurité, de sorte que l'enregistrement du cockpit est souvent le seul moyen de consigner les données vitales de l'avion en cas, par exemple, d'un accident. Les contraintes sur la mémoire d'enregistrement disponible à bord nécessitent que la vidéo du cockpit soit codée à des débits faibles à très faibles, alors que pour des raisons de sécurité, les informations textuelles doivent rester intelligibles après le décodage. De plus, les contraintes sur l'enveloppe de puissance des dispositifs avioniques limitent la complexité du sous-système d'enregistrement du poste de pilotage. Au fil des ans, un certain nombre de schémas de codage d'images ou de vidéos avec des contenus mixtes générés par ordinateur et naturels ont été proposés. Le texte et d'autres graphiques générés par ordinateur produisent des composants haute fréquence dans le domaine transformé. Par conséquent, la perte due à la compression peut nuire à la lisibilité de la vidéo et donc à son utilité. Par exemple, l'extension récemment normalisée SCC (Screen Content Coding) de la norme H.265/HEVC comprend des outils conçus explicitement pour la compression du contenu de l'écran. Nos expériences montrent cependant que les artefacts persistent aux bas débits ciblés par notre application, incitant à des schémas où la vidéo n'est pas encodée dans le domaine des pixels. Cette thèse propose des méthodes de codage d'écran de faible complexité où le texte et les primitives graphiques sont codés en fonction de leur sémantique plutôt que sous forme de blocs de pixels. Du côté du codeur, les caractères sont détectés et lus à l'aide d'un réseau neuronal convolutif. Les caractères détectés sont ensuite supprimés de l'écran via le pixel inpainting, ce qui donne une vidéo résiduelle plus fluide avec moins de hautes fréquences. La vidéo résiduelle est codée avec un codec vidéo standard et est transmise du côté récepteur avec une sémantique textuelle et graphique en tant qu'informations secondaires. Du côté du décodeur, le texte et les graphiques sont synthétisés à l'aide de la sémantique décodée et superposés à la vidéo résiduelle, récupérant finalement l'image d'origine. Nos expériences montrent qu'un encodeur AVC/H.264 équipé de notre méthode a de meilleures performances de distorsion-débit que H.265/HEVC et se rapproche de celle de son extension SCC. Si les contraintes de complexité permettent la prédiction inter-trame, nous exploitons également le fait que les caractères co-localisés dans les trames voisines sont fortement corrélés. À savoir, les symboles mal classés sont récupérés à l'aide d'une méthode proposée basée sur un modèle de faible complexité des probabilités de transition pour les caractères et les graphiques. Concernant la reconnaissance de caractères, le taux d'erreur chute jusqu'à 18 fois dans les cas les plus faciles et au moins 1,5 fois dans les séquences les plus difficiles malgré des occlusions complexes.En exploitant la redondance temporelle, notre schéma s'améliore encore en termes de distorsion de débit et permet un décodage de caractères quasi sans erreur. Des expériences avec de vraies séquences vidéo de cockpit montrent des gains de distorsion de débit importants pour la méthode proposée par rapport aux normes de compression vidéo
This thesis addresses the problem of encoding the video of airplane cockpits.The cockpit of modern airliners consists in one or more screens displaying the status of the plane instruments (e.g., the plane location as reported by the GPS, the fuel level as read by the sensors in the tanks, etc.,) often superimposed over natural images (e.g., navigation maps, outdoor cameras, etc.).Plane sensors are usually inaccessible due to security reasons, so recording the cockpit is often the only way to log vital plane data in the event of, e.g., an accident.Constraints on the recording storage available on-board require the cockpit video to be coded at low to very low bitrates, whereas safety reasons require the textual information to remain intelligible after decoding. In addition, constraints on the power envelope of avionic devices limit the cockpit recording subsystem complexity.Over the years, a number of schemes for coding images or videos with mixed computer-generated and natural contents have been proposed. Text and other computer generated graphics yield high-frequency components in the transformed domain. Therefore, the loss due to compression may hinder the readability of the video and thus its usefulness. For example, the recently standardized Screen Content Coding (SCC) extension of the H.265/HEVC standard includes tools designed explicitly for screen contents compression. Our experiments show however that artifacts persist at the low bitrates targeted by our application, prompting for schemes where the video is not encoded in the pixel domain.This thesis proposes methods for low complexity screen coding where text and graphical primitives are encoded in terms of their semantics rather than as blocks of pixels.At the encoder side, characters are detected and read using a convolutional neural network.Detected characters are then removed from screen via pixel inpainting, yielding a smoother residual video with fewer high frequencies. The residual video is encoded with a standard video codec and is transmitted to the receiver side together with text and graphics semantics as side information.At the decoder side, text and graphics are synthesized using the decoded semantics and superimposed over the residual video, eventually recovering the original frame. Our experiments show that an AVC/H.264 encoder retrofitted with our method has better rate-distortion performance than H.265/HEVC and approaches that of its SCC extension.If the complexity constraints allow inter-frame prediction, we also exploit the fact that co-located characters in neighbor frames are strongly correlated.Namely, the misclassified symbols are recovered using a proposed method based on low-complexity model of transitional probabilities for characters and graphics. Concerning character recognition, the error rate drops up to 18 times in the easiest cases and at least 1.5 times in the most difficult sequences despite complex occlusions.By exploiting temporal redundancy, our scheme further improves in rate-distortion terms and enables quasi-errorless character decoding. Experiments with real cockpit video footage show large rate-distortion gains for the proposed method with respect to video compression standards

8

Verma, Sagar. "Deep Neural Network Modeling of Electric Motors". Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPAST088.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Cette thèse traite de l’application des réseaux de neurones dans la résolution de problèmes liés aux moteurs électriques. Le chapitre 2 contribue à identiﬁer une structure de réseau de neurones capable d’apprendre la relation multi-variée entre diﬀérents signaux d’un moteur électrique. La structure identiﬁée est ensuite utilisée pour l’estimation vitesse- couple à partir des courants et des tensions.Le chapitre 3 se concentre sur la détection et la correction de défauts de mesure. Notre méthode prend en compte les défauts de capteurs électriques, les défauts mécaniques et l’estimation de température.Le chapitre 4 traite ensuite de la ﬁabilité de l’estimateur vitesse-couple en cas de courants et de tensions bruités. Nous présentons uneméthode de débruitage permettant de rendre notre estimateur vitesse-couple applicable dans un contexte réaliste. Ensuite, une rapide analyse de la robustesse face à une attaque adverse est menée pour les réseaux neuronaux utilisés dans des applications des moteurs électriques. La capacité de généralisation de l’estimateur vitesse-couple est également brièvement analysée. Dans le chapitre 5, nous nous concentrons sur le dernier obstacle à la mise en œuvre des réseaux de neurones: le coût de calcul. Nous présentons la méthode de sparsiﬁcation par inclusion sous-diﬀérentielle (SIS) permettant de trouver le meilleur réseau parcimonieux à partir de poids pré-calculés, tout en conservant la précision d’origine
This thesis deals with the application of neural networks in solving electrical motor problems. Chapter 2 contributes to identifying a neural network that can learn the multivariate relationship between diﬀerent electrical motor signals.The identiﬁed network is then used for speed-torque estimation from currents and voltages. Chapter 3 focuses on detecting and recovering from faulty measurements. Our method encompasses electrical sensor faults, mechanical faults, and temperature estimation.Chapter 4 then discusses the reliability of the speed-torque estimator in case of noisy currents and voltages. We presenta denoising method which allows our speed- torque estimator to be applicable in a realistic context. This is followed by an analysis of the adversarial robustness of the neural networks used in electrical motor tasks. The generalization capability of the speed-torque estimator is also brieﬂy considered. In Chapter 5, we focus on the ﬁnal roadblock in achieving real-world application of neural networks: computational requirements. We present the Subdiﬀerential Inclusion for Sparsity (SIS) method to ﬁnd the best sparse network from pretrained weights while maintaining original accuracy

9

Burel, Gilles. "RESEAUX DE NEURONES EN TRAITEMENT D'IMAGES - Des Modèles théoriques aux Applications Industrielles -". Phd thesis, Université de Bretagne occidentale - Brest, 1991. http://tel.archives-ouvertes.fr/tel-00101699.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les travaux présentés portent sur les réseaux de neurones appliqués au
traitement du signal et de l'image. On se place d'emblée du point de vue de
l'industriel impliqué dans la recherche, c'est à dire que l'on s'intéresse à
des problèmes réalistes, sans pour autant négliger la recherche
théorique.

Dans une première partie, nous montrons
l'intérêt des réseaux de neurones comme source d'inspiration pour la
conception de nouveaux algorithmes. Nous proposons en particulier une
structure originale pour la prédiction, ainsi que de nouveaux algorithmes de
Quantification Vectorielle. Les propriétés des algorithmes existants sont
également éclaircies du point de vue théorique, et des méthodes de réglage
automatique de leurs paramètres sont proposées.

On montre ensuite les capacités des réseaux de neurones à traiter un vaste champ
d'applications d'intérêt industriel. Pour divers problèmes de traitement de
l'image et du signal (de la segmentation à la séparation de sources, en
passant par la reconnaissance de formes et la compression de données), on
montre qu'il est possible de développer à moindre coût une solution neuronale
efficace.

10

Boukli, Hacene Ghouthi. "Processing and learning deep neural networks on chip". Thesis, Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire, 2019. http://www.theses.fr/2019IMTA0153/document.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Dans le domaine de l'apprentissage machine, les réseaux de neurones profonds sont devenus la référence incontournable pour un très grand nombre de problèmes. Ces systèmes sont constitués par un assemblage de couches, lesquelles réalisent des traitements élémentaires, paramétrés par un grand nombre de variables. À l'aide de données disponibles pendant une phase d'apprentissage, ces variables sont ajustées de façon à ce que le réseau de neurones réponde à la tâche donnée. Il est ensuite possible de traiter de nouvelles données. Si ces méthodes atteignent les performances à l'état de l'art dans bien des cas, ils reposent pour cela sur un très grand nombre de paramètres, et donc des complexités en mémoire et en calculs importantes. De fait, ils sont souvent peu adaptés à l'implémentation matérielle sur des systèmes contraints en ressources. Par ailleurs, l'apprentissage requiert de repasser sur les données d'entraînement plusieurs fois, et s'adapte donc difficilement à des scénarios où de nouvelles informations apparaissent au fil de l'eau. Dans cette thèse, nous nous intéressons dans un premier temps aux méthodes permettant de réduire l'impact en calculs et en mémoire des réseaux de neurones profonds. Nous proposons dans un second temps des techniques permettant d'effectuer l'apprentissage au fil de l'eau, dans un contexte embarqué
In the field of machine learning, deep neural networks have become the inescapablereference for a very large number of problems. These systems are made of an assembly of layers,performing elementary operations, and using a large number of tunable variables. Using dataavailable during a learning phase, these variables are adjusted such that the neural networkaddresses the given task. It is then possible to process new data.To achieve state-of-the-art performance, in many cases these methods rely on a very largenumber of parameters, and thus large memory and computational costs. Therefore, they are oftennot very adapted to a hardware implementation on constrained resources systems. Moreover, thelearning process requires to reuse the training data several times, making it difficult to adapt toscenarios where new information appears on the fly.In this thesis, we are first interested in methods allowing to reduce the impact of computations andmemory required by deep neural networks. Secondly, we propose techniques for learning on thefly, in an embedded context

11

Carvalho, Micael. "Deep representation spaces". Electronic Thesis or Diss., Sorbonne université, 2018. http://www.theses.fr/2018SORUS292.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Ces dernières années, les techniques d’apprentissage profond ont fondamentalement transformé l'état de l'art de nombreuses applications de l'apprentissage automatique, devenant la nouvelle approche standard pour plusieurs d’entre elles. Les architectures provenant de ces techniques ont été utilisées pour l'apprentissage par transfert, ce qui a élargi la puissance des modèles profonds à des tâches qui ne disposaient pas de suffisamment de données pour les entraîner à partir de zéro. Le sujet d'étude de cette thèse couvre les espaces de représentation créés par les architectures profondes. Dans un premier temps, nous étudions les propriétés de leurs espaces, en prêtant un intérêt particulier à la redondance des dimensions et la précision numérique de leurs représentations. Nos résultats démontrent un fort degré de robustesse, pointant vers des schémas de compression simples et puissants. Ensuite, nous nous concentrons sur le l'affinement de ces représentations. Nous choisissons d'adopter un problème multi-tâches intermodal et de concevoir une fonction de coût capable de tirer parti des données de plusieurs modalités, tout en tenant compte des différentes tâches associées au même ensemble de données. Afin d'équilibrer correctement ces coûts, nous développons également un nouveau processus d'échantillonnage qui ne prend en compte que des exemples contribuant à la phase d'apprentissage, c'est-à-dire ceux ayant un coût positif. Enfin, nous testons notre approche sur un ensemble de données à grande échelle de recettes de cuisine et d'images associées. Notre méthode améliore de 5 fois l'état de l'art sur cette tâche, et nous montrons que l'aspect multitâche de notre approche favorise l'organisation sémantique de l'espace de représentation, lui permettant d'effectuer des sous-tâches jamais vues pendant l'entraînement, comme l'exclusion et la sélection d’ingrédients. Les résultats que nous présentons dans cette thèse ouvrent de nombreuses possibilités, y compris la compression de caractéristiques pour les applications distantes, l'apprentissage multi-modal et multitâche robuste et l'affinement de l'espace des caractéristiques. Pour l'application dans le contexte de la cuisine, beaucoup de nos résultats sont directement applicables dans une situation réelle, en particulier pour la détection d'allergènes, la recherche de recettes alternatives en raison de restrictions alimentaires et la planification de menus
In recent years, Deep Learning techniques have swept the state-of-the-art of many applications of Machine Learning, becoming the new standard approach for them. The architectures issued from these techniques have been used for transfer learning, which extended the power of deep models to tasks that did not have enough data to fully train them from scratch. This thesis' subject of study is the representation spaces created by deep architectures. First, we study properties inherent to them, with particular interest in dimensionality redundancy and precision of their features. Our findings reveal a strong degree of robustness, pointing the path to simple and powerful compression schemes. Then, we focus on refining these representations. We choose to adopt a cross-modal multi-task problem, and design a loss function capable of taking advantage of data coming from multiple modalities, while also taking into account different tasks associated to the same dataset. In order to correctly balance these losses, we also we develop a new sampling scheme that only takes into account examples contributing to the learning phase, i.e. those having a positive loss. Finally, we test our approach in a large-scale dataset of cooking recipes and associated pictures. Our method achieves a 5-fold improvement over the state-of-the-art, and we show that the multi-task aspect of our approach promotes a semantically meaningful organization of the representation space, allowing it to perform subtasks never seen during training, like ingredient exclusion and selection. The results we present in this thesis open many possibilities, including feature compression for remote applications, robust multi-modal and multi-task learning, and feature space refinement. For the cooking application, in particular, many of our findings are directly applicable in a real-world context, especially for the detection of allergens, finding alternative recipes due to dietary restrictions, and menu planning

12

Dugas, Alexandre. "Architecture de transformée de cosinus discrète sur deux dimensions sans multiplication et mémoire de transposition". Mémoire, Université de Sherbrooke, 2012. http://hdl.handle.net/11143/6174.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Au cours des dix dernières années, les capacités technologiques de transmission vidéo rendent possible une panoplie d'applications de télésanté. Ce média permet en effet la participation de médecins spécialisés à des interventions médicales ayant lieu à des endroits distants. Cependant, lorsque ces dernières se déroulent loin des grands centres, les infrastructures de télécommunication n'offrnt pas un débit assez important pour permettre à la fois une transmission d'images fluides et de bonne qualité. Un des moyens entrepris pour pallier ce problème est l'utilisation d'encodeur et décodeur vidéo (CODEC) permettant de compresser les images avant leur transmission et de les décompresser à la réception. Il existe un bon nombre de CODEC vidéo offrant différent compromis entre la qualité d'image, la rapidité de compression, la latence initiale de traitement et la robustesse du protocole de transmission. Malheureusement, aucun n'est en mesure de rencontrer simultanément toutes les exigences définies en télésanté. Un des problèmes majeurs réside dans le délai de traitement initial causé par la compression avec perte du CODEC. L'objet de la recherche s'intéresse donc à deux CODEC qui répondent aux exigences de délais de traitement et de qualité d'image en télésanté, et plus particulièrement pour une application de téléassistance en salle d'urgence. L'emphase est mise sur les modules de quantification des CODEC qui utilisent la transformée en cosinus discrète. Cette transformée limite la transmission des images vidéo fluide et quasi sans délais en raison des délais de traitement initiaux issus des nombreuses manipulations arithmétiques qu'elle requiert. À l'issu de la recherche, une structure efficace de la transformée en cosinus est proposée afin de présenter une solution au temps de latence des CODEC et ainsi de répondre aux exigences de télécommunication en télésanté. Cette solution est implémentée dans un CODEC JPEG développé en VHDL afin de simuler un contexte d'application réelle.

13

Morozkin, Pavel. "Design and implementation of image processing and compression algorithms for a miniature embedded eye tracking system". Electronic Thesis or Diss., Sorbonne université, 2018. https://accesdistant.sorbonne-universite.fr/login?url=https://theses-intra.sorbonne-universite.fr/2018SORUS435.pdf.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les interactions Homme-machines (IHM) deviennent progressivement une partie intégrante de notre futur. Parmi eux, les systèmes embarqués d’oculométrie permettent à l'utilisateur d’interagir avec les objets placés dans un environnement connu, par l'utilisation les mouvements naturels des yeux. La solution mobile d’oculométrie EyeDee™ (développée par SuriCog) est un exemple précis de produit basé sur l’IHM. Elle inclut un système portable filaire ou sans fil Weetsy™ composé d’une monture Weetsy™ et d’une carte électronique Weetsy™, d’un capteur intelligent à distance π-Box™ et d’une unité de traitement basé sur un PC exécutant le logiciel SuriDev (analyse des mouvements des yeux, détection de la position de la tête et estimation du regard) qui délivre les résultats en temps réel à une application du client via SuriSDK™ (Software Development Kit, Kit de Développement Logiciel). En raison du caractère portable du système d’oculométrie développé il faut se conformer à certaines contraintes. Les plus importantes sont : une faible consommation d'énergie, un faible dégagement de chaleur, un faible rayonnement électromagnétique, un nombre limité d’instructions par seconde (MIPS – Million Instructions Per Second), ainsi qu’un support de transmission sans fil de données de l’œil. Par rapport à l'état-de-l'art des systèmes de compression d'images employés généralement, il est possible de construire de toutes nouvelles méthodes, approches et algorithmes de traitement d’images et de compression spécialisées à l’application de l’analyse des mouvements des yeux. Développement et implémentation de ces méthodes, approches et algorithmes sont les objectifs de la thèse
Human-Machine Interaction (HMI) progressively becomes a part of coming future. Being an example of HMI, embedded eye tracking systems allow user to interact with objects placed in a known environment by using natural eye movements. The EyeDee™ portable eye tracking solution (developed by SuriCog) is an example of an HMI-based product, which includes Weetsy™ portable wire/wireless system (including Weetsy™ frame and Weetsy™ board), π-Box™ remote smart sensor and PC-based processing unit running SuriDev eye/head tracking and gaze estimation software, delivering its result in real time to a client’s application through SuriSDK (Software Development Kit). Due to wearable form factor developed eye-tracking system must conform to certain constraints, where the most important are low power consumption, low heat generation low electromagnetic radiation, low MIPS (Million Instructions per Second), as well as support wireless eye data transmission and be space efficient in general. Eye image acquisition, finding of the eye pupil ROI (Region Of Interest), compression of ROI and its wireless transmission in compressed form over a medium are very beginning steps of the entire eye tracking algorithm targeted on finding coordinates of human eye pupil. Therefore, it is necessary to reach the highest performance possible at each step in the entire chain. In contrast with state-of-the-art general-purpose image compression systems, it is possible to construct an entire new eye tracking application-specific image processing and compression methods, approaches and algorithms, design and implementation of which are the goal of this thesis

14

Mahé, Pierre. "Codage ambisonique pour les communications immersives". Thesis, La Rochelle, 2022. http://www.theses.fr/2022LAROS011.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Cette thèse s’inscrit dans le contexte de l’essor des contenus immersifs. Depuis quelques années, les technologies de captation et de restitution sonore immersive se sont développées de manière importante. Ce nouveau contenu a fait naître le besoin de créer de nouvelles méthodes dédiées à la compression audio spatialisée, notamment dans le domaine de la téléphonie et des services conversationnels. Il existe plusieurs manières de représenter l’audio spatialisé, dans cette thèse nous sommes intéressés à l’ambisonie d’ordre 1. Dans un premier temps, nos travaux ont porté sur la recherche d’une solution pour améliorer le codage multimono. Cette solution consiste en un traitement en amont du codec multimono pour décorréler les signaux des composantes ambisoniques. Une attention particulière a été portée à la garantie de continuité du signal entre les trames et à la quantification des métadonnées spatiales. Dans un second temps, nous avons étudié comment utiliser la connaissance de la répartition de l’énergie du signal dans l’espace, aussi appelée image spatiale, pour créer de nouvelles méthodes de codage. L’utilisation de cette image spatiale a permis d’élaborer deux méthodes de compression. La première approche proposée est basée sur la correction spatiale du signal décodé. Cette correction se base sur la différence entre les images spatiales du signal d’origine et du signal décodés pour atténuer les altérations spatiales. Ce principe a été étendu dans une seconde approche à une méthode de codage paramétrique. Dans une dernière partie de cette thèse, plus exploratoire, nous avons étudié une approche de compression par réseaux de neurones en nous inspirant de modèles de compression d’images par auto-encodeur variationnel
This thesis takes place in the context of the spread of immersive content. For the last couple of years, immersive audio recording and playback technologies have gained momentum and have become more and more popular. New codecs are needed to handle those spatial audio formats, especially for communication applications. There are several ways to represent spatial audio scenes. In this thesis, we focused on First Order Ambisonic. The first part of our research focused on improving multi-monocoding by decorrelated each ambisonic signal component before the multi-mono coding. To guarantee signal continuity between frames, efficient quantization new mechanisms are proposed. In the second part of this thesis, we proposed a new coding concept using a power map to recreate the original spatial image. With this concept, we proposed two compressing methods. The first one is a post-processing focused on limiting the spatial distortion of the decoded signal. The spatial correction is based on the difference between the original and the decoded spatial image. This post-processing is later extended to a parametric coding method. The last part of this thesis presents a more exploratory method. This method studied audio signal compression by neural networks inspired by image compression models using variational autoencoders

15

Wenzek, Didier. "Construction de réseaux de neurones". Phd thesis, Grenoble INPG, 1993. http://tel.archives-ouvertes.fr/tel-00343569.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

La dénomination de réseaux de neurones recouvre tout un ensemble de méthodes de calcul dont le point commun est de décrire le calcul d'une solution a un probleme comme la recherche d'un état d'équilibre par un ensemble de cellules simples inter-agissant entre elles via un réseau de connections paramétrées. L'approche usuelle, pour obtenir un réseau de neurones ayant un comportement souhaite, consiste a tester sur des exemples un réseau choisi a priori et a modifier ses paramètres de contrôle jusqu'à ce que l'on obtienne un comportement satisfaisant. La difficulté de ces méthodes est que leur succès ou leur échec reposent sur le choix d'un premier réseau et que l'on ne dispose pas de règles permettant de déduire ce choix de la structure du probleme. La motivation de cette thèse a donc été de décrire des méthodes de synthèse permettant une construction modulaire de réseaux de neurones. Aussi, cette thèse propose une classe de réseaux de neurones parmi lesquels toute spécification de la forme chercher un élément de e (fini) vérifiant la propriété p admet au moins une réalisation. En outre, les réseaux de cette classe peuvent être combines pour obtenir un réseau réalisant une combinaison des spécifications des réseaux combines

16

Tsopze, Norbert. "Treillis de Galois et réseaux de neurones : une approche constructive d'architecture des réseaux de neurones". Thesis, Artois, 2010. http://www.theses.fr/2010ARTO0407/document.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les réseaux de neurones artificiels connaissent des succès dans plusieurs domaines. Maisles utilisateurs des réseaux de neurones sont souvent confrontés aux problèmes de définitionde son architecture et d’interprétabilité de ses résultats. Plusieurs travaux ont essayé d’apporterune solution à ces problèmes. Pour les problèmes d’architecture, certains auteurs proposentde déduire cette architecture à partir d’un ensemble de connaissances décrivant le domaine duproblème et d’autres proposent d’ajouter de manière incrémentale les neurones à un réseauayant une taille initiale minimale. Les solutions proposées pour le problème d’interprétabilitédes résultats consistent à extraire un ensemble de règles décrivant le fonctionnement du réseau.Cette thèse contribue à la résolution de ces deux problèmes. Nous nous limitons à l’utilisationdes réseaux de neurones dans la résolution des problèmes de classification.Nous présentons dans cette thèse un état de l’art des méthodes existantes de recherche d’architecturede réseaux de neurones : une étude théorique et expérimentale est aussi faite. Decette étude, nous observons comme limites de ces méthodes la disponibilité absolue des connaissancespour construire un réseau interprétable et la construction des réseaux difficiles à interpréteren absence de connaissances. En alternative, nous proposons une méthode appelée CLANN(Concept Lattice-based Artificial Neural network) basée les treillis de Galois qui construit undemi-treillis à partir des données et déduire de ce demi-treillis l’architacture du réseau. CLANNétant limitée à la résolution des problèmes à deux classes, nous proposons MCLANN permettantd’étendre cette méthodes de recherche d’architecture des réseaux de neurones aux problèmes àplusieurs classes.Nous proposons aussi une méthode appelée ’Approche des MaxSubsets’ pour l’extractiondes règles à partir d’un réseau de neurones. La particularité de cette méthode est la possibilitéd’extraire les deux formats de règles (’si alors’ et ’m parmi N’) à partir d’une structure quenous construisons. Nous proposons aussi une façon d’expliquer le résultat calculé par le réseauconstruit par la méthode MCLANN au sujet d’un exemple
The artificial neural networks are successfully applied in many applications. But theusers are confronted with two problems : defining the architecture of the neural network able tosolve their problems and interpreting the network result. Many research works propose some solutionsabout these problems : to find out the architecture of the network, some authors proposeto use the problem domain theory and deduct the network architecture and some others proposeto dynamically add neurons in the existing networks until satisfaction. For the interpretabilityproblem, solutions consist to extract rules which describe the network behaviour after training.The contributions of this thesis concern these problems. The thesis are limited to the use of theartificial neural networks in solving the classification problem.In this thesis, we present a state of art of the existing methods of finding the neural networkarchitecture : we present a theoritical and experimental study of these methods. From this study,we observe some limits : difficulty to use some method when the knowledges are not available ;and the network is seem as ’black box’ when using other methods. We a new method calledCLANN (Concept Lattice-based Artificial Neural Network) which builds from the training dataa semi concepts lattice and translates this semi lattice into the network architecture. As CLANNis limited to the two classes problems, we propose MCLANN which extends CLANN to manyclasses problems.A new method of rules extraction called ’MaxSubsets Approach’ is also presented in thisthesis. Its particularity is the possibility of extracting the two kind of rules (If then and M-of-N)from an internal structure.We describe how to explain the MCLANN built network result aboutsome inputs

17

Voegtlin, Thomas. "Réseaux de neurones et auto-référence". Lyon 2, 2002. http://theses.univ-lyon2.fr/documents/lyon2/2002/voegtlin_t.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Le sujet de cette thèse est l'étude d'une classe d'algorithmes d'apprentissage non supervisés pour réseaux de neurones récurrents. Dans la 1ere partie (chap. 1 à 4), je présente plusieurs algorithmes, basés sur un même principe d'apprentissage : l'auto-référence. L'apprentissage auto-référent n'implique pas l'optimisation d'un critère objectif (comme une fonction d'erreur), mais il fait intervenir une fonction subjective, qui dépend de ce que le réseau a déjà appris. Un exemple de réseau supervisé basé sur ce principe est le Simple Recurrent Netword d'Elman (1990). Dans ce cas, l'auto-référence est appliquée à l'algorithme de rétro-propagation du gradient. Sur ce point, le réseau d'Elman diffère des autres méthodes de rétro-propagation pour réseaux récurrents, qui font intervenir un gradient objectif (Back-propagation Through Time, Real-Time Recurrent learning). Je montr que l'auto-référence peut être utilisée avec les principales techniques d'apprentissage non supervisé : Cartes de Kohonen, Analyse en composantes principales, Analyse en composantes indépendantes. Ces techniques sont classiquement utilisées pour représenter des données statiques. L'auto-référence permet de les généraliser à des séries temporelles, et de définir des algorithmes d'apprentissage nouveaux
The purpose of this thesis is to present a class of unsupervised learning algorithms for recurrent networks. In the first part (chapters 1 to 4), I propose a new approach to this question, based on a simple principle: self-reference. A self-referent algorithm is not based on the minimization of an objective criterion, such as an error function, but on a subjective function, that depends on what the network has previously learned. An example of a supervised recurrent network where learning is self-referent is the Simple Recurrent Network (SRN) by Elman (1990). In the SRN, self-reference is applied to the supervised error back-propagation algorithm. In this aspect, the SRN differs from other generalizations of back-propagation to recurrent networks, that use an objective criterion, such as Back-Propagation Through Time, or Real-Time Recurrent Learning. In this thesis, I show that self-reference can be combined with several well-known unsupervised learning methods: the Self-Organizing Map (SOM), Principal Components Analysis (PCA), and Independent Components Analysis (ICA). These techniques are classically used to represent static data. Self-reference allows one to generalize these techniques to time series, and to define unsupervised learning algorithms for recurrent networks

18

Teytaud, Olivier. "Apprentissage, réseaux de neurones et applications". Lyon 2, 2001. http://theses.univ-lyon2.fr/documents/lyon2/2001/teytaud_o.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les fondements théoriques de l'apprentissage sont en grande partie posés. Comme la calculabilité est venue à maturité en s'orientant vers la complexité, l'apprentissage mûrit face à des résultats négatifs forts qui rendent sans espoir la quête d'algorithmes universels, efficaces pour toute donnée. Vraisemblablement les grandes avancées à venir seront (a) soit dans des domaines connexes où l'étude théorique a moins été poussée, (b) soit moins philosophiques et plus concrètes (théorique à préoccupations algorithmiques, représentation de données structurées, implémentation physique, modularité), soit enfin (c) dans la modélisation biologique. Cette thèse résume (et essaie modestement de compléter) les avancées théoriques statistiques, des points de vue successifs des cas où l'apprentissage est difficile (i. E. , où l'on sort du cadre iid sans bruit avec a priori de VC-dimension finie), des utilisations non-standards de la VC-théorie (non-supervisé, extraction de règles : c'est le (a) ci-dessus), puis du passage au concret avec le passage aux préoccupations algorithmiques (validité des approximations dans les Supports Vector Machines, efficacité des algorithmes de Gibbs quoique l'étude soit très incomplète, plus proches voisins rapides d'un point de vue expérimental représentation de données structurées images ou textes - tout cela est le (b)) et la modélisation biologique (c)

19

Côté, Marc-Alexandre. "Réseaux de neurones génératifs avec structure". Thèse, Université de Sherbrooke, 2017. http://hdl.handle.net/11143/10489.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Cette thèse porte sur les modèles génératifs en apprentissage automatique. Deux nouveaux modèles basés sur les réseaux de neurones y sont proposés. Le premier modèle possède une représentation interne où une certaine structure a été imposée afin d’ordonner les caractéristiques apprises. Le deuxième modèle parvient à exploiter la structure topologique des données observées, et d’en tenir compte lors de la phase générative. Cette thèse présente également une des premières applications de l’apprentissage automatique au problème de la tractographie du cerveau. Pour ce faire, un réseau de neurones récurrent est appliqué à des données de diffusion afin d’obtenir une représentation des fibres de la matière blanche sous forme de séquences de points en trois dimensions.

20

Jodouin, Jean-François. "Réseaux de neurones et traitement du langage naturel : étude des réseaux de neurones récurrents et de leurs représentations". Paris 11, 1993. http://www.theses.fr/1993PA112079.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Le but de ce travail a été d'évaluer les possibilités d'application des réseaux connexionnistes aux taches de haut niveau comme le traitement du langage naturel (tln). Un travail de réflexion a permis de cerner les types de réseaux et les techniques de représentation propices à ce domaine d'application. Deux réseaux de la classe des réseaux récurrents à couches ont été sélectionnés pour des études approfondies: le simple récurrent network et le time-unfolding network (tun). Le perceptron multicouches a servi d'étalon. Un domaine d'application mettant à l'épreuve la mémoire et les capacités de représentation des réseaux a aussi été choisi: la prédiction de séquences non déterministes. Un outil de simulation graphique, Baptise Simon, a été crée pour l'étude. Le travail empirique a consisté en trois séries d'expériences qui ont pour but d'étudier les capacités de réseaux dans des conditions se rapprochant progressivement du traitement d'énoncés réels. Cette étude a été approfondie par l'analyse des représentations développées par les réseaux durant leur traitement. Cette recherche semble montrer que les réseaux récurrents ont le potentiel de développer des représentations complexes, ce qui leur permet de traiter de façon efficace les taches qui leur ont été données. En particulier, les performances des tuns dépassent, dans le meilleur des cas, celles de nos meilleurs outils de comparaison. En conclusion, les réseaux récurrents à couches ont une utilité immédiate à la frontière entre la parole (ou l'information est généralement bruitée et incomplète) et le langage (ou les représentations symboliques pures supportent mal ce type d'imprécision). De plus, si un important travail de recherche reste encore à faire, les résultats obtenus permettent d'espérer l'application future de ces réseaux à des taches plus évoluées du tln

21

Brette, Romain. "Modèles Impulsionnels de Réseaux de Neurones Biologiques". Phd thesis, Université Pierre et Marie Curie - Paris VI, 2003. http://tel.archives-ouvertes.fr/tel-00005340.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les neurosciences computationnelles sont traditionnellement dominées par la conception selon laquelle les neurones codent l'information à travers leur fréquence de décharge. Récemment, les observations expérimentales de synchronisation neuronale ont motivé un renouveau du point de vue impulsionnel, selon lequel la structure temporelle des décharges est pertinente. Les modèles impulsionnels étant moins bien compris que leurs homologues fréquentiels, nous commençons par établir des résultats théoriques généraux, qui nous permettent en particulier de montrer que les modèles impulsionnels répondent de manière reproductible aux stimulations variables apériodiques. Cette propriété nous permet de construire un modèle de sélectivité à l'orientation dans le cortex visuel, le perceptron impulsionnel, qui, en détectant une propriété géométrique de l'image plutôt que l'adéquation entre l'image et un patron, permet d'obtenir avec une architecture feedforward une invariance naturelle au contraste.

22

Tardif, Patrice. "Autostructuration des réseaux de neurones avec retards". Thesis, Université Laval, 2007. http://www.theses.ulaval.ca/2007/24240/24240.pdf.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

23

Maktoobi, Sheler. "Couplage diffractif pour réseaux de neurones optiques". Thesis, Bourgogne Franche-Comté, 2020. http://www.theses.fr/2020UBFCD019.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les réseaux photoniques à haute performance peuvent être considérés comme des supports pour les futurs systèmes de calcul. Contrairement à l'électronique, les systèmes photoniques offrent des avantages intéressants, par exemple la possibilité de réaliser des réseaux complètement parallèles. Récemment, les réseaux de neurones ont attiré l'attention de la communauté photonique. L'une des difficultés les plus importantes, en matière de réseaux photoniques parallèles à grande échelle, est la réalisation des connexions. La diffraction est exploitée ici comme méthode pour traiter les connexions entre les nœuds (couplage) dans les réseaux de neurones optiques. Dans cette thèse, nous étudions l'extensibilité d'un couplage diffractif en détails de la façon suivante :Tout d'abord, nous commençons par une introduction générale à propos de l'intelligence artificielle, de l'apprentissage machine, des réseaux de neurones artificiels et des réseaux de neurones photoniques. Lors de la conception d'un réseau neuronal fonctionnel, les règles de l'apprentissage machine sont des éléments essentiels pour optimiser une configuration et ainsi obtenir une faible erreur du système, donc les règles de l'apprentissage sont introduites (chapitre 1). Nous étudions les concepts fondamentaux du couplage diffractif dans notre réservoir spatio-temporel. Dans ce cas, la théorie de la diffraction est expliquée. Nous utilisons un schéma analytique pour fournir les limites en termes de taille des réseaux diffractifs, qui font partie intégrante de notre réseau neuronal photonique (chapitre 2). Les concepts du couplage diffractif sont étudiés expérimentalement dans deux expériences différentes afin de confirmer les limites obtenues analytiquement, et pour déterminer le nombre maximum de nœuds pouvant être couplés dans le réseau photonique (Chapitre 3). Les simulations numériques d'une telle expérience sont basées sur deux schémas différents pour calculer numériquement la taille maximale du réseau, qui approche une surface de 100 mm2 (chapitre 4). Enfin, l'ensemble du réseau neuronal photonique est démontré. Nous concevons un réservoir spatialement étendu sur 900 nœuds. En conséquence, notre système généralise la prédiction pour la séquence chaotique de Mackey-Glass (chapitre 5)
Photonic networks with high performance can be considered as substrates for future computing systems. In comparison with electronics, photonic systems have substantial privileges, for instance the possibility of a fully parallel implementation of networks. Recently, neural networks have moved into the center of attention of the photonic community. One of the most important requirements for parallel large-scale photonic networks is to realize the connectivities. Diffraction is considered as a method to process the connections between the nodes (coupling) in optical neural networks. In the current thesis, we evaluate the scalability of a diffractive coupling in more details as follow:First, we begin with a general introductions for artificial intelligence, machine learning, artificial neural network and photonic neural networks. To establish a working neural network, learning rules are an essential part to optimize a configuration for obtaining a low error from the system, hence learning rules are introduced (Chapter 1). We investigate the fundamental concepts of diffractive coupling in our spatio-temporal reservoir. In that case, theory of diffraction is explained. We use an analytical scheme to provide the limits for the size of diffractive networks which is a part of our photonic neural network (Chapter 2). The concepts of diffractive coupling are investigated experimentally by two different experiments to confirm the analytical limits and to obtain maximum number of nodes which can be coupled in the photonic network (Chapter 3). Numerical simulations for such an experimental setup is modeled in two different schemes to obtain the maximum size of network numerically, which approaches a surface of 100 mm2 (Chapter 4). Finally, the complete photonic neural network is demonstrated. We design a spatially extended reservoir for 900 nodes. Consequently, our system generalizes the prediction for the chaotic Mackey–Glass sequence (Chapter 5)

24

Ouali, Jamel. "Architecture intégrée flexible pour réseaux de neurones". Grenoble INPG, 1991. http://www.theses.fr/1991INPG0035.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Ayant rappelé brièvement quelques réalisations matérielles de réseaux de neurones artificiels dans un premier chapitre cette thèse propose une architecture distribuée, synchrone fondée sur l'existence d'un processeur neurone autonome. Ce processeur pourra être personnalise suivant les caractéristiques du réseaux de neurones a implanter et pourra être connecte a d'autres neurones pour former un réseau de structure et de dimension fixées. Ce neurone se présente comme un circuit dédié fabrique dans un temps court dans un environnement du type compilateur de silicium. Un tel neurone a été conçu et fabrique et s'est avéré complètement opérationnel. Il implémenté sous sa version fabrique uniquement la phase de relaxation. Dans un troisième chapitre, on montre que sans modification de l'architecture, on peut inclure des possibilités d'apprentissage. Pour ceci un algorithme d'apprentissage par la rétropropagation du gradient a été propose et étudié et on montre son implantation sur le réseau de neurones propose en précisant l'adjonction dans la partie de contrôle du neurone a implanter. Enfin, dans un dernier chapitre, nous explorons la possibilité de réaliser de très grands circuits ce qui serait très judicieux pour faire face a la taille des réseaux de neurones requise pour les applications. Pour ceci, nous explorons les possibilités d'intégration tranche entière. En effet, il existe une tolérance aux fautes intrinsèques au calcul neuronal et de plus l'implantation physique régulière doit permettre d'isoler et d'exclure les neurones défaillants. Les possibilités d'implantation physique d'une architecture tranche entière sont donc présentées dans ce chapitre

25

Bigot, Pascal. "Utilisation des réseaux de neurones pour la télégestion des réseaux techniques urbains". Lyon 1, 1995. http://www.theses.fr/1995LYO10036.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

La telegestion des reseaux techniques urbains fait appel a des techniques de reconnaissance de formes: etant donnee une image de l'etat du reseau, determiner si il fonctionne correctement ou non. Une methode employee pour resoudre ce type de probleme fait appel aux reseaux de neurones. Nous definissons une methodologie de construction de l'architecture employee afin d'obtenir des capacites de generalisation satisfaisantes. On s'oriente vers un reseau multicouches et l'algorithme de retropropagation du gradient. Nous precisons aussi une methodologie d'elaboration des bases d'apprentissage qui tienne compte de la nature numerique des donnees utilisees et, en particulier, des sources d'incertitudes qui les caracterisent. Celles-ci sont d'ordre physique (erreurs dues a l'imprecision des mesures et a la presence de bruit) et d'ordre statistique (erreurs dues a des previsions de grandeurs non mesurables). La methode utilisee suppose que l'on peut mesurer tous les parametres necessaires a sa mise en uvre. Ce qui n'est pas le cas dans la pratique. C'est pourquoi nous explorons differentes techniques de selection des parametres mesures et nous etudions les degradations eventuelles des capacites de detection. Nous etudions ensuite un systeme de localisation geographique des anomalies qui utilise les reseaux de neurones. On en montre les limitations. Cette approche est experimentee sur un reseau de distribution d'eau potable. Nous developpons d'autre part une etude theorique sur les relations qui existent entre les fonctions calculables par un reseau de neurones et celles qui sont calculables par un arbre binaire de decision. Ceci nous conduit a des algorithmes d'apprentissage pour des reseaux de neurones dont l'architecture (le nombre de neurones par couches) est variable

26

Koiran, Pascal. "Puissance de calcul des réseaux de neurones artificiels". Lyon 1, 1993. http://www.theses.fr/1993LYO19003.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Depuis quelques annees on s'est beaucoup interesse a la resolution de problemes d'ingenierie avec des reseaux de neurones artificiels (par exemple en reconnaissance de formes, robotique, prediction de series temporelles, optimisation. . . ). La plupart de ces travaux sont de nature empirique, et ne comportent que peu ou pas du tout d'analyse mathematique rigoureuse. Cette these se situe dans une perspective tout-a-fait differente: il s'agit d'etudier les relations entre les reseaux de neurones et les modeles de calculs classiques ou moins classiques de l'informatique theorique (automates finis, machines de turing, circuits booleens, machines de turing reelles de blum, shub et smale). Les principaux resultats sont les suivants: 1) simulation d'une machine de turing universelle par des reseaux recurrents; 2) etude generale de la puissance de calcul des systemes dynamiques definis par des iterations de fonctions, notamment en petites dimensions; 3) etude de modeles de calculs sur les nombres reels, avec application aux reseaux recurrents et acycliques. On montre que la classe des fonctions (discretes) calculables en temps polynomial est p/poly

27

Graïne, Slimane. "Inférence grammaticale régulière par les réseaux de neurones". Paris 13, 1994. http://www.theses.fr/1994PA132020.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Dans cette thèse, nous proposons: - une méthode pour la simulation des automates finis par les réseaux de neurones (chapitre 4), - une méthode pour la reconnaissance des grammaires hors contexte et des grammaires stochastiques hors contexte par les réseaux de neurones (chapitre (5), - deux méthodes pour l'apprentissage des langages réguliers par les réseaux de neurones (chapitre 6). Les chapitres 2 et 3 présentent respectivement les réseaux de neurones et le problème de l'inférence grammaticale. Les chapitres 1 et 7 respectivement consacrés à l'introduction et à la conclusion.

28

Le, Fablec Yann. "Prévision de trajectoires d'avions par réseaux de neurones". Toulouse, INPT, 1999. http://www.theses.fr/1999INPT034H.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

La prévision de trajectoires d'avions est un problème crucial pour les systèmes de gestion du traffic aérien. Des méthodes de prévision utilisant des modélisations d'avion existent déjà mais nécessitent beaucoup de paramètres en n'offrant qu'une précision moyenne. C'est pourquoi nous développons une nouvelle approche nútilisant que peu d'informations initiales. La méthode choisie est basée sur l'utilisation de réseaux de neurones auxquels on fait apprendre un ensemble de trajectoires avant de les utiliser pour en prédire de nouvelles. Nous développons trois méthodes différentes qui permettent une prédiction à long terme dans le plan vertical et à court et moyen terme dans le plan horizontal. L'une d'elles est capable d'intégrer de nouvelles données au fur et à mesure que l'avion vole, ce qui lui permet de réagir aux éventuels changements de trajectoire et ainsi de parfaire la prévision. Les deux autres réalisent la prédiction même lorsque l'avion ne vole pas. Nous introduisons aussi une structure de type mélange hiérarchique d'experts qui permet de regrouper le savoir emmagaziné dans plusieurs réseaux, ainsi, il est possible de se passer de la connaissance du type d'avion étudié. Les méthodes utilisant des réseaux de neurones sont ensuite comparées aux méthodes à base de modèles avion. Nous montrons alors que les réseaux de neurones donnent de bien meilleurs résultats tout en permettant une prédiction très rapide. De plus, ne nécessitant que très peu de paramètres au départ, ils sont applicables sur un plus grand nombre de cas.

29

Corne, Christophe. "Parallélisation de réseaux de neurones sur architecture distribuée". Mulhouse, 1999. http://www.theses.fr/1999MULH0583.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Notre étude a pour objectif d'établir le rôle prépondérant que peuvent avoir les techniques parallèles dans la résolution de calculs complexes utilisant des réseaux de neurones. Nous présentons les différents modèles de réseaux de neurones afin d'évaluer leur adaptabilité au parallélisme et de retenir la meilleure méthode de parallélisation. La structure choisie est basée sur l'algorithme neuromimétique Self-Organizing Map (SOM). Nous parallélisons cet algorithme sur différents types de plate-formes à architecture distribuée, l'une d'entre elles étant un réseau de stations de travail. Nous présentons un réseau grossissant, auto-organisé dans sa généralité et détaillons la forme séquentielle de son algorithme fondateur. La parallélisation de ce dernier algorithme sur une architecture utilisant la norme SCI (Scalable Coherent Interface) comme moyen de communication nous permet de montrer l'intérêt à la fois d'un réseau d'ordinateurs comme ressources de calcul et de ce nouveau protocole à 1 Gigabit/s. Pour évaluer les performances de nos algorithmes et les faire fonctionner, nous avons dû soutirer la puissance optimale des matériels dont nous disposions. Nous avons constaté à cette occasion, que les ressources informatiques, prises dans leur ensemble, avaient un potentiel et une disponibilité en puissance de calcul largement inexploitée. Ces circonstances nous ont conduit à une réflexion sur l'optimisation des ressources informatiques et à la conception d'un logiciel de répartition des tâches, sur systèmes distribués. Nous détaillons le fonctionnement de ce logiciel nommé «ReTrop» et présentons succinctement ses débouchés industriels. Comme exemple d'utilisation de ce principe, nous présentons les résultats obtenus pour améliorer le choix des paramètres d'un réseau grossissant, auto-organisé.

30

He, Bing. "Estimation paramétrique du signal par réseaux de neurones". Lille 1, 2002. https://pepite-depot.univ-lille.fr/RESTREINT/Th_Num/2002/50376-2002-75.pdf.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

31

Pompougnac, Hugo. "Spécification et compilation de réseaux de neurones embarqués". Electronic Thesis or Diss., Sorbonne université, 2022. http://www.theses.fr/2022SORUS436.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Dans cette thèse, nous proposons une approche pour spécifier et compiler conjointement les aspects Calcul Haute Performance (HPC) et Temps-Réel Embarqué (RTE) d’un même système. Notre approche est fondée sur une intégration formelle, algorithmique et outillée entre deux formalismes sous-tendant une bonne partie des travaux en HPC et en RTE : le formalisme SSA et le langage flot de données synchrone Lustre. Le formalisme SSA est au cœur de bon nombre de compilateurs HPC, dont ceux employés par les frameworks d'apprentissage machine tels TensorFlow ou PyTorch. Le langage Lustre est au cœur des processus de mise en œuvre de systèmes embarqués critiques dans l’avionique, ou encore le rail
In this thesis, we propose an approach for the joint specification and compilation of both High-Performance Computing (HPC) and Real-Time Embedded (RTE) aspects of a system. Our approach is based on a formal, algorithmic and tooled integration between two formalisms underlying a large part of works in HPC and RTE fields: the SSA formalism and the synchronous dataflow language Lustre. The SSA formalism is a key component of many HPC compilers, including those used by Machine Learning frameworks such as TensorFlow or PyTorch. The Lustre language is a key component of implementation processes of critical embedded systems in avionics or rail transportation

32

Bénédic, Yohann. "Approche analytique pour l'optimisation de réseaux de neurones artificiels". Phd thesis, Université de Haute Alsace - Mulhouse, 2007. http://tel.archives-ouvertes.fr/tel-00605216.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les réseaux de neurones artiﬁciels sont nés, il y a presque cinquante ans, de la volonté de modéliser les capacités de mémorisation et de traitement du cerveau biologique. Aujourd'hui encore, les nombreux modèles obtenus brillent par leur simplicité de mise en œuvre, leur puissance de traitement, leur polyvalence, mais aussi par la complexité des méthodes de programmation disponibles. En réalité, très peu d'entre-elles sont capables d'aboutir analytiquement à un réseau de neurones correctement conﬁguré. Bien au contraire, la plupart se " contentent " d'ajuster, petit à petit, une ébauche de réseau de neurones, jusqu'à ce qu'il fonctionne avec suffisamment d'exemples de la tâche à accomplir. Au travers de ces méthodes, dites " d'apprentissages ", les réseaux de neurones sont devenus des boîtes noires, que seuls quelques experts sont effectivement capables de programmer. Chaque traitement demande en effet de choisir convenablement une conﬁguration initiale, la nature des exemples, leur nombre, l'ordre d'utilisation, ... Pourtant, la tâche finalement apprise n'en reste pas moins le résultat d'une stratégie algorithmique implémentée par le réseau de neurones. Une stratégie qui peut donc être identiﬁée par le biais de l'analyse, et surtout réutilisée lors de la conception d'un réseau de neurones réalisant une tâche similaire, court-circuitant ainsi les nombreux aléas liés à ces méthodes d'apprentissage. Les bénéﬁces de l'analyse sont encore plus évidents dans le cas de réseaux de neurones à sortie binaire. En effet, le caractère discret des signaux traités simplifie grandement l'identification des mécanismes mis en jeu, ainsi que leur contribution au traitement global. De ce type d'analyse systématique naît un formalisme original, qui décrit la stratégie implémentée par les réseaux de neurones à sortie binaire de façon particulièrement efficace. Schématiquement, ce formalisme tient lieu d'" état intermédiaire " entre la forme boîte noire d'un réseau de neurones et sa description mathématique brute. En étant plus proche des modèles de réseaux de neurones que ne l'est cette dernière, il permet de retrouver, par synthèse analytique, un réseau de neurones effectuant la même opération que celui de départ, mais de façon optimisée selon un ou plusieurs critères : nombre de neurones, nombre de connexions, dynamique de calcul, etc. Cette approche analyse-formalisation-synthèse constitue la contribution de ces travaux de thèse.

33

Gatet, Laurent. "Intégration de Réseaux de Neurones pour la Télémétrie Laser". Phd thesis, Toulouse, INPT, 2007. http://oatao.univ-toulouse.fr/7595/1/gatet.pdf.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Grandes lignes : Un réseau de neurones est une architecture paramétrable composée de plusieurs modules appelés neurones. Ils peuvent être utilisés pour compenser des variations non souhaitées de certains phénomènes physiques ou pour effectuer des tâches de discrimination. Un réseau de neurones a été intégré en technologie CMOS basse tension pour être implanté au sein d'un télémètre laser par déphasage. Deux études ont été menées en parallèle. La première consiste à lever l'indétermination sur la mesure de distance déduite de la mesure de déphasage. La seconde étude permet la classification de différents types de surfaces à partir de deux signaux issus du télémètre. Résumé détaillé : Un réseau de neurones a la faculté de pouvoir être entraîné afin d'accomplir une tâche d'approximation de fonction ou de classification à partir d'un nombre limité de données sur un intervalle bien défini. L'objectif de cette thèse est de montrer l'intérêt d'adapter les réseaux de neurones à un type de système optoélectronique de mesure de distance, la télémétrie laser par déphasage. La première partie de ce manuscrit développe de manière succincte leurs diverses propriétés et aptitudes, en particulier leur reconfigurabilité par l'intermédiaire de leurs paramètres et leur capacité à être intégré directement au sein de l'application. La technique de mesure par télémétrie laser par déphasage est développée dans le deuxième chapitre et comparée à d'autres techniques télémétriques. Le troisième chapitre montre qu'un réseau de neurones permet d'améliorer nettement le fonctionnement du télémètre. Une première étude met en valeur sa capacité à accroître la plage de mesure de distance sans modifier la résolution. Elle est réalisée à partir de mesures expérimentales afin de prouver le réel intérêt de la méthode comportementale développée. La deuxième étude ouvre une nouvelle perspective relative à l'utilisation d'un télémètre laser par déphasage, celle d'effectuer la classification de différents types de surfaces sur des plages de distances et d'angles d'incidence variables. Pour valider expérimentalement ces deux études, les cellules de base du neurone de type perceptron multi-couches ont été simulées puis implantées de manière analogique. Les phases de simulation, de conception et de test du neurone analogique sont détaillées dans le quatrième chapitre. Un démonstrateur du réseau de neurones global a été réalisé à partir de neurones élémentaires intégrés mis en parallèle. Une étude de la conception des mêmes cellules en numérique est détaillée succinctement dans le cinquième chapitre afin de justifier les avantages associés à chaque type d'intégration. Le dernier chapitre présente les phases d'entraînement et de validation expérimentales du réseau intégré pour les deux applications souhaitées. Ces phases de calibrage sont effectuées extérieurement à l'ASIC, par l'intermédiaire de l'équation de transfert déterminée après caractérisation expérimentale et qualification du réseau de neurones global. Les résultats expérimentaux issus de la première étude montrent qu'il est possible d'obtenir à partir des signaux de sorties du télémètre et du réseau de neurones, une mesure de distance de précision (50µm) sur un intervalle de mesure 3 fois plus important que celui limité à la mesure du déphasage. Concernant l'application de discrimination de surfaces, le réseau de neurones analogique implanté est capable de classer quatre types de cibles sur l'intervalle [0.5m ; 1.25m] pour un angle d'incidence pouvant varier de - π /6 à + π /6.

34

Robitaille, Benoît. "Contrôle adaptatif par entraînement spécialisé de réseaux de neurones". Thesis, National Library of Canada = Bibliothèque nationale du Canada, 1997. http://www.collectionscanada.ca/obj/s4/f2/dsk2/ftp02/NQ35778.pdf.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

35

Ducom, Jean-Christophe. "Codage temporel et apprentissage dans les réseaux de neurones". Aix-Marseille 1, 1996. http://www.theses.fr/1996AIX11041.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Nous rappelons dans un premier temps quelques bases de neurobiologie sur les caracteristiques et les proprietes du neurone, ainsi que sur l'organisation generale des neurones dans le cerveau. Ceci nous amene par la suite a reconsiderer les modeles classiques de reseaux de neurones formels, a cause de leur manque de realisme et de leur incapacite a resoudre certains problemes, tels que la segmentation et le liage d'attributs visuels. Or, de recentes experiences sur le traitement de stimuli par le cortex visuel exhibent un nouveau type de codage de l'information, base sur les relations temporelles entre les differents potentiels d'action (en particulier la synchronisation de leurs temps d'emission), et non plus sur la frequence de decharge des neurones. A partir de la variante de codage temporel de s. Thorpe, nous proposons un modele de presynchronisation d'activite neuronale reposant sur un couplage diffusif entre neurones et sur un signal inhibiteur. Nous etudions les proprietes d'un tel reseau de neurones realistes, de type integrateur a seuil avec fuite, suivant differents types de signal d'entree et de bruit. Dans une seconde partie, nous etudions les consequences de l'introduction du temps pour l'apprentissage: les temps de transmission du signal entre neurones sont pris en compte. Apres avoir rappele les principaux resultats experimentaux sur l'apprentissage, ceux-ci permettant de degager certaines contraintes biologiques, nous proposons une loi de modification des efficacites synaptiques. Elle permet au reseau de conserver et de recuperer une suite de configurations d'activite spatio-temporelle. Enfin, nous etudions ses proprietes lorsque certaines contraintes de normalisation lui sont imposees au niveau des variations des poids synaptiques ; on montre alors que le comportement du reseau est different selon la maniere utilisee pour realiser ces contraintes

36

Benaïm, Michel. "Dynamiques d'activation et dynamiques d'apprentissage des réseaux de neurones". Toulouse, ENSAE, 1992. http://www.theses.fr/1992ESAE0001.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

L'objet principal de cette these est d'etudier de facon rigoureuse un modele temps-reel de reseau de neurones. La description mathematique complete d'un modele temps-reel requiert la donnee de trois dynamiques: la dynamique d'activation ou dynamique des memoires a court terme qui determine l'evolution des etats d'activation des unites. La dynamique des poids ou dynamique des memoires a long terme qui determine l'evolution des vecteurs poids selon une regle d'apprentissage ou un mecanisme d'auto-organisation. Une dynamique exogene qui decrit l'evolution des stimuli exterieurs au reseau et que nous representerons par un processus aleatoire. Aussi l'evolution du reseau est donnee par un systeme dynamique non autonome couple, dans le produit cartesien de l'espace d'activation par l'espace des poids. Avec ce formalisme, nous etudions un modele de reseau qui peut etre vu comme une version temps-reel des cartes auto-organisatrices de kohonen et plus generalement d'une classe de reseaux utilises comme modules elementaires dans des architectures evoluees (art, neocognitron,. . . )

37

Aupetit, Michaël. "Approximation de variétés par réseaux de neurones auto-organisés". Grenoble INPG, 2001. http://www.theses.fr/2001INPG0128.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Les problèmes de discrimination, de classification, d'approximation de fonctions, de diagnostic ou de commande qui se posent notamment dans le domaine du génie industriel, peuvent se ramener à un problème d'approximation de variétés. Nous proposons une méthode d'approximation de variétés sous-jacentes à une distribution de données, basée sur une approche connexionniste auto-organisée et procédant en trois étapes : un positionnement de représentants de la distribution par des techniques de quantification vectorielle permet d'obtenir un modèle discret, un apprentissage de la topologie de cette distribution par construction de la triangulation induite de Delaunay selon un algorithme d'apprentissage compétitif donne un modèle linéaire par morceaux, et une interpolation non linéaire mène à un modèle non linéaire des variétés. Notre première contribution concerne la définition, l'étude des propriétés géométriques et la proposition d'algorithmes de recherche d'un nouveau type de voisinage "[gamma]-Observable" alliant des avantages du voisinage des k-plus-proches-voisins et du voisinage naturel, utilisable en grande dimension et en quantification vectorielle. Notre seconde contribution concerne une méthode d'interpolation basée sur des "noyaux de Voronoi͏̈" assurant la propriété d'orthogonalité nécessaire à la modélisation de variétés, avec une complexité de calcul équivalente ou plus faible que les méthodes d'interpolation existantes. Cette technique est liée au voisinage [gamma]-Observable et permet de construire différents noyaux gaussiens utilisés dans les réseaux RBFs. Les outils développés dans cette approche originale sont appliqués en approximation de fonctions pour l'identification d'un préhenseur électropneumatique, en approximation de variétés, et en discrimination et analyse de données. Il est notamment montré qu'il est intéressant d'utiliser les voisins 0. 5-observables pour définir les points frontières entre classes et affecter les éléments à leur classe d'appartenance.

38

Jiang, Fei. "Optimisation de la topologie de grands réseaux de neurones". Paris 11, 2009. http://www.theses.fr/2009PA112211.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Dans cette thèse, nous présentons notre étude concernant l'influence de la topologie sur les performances d'apprentissage des réseaux de neurones à topologie complexe. Trois réseaux de neurones différents ont été étudiés : le classique « Self-Organizing Maps » (SOM) avec topologie non-régulière complexe, le « Echo States Network » (ESN) et le « Standard Model Features » (SMF). Dans chaque cas, nous avons commencé par comparer les performances de différentes topologies pour la même tâche. Nous avons ensuite essayé d'optimiser la topologie de certains réseaux de neurones afin d'améliorer ces performances. La première partie traite des Cartes Auto-Organisatrices (SOMs) et la tâche est la classification des chiffres manuscrits de la base de MNIST. Nous montrons que la topologie a un faible impact sur les performances et la robustesse aux défaillances du neurone, du moins pour l'apprentissage à longue durée. La performance peut cependant être améliorée de près de 10% par évolution artificielle de la topologie du réseau. Dans nos conditions expérimentales, les réseaux évolués sont "plus aléatoires" que les réseaux de départ, et affichent une distribution des degrés plus hétérogène. Dans la seconde partie, on propose d'appliquer CMA-ES, la méthode "état de l'art" pour l'optimisation évolutionnaire continue, à l'apprentissage évolutionnaire des paramètres d'un Echo States Network. Sont ainsi optimisés les poids de sortie, bien sûr, mais aussi, le Rayon Spectral et/ou les pentes de la fonction d'activation des neurones). Tout d'abord, un problème standard d'apprentissage supervisé est utilisée pour valider l'approche et la comparer à celle d'origine. Mais la flexibilité de l'optimisation évolutionnaire nous permet d'optimiser non seulement les poids de sortie, mais également, ou alternativement, les autre paramètres des ESN, menant parfois à des résultats améliorés. Le problème classique de l'équilibre du « double pôle » est utilisé pour démontrer la faisabilité de l'apprentissage par renforcement évolutionnaire des ESN. Nous montrons que l'ESN évolutionaire obtient des résultats qui sont comparables à ceux des meilleures méthodes de l'apprentissage de topologie et de l'évolution de neurones. Enfin, la dernière partie présente notre recherche initiale de la SMF - un modèle de reconnaissance d'objets visuels qui est inspirée par le cortex visuel. Deux versions basées sur SMF sont appliquées au problème posé dans un des Challenges PASCAL – Visual multi-Object Challenge (VOC2008). Notre but sur le long terme est de trouver la topologie optimale du modèle SMF, mais le coût de calcul est pour l'instant trop important pour optimiser la topologie complète directement. Dans un premier temps, donc, nous appliquons un algorithme évolutionnaire pour sélectionner automatiquement les caractèristiques utilisés par les systèmes. Nous montrons que, pour le défi VOC2008, avec seulement 20% caractèristiques choisies, le système fonctionne aussi bien qu'avec la totalité des 1000 caractèristiques choisies au hasard
In this dissertation, we present our study regarding the influence of the topology on the learning performances of neural networks with complex topologies. Three different neural networks have been investigated: the classical Self-Organizing Maps (SOM) with complex graph topology, the Echo States Network (ESN) and the Standard Model Features(SMF). In each case, we begin by comparing the performances of different topologies for the same task. We then try to optimize the topology of some neural network in order to improve such performance. The first part deals with Self-Organizing Maps, and the task is the standard classification of handwritten digits from the MNIST database. We show that topology has a small impact on performance and robustness to neuron failures, at least at long learning times. Performance may however be increased by almost 10% by artificial evolution of the network topology. In our experimental conditions, the evolved networks are more random than their parents, but display a more heterogeneous degree distribution. In the second part, we propose to apply CMA-ES, the state-of-the-art method in evolutionary continuous parameter optimization, to the evolutionary learning of the parameters of an Echo State Network (the Readout weights, of course, but also, Spectral Radius, Slopes of the neurons active function). First, a standard supervised learning problem is used to validate the approach and compare it to the original one. But the flexibility of Evolutionary optimization allows us to optimize not only the outgoing weights but also, or alternatively, other ESN parameters, sometimes leading to improved results. The classical double pole balancing control problem is used to demonstrate the feasibility of evolutionary reinforcement learning of ESN. We show that the evolutionary ESN obtain results that are comparable with those of the best topology-learning neuro-evolution methods. Finally, the last part presents our initial research of the SMF - a visual object recognition model which is inspired by the visual cortex. Two version based on SMF are applied to the PASCAL Visual multi-Object recognition Challenge (VOC2008). The long terms goal is to find the optimal topology of the SMF model, but the computation cost is however too expensive to optimize the complete topology directly. So as a first step, we apply an Evolutionary Algorithm to auto-select the feature used by the systems. We show that, for the VOC2008 challenge, with only 20% selected feature, the system can perform as well as with all 1000 randomly selected feature

39

Alvado, Ludovic. "Neurones artificiels sur silicium : une évolution vers les réseaux". Bordeaux 1, 2003. http://www.theses.fr/2003BOR12674.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Cette thèse décrit une nouvelle approche pour la modélisation de réseaux de neurones biologiques. Cette approche utilise des circuits intégrés analogiques spécifiques (ASIC) dans lesquels le formalisme de Hodgkin-Huxley est implémenté dans le but de réaliser des réseaux de neurones artificiels de densité moyenne et biologiquement réaliste. Elle aborde aussi les problèmes de disparités entre composants et le choix d’une structure optimisée pour l’utilisation en réseau
This thesis describes a new approach for modelling biological neuron networks. This approach uses analogue specific integrated circuit (ASIC) in which Hodgkin-Huxley formalism as been implemented to integrate medium density artificial neural network, modelled at a biological realistic level. This thesis also deals with the component mismatches problem and the pertinent choice of optimized structure dedicated to network applications

40

Biela, Philippe. "Classification automatique d'observations multidimensionnelles par réseaux de neurones compétitifs". Lille 1, 1999. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/1999/50376-1999-469.pdf.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

L'objet du travail présenté dans ce mémoire est la classification d'observations multidimensionnelles à l'aide d'outils connexionistes appelés réseaux de neurones compétitifs. Le premier chapitre expose les principales techniques dites classique dédiées à la classification automatique d'un ensemble d'observations. Le second chapitre positionne le champ d'investigation de nos recherches dans le domaine de la classification automatique par réseaux de neurones. Nous y présentons quelques développements récents faits en classification dans le domaine cognitif en distinguant les techniques probabilistes utilisant une approche statistique et celles dédiées au domaine métrique avec une approche itérative. Le troisième chapitre présente dans le détail l'architecture et les spécificités comportementales de l'outil que nous avons développé à des fins de classification : le réseau de neurones compétitif. Enfin, le dernier chapitre montre comment, par l'action simultanée et coopérative des réseaux compétitifs, nous pouvons engendrer une action de classification cohérente parmi un ensemble d'observations disponibles d'origines inconnues. Pour illustrer et valider notre méthode nous utilisons différents échantillons d'observations issus de la simulation ou d'applications réelles comme le contrôle qualité de bouteilles en verre par vision artificielle.

41

Elhor, Noureddine. "Suivi de fonctionnement d'une éolienne par réseaux de neurones". Lille 1, 2000. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/2000/50376-2000-57.pdf.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Nous presentons une approche de suivi de fonctionnement d'un systeme aerogenerateur par analyse des signaux de vibration observes sur des fenetres temporelles glissantes. En particulier, nous sommes interesses par la surveillance du multiplicateur et de la generatrice elements sensibles sur lesquels nous avons installe des capteurs de vibration. Puisqu'il est difficile voire dangereux de creer des defauts sur une machine en pleine production, les signaux qui nous ont ete disponibles sont ceux du fonctionnement normal. Notre demarche a consiste alors a caracteriser ce fonctionnement par des spectres d'energie calcules sous differentes conditions. Nous justifions cette demarche par le fait que l'eolienne est une machine tournante et il est important de connaitre et verifier la presence de certaines frequences caracteristiques de certains elements de la machine. Les spectres extraits ont ete reduits a un nombre limite de bandes d'energies realisant ainsi des gabarits. Ces spectres reduits ont constitue les entrees et les sorties de reseaux de neurones autoassociateurs. Ce type de reseaux assure une double fonction : une projection non lineaire plane obtenue sur sa couche centrale et une estimation du spectre de fonctionnement normal en sortie
La projection non lineaire offre une visualisation plane des donnees alors que les comparaisons entre les sorties estimees et reelles generent des residus permettant de verifier si le spectre courant a devie ou non du fonctionnement normal memorise par le reseau. Pour valider notre etude, nous avons teste les performances du reseau sur des donnees en fonctionnement normal acquis dans des situations differentes de celles de la base d'apprentissage et sur des situations correspondant a des defauts simules type balourd. Ce type de defauts se manifeste par l'apparition d'une frequence et ses harmoniques dans le spectre d'energie. Dans les deux situations, les resultats obtenus par le reseau ont ete quantifies et se sont reveles satisfaisants. Nous avons exploite, par ailleurs, un reseau modulaire a apprentissage supervise pour la discrimination entre deux situations : le fonctionnement normal et la presence d'un defaut type balourd d'une amplitude minimale fixee. Les performances du reseau ont ete testees sur des defauts d'amplitudes differentes. Souvent les methodes de diagnostic sont appliquees sur des bancs d'essais dans des conditions de laboratoire controlees. Notre demarche est d'autant plus importante que nous surveillons une machine reelle en pleine production

42

Chakik, Fadi El. "Maximum d'entropie et réseaux de neurones pour la classification". Grenoble INPG, 1998. http://www.theses.fr/1998INPG0091.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Cette these s'inscrit dans le cadre de la classification. Elle porte particulierement sur l'etude des methodes basees sur le principe du maximum d'entropie (maxent). Ces approches ont ete utilisees dans le laboratoire leibniz, par exemple, pour apprendre des comportements a un robot autonome. Le but du travail a ete de comparer cette approche a celles basees sur des reseaux de neurones. Une analyse theorique de la classification a permis de montrer qu'il existe une equivalence entre le maxent et l'apprentissage hebbien des reseaux neuronaux. Apprendre les valeurs des poids de ces derniers est equivalent a apprendre les valeurs moyennes de certains observables du maxent. L'inclusion de nouveaux observables permet d'apprendre a apprendre avec des regles d'apprentissage plus performantes dans le cadre des reseaux de neurones. Le maxent a ete applique a deux problemes particuliers : la classification des ondes de breiman (probleme standard en apprentissage), et la reconnaissance de textures d'images spot. Ces applications ont montre que le maxent permet d'atteindre des performances comparables, voire meilleures, que les methodes neuronales. La robustesse du code du maxent mis au point au cours de cette these est en train d'etre etudiee dans le laboratoire tima. Il est prevu qu'il soit telecharge sur un satellite americain (projet mptb), pour l'evaluer en presence de rayonnements ionisants, dans la perspective de faire des traitements d'images en systemes embarques.

43

Demartines, Pierre. "Analyse de données par réseaux de neurones auto-organisés". Grenoble INPG, 1994. http://www.theses.fr/1994INPG0129.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Chercher a comprendre des donnees, c'est souvent chercher a trouver de l'information cachee dans un gros volume de mesures redondantes. C'est chercher des dependances, lineaires ou non, entre les variables observees pour pouvoir resumer ces dernieres par un petit nombre de parametres. Une methode classique, l'analyse en composantes principales (acp), est abondamment employee dans ce but. Malheureusement, il s'agit d'une methode exclusivement lineaire, qui est donc incapable de reveler les dependances non lineaires entre les variables. Les cartes auto-organisantes de kohonen sont des reseaux de neurones artificiels dont la fonction peut etre vue comme une extension de l'acp aux cas non-lineaires. L'espace parametrique est represente par une grille de neurones, dont al forme, generaleent carree ou rectangulaire, doit malheureusement etre choisie a priori. Cette forme est souvent inadaptee a celle de l'espace parametriue recherche. Nous liberons cette contrainte avec un nouvel algorithme, nomme vector quantization and projection (vqp), qui est une sorte de carte auto-organisante dont l'espace de sortie est continu et prend automatiquement la forme adequate. Sur le plan mathematique, vqp peut etre defini comme la recherche d'un diffeomorphisme entre l'espace brute des donnees et un espace parametrique inconnu a trouver. Plus intuitivement, il s'agit d'un depliage de la structure des donnees vers un espace de plus petite dimension. Cette dimension, qui correspond au nombre de degres de liberte du phenomene etudie, peut etre determinee par des methodes d'analyse fractale du nuage de donnees. Afin d'illustrer la generalite de l'approche vqp, nous donnons une serie d'exemples d'applications, simulees ou reelles, dans des domaines varies qui vont de la fusion de donnees a l'appariement de graphes, en passant par l'analyse ou la surveillance de procedes industriels, la detection de defauts dans des machines ou le routage adaptatif en telecommunications

44

Oussar, Yacine. "Réseaux d'ondelettes et réseaux de neurones pour la modélisation statique et dynamique de processus". Phd thesis, Université Pierre et Marie Curie - Paris VI, 1998. http://pastel.archives-ouvertes.fr/pastel-00000677.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Durant les dix dernières années, les réseaux de neurones à fonctions sigmoïdales ont connu de grands succès dans de nombreux domaines. Associés à des algorithmes d'apprentissage efficaces, ils constituent un puissant outil de modélisation non linéaire de processus, grâce à leur propriété d'approximation universelle parcimonieuse. Ce travail de thèse propose une mise en uvre de réseaux d'ondelettes, alternative possible aux réseaux de neurones, pour la modélisation statique et dynamique. Les ondelettes sont une famille de fonctions issues du traitement du signal et de l'image, dont il a été récemment montré qu'elles possèdent la propriété d'approximateur universel. La mise en uvre des réseaux d'ondelettes est effectuée suivant deux approches : - Approche fondée sur la transformée continue: les paramètres des fonctions sont à valeurs continues dans l'ensemble des nombres réels et peuvent donc être ajustés, comme ceux d'un réseau de neurones classique, à l'aide de méthodes de gradient. Nous proposons des réseaux et des algorithmes d'apprentissage pour la modélisation entrée-sortie et d'état. Les résultats obtenus sur des processus simulés et réel montrent que ces réseaux permettent d'obtenir des modèles de performance et de parcimonie équivalentes à celles des réseaux de neurones si des précautions de mise en uvre sont prises. - Approche fondée sur la transformée discrète: les paramètres des fonctions étant à valeurs discrètes, les apprentissages fondés sur des méthodes de gradient ne sont pas applicables. Nous proposons de construire des réseaux par sélection d'ondelettes dans une bibliothèque pré-établie. Cette procédure est également utilisée pour l'initialisation des paramètres des ondelettes avant leur apprentissage. Les résultats obtenus montrent que la procédure proposée confère à l'apprentissage une meilleure indépendance vis-à-vis de l'initialisation aléatoire des autres paramètres ajustables du réseau.

45

Bissery, Christophe. "La détection centralisée des fuites sur les réseaux d'eau potable par réseaux de neurones". Lyon, INSA, 1994. http://www.theses.fr/1994ISAL0112.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

On assiste depuis quelques années, sous la pression de l'environnement, à un changement de perception du risque de dysfonctionnement des systèmes techniques et en particulier des réseaux d'eau potable. Le risque nul n'existe pas et il faut donc apprendre à le gérer. C'est dans ce cadre qu'émerge le besoin de détection centralisée des fuites sur les réseaux d'eau potable, les fuites qui représentent une part importante du risque de dysfonctionnement de la distribution d'eau. Ce travail de recherche propose un système de détection centralisée des fuites sur les réseaux d'eau potable à base de réseaux de neurones. On y étudie en particulier des méthodologies de construction des bases d'apprentissage et de localisation des capteurs qui permettent un passage simple de l'expérimentation à la détection en site réel. Ce travail a permis de constater que sur modèle hydraulique de réseau réel, le système de détection à base de réseau de neurones permettait d'obtenir des résultats en détection qui justifiaient d'une mise en place réelle. L'étude s'achève sur une définition des priorités d'étude pour permettre cette mise en place sur site réel (en particulier, les besoins de prévision de consommation horaire)
For few years, under the influence of the urban environment, the perception of dysfunction risk in technical systems and in particular in water supply networks has changed. The lack of risk doesn't exist and it's necessary to learn how to manage it. It's in this way that appears the need of centralized leakage detection on water supply networks, leaks that represent an important part of the dysfunction risk of water supply. This study proposes a centralized leakage detection system using a computerized neural network approach. The building method of learning bases and the sensors localization method are pointed out and developed. This study has showed that on a realistic network model results obtained with the centralized leakage detection system using a computerized neural network approach allowed experimentations on real networks. The study ends on the presentation of the working priorities for these real experimentations (and in particular the need of hourly water consumption previsions)

46

Basterrech, Sebastián. "Apprentissage avec les réseaux de neurones aléatoires et les machines de calcul avec réservoir de neurones". Rennes 1, 2012. http://www.theses.fr/2012REN1S178.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Au cours de ces dernières années, un nouveau paradigme a été introduit dans le domaine de l'apprentissage automatique sous le nom de Reservoir Computing (RC). La croissance de ces méthodes a été rapide en raison de leur succès dans la résolution de problèmes d'apprentissage automatique et dans d'autres applications informatiques. L'une des premières méthodes de RC proposée a été le modèle Echo State Network (ESN). Dans cette thèse nous avons conçu une nouvelle technique d'initialisation du modèle ESN, qui est basée sur des cartes topographiques. Dans les années 80s, un nouvel outil d'apprentissage statistique mélangeant des concepts des réseaux de neurones et de la théorie des ﬁles d'attente a été proposé sous le nom de Réseau de Neurones Aléatoires (RNNs). Nous développons de nouvelles techniques d'apprentissage (de type Quasi-Newton) pour ces outils, basées dans ce qui se fait de mieux dans le domaine des réseaux de neurones classiques. Par la suite, nous proposons un nouvel outil bien adapté à la prédiction de séries temporelles comme le traﬁc observé dans un point de l'Internet, que nous avons appelé Echo State Queueing Networks. Notre dernière contribution est la proposition de nouvelles idées pour la mesure de la qualité perceptuelle. La qualité de l'audio ou la voix sur Internet est fortement aﬀectée par l'état du réseau. L'outil PESQ (Perceptual Evaluation of Speech Quality) sous recommandation ITU-T P. 862, permet d'évaluer la qualité de la voix transmise par un système de télécommunications. PESQ est un procédé fournissant de façon automatique une évaluation précise réalisée en comparant les signaux originaux et ceux reçus. Nous avons développé un outil pour mesurer la qualité des ﬂux VoIP en estimant PESQ à l'aide des outils d'apprentissage statistique précédemment présentés. Ceci permet d'estimer la qualité des ﬂux VoIP de façon automatique, en temps réel et sans avoir recours aux signaux d'origine
Since the 1980s a new computational model merging concepts from neural networks and queuing theory was developed. The model was introduced under the name of Random Neural Networks (RNNs), inside the ﬁeld of Neural Networks. In this thesis, a ﬁrst contribution consists of an adaptation of quasi-Newton optimisation methods for training the RNN model. In the last decade, a new computational paradigm was introduced in the ﬁeld of Machine Learning, under the name of Reservoir Computing (RC). One of the pioneers and most diﬀused RC methods is the Echo State Network (ESN) model. Here, we propose a method based on topographic maps to initialise the ESN procedure. Another contribution of the thesis is the introduction of a new RC model called the Echo State Queueing Network (ESQN), where we use ideas coming from RNNs for the design of the reservoir. An ESQN consists of an ESN where the reservoir has a new dynamics inspired by recurrent RNNs. In this thesis, we position the ESQN method in the global Machine Learning area, and provide examples of their use and performances. Finally, we propose a method for real–time estimation of Speech Quality using the learning tools above described. Audio quality in the Internet can be strongly affected by network conditions. As a consequence, many techniques to evaluate it have been developed. In particular, the ITU-T adopted in 2001 a technique called Perceptual Evaluation of Speech Quality (PESQ) to automatically measuring speech quality. PESQ is a well-known and widely used procedure, providing in general an accurate evaluation of perceptual quality by comparing the original and received voice sequences. The thesis provides a procedure for estimating PESQ output working only with measures taken on the network state and using some properties of the communication system, without any original signal. The experimental results obtained prove the capability of our approach to give good estimations of the speech quality in a real–time context

47

Krauth, Werner. "Physique statistique des réseaux de neurones et de l'optimisation combinatoire". Phd thesis, Université Paris Sud - Paris XI, 1989. http://tel.archives-ouvertes.fr/tel-00011866.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Dans la première partie nous étudions l'apprentissage et le rappel dans des réseaux de neurones à une couche (modèle de Hopfield). Nous proposons un algorithme d'apprentissage qui est capable d'optimiser la 'stabilité', un paramètre qui décrit la qualité de la représentation d'un pattern dans le réseau. Pour des patterns aléatoires, cet algorithme permet d'atteindre la borne théorique de Gardner. Nous étudions ensuite l'importance dynamique de la stabilité et d'un paramètre concernant la symétrie de la matrice de couplages. Puis, nous traitons le cas où les couplages ne peuvent prendre que deux valeurs (inhibiteur, excitateur). Pour ce modèle nous établissons les limites supérieures de la capacité par un calcul numérique, et nous proposons une solution analytique. La deuxième partie de la thèse est consacrée à une étude détaillée - du point de vue de la physique statistique - du problème du voyageur de commerce. Nous étudions le cas spécial d'une matrice aléatoire de connexions. Nous exposons la théorie de ce problème (suivant la méthode des répliques) et la comparons aux résultats d'une étude numérique approfondie.

48

Personnaz, Léon. "Etude des réseaux de neurones formels : conception, propriétés et applications". Paris 6, 1986. http://www.theses.fr/1986PA066569.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Etude de l'application des réseaux de neurones à résoudre des problèmes de classification et de reconnaissance de formes. Définition des conditions que les réseaux de neurones doivent satisfaire pour être efficaces. Evaluation des aspects fondamentaux des mécanismes d'apprentissage

49

Mercier, David. "Hétéro-association de signaux audio-vidéo par réseaux de neurones". Rennes 1, 2003. http://www.theses.fr/2003REN10009.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Ce travail de thèse poursuit la définition de la méthodologie d'utilisation des STANN en abordant deux problématiques importantes : la génération de signaux impulsionnels et l'utilisation de plusieurs modalités. Dans un premier temps, nous proposons une méthode de conversion automatique des informations continues en impulsions. Elle permet d'utiliser ces réseaux de neurones avec les mêmes prétraitements classiques que ceux utilisés avec d'autres outils comme les HMM. Puis nous effectuons une étude sur la fusion des modalités avec ce modèle spatio-temporel. De légères modifications des architectures sont proposées afin de permettre d'exploiter très simplement et sans calculs de rééchantillonnage, des modalités disponibles à des cadences différentes. Ces propositions ont été validées par l'implémentation de systèmes de reconnaissance de la parole audio, vidéo et bimodaux. Les résultats sont principalement présentés dans le cadre monolocuteur avec un apprentissage direct en un seul coup.

50

Puechmorel, Stéphane. "Réseaux de neurones et optimisation globale en analyse temps-fréquence". Toulouse, INPT, 1994. http://www.theses.fr/1994INPT105H.

Testo completo

Gli stili APA, Harvard, Vancouver, ISO e altri

Abstract (sommario):

Dans de nombreux domaines du traitement du signal, il est necessaire d'estimer la frequence instantanee de signaux se presentant comme une somme de composantes elementaires modulees en frequence. Apres un bref rappel des methodes temps-frequence classiques, de nouveaux algorithmes utilisant les reseaux de neurones et des techniques d'optimisation globale sont presentes. En particulier, une nouvelle classe de reseaux a apprentissage non supervise adaptes a l'analyse temps-frequence est decrite en detail. De meme, une approche basee sur des operateurs integraux lineaires couplee a un algorithme d'optimisation globale est etudiee. Pour chaque methode, des resultats compares issus de simulations numeriques sont donnes

Tesi sul tema "Compression de réseaux de neurones"

Cita una fonte nei formati APA, MLA, Chicago, Harvard e in molti altri stili