Дисертації: "Compression de réseaux neuronaux"

1

Foucher, Christophe. "Analyse et amélioration d'algorithmes neuronaux et non neuronaux de quantification vectorielle pour la compression d'images." Rennes 1, 2002. http://www.theses.fr/2002REN10120.

Повний текст джерела

Анотація:

Dans le contexte de l'imagerie satellite, nous avons travaillé sur la quantification vectorielle (QV) qui permet un meilleur compromis qualité/compression avec un codage à longueur fixe, plus robuste. Pour guider le choix d'un algorithme, nous avons en analysé plusieurs selon leurs caractéristiques de fonctionnement et leurs performances. Certains ont été simulés sur des images réelles. Un point faible de la QV est la complexité algorithmique du codage. Les évaluations ont confirmé l'intérêt des techniques de QV avec contrainte pour la réduire mais au détriment de la qualité. C'est pourquoi nous avons proposé deux techniques d'accélération sans contrainte. La première utilise les corrélations intra-blocs pour accélérer la recherche par distorsion partielle grâce à une concentration préalable de la variance. La seconde utilise les corrélations inter-blocs grâce à l'organisation topologique d'un dictionnaire construit par carte auto-organisée.

Стилі APA, Harvard, Vancouver, ISO та ін.

2

Dupont, Robin. "Deep Neural Network Compression for Visual Recognition." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS565.

Повний текст джерела

Анотація:

Grâce à la miniaturisation de l'électronique, les dispositifs embarqués sont devenus omniprésents depuis les années 2010, réalisant diverses tâches autour de nous. À mesure que leur utilisation augmente, la demande pour des dispositifs traitant les données et prenant des décisions complexes de manière efficace s'intensifie. Les réseaux de neurones profonds sont puissants pour cet objectif, mais souvent trop lourds pour les appareils embarqués. Il est donc impératif de compresser ces réseaux sans compromettre leur performance. Cette thèse introduit deux méthodes innovantes centrées sur l'élagage, pour compresser les réseaux sans impacter leur précision. Elle introduit d'abord une méthode qui considère un budget pour la compression de grands réseaux via la reparamétrisation des poids et une fonction de coût budgétaire, sans nécessité de fine-tuning. Les méthodes d'élagage traditionnelles reposent sur des indicateurs post-entraînement pour éliminer les poids, négligeant le taux d'élagage visé. Notre approche intègre une fonction de coût, guidant l'élagage vers une parcimonie précise pendant l'entraînement, optimisant la topologie et les poids. En simulant l'élagage des petits poids pendant l'entraînement via reparamétrisation, notre méthode limite la perte de précision par rapport aux méthodes traditionnelles. Nous démontrons son efficacité sur divers ensembles de données et architectures. La thèse se penche ensuite sur l'extraction de sous-réseaux efficaces sans entraîner les poids. L'objectif est de trouver la meilleure topologie d'un sous-réseau dans un grand réseau sans optimiser les poids, tout en offrant de bonnes performances. Ceci est fait grâce à notre méthode, l'Arbitrarily Shifted Log-Parametrisation, qui échantillonne des topologies de manière différentiable, permettant de former des masques indiquant la probabilité de sélection des poids. En parallèle, un mécanisme de recalibrage des poids, le Smart Rescale, est introduit, améliorant la performance des sous-réseaux et accélérant leur formation. Notre méthode trouve également le taux d'élagage optimal après un entraînement unique, évitant la recherche d'hyperparamètres et un entraînement pour chaque taux. Nous prouvons que notre méthode dépasse les techniques de pointe et permet de créer des réseaux légers avec haute parcimonie sans perdre en précision
Thanks to the miniaturisation of electronics, embedded devices have become ubiquitous since the 2010s, performing various tasks around us. As their usage expands, there's an increasing demand for efficient data processing and decision-making. Deep neural networks are apt tools for this, but they are often too large and intricate for embedded systems. Therefore, methods to compress these networks without affecting their performance are crucial. This PhD thesis introduces two methods focused on pruning to compress networks, maintaining accuracy. The thesis first details a budget-aware method for compressing large neural networks using weight reparametrisation and a budget loss, eliminating the need for fine-tuning. Traditional pruning methods often use post-training indicators to cut weights, ignoring desired pruning rates. Our method incorporates a budget loss, directing pruning during training, enabling simultaneous topology and weight optimisation. By soft-pruning smaller weights via reparametrisation, we reduce accuracy loss compared to standard pruning. We validate our method on several datasets and architectures. Later, the thesis examines extracting efficient subnetworks without weight training. We aim to discern the optimal subnetwork topology within a large network, bypassing weight optimisation yet ensuring strong performance. This is realized with our Arbitrarily Shifted Log Parametrisation, a differentiable method for discrete topology sampling, facilitating masks' training to denote weight selection probability. Additionally, a weight recalibration technique, Smart Rescale, is presented. It boosts extracted subnetworks' performance and hastens their training. Our method identifies the best pruning rate in a single training cycle, averting exhaustive hyperparameter searches and various rate training. Through extensive tests, our technique consistently surpasses similar state-of-the-art methods, creating streamlined networks that achieve high sparsity without notable accuracy drops

Стилі APA, Harvard, Vancouver, ISO та ін.

3

Leconte, Louis. "Compression and federated learning : an approach to frugal machine learning." Electronic Thesis or Diss., Sorbonne université, 2024. http://www.theses.fr/2024SORUS107.

Повний текст джерела

Анотація:

Les appareils et outils “intelligents” deviennent progressivement la norme, la mise en œuvre d'algorithmes basés sur des réseaux neuronaux artificiels se développant largement. Les réseaux neuronaux sont des modèles non linéaires d'apprentissage automatique avec de nombreux paramètres qui manipulent des objets de haute dimension et obtiennent des performances de pointe dans divers domaines, tels que la reconnaissance d'images, la reconnaissance vocale, le traitement du langage naturel et les systèmes de recommandation.Toutefois, l'entraînement d'un réseau neuronal sur un appareil à faible capacité de calcul est difficile en raison de problèmes de mémoire, de temps de calcul ou d'alimentation. Une approche naturelle pour simplifier cet entraînement consiste à utiliser des réseaux neuronaux quantifiés, dont les paramètres et les opérations utilisent des primitives efficaces à faible bit. Cependant, l'optimisation d'une fonction sur un ensemble discret en haute dimension est complexe et peut encore s'avérer prohibitive en termes de puissance de calcul. C'est pourquoi de nombreuses applications modernes utilisent un réseau d'appareils pour stocker des données individuelles et partager la charge de calcul. Une nouvelle approche a été proposée, l'apprentissage fédéré, qui prend en compte un environnement distribué : les données sont stockées sur des appareils différents et un serveur central orchestre le processus d'apprentissage sur les divers appareils.Dans cette thèse, nous étudions différents aspects de l'optimisation (stochastique) dans le but de réduire les coûts énergétiques pour des appareils potentiellement très hétérogènes. Les deux premières contributions de ce travail sont consacrées au cas des réseaux neuronaux quantifiés. Notre première idée est basée sur une stratégie de recuit : nous formulons le problème d'optimisation discret comme un problème d'optimisation sous contraintes (où la taille de la contrainte est réduite au fil des itérations). Nous nous sommes ensuite concentrés sur une heuristique pour la formation de réseaux neuronaux profonds binaires. Dans ce cadre particulier, les paramètres des réseaux neuronaux ne peuvent avoir que deux valeurs. Le reste de la thèse s'est concentré sur l'apprentissage fédéré efficace. Suite à nos contributions développées pour l'apprentissage de réseaux neuronaux quantifiés, nous les avons intégrées dans un environnement fédéré. Ensuite, nous avons proposé une nouvelle technique de compression sans biais qui peut être utilisée dans n'importe quel cadre d'optimisation distribuée basé sur le gradient. Nos dernières contributions abordent le cas particulier de l'apprentissage fédéré asynchrone, où les appareils ont des vitesses de calcul et/ou un accès à la bande passante différents. Nous avons d'abord proposé une contribution qui repondère les contributions des dispositifs distribués. Dans notre travail final, à travers une analyse détaillée de la dynamique des files d'attente, nous proposons une amélioration significative des bornes de complexité fournies dans la littérature sur l'apprentissage fédéré asynchrone.En résumé, cette thèse présente de nouvelles contributions au domaine des réseaux neuronaux quantifiés et de l'apprentissage fédéré en abordant des défis critiques et en fournissant des solutions innovantes pour un apprentissage efficace et durable dans un environnement distribué et hétérogène. Bien que les avantages potentiels soient prometteurs, notamment en termes d'économies d'énergie, il convient d'être prudent car un effet rebond pourrait se produire
“Intelligent” devices and tools are gradually becoming the standard, as the implementation of algorithms based on artificial neural networks is experiencing widespread development. Neural networks consist of non-linear machine learning models that manipulate high-dimensional objects and obtain state-of-the-art performances in various areas, such as image recognition, speech recognition, natural language processing, and recommendation systems.However, training a neural network on a device with lower computing capacity can be challenging, as it can imply cutting back on memory, computing time or power. A natural approach to simplify this training is to use quantized neural networks, whose parameters and operations use efficient low-bit primitives. However, optimizing a function over a discrete set in high dimension is complex, and can still be prohibitively expensive in terms of computational power. For this reason, many modern applications use a network of devices to store individual data and share the computational load. A new approach, federated learning, considers a distributed environment: Data is stored on devices and a centralized server orchestrates the training process across multiple devices.In this thesis, we investigate different aspects of (stochastic) optimization with the goal of reducing energy costs for potentially very heterogeneous devices. The first two contributions of this work are dedicated to the case of quantized neural networks. Our first idea is based on an annealing strategy: we formulate the discrete optimization problem as a constrained optimization problem (where the size of the constraint is reduced over iterations). We then focus on a heuristic for training binary deep neural networks. In this particular framework, the parameters of the neural networks can only have two values. The rest of the thesis is about efficient federated learning. Following our contributions developed for training quantized neural network, we integrate them into a federated environment. Then, we propose a novel unbiased compression technique that can be used in any gradient based distributed optimization framework. Our final contributions address the particular case of asynchronous federated learning, where devices have different computational speeds and/or access to bandwidth. We first propose a contribution that reweights the contributions of distributed devices. Then, in our final work, through a detailed queuing dynamics analysis, we propose a significant improvement to the complexity bounds provided in the literature onasynchronous federated learning.In summary, this thesis presents novel contributions to the field of quantized neural networks and federated learning by addressing critical challenges and providing innovative solutions for efficient and sustainable learning in a distributed and heterogeneous environment. Although the potential benefits are promising, especially in terms of energy savings, caution is needed as a rebound effect could occur

Стилі APA, Harvard, Vancouver, ISO та ін.

4

Yvinec, Edouard. "Efficient Neural Networks : Post Training Pruning and Quantization." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS581.

Повний текст джерела

Анотація:

Les réseaux de neurones profonds sont devenus les modèles les plus utilisés, que ce soit en vision par ordinateur ou en traitement du langage. Depuis le sursaut provoqué par l'utilisation des ordinateurs modernes, en 2012, la taille de ces modèles n'a fait qu'augmenter, aussi bien en matière de taille mémoire qu'en matière de coût de calcul. Ce phénomène a grandement limité le déploiement industriel de ces modèles. Spécifiquement, le cas de l'IA générative, et plus particulièrement des modèles de langue tels que GPT, a fait atteindre une toute nouvelle dimension à ce problème. En effet, ces réseaux sont définis par des milliards de paramètres et nécessitent plusieurs gpu en parallèle pour effectuer des inférences en temps réel. En réponse, la communauté scientifique et les spécialistes de l'apprentissage profond ont développé des solutions afin de compresser et d'accélérer ces modèles. Ces solutions sont : l'utilisation d'architecture efficiente par design, la décomposition tensorielle, l'élagage (ou pruning) et la quantification. Dans ce manuscrit de thèse, je propose de dépeindre une vue d'ensemble du domaine de la compression des réseaux de neurones artificiels ainsi que de mes contributions. Dans le premier chapitre, je présente une introduction générale au fonctionnement de chaque méthode de compression précédemment citée. De plus, j'y ajoute les intuitions relatives à leurs limitations ainsi que des exemples pratiques, issus des cours que j'ai donnés. Dans le second chapitre, je présente mes contributions au sujet du pruning. Ces dernières ont mené à la publications de trois articles: RED, RED++ et SInGE. Dans RED et RED++, j'ai proposé une nouvelle approche pour le pruning et la décomposition tensorielle, sans données. L'idée centrale était de réduire la redundance au sein des opérations effectuées par le modèle. 'A l'opposé, dans SInGE, j'ai défini un nouveau critère de pruning par importance. Pour ce faire, j'ai puisé de l'inspiration dans le domaine de l'attribution. En effet, afin d'expliquer les règles de décisions des réseaux de neurones profonds, les chercheurs et les chercheuses ont introduit des techniques visant à estimer l'importance relative des entrées du modèle par rapport aux sorties. Dans SInGE, j'ai adapté l'une de ces méthodes les plus efficaces, au pruning afin d'estimer l'importance des poids et donc des calculs du modèle. Dans le troisième chapitre, j'aborde mes contributions relatives à la quantification de réseaux de neurones. Celles-ci ont donné lieu à plusieurs publications dont les principales: SPIQ, PowerQuant, REx, NUPES et une publication sur les meilleurs pratiques à adopter. Dans SPIQ, PowerQuant et REx, j'adresse des limites spécifiques à la quantification sans données. En particulier, la granularité, dans SPIQ, la quantification non-uniform par automorphismes dans PowerQuant et l'utilisation d'une bit-width spécifique dans REx. Par ailleurs, dans les deux autres articles, je me suis attelé à la quantification post-training avec optimisation par descente de gradient. N'ayant pas eu le temps de toucher à tous les aspects de la compression de réseau de neurones, je conclue ce manuscrit par un chapitre sur ce qui me semble être les enjeux de demain ainsi que des pistes de solutions
Deep neural networks have grown to be the most widely adopted models to solve most computer vision and natural language processing tasks. Since the renewed interest, sparked in 2012, for these architectures, in machine learning, their size in terms of memory footprint and computational costs have increased tremendously, which has hindered their deployment. In particular, with the rising interest for generative ai such as large language models and diffusion models, this phenomenon has recently reached new heights, as these models can weight several billions of parameters and require multiple high-end gpus in order to infer in real-time. In response, the deep learning community has researched for methods to compress and accelerate these models. These methods are: efficient architecture design, tensor decomposition, pruning and quantization. In this manuscript, I paint a landscape of the current state-of-the art in deep neural networks compression and acceleration as well as my contributions to the field. First, I propose a general introduction to the aforementioned techniques and highlight their shortcomings and current challenges. Second, I provide a detailed discussion regarding my contributions to the field of deep neural networks pruning. These contributions led to the publication of three articles: RED, RED++ and SInGE. In RED and RED++, I introduced a novel way to perform data-free pruning and tensor decomposition based on redundancy reduction. On the flip side, in SInGE, I proposed a new importance-based criterion for data-driven pruning. This criterion was inspired by attribution techniques which consist in ranking inputs by their relative importance with respect to the final prediction. In SInGE, I adapted one of the most effective attribution technique to weight importance ranking for pruning. In the third chapter, I layout my contributions to the field of deep quantization: SPIQ, PowerQuant, REx, NUPES, and a best practice paper. Each of these methods address one of the previous limitations of post-training quantization. In SPIQ, PowerQuant and REx, I provide a solution to the granularity limitations of quantization, a novel non-uniform format which is particularly effective on transformer architectures and a technique for quantization decomposition which eliminates the need for unsupported bit-widths, respectively. In the two remaining articles, I provide significant improvements over existing gradient-based post-training quantization techniques, bridging the gap between such techniques and non-uniform quantization. In the last chapter, I propose a set of leads for future work which I believe to be the, current, most important unanswered questions in the field

Стилі APA, Harvard, Vancouver, ISO та ін.

5

Louis, Thomas. "Conventionnel ou bio-inspiré ? Stratégies d'optimisation de l'efficacité énergétique des réseaux de neurones pour environnements à ressources limitées." Electronic Thesis or Diss., Université Côte d'Azur, 2025. http://www.theses.fr/2025COAZ4001.

Повний текст джерела

Анотація:

Intégrer des algorithmes d'intelligence artificielle (IA) directement dans des satellites présente de nombreux défis. Ces systèmes embarqués, fortement limités en consommation d'énergie et en empreinte mémoire, doivent également résister aux interférences. Cela nécessite systématiquement l'utilisation de systèmes sur puce (SoC) afin de combiner deux systèmes dits « hétérogènes » : un microcontrôleur polyvalent et un accélérateur de calcul économe en énergie (comme un FPGA ou un ASIC). Pour relever les défis liés au portage de telles architectures, cette thèse se concentre sur l'optimisation et le déploiement de réseaux de neurones sur des architectures embarquées hétérogènes, dans le but de trouver un compromis entre la consommation d'énergie et la performance de l'IA. Dans le chapitre 2 de cette thèse, une étude approfondie des techniques de compression récentes pour des réseaux de neurones formels (FNN) tels que les MLP ou CNN a tout d'abord été effectuée. Ces techniques, qui permettent de réduire la complexité calculatoire et l'empreinte mémoire de ces modèles, sont essentielles pour leur déploiement dans des environnements aux ressources limitées. Les réseaux de neurones impulsionnels (SNN) ont également été explorés. Ces réseaux bio-inspirés peuvent en effet offrir une plus grande efficacité énergétique par rapport aux FNN. Dans le chapitre 3, nous avons ainsi adapté et élaboré des méthodes de quantification innovantes afin de réduire le nombre de bits utilisés pour représenter les valeurs d'un réseau impulsionnel. Nous avons ainsi pu confronter la quantification des SNN et des FNN, afin d'en comparer et comprendre les pertes et gains respectifs. Néanmoins, réduire l'activité d'un SNN (e.g. le nombre d'impulsions générées lors de l'inférence) améliore directement l'efficacité énergétique des SNN. Dans ce but, nous avons exploité dans le chapitre 4 des techniques de distillation de connaissances et de régularisation. Ces méthodes permettent de réduire l'activité impulsionnelle du réseau tout en préservant son accuracy, ce qui garantit un fonctionnement efficace des SNN sur du matériel à ressources limitées. Dans la dernière partie de cette thèse, nous nous sommes intéressés à l'hybridation des SNN et FNN. Ces réseaux hybrides (HNN) visent à optimiser encore davantage l'efficacité énergétique tout en améliorant les performances. Nous avons également proposé des réseaux multi-timesteps innovants, qui traitent l'information à des latences différentes à travers les couches d'un même SNN. Les résultats expérimentaux montrent que cette approche permet une réduction de la consommation d'énergie globale tout en maintenant les performances sur un ensemble de tâches. Ce travail de thèse constitue une base pour déployer les futures applications des réseaux de neurones dans l'espace. Pour valider nos méthodes, nous fournissons une analyse comparative sur différents jeux de données publics (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) et sur un jeu de données privé pour la segmentation des nuages. Nos approches sont évaluées sur la base de métriques telles que l'accuracy, la consommation d'énergie ou l'activité du SNN. Ce travail de recherche ne se limite pas aux applications aérospatiales. Nous avons en effet mis en évidence le potentiel des SNN quantifiés, des réseaux de neurones hybrides et des réseaux multi-timesteps pour une variété de scénarios réels où l'efficacité énergétique est cruciale. Ce travail offre ainsi des perspectives intéressantes pour des domaines tels que les dispositifs IoT, les véhicules autonomes et d'autres systèmes nécessitant un déploiement efficace de l'IA
Integrating artificial intelligence (AI) algorithms directly into satellites presents numerous challenges. These embedded systems, which are heavily limited in energy consumption and memory footprint, must also withstand interference. This systematically requires the use of system-on-chip (SoC) solutions to combine two so-called “heterogeneous” systems: a versatile microcontroller and an energy-efficient computing accelerator (such as an FPGA or ASIC). To address the challenges related to deploying such architectures, this thesis focuses on optimizing and deploying neural networks on heterogeneous embedded architectures, aiming to balance energy consumption and AI performance.In Chapter 2 of this thesis, an in-depth study of recent compression techniques for feedforward neural networks (FNN) like MLPs or CNNs was conducted. These techniques, which reduce the computational complexity and memory footprint of these models, are essential for deployment in resource-constrained environments. Spiking neural networks (SNN) were also explored. These bio-inspired networks can indeed offer greater energy efficiency compared to FNNs.In Chapter 3, we adapted and developed innovative quantization methods to reduce the number of bits used to represent the values in a spiking network. This allowed us to compare the quantization of SNNs and FNNs, to understand and assess their respective trade-offs in terms of losses and gains. Reducing the activity of an SNN (e.g., the number of spikes generated during inference) directly improves the energy efficiency of SNNs. To this end, in Chapter 4, we leveraged knowledge distillation and regularization techniques. These methods reduce the spiking activity of the network while preserving its accuracy, ensuring effective operation of SNNs on resource-limited hardware.In the final part of this thesis, we explored the hybridization of SNNs and FNNs. These hybrid networks (HNN) aim to further optimize energy efficiency while enhancing performance. We also proposed innovative multi-timestep networks, which process information with different latencies across layers within the same SNN. Experimental results show that this approach enables a reduction in overall energy consumption while maintaining performance across a range of tasks.This thesis serves as a foundation for deploying future neural network applications in space. To validate our methods, we provide a comparative analysis on various public datasets (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) as well as on a private dataset for cloud segmentation. Our approaches are evaluated based on metrics such as accuracy, energy consumption, or SNN activity. This research extends beyond aerospace applications. We have demonstrated the potential of quantized SNNs, hybrid neural networks, and multi-timestep networks for a variety of real-world scenarios where energy efficiency is critical. This work offers promising prospects for fields such as IoT devices, autonomous vehicles, and other systems requiring efficient AI deployment

Стилі APA, Harvard, Vancouver, ISO та ін.

6

Hubens, Nathan. "Towards lighter and faster deep neural networks with parameter pruning." Electronic Thesis or Diss., Institut polytechnique de Paris, 2022. http://www.theses.fr/2022IPPAS025.

Повний текст джерела

Анотація:

Depuis leur résurgence en 2012, les réseaux de neurones profonds sont devenus omniprésents dans la plupart des disciplines de l'intelligence artificielle, comme la reconnaissance d'images, le traitement de la parole et le traitement du langage naturel. Cependant, au cours des dernières années, les réseaux de neurones sont devenus exponentiellement profonds, faisant intervenir de plus en plus de paramètres. Aujourd'hui, il n'est pas rare de rencontrer des architectures impliquant plusieurs milliards de paramètres, alors qu'elles en contenaient le plus souvent des milliers il y a moins de dix ans.Cette augmentation généralisée du nombre de paramètres rend ces grands modèles gourmands en ressources informatiques et essentiellement inefficaces sur le plan énergétique. Cela rend les modèles déployés coûteux à maintenir, mais aussi leur utilisation dans des environnements limités en ressources très difficile.Pour ces raisons, de nombreuses recherches ont été menées pour proposer des techniques permettant de réduire la quantité de stockage et de calcul requise par les réseaux neuronaux. Parmi ces techniques, l'élagage synaptique, consistant à créer des modèles réduits, a récemment été mis en évidence. Cependant, bien que l'élagage soit une technique de compression courante, il n'existe actuellement aucune méthode standard pour mettre en œuvre ou évaluer les nouvelles méthodes, rendant la comparaison avec les recherches précédentes difficile.Notre première contribution concerne donc une description inédite des techniques d'élagage, développée selon quatre axes, et permettant de définir de manière univoque et complète les méthodes existantes. Ces composantes sont : la granularité, le contexte, les critères et le programme. Cette nouvelle définition du problème de l'élagage nous permet de le subdiviser en quatre sous-problèmes indépendants et de mieux déterminer les axes de recherche potentiels.De plus, les méthodes d'élagage en sont encore à un stade de développement précoce et principalement destinées aux chercheurs, rendant difficile pour les novices d'appliquer ces techniques. Pour combler cette lacune, nous avons proposé l'outil FasterAI, destiné aux chercheurs, désireux de créer et d'expérimenter différentes techniques de compression, mais aussi aux nouveaux venus, souhaitant compresser leurs modèles pour des applications concrètes. Cet outil a de plus été construit selon les quatre composantes précédemment définis, permettant une correspondance aisée entre les idées de recherche et leur mise en œuvre.Nous proposons ensuite quatre contributions théoriques, chacune visant à fournir de nouvelles perspectives et à améliorer les méthodes actuelles dans chacun des quatre axes de description identifiés. De plus, ces contributions ont été réalisées en utilisant l'outil précédemment développé, validant ainsi son utilité scientifique.Enfin, afin de démontrer que l'outil développé, ainsi que les différentes contributions scientifiques proposées, peuvent être applicables à un problème complexe et réel, nous avons sélectionné un cas d'utilisation : la détection de la manipulation faciale, également appelée détection de DeepFakes. Cette dernière contribution est accompagnée d'une application de preuve de concept, permettant à quiconque de réaliser la détection sur une image ou une vidéo de son choix.L'ère actuelle du Deep Learning a émergé grâce aux améliorations considérables des puissances de calcul et à l'accès à une grande quantité de données. Cependant, depuis le déclin de la loi de Moore, les experts suggèrent que nous pourrions observer un changement dans la façon dont nous concevons les ressources de calcul, conduisant ainsi à une nouvelle ère de collaboration entre les communautés du logiciel, du matériel et de l'apprentissage automatique. Cette nouvelle quête de plus d'efficacité passera donc indéniablement par les différentes techniques de compression des réseaux neuronaux, et notamment les techniques d'élagage
Since their resurgence in 2012, Deep Neural Networks have become ubiquitous in most disciplines of Artificial Intelligence, such as image recognition, speech processing, and Natural Language Processing. However, over the last few years, neural networks have grown exponentially deeper, involving more and more parameters. Nowadays, it is not unusual to encounter architectures involving several billions of parameters, while they mostly contained thousands less than ten years ago.This generalized increase in the number of parameters makes such large models compute-intensive and essentially energy inefficient. This makes deployed models costly to maintain but also their use in resource-constrained environments very challenging.For these reasons, much research has been conducted to provide techniques reducing the amount of storage and computing required by neural networks. Among those techniques, neural network pruning, consisting in creating sparsely connected models, has been recently at the forefront of research. However, although pruning is a prevalent compression technique, there is currently no standard way of implementing or evaluating novel pruning techniques, making the comparison with previous research challenging.Our first contribution thus concerns a novel description of pruning techniques, developed according to four axes, and allowing us to unequivocally and completely define currently existing pruning techniques. Those components are: the granularity, the context, the criteria, and the schedule. Defining the pruning problem according to those components allows us to subdivide the problem into four mostly independent subproblems and also to better determine potential research lines.Moreover, pruning methods are still in an early development stage, and primarily designed for the research community. Indeed, most pruning works are usually implemented in a self-contained and sophisticated way, making it troublesome for non-researchers to apply such techniques without having to learn all the intricacies of the field. To fill this gap, we proposed FasterAI toolbox, intended to be helpful to researchers, eager to create and experiment with different compression techniques, but also to newcomers, that desire to compress their neural network for concrete applications. In particular, the sparsification capabilities of FasterAI have been built according to the previously defined pruning components, allowing for a seamless mapping between research ideas and their implementation.We then propose four theoretical contributions, each one aiming at providing new insights and improving on state-of-the-art methods in each of the four identified description axes. Also, those contributions have been realized by using the previously developed toolbox, thus validating its scientific utility.Finally, to validate the applicative character of the pruning technique, we have selected a use case: the detection of facial manipulation, also called DeepFakes Detection. The goal is to demonstrate that the developed tool, as well as the different proposed scientific contributions, can be applicable to a complex and actual problem. This last contribution is accompanied by a proof-of-concept application, providing DeepFake detection capabilities in a web-based environment, thus allowing anyone to perform detection on an image or video of their choice.This Deep Learning era has emerged thanks to the considerable improvements in high-performance hardware and access to a large amount of data. However, since the decline of Moore's Law, experts are suggesting that we might observe a shift in how we conceptualize the hardware, by going from task-agnostic to domain-specialized computations, thus leading to a new era of collaboration between software, hardware, and machine learning communities. This new quest for more efficiency will thus undeniably go through neural network compression techniques, and particularly sparse computations

Стилі APA, Harvard, Vancouver, ISO та ін.

7

Resmerita, Diana. "Compression pour l'apprentissage en profondeur." Thesis, Université Côte d'Azur, 2022. http://www.theses.fr/2022COAZ4043.

Повний текст джерела

Анотація:

Les voitures autonomes sont des applications complexes qui nécessitent des machines puissantes pour pouvoir fonctionner correctement. Des tâches telles que rester entre les lignes blanches, lire les panneaux ou éviter les obstacles sont résolues en utilisant plusieurs réseaux neuronaux convolutifs (CNN) pour classer ou détecter les objets. Il est très important que tous les réseaux fonctionnent en parallèle afin de transmettre toutes les informations nécessaires et de prendre une décision commune. Aujourd'hui, à force de s'améliorer, les réseaux sont devenus plus gros et plus coûteux en termes de calcul. Le déploiement d'un seul réseau devient un défi. La compression des réseaux peut résoudre ce problème. Par conséquent, le premier objectif de cette thèse est de trouver des méthodes de compression profonde afin de faire face aux limitations de mémoire et de puissance de calcul présentes sur les systèmes embarqués. Les méthodes de compression doivent être adaptées à un processeur spécifique, le MPPA de Kalray, pour des implémentations à court terme. Nos contributions se concentrent principalement sur la compression du réseau après l'entraînement pour le stockage, ce qui signifie compresser des paramètres du réseau sans réentraîner ou changer l'architecture originale et le type de calculs. Dans le contexte de notre travail, nous avons décidé de nous concentrer sur la quantification. Notre première contribution consiste à comparer les performances de la quantification uniforme et de la quantification non-uniforme, afin d'identifier laquelle des deux présente un meilleur compromis taux-distorsion et pourrait être rapidement prise en charge par l'entreprise. L'intérêt de l'entreprise est également orienté vers la recherche de nouvelles méthodes innovantes pour les futures générations de MPPA. Par conséquent, notre deuxième contribution se concentre sur la comparaison des représentations en virgule flottante (FP32, FP16) aux représentations arithmétiques alternatives telles que BFloat16, msfp8, Posit8. Les résultats de cette analyse étaient en faveur de Posit8. Ceci a motivé la société Kalray à concevoir un décompresseur de FP16 vers Posit8. Enfin, de nombreuses méthodes de compression existent déjà, nous avons décidé de passer à un sujet adjacent qui vise à quantifier théoriquement les effets de l'erreur de quantification sur la précision du réseau. Il s'agit du deuxième objectif de la thèse. Nous remarquons que les mesures de distorsion bien connues ne sont pas adaptées pour prédire la dégradation de la précision dans le cas de l'inférence pour les réseaux de neurones compressés. Nous définissons une nouvelle mesure de distorsion avec une expression analytique qui s’apparente à un rapport signal/bruit. Un ensemble d'expériences a été réalisé en utilisant des données simulées et de petits réseaux qui montrent le potentiel de cette mesure de distorsion
Autonomous cars are complex applications that need powerful hardware machines to be able to function properly. Tasks such as staying between the white lines, reading signs, or avoiding obstacles are solved by using convolutional neural networks (CNNs) to classify or detect objects. It is highly important that all the networks work in parallel in order to transmit all the necessary information and take a common decision. Nowadays, as the networks improve, they also have become bigger and more computational expensive. Deploying even one network becomes challenging. Compressing the networks can solve this issue. Therefore, the first objective of this thesis is to find deep compression methods in order to cope with the memory and computational power limitations present on embedded systems. The compression methods need to be adapted to a specific processor, Kalray's MPPA, for short term implementations. Our contributions mainly focus on compressing the network post-training for storage purposes, which means compressing the parameters of the network without retraining or changing the original architecture and the type of the computations. In the context of our work, we decided to focus on quantization. Our first contribution consists in comparing the performances of uniform quantization and non-uniform quantization, in order to identify which of the two has a better rate-distortion trade-off and could be quickly supported in the company. The company's interest is also directed towards finding new innovative methods for future MPPA generations. Therefore, our second contribution focuses on comparing standard floating-point representations (FP32, FP16) to recently proposed alternative arithmetical representations such as BFloat16, msfp8, Posit8. The results of this analysis were in favor for Posit8. This motivated the company Kalray to conceive a decompressor from FP16 to Posit8. Finally, since many compression methods already exist, we decided to move to an adjacent topic which aims to quantify theoretically the effects of quantization error on the network's accuracy. This is the second objective of the thesis. We notice that well-known distortion measures are not adapted to predict accuracy degradation in the case of inference for compressed neural networks. We define a new distortion measure with a closed form which looks like a signal-to-noise ratio. A set of experiments were done using simulated data and small networks, which show the potential of this distortion measure

Стилі APA, Harvard, Vancouver, ISO та ін.

8

Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.

Повний текст джерела

Анотація:

Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeur
Recently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE

Стилі APA, Harvard, Vancouver, ISO та ін.

9

Verma, Sagar. "Deep Neural Network Modeling of Electric Motors." Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPAST088.

Повний текст джерела

Анотація:

Cette thèse traite de l’application des réseaux de neurones dans la résolution de problèmes liés aux moteurs électriques. Le chapitre 2 contribue à identiﬁer une structure de réseau de neurones capable d’apprendre la relation multi-variée entre diﬀérents signaux d’un moteur électrique. La structure identiﬁée est ensuite utilisée pour l’estimation vitesse- couple à partir des courants et des tensions.Le chapitre 3 se concentre sur la détection et la correction de défauts de mesure. Notre méthode prend en compte les défauts de capteurs électriques, les défauts mécaniques et l’estimation de température.Le chapitre 4 traite ensuite de la ﬁabilité de l’estimateur vitesse-couple en cas de courants et de tensions bruités. Nous présentons uneméthode de débruitage permettant de rendre notre estimateur vitesse-couple applicable dans un contexte réaliste. Ensuite, une rapide analyse de la robustesse face à une attaque adverse est menée pour les réseaux neuronaux utilisés dans des applications des moteurs électriques. La capacité de généralisation de l’estimateur vitesse-couple est également brièvement analysée. Dans le chapitre 5, nous nous concentrons sur le dernier obstacle à la mise en œuvre des réseaux de neurones: le coût de calcul. Nous présentons la méthode de sparsiﬁcation par inclusion sous-diﬀérentielle (SIS) permettant de trouver le meilleur réseau parcimonieux à partir de poids pré-calculés, tout en conservant la précision d’origine
This thesis deals with the application of neural networks in solving electrical motor problems. Chapter 2 contributes to identifying a neural network that can learn the multivariate relationship between diﬀerent electrical motor signals.The identiﬁed network is then used for speed-torque estimation from currents and voltages. Chapter 3 focuses on detecting and recovering from faulty measurements. Our method encompasses electrical sensor faults, mechanical faults, and temperature estimation.Chapter 4 then discusses the reliability of the speed-torque estimator in case of noisy currents and voltages. We presenta denoising method which allows our speed- torque estimator to be applicable in a realistic context. This is followed by an analysis of the adversarial robustness of the neural networks used in electrical motor tasks. The generalization capability of the speed-torque estimator is also brieﬂy considered. In Chapter 5, we focus on the ﬁnal roadblock in achieving real-world application of neural networks: computational requirements. We present the Subdiﬀerential Inclusion for Sparsity (SIS) method to ﬁnd the best sparse network from pretrained weights while maintaining original accuracy

Стилі APA, Harvard, Vancouver, ISO та ін.

10

Metz, Clément. "Codages optimisés pour la conception d'accélérateurs matériels de réseaux de neurones profonds." Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPAST190.

Повний текст джерела

Анотація:

Par leurs domaines d'application très divers (santé, énergie, défense, finance, navigation autonome...), les réseaux de neurones constituent une composante importante des outils d'apprentissage automatique. Les performances des réseaux de neurones sont grandement influencées par la complexité de leur architecture en nombre de couches, de neurones et de connexions. Mais l'entraînement et l'inférence de réseaux de plus en plus grands implique une sollicitation croissante de ressources matérielles et des temps de calcul plus longs. A l'inverse, leur portabilité se retrouve bridée sur des systèmes embarqués aux faibles capacités mémoire et/ou calculatoire.L'objectif de cette thèse est d'étudier et de concevoir des méthodes permettant de réduire l'empreinte matérielle des réseaux de neurones tout en préservant au mieux leurs performances. Nous nous restreignons aux réseaux de convolution dédiés à la vision par ordinateur en étudiant les possibilités offertes par la quantification. La quantification vise à réduire l'empreinte matérielle des réseaux en mémoire, en bande passante et en opérateurs de calculs par la réduction du nombre de bits des paramètres et des activations.Les contributions de cette thèse consistent en une nouvelle méthode de quantification post-entraînement reposant sur l'exploitation des corrélations spatiales des paramètres du réseau, une approche facilitant l'apprentissage des réseaux très fortement quantifiés, ainsi qu'une méthode visant à combiner la quantification en précision mixte et le codage entropique sans perte.Cette thèse se limite essentiellement aux aspects algorithmiques, mais les orientations de recherche ont été fortement influencées par la contrainte de faisabilité matérielle des propositions apportées
Neural networks are an important component of machine learning tools because of their wide range of applications (health, energy, defence, finance, autonomous navigation, etc.). The performance of neural networks is greatly influenced by the complexity of their architecture in terms of the number of layers, neurons and connections. But the training and inference of ever-larger networks translates to greater demands on hardware resources and longer computing times. Conversely, their portability is limited on embedded systems with low memory and/or computing capacity.The aim of this thesis is to study and design methods for reducing the hardware footprint of neural networks while preserving their performance as much as possible. We restrict ourselves to convolution networks dedicated to computer vision by studying the possibilities offered by quantization. Quantization aims to reduce the hardware footprint, in terms of memory, bandwidth and computation operators, by reducing the number of bits in the network parameters and activations.The contributions of this thesis consist of a new post-training quantization method based on the exploitation of spatial correlations of network parameters, an approach facilitating the learning of very highly quantized networks, and a method aiming to combine mixed precision quantization and lossless entropy coding.The contents of this thesis are essentially limited to algorithmic aspects, but the research orientations were strongly influenced by the requirement for hardware feasibility of our solutions

Стилі APA, Harvard, Vancouver, ISO та ін.

11

Lerogeron, Hugo. "Approximation de Dynamic Time Warping par réseaux de neurones pour la compression de signaux EEG et l'analyse de l'insomnie induite par le COVID long." Electronic Thesis or Diss., Normandie, 2023. http://www.theses.fr/2023NORMR098.

Повний текст джерела

Анотація:

Ce manuscrit présente les travaux effectués dans le cadre d'une thèse CIFRE réalisée en collaboration entre le LITIS et Saagie, et qui s'inscrit dans le projet PANDORE-IA en partenariat avec le centre du sommeil VIFASOM.Les signaux électroencéphalographiques (EEG) sont très utiles pour aider les experts à identifier diverses anomalies comme les troubles du sommeil. En particulier dernièrement, la communauté s'est beaucoup intéressée au COVID long et à ses divers impacts sur le sommeil. Ces signaux sont cependant volumineux : la compression permet de réduire les coûts de stockage et de transfert. Les approches récentes de compression se basent sur des autoencodeurs qui utilisent une fonction de coût pour apprendre. Celle-ci est usuellement la MSE, mais il existe des métriques plus adaptées aux séries temporelles, en particulier DTW. DTW n'est toutefois pas différentiable et ne peut donc être utilisée pour un apprentissage de bout-en-bout.Pour résoudre ce problème, nous proposons dans cette thèse deux approches d'approximation de DTW basées sur des réseaux de neurones. La première approche utilise un réseau siamois pour projeter les signaux de sorte que la distance euclidienne des signaux projetés soit la plus proche possible de la DTW des signaux originaux. La deuxième approche tente de directement prédire la valeur de DTW. Nous montrons que ces approches sont plus rapides que les autres approximations différentiables de DTW tout en obtenant des résultats similaires à l'utilisation de DTW dans des tâches de requêtage ou de classification de signaux du sommeil.Nous montrons ensuite que l'approximation siamoise peut être utilisée comme fonction de coût pour apprendre un système de compression des signaux de sommeil basé sur un autoencodeur. Nous justifions du choix de l'architecture du réseau par le fait qu'elle nous permet de faire varier le taux de compression. Nous évaluons ce système de compression par la classification sur les signaux compressés puis reconstruits, et montrons que les mesures usuelles de qualité de compression ne permettent pas de correctement évaluer la capacité d'un système de compression à conserver l'information discriminante. Nous montrons que nos approximations de DTW permettent d'obtenir de meilleures performances sur les données reconstruites que des algorithmes de compression usuels et que d'autres fonctions de coût de reconstruction.Enfin, pour étudier l'impact du COVID long sur l'insomnie, nous collectons et mettons à disposition de la communauté un jeu de données nommé COVISLEEP, constitué de polysomnographies de personnes ayant développé une insomnie chronique après infection du COVID, et de personnes souffrant d'insomnie chronique mais n'ayant pas été infectées par le virus. Nous comparons diverses approches à l'état de l'art pour classifier les états du sommeil, et utilisons la meilleure pour apprendre la détection de COVID long. Nous montrons la difficulté de la tâche, notamment due à la forte variabilité entre les patients. Ceci offre à la communauté un jeu complexe qui laisse place au développement de méthodes plus performantes
This manuscript presents the work carried out within the framework of the CIFRE thesis conducted in partnership between LITIS and Saagie and which is part of the PANDORE-IA project in association with the VIFASOM sleep center.Electroencephalographic (EEG) signals are very useful in helping experts identify various abnormalities like sleep disorders. Recently, the community has shown great interest in long COVID and its various impacts on sleep. However, these signals are voluminous: compression allows reducing storage and transfer costs. Recent compression approaches are based on autoencoders that use a cost function to learn. It is usually the Mean Squared Error (MSE), but there are metrics more suited to time series, particularly Dynamic Time Warping (DTW). However, DTW is not differentiable and thus can not be used as a loss for end-to-end learning.To solve this problem, we propose in this thesis two approaches to approximate DTW based on neural networks. The first approach uses a Siamese network to project the signals so that the Euclidean distance of the projected signals is as close as possible to the DTW of the original signals. The second approach attempts to predict directly the DTW value. We show that these approaches are faster than other differentiable approximations of DTW while obtaining results similar to DTW in query or classification on sleep data.We then demonstrate that the Siamese approximation can be used as a cost function for learning a sleep signal compression system based on an autoencoder. We justify the choice of the network architecture by the fact that it allows us to vary the compression rate. We evaluate this compression system by classification on the compressed and then reconstructed signals, and show that the usual measures of compression quality do not allow for a proper assessment of a compression system's ability to retain discriminative information. We show that our DTW approximations yield better performance on the reconstructed data than conventional compression algorithms and other reconstruction losses.Finally, to study the impact of long COVID on insomnia, we collect and provide the community with a dataset named COVISLEEP, containing polysomnographies of individuals who developed chronic insomnia after COVID infection, and of those suffering from chronic insomnia but who have not been infected by the virus. We compare various state-of-the-art approaches for sleep staging, and use the best one for learning the detection of long COVID. We highlight the difficulty of the task, especially due to the high variability among patients. This offers a complex dataset to the community that allows for the development of more effective methods

Стилі APA, Harvard, Vancouver, ISO та ін.

12

Carvalho, Micael. "Deep representation spaces." Electronic Thesis or Diss., Sorbonne université, 2018. http://www.theses.fr/2018SORUS292.

Повний текст джерела

Анотація:

Ces dernières années, les techniques d’apprentissage profond ont fondamentalement transformé l'état de l'art de nombreuses applications de l'apprentissage automatique, devenant la nouvelle approche standard pour plusieurs d’entre elles. Les architectures provenant de ces techniques ont été utilisées pour l'apprentissage par transfert, ce qui a élargi la puissance des modèles profonds à des tâches qui ne disposaient pas de suffisamment de données pour les entraîner à partir de zéro. Le sujet d'étude de cette thèse couvre les espaces de représentation créés par les architectures profondes. Dans un premier temps, nous étudions les propriétés de leurs espaces, en prêtant un intérêt particulier à la redondance des dimensions et la précision numérique de leurs représentations. Nos résultats démontrent un fort degré de robustesse, pointant vers des schémas de compression simples et puissants. Ensuite, nous nous concentrons sur le l'affinement de ces représentations. Nous choisissons d'adopter un problème multi-tâches intermodal et de concevoir une fonction de coût capable de tirer parti des données de plusieurs modalités, tout en tenant compte des différentes tâches associées au même ensemble de données. Afin d'équilibrer correctement ces coûts, nous développons également un nouveau processus d'échantillonnage qui ne prend en compte que des exemples contribuant à la phase d'apprentissage, c'est-à-dire ceux ayant un coût positif. Enfin, nous testons notre approche sur un ensemble de données à grande échelle de recettes de cuisine et d'images associées. Notre méthode améliore de 5 fois l'état de l'art sur cette tâche, et nous montrons que l'aspect multitâche de notre approche favorise l'organisation sémantique de l'espace de représentation, lui permettant d'effectuer des sous-tâches jamais vues pendant l'entraînement, comme l'exclusion et la sélection d’ingrédients. Les résultats que nous présentons dans cette thèse ouvrent de nombreuses possibilités, y compris la compression de caractéristiques pour les applications distantes, l'apprentissage multi-modal et multitâche robuste et l'affinement de l'espace des caractéristiques. Pour l'application dans le contexte de la cuisine, beaucoup de nos résultats sont directement applicables dans une situation réelle, en particulier pour la détection d'allergènes, la recherche de recettes alternatives en raison de restrictions alimentaires et la planification de menus
In recent years, Deep Learning techniques have swept the state-of-the-art of many applications of Machine Learning, becoming the new standard approach for them. The architectures issued from these techniques have been used for transfer learning, which extended the power of deep models to tasks that did not have enough data to fully train them from scratch. This thesis' subject of study is the representation spaces created by deep architectures. First, we study properties inherent to them, with particular interest in dimensionality redundancy and precision of their features. Our findings reveal a strong degree of robustness, pointing the path to simple and powerful compression schemes. Then, we focus on refining these representations. We choose to adopt a cross-modal multi-task problem, and design a loss function capable of taking advantage of data coming from multiple modalities, while also taking into account different tasks associated to the same dataset. In order to correctly balance these losses, we also we develop a new sampling scheme that only takes into account examples contributing to the learning phase, i.e. those having a positive loss. Finally, we test our approach in a large-scale dataset of cooking recipes and associated pictures. Our method achieves a 5-fold improvement over the state-of-the-art, and we show that the multi-task aspect of our approach promotes a semantically meaningful organization of the representation space, allowing it to perform subtasks never seen during training, like ingredient exclusion and selection. The results we present in this thesis open many possibilities, including feature compression for remote applications, robust multi-modal and multi-task learning, and feature space refinement. For the cooking application, in particular, many of our findings are directly applicable in a real-world context, especially for the detection of allergens, finding alternative recipes due to dietary restrictions, and menu planning

Стилі APA, Harvard, Vancouver, ISO та ін.

13

Boukli, Hacene Ghouthi. "Processing and learning deep neural networks on chip." Thesis, Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire, 2019. http://www.theses.fr/2019IMTA0153/document.

Повний текст джерела

Анотація:

Dans le domaine de l'apprentissage machine, les réseaux de neurones profonds sont devenus la référence incontournable pour un très grand nombre de problèmes. Ces systèmes sont constitués par un assemblage de couches, lesquelles réalisent des traitements élémentaires, paramétrés par un grand nombre de variables. À l'aide de données disponibles pendant une phase d'apprentissage, ces variables sont ajustées de façon à ce que le réseau de neurones réponde à la tâche donnée. Il est ensuite possible de traiter de nouvelles données. Si ces méthodes atteignent les performances à l'état de l'art dans bien des cas, ils reposent pour cela sur un très grand nombre de paramètres, et donc des complexités en mémoire et en calculs importantes. De fait, ils sont souvent peu adaptés à l'implémentation matérielle sur des systèmes contraints en ressources. Par ailleurs, l'apprentissage requiert de repasser sur les données d'entraînement plusieurs fois, et s'adapte donc difficilement à des scénarios où de nouvelles informations apparaissent au fil de l'eau. Dans cette thèse, nous nous intéressons dans un premier temps aux méthodes permettant de réduire l'impact en calculs et en mémoire des réseaux de neurones profonds. Nous proposons dans un second temps des techniques permettant d'effectuer l'apprentissage au fil de l'eau, dans un contexte embarqué
In the field of machine learning, deep neural networks have become the inescapablereference for a very large number of problems. These systems are made of an assembly of layers,performing elementary operations, and using a large number of tunable variables. Using dataavailable during a learning phase, these variables are adjusted such that the neural networkaddresses the given task. It is then possible to process new data.To achieve state-of-the-art performance, in many cases these methods rely on a very largenumber of parameters, and thus large memory and computational costs. Therefore, they are oftennot very adapted to a hardware implementation on constrained resources systems. Moreover, thelearning process requires to reuse the training data several times, making it difficult to adapt toscenarios where new information appears on the fly.In this thesis, we are first interested in methods allowing to reduce the impact of computations andmemory required by deep neural networks. Secondly, we propose techniques for learning on thefly, in an embedded context

Стилі APA, Harvard, Vancouver, ISO та ін.

14

Linhares, Pontes Elvys. "Compressive Cross-Language Text Summarization." Thesis, Avignon, 2018. http://www.theses.fr/2018AVIG0232/document.

Повний текст джерела

Анотація:

La popularisation des réseaux sociaux et des documents numériques a rapidement accru l'information disponible sur Internet. Cependant, cette quantité massive de données ne peut pas être analysée manuellement. Parmi les applications existantes du Traitement Automatique du Langage Naturel (TALN), nous nous intéressons dans cette thèse au résumé cross-lingue de texte, autrement dit à la production de résumés dans une langue différente de celle des documents sources. Nous analysons également d'autres tâches du TALN (la représentation des mots, la similarité sémantique ou encore la compression de phrases et de groupes de phrases) pour générer des résumés cross-lingues plus stables et informatifs. La plupart des applications du TALN, celle du résumé automatique y compris, utilisent une mesure de similarité pour analyser et comparer le sens des mots, des séquences de mots, des phrases et des textes. L’une des façons d'analyser cette similarité est de générer une représentation de ces phrases tenant compte de leur contenu. Le sens des phrases est défini par plusieurs éléments, tels que le contexte des mots et des expressions, l'ordre des mots et les informations précédentes. Des mesures simples, comme la mesure cosinus et la distance euclidienne, fournissent une mesure de similarité entre deux phrases. Néanmoins, elles n'analysent pas l'ordre des mots ou les séquences de mots. En analysant ces problèmes, nous proposons un modèle de réseau de neurones combinant des réseaux de neurones récurrents et convolutifs pour estimer la similarité sémantique d'une paire de phrases (ou de textes) en fonction des contextes locaux et généraux des mots. Sur le jeu de données analysé, notre modèle a prédit de meilleurs scores de similarité que les systèmes de base en analysant mieux le sens local et général des mots mais aussi des expressions multimots. Afin d'éliminer les redondances et les informations non pertinentes de phrases similaires, nous proposons de plus une nouvelle méthode de compression multiphrase, fusionnant des phrases au contenu similaire en compressions courtes. Pour ce faire, nous modélisons des groupes de phrases semblables par des graphes de mots. Ensuite, nous appliquons un modèle de programmation linéaire en nombres entiers qui guide la compression de ces groupes à partir d'une liste de mots-clés ; nous cherchons ainsi un chemin dans le graphe de mots qui a une bonne cohésion et qui contient le maximum de mots-clés. Notre approche surpasse les systèmes de base en générant des compressions plus informatives et plus correctes pour les langues française, portugaise et espagnole. Enfin, nous combinons les méthodes précédentes pour construire un système de résumé de texte cross-lingue. Notre système génère des résumés cross-lingue de texte en analysant l'information à la fois dans les langues source et cible, afin d’identifier les phrases les plus pertinentes. Inspirés par les méthodes de résumé de texte par compression en analyse monolingue, nous adaptons notre méthode de compression multiphrase pour ce problème afin de ne conserver que l'information principale. Notre système s'avère être performant pour compresser l'information redondante et pour préserver l'information pertinente, en améliorant les scores d'informativité sans perdre la qualité grammaticale des résumés cross-lingues du français vers l'anglais. En analysant les résumés cross-lingues depuis l’anglais, le français, le portugais ou l’espagnol, vers l’anglais ou le français, notre système améliore les systèmes par extraction de l'état de l'art pour toutes ces langues. En outre, une expérience complémentaire menée sur des transcriptions automatiques de vidéo montre que notre approche permet là encore d'obtenir des scores ROUGE meilleurs et plus stables, même pour ces documents qui présentent des erreurs grammaticales et des informations inexactes ou manquantes
The popularization of social networks and digital documents increased quickly the informationavailable on the Internet. However, this huge amount of data cannot be analyzedmanually. Natural Language Processing (NLP) analyzes the interactions betweencomputers and human languages in order to process and to analyze natural languagedata. NLP techniques incorporate a variety of methods, including linguistics, semanticsand statistics to extract entities, relationships and understand a document. Amongseveral NLP applications, we are interested, in this thesis, in the cross-language textsummarization which produces a summary in a language different from the languageof the source documents. We also analyzed other NLP tasks (word encoding representation,semantic similarity, sentence and multi-sentence compression) to generate morestable and informative cross-lingual summaries.Most of NLP applications (including all types of text summarization) use a kind ofsimilarity measure to analyze and to compare the meaning of words, chunks, sentencesand texts in their approaches. A way to analyze this similarity is to generate a representationfor these sentences that contains the meaning of them. The meaning of sentencesis defined by several elements, such as the context of words and expressions, the orderof words and the previous information. Simple metrics, such as cosine metric andEuclidean distance, provide a measure of similarity between two sentences; however,they do not analyze the order of words or multi-words. Analyzing these problems,we propose a neural network model that combines recurrent and convolutional neuralnetworks to estimate the semantic similarity of a pair of sentences (or texts) based onthe local and general contexts of words. Our model predicted better similarity scoresthan baselines by analyzing better the local and the general meanings of words andmulti-word expressions.In order to remove redundancies and non-relevant information of similar sentences,we propose a multi-sentence compression method that compresses similar sentencesby fusing them in correct and short compressions that contain the main information ofthese similar sentences. We model clusters of similar sentences as word graphs. Then,we apply an integer linear programming model that guides the compression of theseclusters based on a list of keywords. We look for a path in the word graph that has goodcohesion and contains the maximum of keywords. Our approach outperformed baselinesby generating more informative and correct compressions for French, Portugueseand Spanish languages. Finally, we combine these previous methods to build a cross-language text summarizationsystem. Our system is an {English, French, Portuguese, Spanish}-to-{English,French} cross-language text summarization framework that analyzes the informationin both languages to identify the most relevant sentences. Inspired by the compressivetext summarization methods in monolingual analysis, we adapt our multi-sentencecompression method for this problem to just keep the main information. Our systemproves to be a good alternative to compress redundant information and to preserve relevantinformation. Our system improves informativeness scores without losing grammaticalquality for French-to-English cross-lingual summaries. Analyzing {English,French, Portuguese, Spanish}-to-{English, French} cross-lingual summaries, our systemsignificantly outperforms extractive baselines in the state of the art for all these languages.In addition, we analyze the cross-language text summarization of transcriptdocuments. Our approach achieved better and more stable scores even for these documentsthat have grammatical errors and missing information

Стилі APA, Harvard, Vancouver, ISO та ін.

15

Mahé, Pierre. "Codage ambisonique pour les communications immersives." Thesis, La Rochelle, 2022. http://www.theses.fr/2022LAROS011.

Повний текст джерела

Анотація:

Cette thèse s’inscrit dans le contexte de l’essor des contenus immersifs. Depuis quelques années, les technologies de captation et de restitution sonore immersive se sont développées de manière importante. Ce nouveau contenu a fait naître le besoin de créer de nouvelles méthodes dédiées à la compression audio spatialisée, notamment dans le domaine de la téléphonie et des services conversationnels. Il existe plusieurs manières de représenter l’audio spatialisé, dans cette thèse nous sommes intéressés à l’ambisonie d’ordre 1. Dans un premier temps, nos travaux ont porté sur la recherche d’une solution pour améliorer le codage multimono. Cette solution consiste en un traitement en amont du codec multimono pour décorréler les signaux des composantes ambisoniques. Une attention particulière a été portée à la garantie de continuité du signal entre les trames et à la quantification des métadonnées spatiales. Dans un second temps, nous avons étudié comment utiliser la connaissance de la répartition de l’énergie du signal dans l’espace, aussi appelée image spatiale, pour créer de nouvelles méthodes de codage. L’utilisation de cette image spatiale a permis d’élaborer deux méthodes de compression. La première approche proposée est basée sur la correction spatiale du signal décodé. Cette correction se base sur la différence entre les images spatiales du signal d’origine et du signal décodés pour atténuer les altérations spatiales. Ce principe a été étendu dans une seconde approche à une méthode de codage paramétrique. Dans une dernière partie de cette thèse, plus exploratoire, nous avons étudié une approche de compression par réseaux de neurones en nous inspirant de modèles de compression d’images par auto-encodeur variationnel
This thesis takes place in the context of the spread of immersive content. For the last couple of years, immersive audio recording and playback technologies have gained momentum and have become more and more popular. New codecs are needed to handle those spatial audio formats, especially for communication applications. There are several ways to represent spatial audio scenes. In this thesis, we focused on First Order Ambisonic. The first part of our research focused on improving multi-monocoding by decorrelated each ambisonic signal component before the multi-mono coding. To guarantee signal continuity between frames, efficient quantization new mechanisms are proposed. In the second part of this thesis, we proposed a new coding concept using a power map to recreate the original spatial image. With this concept, we proposed two compressing methods. The first one is a post-processing focused on limiting the spatial distortion of the decoded signal. The spatial correction is based on the difference between the original and the decoded spatial image. This post-processing is later extended to a parametric coding method. The last part of this thesis presents a more exploratory method. This method studied audio signal compression by neural networks inspired by image compression models using variational autoencoders

Стилі APA, Harvard, Vancouver, ISO та ін.

16

Rouzier, Sophie. "Réseaux neuronaux et modularité." Grenoble INPG, 1998. http://www.theses.fr/1998INPG0032.

Повний текст джерела

Анотація:

Face a un probleme complexe, deux types de strategies peuvent etre envisagees : - la premiere consiste a utiliser differentes methodes pour resoudre le probleme global, - la deuxieme consiste a faire cooperer plusieurs methodes specialisees sur differents sous-problemes. Une architecture neuronale adoptant l'une ou l'autre de ces strategies fait preuve de modularite dans la mesure ou d'une part chaque module represente une methode, et d'autre part le traitement de l'ensemble resulte de la cooperation de l'ensemble des modules. Un des buts de ces architectures est l'amelioration des performances par rapport a un modele non modulaire. Dans le premier cas, cette amelioration est obtenue en reduisant le risque d'engendrer des erreurs. Dans le deuxieme cas, elle est obtenue par reduction de la complexite : le probleme est decompose en sous-problemes plus simples, chaque sous-probleme etant resolu par un module neuronal. Nous avons etudie dans cette these les architectures neuronales modulaires, et plus particulierement, pour chacune des deux strategies pre-citees, les techniques de repartition et de cooperation entre les differents modules. Un nouveau systeme modulaire nomme milsys (modular incremental learning system) a ete realise. Ce systeme est egalement incremental : il commence son apprentissage avec une architecture minimale, puis ajoute des modules en cours d'apprentissage. Il a ete teste sur des problemes jouets et un probleme reel, celui de l'association de pistes dans le domaine de la detection aeronavale (probleme complexe de classification). Les resultats obtenus montrent que milsys presente des proprietes interessantes : - il ajoute le nombre de modules necessaires, et construit ainsi une architecture adaptee au probleme. - l'architecture se construit d'elle-meme : il devient donc inutile de specifier une architecture a priori (qui peut etre soit trop lourde, soit insuffisante, surtout si l'on ne dispose d'aucune connaissance a priori sur le probleme). - il represente une source de connaissance : l'analyse des roles de chacun des modules apres apprentissage permet de determiner comment a ete faite la decomposition du probleme en sous-problemes, et fournit ainsi une information interessante sur le probleme. - il presente en plus tous les avantages d'un systeme modulaire par rapport a un systeme non modulaire : une plus grande capacite a resoudre un probleme complexe, de meilleures performances, et une plus grande facilite de modification.

Стилі APA, Harvard, Vancouver, ISO та ін.

17

Cohen, Floriane. "Architectures dynamiques des réseaux neuronaux in vitro." Thesis, Paris Sciences et Lettres (ComUE), 2018. https://tel.archives-ouvertes.fr/tel-02512337.

Повний текст джерела

Анотація:

Le fonctionnement du système nerveux est basé sur l’établissement de circuits neuronaux complexes. Pendant le développement, le branchement axonal permet à chaque neurone de créer des contacts synaptiques avec de multiples cibles. Ce phénomène joue un rôle majeur dans la mise en place des réseaux neuronaux. La compréhension des mécanismes du branchement neuronal est donc essentielle à l’étude du développement des circuits nerveux.Dans cette thèse, nous avons étudié le branchement neuronal en imposant des contraintes morphologiques aux neurones à l’aide de micropatterns adhésifs. En utilisant des patterns statiques, nous avons pu explorer le comportement des branchements neuronaux dans une large gamme de géométrie. Nous avons en particulier étudié l’influence de l’angle de branchement.En parallèle, nous avons travaillé sur le développement d’une technique de micropatterning dynamique basée sur l’adsorption spontanée de dérivées PEGylés de poly-L-lyisne permettant de créer des patterns reconfigurables, dans le but de pouvoir contrôler spatio-temporellement la génération de branches neuritiques
The function of the nervous system relies on the establishment of complex neuronal circuitry. During development, axon branching allows each neuron to establish synaptic contacts with multiple targets and is essential to the assembly of highly interconnected networks. Therefore, understanding the mechanisms underlying the control of neuronal branching is crucial in the study of neuronal circuit development.In this thesis, we investigated this phenomenon by imposing morphological constraints to neurons through the use of different chemical micropatterning techniques. Using static micropatterns, we explored branching behavior in a wide range of geometries with a focus on the influence of branching angle. In parallel, we have also worked on the development of a dynamic patterning technique based on spontaneous adsorption of comb-like derivatives of poly-L-lysine to form switchable patterns on highly cell-repellent surfaces, with the aim of creating a platform allowing for spatio-temporally controlled generation of neurite branches

Стилі APA, Harvard, Vancouver, ISO та ін.

18

Abdelazim, Gamil. "Applications de réseaux neuronaux à l'optimisation combinatoire." Paris 9, 1992. https://portail.bu.dauphine.fr/fileviewer/index.php?doc=1992PA090029.

Повний текст джерела

Анотація:

Cette thèse traite la résolution de problèmes d'optimisation très complexes (np-complets), en l'assimilant à l'évolution d'un réseau de neurones vers un état stable (approche de Hopfield). Cet état est la solution optimale. Plusieurs techniques neuronales sont présentées pour approcher la solution. Les méthodes utilisées sont bien adaptées pour résoudre tout problème qui peut être formulé comme un programme quadratique en variables discrètes. Dans ce cadre nous avons traité les problèmes suivants: 1) bipartition d'un graphe; 2) les problèmes d'affectation quadratiques; 3) repositionnement des éléments combustibles d'un réacteur nucléaire. Nous avons couplé les techniques neuronales avec d'autres méthodes classiques, ce couplage a permis d'obtenir de meilleures solutions. Ces techniques peuvent être appliquées à la résolution de problèmes d'optimisation combinatoire extrêmement variés. Les résultats obtenus sont une première étape. Ils ont permis de montrer un certain nombre d'avantages de l'approche neuronale, les performances de la méthode seront améliorées dans le futur par l'utilisation des ordinateurs parallèles

Стилі APA, Harvard, Vancouver, ISO та ін.

19

Deffuant, Guillaume. "Réseaux connexionnistes auto-construits." Paris, EHESS, 1992. http://www.theses.fr/1992EHES0303.

Повний текст джерела

Анотація:

La these deux grandes parties. La premiere expose le cadre conceptuel dans lequel nous proposons de concevoir l'apprentissage et l'adaptation des systemes artificiels, illustre par la description de systemes connexionnistes standards. La deuxieme decrit un modele connexionniste nouveau, les membranes de perceptrons, inspire par le cadre conceptuel presente dans la premiere partie. Le cadre conceptuel est etabli a l'aide de deux eclairages simultanes. Le plus iomportant est celui de f. Varela, dont le point de vue de l'autonomie fournit une reference fondamentale pour les sciences de la cognition. L'autre vient des theories statistiques et probabilistes de l'apprentissage artificiel. Ce double eclairage permet d'etablir un mode de description general de l'apprentissage et de suggerer des directions possibles pour l'amelioration des systemes existants. Les membranes de perceptrons qui font l'objet de la deuixieme grande partie de ce document constituent une tentative d'amelioration de ces modeles. La structure particuliere des membranes de perceptrons leur permet d'engendrer une grande richesses de formes possibles a l'aide de composants simples (derives du perceptron). Nous etudions ensuite les differentes solutions possibles pour donner a ces objets des capacites d'adaptation passive sous l'action d'un environnement, ainsi que des dynamiques d'evolution structurelles. Ce document se termine par la presentation d'un certain nombre d'exemples de simulation effectuees sur station de travail. Les problemes abordes sont la classification automatique, l'appoximation de fonctions, et le controle de processus.

Стилі APA, Harvard, Vancouver, ISO та ін.

20

Voegtlin, Thomas. "Réseaux de neurones et auto-référence." Lyon 2, 2002. http://theses.univ-lyon2.fr/documents/lyon2/2002/voegtlin_t.

Повний текст джерела

Анотація:

Le sujet de cette thèse est l'étude d'une classe d'algorithmes d'apprentissage non supervisés pour réseaux de neurones récurrents. Dans la 1ere partie (chap. 1 à 4), je présente plusieurs algorithmes, basés sur un même principe d'apprentissage : l'auto-référence. L'apprentissage auto-référent n'implique pas l'optimisation d'un critère objectif (comme une fonction d'erreur), mais il fait intervenir une fonction subjective, qui dépend de ce que le réseau a déjà appris. Un exemple de réseau supervisé basé sur ce principe est le Simple Recurrent Netword d'Elman (1990). Dans ce cas, l'auto-référence est appliquée à l'algorithme de rétro-propagation du gradient. Sur ce point, le réseau d'Elman diffère des autres méthodes de rétro-propagation pour réseaux récurrents, qui font intervenir un gradient objectif (Back-propagation Through Time, Real-Time Recurrent learning). Je montr que l'auto-référence peut être utilisée avec les principales techniques d'apprentissage non supervisé : Cartes de Kohonen, Analyse en composantes principales, Analyse en composantes indépendantes. Ces techniques sont classiquement utilisées pour représenter des données statiques. L'auto-référence permet de les généraliser à des séries temporelles, et de définir des algorithmes d'apprentissage nouveaux
The purpose of this thesis is to present a class of unsupervised learning algorithms for recurrent networks. In the first part (chapters 1 to 4), I propose a new approach to this question, based on a simple principle: self-reference. A self-referent algorithm is not based on the minimization of an objective criterion, such as an error function, but on a subjective function, that depends on what the network has previously learned. An example of a supervised recurrent network where learning is self-referent is the Simple Recurrent Network (SRN) by Elman (1990). In the SRN, self-reference is applied to the supervised error back-propagation algorithm. In this aspect, the SRN differs from other generalizations of back-propagation to recurrent networks, that use an objective criterion, such as Back-Propagation Through Time, or Real-Time Recurrent Learning. In this thesis, I show that self-reference can be combined with several well-known unsupervised learning methods: the Self-Organizing Map (SOM), Principal Components Analysis (PCA), and Independent Components Analysis (ICA). These techniques are classically used to represent static data. Self-reference allows one to generalize these techniques to time series, and to define unsupervised learning algorithms for recurrent networks

Стилі APA, Harvard, Vancouver, ISO та ін.

21

Addor, Jean-Bernard. "Étude des réseaux neuronaux auto-organisés de type LINSKER et analyse multifractale de signaux neuronaux." Thesis, National Library of Canada = Bibliothèque nationale du Canada, 1998. http://www.collectionscanada.ca/obj/s4/f2/dsk1/tape10/PQDD_0017/MQ55567.pdf.

Повний текст джерела

Стилі APA, Harvard, Vancouver, ISO та ін.

22

Ronald, Edmund. "Apprentissage évolutionniste des réseaux neuromimétiques." Palaiseau, Ecole polytechnique, 1997. http://www.theses.fr/1997EPXX0048.

Повний текст джерела

Анотація:

La ou la retropropagation classique des reseaux neuromimetiques requiert des echantillons d'entrees-sortie, l'apprentissage evolutionniste etudie dans cette these peut s'effectuer des lors qu'est disponible une mesure de la qualite du comportement d'un reseau. La faisabilite de l'apprentissage evolutionniste dans le domaine du controle non-lineaire est demontree dans le context de la mise a quai en marche arriere d'un camion avec remorque. Une etude quantitative plus detaillee examine l'alunissage controle d'un module lunaire ne disposant que d'un combustible limite. Une grande amelioration de la precision du controle est obtenue au moyen d'un changement de topologie de reseau, par ajout d'entrees supplementaires renormalisees. Les poids synaptiques et les pentes des fonctions de transfert des neurones composant le reseau controleur peuvent etre ajustees en meme temps que les coefficients de renormalisation des entrees, aboutissant ainsi a une methodologie de type boite noire, ou le controle nkeuro-genetique peut etre obtenu sans tatonnements de l'operateur. Dans cette etude l'effort de calcul (nombre de generations) requis pour obtenir une precision souhaitee avec une probabilite donnee (par exemple 99%) est presente comme nouvelle metrique, et celle-ci est confrontee avec la metrique plus usuelle portant sur la motenne des meilleurs elements. Ces etudes applicatives sont accompagnees de deux contributions plus theoriques, l'une dans le domaine evolutioniste, l'autre dans le domaine des reseaux : un algorithme inspire de la selection sexuelle de darwin etend l'algorithme genetique usuel par la notion de choix de partenaire reproductif. Cet algorithme dit de selection-seduction permet de realiser une optimisation bi-objectif. Dans le cas du module lunaire ce sera la prise en compte simultanee de la vitesse d'alunissage et de la reserve de combustible. Dans le domaine des reseaux de neurones, l'algorithme du gradient applique dans l'espace des entrees permettra de caracteriser les prototypes de chaque classe reconnue par un reseau classificateur.

Стилі APA, Harvard, Vancouver, ISO та ін.

23

Meunier, Claire. "Etude de la neuromodulation des réseaux neuronaux du cortex." Thesis, Paris 11, 2013. http://www.theses.fr/2013PA11T089/document.

Повний текст джерела

Анотація:

Le cortex est une structure qui supporte de nombreux processus tels que perception sensorielle, processus cognitifs et mémorisation. Il fonctionne grâce à une association de neurones excitateurs (E) et inhibiteurs (I) interconnectés de façon récurrente par des synapses dynamiques qui ciblent les neurones pyramidaux de couche 5 (NPy5) élaborant les signaux de sortie du cortex. Cette organisation neuronale est régulée par un équilibre entre E et I. La dérégulation des réseaux neuronaux peut conduire à des pathologies telles que la dépression ou la schizophrénie. Le fonctionnement du cortex est modulé entre autres par la sérotonine, la dopamine, la D-sérine et la glycine. Ce travail de thèse porte sur l’effet des interactions entre neuromodulateurs via les récepteurs 5-HT1A, D1, D2, NMDA et GlyR sur la balance et la plasticité synaptique de E et I dans le cortex. Mes données électrophysiologiques montrent que l’interaction entre les récepteurs 5-HT1A et D1 limite l’induction de la LTD, tandis que l’interaction entre les récepteurs 5-HT1A et D2, grâce à un carrefour commun de signalisation GSK3β, favorise l’induction de la LTD. Je montre dans le cortex visuel de rat que la D-sérine est nécessaire à l’induction de la LTP et que les GlyR ont un rôle de « shunt » le long de la dendrite des NPy5, ce qui entraîne un basculement d’une LTP en « LTD-like » apparente
The cortex is crucial for processes such as sensory perception, cognition and memory. Cortical organization is based on neuronal networks composed of excitatory (E) and inhibitory (I) neurons which target layer 5 pyramidal neurons. Dysfunctions of such networks result in psychiatric pathologies including major depression and schizophrenia. Regulations of cortical activity also involve neuromodulators such as serotonin, dopamine, D-serine and glycine. The current body of work decipher the interactions of the effects of 5-HT1A-, D1-, D2-, NMDA- and Glycine-receptors activation on the E-I balance and synaptic plasticity. The electrophysiological data that I have generated in the prefrontal cortex show that concomitant activation of 5-HT1A- and D1-receptors downregulates the induction of LTD whilst 5-HT1A coupled to D2-receptors activation promotes LTD induction, via a common modulation of GSK3β. I also collected data from the visual cortex, showing that D-serine is the co-agonist NMDA-receptor in this brain region and is, as such, required for LTP-induction. Glycine was instead found to act on dendritic Glycine-receptors, resulting in a shunt, which altered dendritic integration and thus turned LTP to a LTD-like effect at the somatic level

Стилі APA, Harvard, Vancouver, ISO та ін.

24

Lion, Marc. "Filtrage adaptatif par réseaux neuronaux : application à la trajectographie." École nationale supérieure de l'aéronautique et de l'espace (Toulouse ; 1972-2007), 2000. http://www.theses.fr/2000ESAE0003.

Повний текст джерела

Стилі APA, Harvard, Vancouver, ISO та ін.

25

Aissa, Wafa. "Réseaux de modules neuronaux pour un raisonnement visuel compositionnel." Electronic Thesis or Diss., Paris, HESAM, 2023. http://www.theses.fr/2023HESAC033.

Повний текст джерела

Анотація:

Cette thèse de doctorat porte sur le raisonnement visuel compositionnel. Lorsqu'on présente une paire image-question à un modèle de réseau de neurones, notre objectif est que le modèle réponde à la question en suivant une chaîne de raisonnement définie par un programme. Nous évaluons la capacité de raisonnement du modèle dans le cadre de la Question Réponse Visuelle (QRV). La QRV compositionnelle décompose les questions complexes en sous-problèmes modulaires plus simples. Ces sous-problèmes incluent des compétences de raisonnement telles que la détection d'objets et d'attributs, la détection de relations, les opérations logiques, le dénombrement et les comparaisons. Chaque sous-problème est attribué à un module différent. Cette approche décourage les raccourcis, exigeant une compréhension explicite du problème. Elle favorise également la transparence et l'explicabilité.Les réseaux de modules neuronaux (NMN) sont utilisés pour permettre un raisonnement compositionnel. Il sont basés sur un cadre de générateur-exécuteur, le générateur apprend la traduction de la question vers son programme de fonctions. L'exécuteur instancie un NMN où chaque fonction est attribuée à un module spécifique. Nous développons également un catalogue de modules neuronaux et définissons leurs fonctions et leurs structures. Les entraînements et les évaluations sont effectués sur l'ensemble de données GQA [3], qui comprend des questions, des programmes fonctionnels, des images et des réponses.L'une des principales contributions implique l'intégration de représentations pré-entraînées multi-modales dans la QRV modulaire. Cette intégration sert à initialiser le processus de raisonnement. Les expériences démontrent que les représentations multimodales surpassent les unimodales. Ceci permet de capturer des relations complexes intra-modales tout en facilitant l'alignement entre les différentes modalités, améliorant ainsi la précision globale de notre NMN.De plus, nous explorons différentes techniques d'entraînement pour améliorer le processus d'apprentissage et l'efficacité du coût de calcul. En plus d'optimiser les modules au sein de la chaîne de raisonnement pour produire collectivement des réponses précises, nous introduisons une approche d'apprentissage guidé pour optimiser les modules intermédiaires de la chaîne de raisonnement. Cela garantit que ces modules effectuent leurs sous-tâches de raisonnement spécifiques sans prendre de raccourcis ou compromettre l'intégrité du processus de raisonnement. L'une des techniques proposées s'inspire de la méthode d'apprentissage guidé couramment utilisée dans les modèles séquentiels. Des analyses comparatives démontrent les avantages de notre approche pour les NMN, comme détaillé dans notre article [1].Nous introduisons également une nouvelle stratégie d'apprentissage par Curriculum (CL) adaptée aux NMN pour réorganiser les exemples d'entraînement et définir une stratégie d'apprentissage progressif. Nous commençons par apprendre des programmes plus simples et augmentons progressivement la complexité des programmes d'entraînement. Nous utilisons plusieurs critères de difficulté pour définir l'approche du CL. Nos résultats montrent qu'en sélectionnant la méthode de CL appropriée, nous pouvons réduire considérablement le coût de l'entraînement et la quantité de données d'entraînement requise, avec un impact limité sur la précision finale de la QRV. Cette contribution importante constitue le cœur de notre article [2].[1] W. Aissa, M. Ferecatu, and M. Crucianu. Curriculum learning for compositional visual reasoning. In Proceedings of VISIGRAPP 2023, Volume 5: VISAPP, 2023.[2] W. Aissa, M. Ferecatu, and M. Crucianu. Multimodal representations for teacher-guidedcompositional visual reasoning. In Proceedings of ACIVS 2023. Springer International Publishing, 2023.[3] D. A. Hudson and C. D. Manning. GQA: A new dataset for real-world visual reasoning and compositional question answering. 2019
The context of this PhD thesis is compositional visual reasoning. When presented with an image and a question pair, our objective is to have neural networks models answer the question by following a reasoning chain defined by a program. We assess the model's reasoning ability through a Visual Question Answering (VQA) setup.Compositional VQA breaks down complex questions into modular easier sub-problems.These sub-problems include reasoning skills such as object and attribute detection, relation detection, logical operations, counting, and comparisons. Each sub-problem is assigned to a different module. This approach discourages shortcuts, demanding an explicit understanding of the problem. It also promotes transparency and explainability.Neural module networks (NMN) are used to enable compositional reasoning. The framework is based on a generator-executor framework, the generator learns the translation of the question to its function program. The executor instantiates a neural module network where each function is assigned to a specific module. We also design a neural modules catalog and define the function and the structure of each module. The training and evaluations are conducted using the pre-processed GQA dataset cite{gqa}, which includes natural language questions, functional programs representing the reasoning chain, images, and corresponding answers.The research contributions revolve around the establishment of an NMN framework for the VQA task.One primary contribution involves the integration of vision and language pre-trained (VLP) representations into modular VQA. This integration serves as a ``warm-start" mechanism for initializing the reasoning process.The experiments demonstrate that cross-modal vision and language representations outperform uni-modal ones. This utilization enables the capture of intricate relationships within each individual modality while also facilitating alignment between different modalities, consequently enhancing overall accuracy of our NMN.Moreover, we explore various training techniques to enhance the learning process and improve cost-efficiency. In addition to optimizing the modules within the reasoning chain to collaboratively produce accurate answers, we introduce a teacher-guidance approach to optimize the intermediate modules in the reasoning chain. This ensures that these modules perform their specific reasoning sub-tasks without taking shortcuts or compromising the reasoning process's integrity. We propose and implement several teacher-guidance techniques, one of which draws inspiration from the teacher-forcing method commonly used in sequential models. Comparative analyses demonstrate the advantages of our teacher-guidance approach for NMNs, as detailed in our paper [1].We also introduce a novel Curriculum Learning (CL) strategy tailored for NMNs to reorganize the training examples and define a start-small training strategy. We begin by learning simpler programs and progressively increase the complexity of the training programs. We use several difficulty criteria to define the CL approach. Our findings demonstrate that by selecting the appropriate CL method, we can significantly reduce the training cost and required training data, with only a limited impact on the final VQA accuracy. This significant contribution forms the core of our paper [2].[1] W. Aissa, M. Ferecatu, and M. Crucianu. Curriculum learning for compositional visual reasoning. In Proceedings of VISIGRAPP 2023, Volume 5: VISAPP, 2023.[2] W. Aissa, M. Ferecatu, and M. Crucianu. Multimodal representations for teacher-guidedcompositional visual reasoning. In Advanced Concepts for Intelligent Vision Systems, 21st International Conference (ACIVS 2023). Springer International Publishing, 2023.[3] D. A. Hudson and C. D. Manning. GQA: A new dataset for real-world visual reasoning and compositional question answering. 2019

Стилі APA, Harvard, Vancouver, ISO та ін.

26

Teytaud, Olivier. "Apprentissage, réseaux de neurones et applications." Lyon 2, 2001. http://theses.univ-lyon2.fr/documents/lyon2/2001/teytaud_o.

Повний текст джерела

Анотація:

Les fondements théoriques de l'apprentissage sont en grande partie posés. Comme la calculabilité est venue à maturité en s'orientant vers la complexité, l'apprentissage mûrit face à des résultats négatifs forts qui rendent sans espoir la quête d'algorithmes universels, efficaces pour toute donnée. Vraisemblablement les grandes avancées à venir seront (a) soit dans des domaines connexes où l'étude théorique a moins été poussée, (b) soit moins philosophiques et plus concrètes (théorique à préoccupations algorithmiques, représentation de données structurées, implémentation physique, modularité), soit enfin (c) dans la modélisation biologique. Cette thèse résume (et essaie modestement de compléter) les avancées théoriques statistiques, des points de vue successifs des cas où l'apprentissage est difficile (i. E. , où l'on sort du cadre iid sans bruit avec a priori de VC-dimension finie), des utilisations non-standards de la VC-théorie (non-supervisé, extraction de règles : c'est le (a) ci-dessus), puis du passage au concret avec le passage aux préoccupations algorithmiques (validité des approximations dans les Supports Vector Machines, efficacité des algorithmes de Gibbs quoique l'étude soit très incomplète, plus proches voisins rapides d'un point de vue expérimental représentation de données structurées images ou textes - tout cela est le (b)) et la modélisation biologique (c)

Стилі APA, Harvard, Vancouver, ISO та ін.

27

Lagacherie, Hervé. "L'analyse des données cliniques et biologiques par les réseaux neuronaux." Bordeaux 2, 1997. http://www.theses.fr/1997BOR2P091.

Повний текст джерела

Стилі APA, Harvard, Vancouver, ISO та ін.

28

Basulaim, Khaled. "Application des réseaux neuronaux en visionique : traitement d'images et classification." Le Havre, 1995. http://www.theses.fr/1995LEHA0002.

Повний текст джерела

Анотація:

Le travail présenté se rapporte à deux domaines pluridisciplinaires qui font l'objet d'une recherche active : la vision artificielle et les réseaux neuronaux. Il consiste à concevoir une procédure neuronale basée sur des réseaux multicouches et destinée a la reconnaissance des formes polyédriques. Fondée sur la connaissance moderne du système visuel biologique concernant le traitement hiérarchique et l'architecture bien organisée. Cette procédure neuronale est composée de deux étapes de traitement: un traitement bas-niveau consistant à construire l'image des et un traitement haut-niveau concernant la classification. Nous utilisons essentiellement des perceptrons multicouches (pmc) conditionnes par l'algorithme de rétropropagation du gradient. Plusieurs critères et facteurs ont été définis afin de déterminer la performance des réseaux et la qualité des calculs. Ils sont utilisables pour analyser d'autres réseaux effectuant des taches quelconques et disposant d'entrées/sorties semblables à celles des réseaux traités. L'optimisation des pmc de taille respectable est affectée par une approche pratique concernant l'architecture de ces réseaux et le choix de la base d'apprentissage. Pour la détection de contours, nous utilisons un nombre limité de prototypes élémentaires pour l'apprentissage. Des résultats satisfaisants ont été obtenus pour différents types d'images indépendamment de leurs conditions de numérisation. Une classification efficace est aussi obtenue en testant des images dégradées issues de la première étape de traitement.

Стилі APA, Harvard, Vancouver, ISO та ін.

29

Messai, Nadhir. "Surveillance du trafic urbain et interurbain à base de modèles neuronaux." Besançon, 2003. http://www.theses.fr/2003BESA2033.

Повний текст джерела

Анотація:

La réduction des effets des congestions non récurrentes est un défi capital que les centres de gestion du trafic essayent de relever en se dotant de certains outils de surveillance. Cependant, les algorithmes de détection généralement employés relèvent de l'ingénierie de trafic plus que de la surveillance des systèmes et sont incompatibles avec les contraintes opérationnelles de l'exploitation des infrastructures. Ce travail présente une approche de surveillance à base de modèles neuronaux et apporte des arguments en faveur de l'utilisation des réseaux de neurones artificiels (RdN) en proposant des modèles et des algorithmes qui remédient à certaines limitations des approches classiques. Au niveau de la modélisation, les RdN sont utilisés d'une façon simple et systématique pour extraire des diagrammes fondamentaux (DF) qui ne nécessitent aucun effort de calibrage. Par ailleurs, nous formulons des algorithmes d'initialisation permettant de pallier à la difficulté de convergence vers des minima locaux très éloignés du minimum global. Les RdN sont également employés en tant que modèle prédicteur du débit. Cette approche de modélisation a l'avantage de s'affranchir des difficultés théoriques et expérimentales liées à la validation des modèles existants car elle s'appuie sur une procédure de validation systématique. Au niveau de la surveillance, nous proposons, dans un premier temps, un algorithme à base de modèle statique. La détection des incidents résulte d'une segmentation de l'espace débit/densité en quatre régions et de la classification des mesures dans l'une de ces zones. Afin de pallier aux limitations de cet algorithme statique, nous nous sommes intéressés à une approche de surveillance basée sur l'analyse de résidus issus de la comparaison du fonctionnement réel avec celui du modèle prédicteur du débit. Par ailleurs, nous développons une procédure alternative qui repose sur quatre réseaux récurrents connectés entre eux. Enfin, la problématique de la supervision du trafic au niveau d'un réseau routier est abordée. Des schémas modulaires et hiérarchiques basés sur des réseaux de Petri sont proposés. Ces schémas présentent l'intérêt de permettre un suivi temporel et spatial de la propagation des incidents et des congestions. Les approches de modélisation et de surveillance développées sont testées et comparées sur deux cas réels : un carrefour urbain de la ville de Nancy et une portion de l'autoroute Californienne I-880
The minimization of the effects of the nonrecurring congestions is a capital challenge that the management traffic centres try to raise using traffic monitoring tools. However, the algorithms employed are generally based on some heuristics and they are incompatible with the operational constraints of exploitation. This work presents a monitoring approach based on neural networks models and gives some arguments in favour of the use of neural networks (NN) for traffic modelling and monitoring. In the context of traffic modelling, NN are used in a simple and systematic way to extract fundamental diagrams (DF) which do not require any calibration effort. In addition, we formulate initialization algorithms which avoid the convergence towards local minima which are very far away from the global minimum. NN are also employed as models that predict the traffic flow. This modelling approach, which is based on a systematic validation procedure, has the advantage to keep away from the theoretical and the experimental difficulties related to the validation of the existing models. Once the modelling phase is achieved, we were interested in the monitoring problems. In this context, we propose, in a first stage, an algorithm based on the static model (DF). The incidents detection results from a segmentation of the space debit/density in four areas and the classification of the measured data in one of these areas. In order to take the edge off the limitations of this static algorithm, we were interested in a monitoring approach, which is based on the analysis of residues resulting from the comparison of real data with those obtained from the prediction model. Furthermore, we develop an alternative procedure which mixes four recurring networks. Lastly, the problem of traffic supervision on a network is tackled. Modular and hierarchical schemas which deal with this difficulty are proposed. These schemas are based on Petri nets and they have the potential to allow a temporal and a spatial observation of incidents and congestions propagations. The modeling and monitoring proposed approaches are tested and compared on two real systems: an urban crossroads of the town of Nancy and a portion of the Californian freeway I-880

Стилі APA, Harvard, Vancouver, ISO та ін.

30

Morel, Hervé. "Diagnostic du rotor principal de l'hélicoptère : analyse de signatures vibratoires par réseaux de neurones." Paris, ENSAM, 2007. http://www.theses.fr/2007ENAM0001.

Повний текст джерела

Стилі APA, Harvard, Vancouver, ISO та ін.

31

Aziz, Mohammed, and Abdelaziz Bensrhair. "Apprentissage de réseaux de neurones impulsionnels. Application à des systèmes sensorimoteurs." INSA de Rouen, 2005. http://www.theses.fr/2005ISAM0005.

Повний текст джерела

Анотація:

L'intérêt des neurones impulsionnels réside en leur fonctionnement très proche de celui des neurones biologiques. Ces derniers codent leur information et leurs échanges inter-neuronaux sous forme d'impulsions calibrées et non comme le modèle de Mc Culloth et Pitts qui lui s'exprime en termes de fréquences moyennes d'émission d'impulsions. Si les modèles fréquentiels sont bien connus théoriquement du fait de leur ancienneté et de leur relative simplicité, ce n'est pas le cas des modèles impulsionnels. Le seul modèle développé actuellement est le modèle d'"Integre-and-Fire". Ce dernier avec ses variantes est aujourd'hui l'un des plus utilisés dans les simulations numériques utilisant des modèles impulsionnels. Les méthodes d'apprentissage classiques ne sont pas applicables à ce type de réseaux de neurones. De ce fait, des méthodes d'apprentissage spécifiques doivent être développées. Puisque les échanges inter-neuronaux s'effectuent sous forme d'impulsions calibrées et non sous forme de niveaux continus comme dans les neurones classiques. Dans cette thèse, nous avons présenté un système sensorimoteur constitué de réseau de neurones artificiels, utilisant un modèle biologiquement plausible de neurones impulsionnels. Nous avons proposé une méthode d'apprentissage adaptée pour ce système sensorimoteur. Cette méthode est basée sur la règle de Hebb. Il consiste à ne modifier que les poids synaptiques impliqués dans une action selon une loi apparentée à la méthode du renforcement. Avec le système sensorimoteur, nous avons simulé l'attraction du regard et le suivi de mouvement par l'apparition d'un objet contrasté par rapport au fond. Pour valider ce système sensorimoteur, nous avons présenté dans la dernière partie de cette thèse notre méthode d'apprentissage appliquée à un cas d'école : le pendule inversé.

Стилі APA, Harvard, Vancouver, ISO та ін.

32

Quélavoine, Régis. "Etude de l'apprentissage et des structures des réseaux de neurones multicouches pour l'analyse de données." Avignon, 1997. http://www.theses.fr/1997AVIG0002.

Повний текст джерела

Анотація:

Le probleme de la reconnaissance automatique des signaux transitoires en acoustique sous-marine est tres delicat : on ne connait pas les parametres pertinents, encore moins les regles de decision des experts humains qui ne sont pas infaillibles ! Les reseaux neuromimetiques sont capables de realiser en partie cette tache complexe, mais ils souffrent d'une image de boite noire qui rend l'utilisateur mefiant : quelles sont les regles de decision simulees ? Correspondent-elles a ce que nous attendons ? Pour repondre a ces questions, nous nous sommes interesses a l'etude de l'apprentissage et des structures des reseaux de neurones multicouches afin d'en extraire cette information manquante. Dans ce but, il nous a fallu aborder cinq etapes chronologiques dans l'apprentissage. Nous utilisons un pretraitement des donnees adapte aux reseaux de neurones, attenuant la saturation des noeuds, et augmentant le potentiel discriminant des parametres. En outre, une fois les entrees ramenees a la meme amplitude de variation, seuls les poids vont traduire l'importance des parametres. Nous reglons ensuite le probleme de la pollution des corpus par les erreurs d'etiquetage en pratiquant un apprentissage selectif, adaptation de la retropropagation du gradient. Cette technique isole automatiquement les exemples incoherents et evite de surcroit le sur-apprentissage. L'etape suivante est la selection des parametres pertinents pour une classification. Nous proposons un critere hierarchique issu de l'analyse des poids des reseaux, qui se montre plus precis que ceux proposes auparavant. Il mesure les capacites activatrice et inhibitrice de chaque entree. La hierarchie obtenue nous permet de detecter les biais reduisant la robustesse du systeme, et de les corriger en generant automatiquement des exemples types qui viendront completer le corpus. Cette phase est primordiale pour l'interpretation ulterieure des regles de decision apprises. La methode nous donne aussi un moyen de fabriquer artificiellement des corpus d'apprentissage performants et de taille reduite. Enfin, apres avoir construit un echantillon optimal d'apprentissage, nous pouvons determiner a partir d'un reseau les hyperplans correspondant aux regles de decision simulees. Nous obtenons alors un systeme equivalent d'inequations avec des performances comparables en reconnaissance. Ces techniques, appliquees a differents cas d'ecole ou au difficile probleme des signaux transitoires, conduisent a des gains significatifs en vitesse d'apprentissage et en qualite de la generalisation. Outre une meilleure maitrise des reseaux de neurones, elles ouvrent des perspectives interessantes d'application dans de nombreux domaines ou notre connaissance reste insuffisante

Стилі APA, Harvard, Vancouver, ISO та ін.

33

Reyes, Salgado Gerardo. "Connaissances de haut niveau dans les systèmes hybrides neuro-symboliques." Grenoble INPG, 2001. http://www.theses.fr/2001INPG0047.

Повний текст джерела

Стилі APA, Harvard, Vancouver, ISO та ін.

34

MONNET, MARIE-LAURE. "Interaction des proprietes cellulaires et des proprietes synaptiques dans la dynamique neuronale." Palaiseau, Ecole polytechnique, 1997. http://www.theses.fr/1997EPXX0009.

Повний текст джерела

Анотація:

L'essentiel de la communication entre neurones s'effectue via des synapses chimiques. Ces synapses sont usuellement classees en excitatrices ou inhibitrices selon qu'elles generent des potentiels postsynaptiques depolarisants ou hyperpolarisants dans le neurone cible. Cette classification est appropriee lorsque l'on ne considere que les proprietes passives de la membrane cellulaire, une depolarisation augmentant l'excitabilite du neurone, une hyperpolarisation la diminuant. Toutefois, les potentiels postsynaptiques peuvent aussi interferer avec la dynamique des courants ioniques qui depend non lineairement du potentiel de membrane de la cellule. La presente these est essentiellement consacree aux modifications de la phase et de l'amplitude des potentiels d'action causees par de tels effets synaptiques. Les interactions synaptiques peuvent conduire a la synchronisation des decharges neuronales dans un reseau. Ces effets de phase ont ete etudies, par reduction a des modeles de phase, pour des burster, des neurones presentant des bouffees periodiques d'activite. Ils synchronisent fortement leur decharge contrairement aux spiker, des neurones emettant periodiquement des potentiels d'action. En reseau, les spiker peuvent adopter de multiples etats de synchronisation partielle. L'introduction d'un bruit synaptique permet la selection d'un petit nombre de ces etats. Les synapses axo-axoniques depolarisantes mises en jeu dans l'inhibition presynaptique reduisent l'amplitude des potentiels d'action se propageant le long de l'axone. L'effet de la depolarisation sur la propagation d'un potentiel d'action a ete etudie a l'aide d'un modele compartimental. Pour cela, un outil logiciel, fonde sur une approche totalement orientee objet, a ete developpe. La depolarisation joue un role majeur dans l'inhibition presynaptique, en inactivant le courant sodium responsable de la regeneration des potentiels d'action

Стилі APA, Harvard, Vancouver, ISO та ін.

35

Huguet, Stéphane. "Application de classificateurs aux données d'émission acoustique : identification de la signature acoustique des mécanismes d'endommagement dans les composites à matrice polymère." Lyon, INSA, 2002. http://theses.insa-lyon.fr/publication/2002ISAL0087/these.pdf.

Повний текст джерела

Анотація:

L'émission acoustique (EA) a été enregistrée lors d'essais de traction sur des composites à fibres de verre et matrices polyester ou epoxyde. Les essais sur échantillons unidirectionnels sollicités dans différentes directions par rapport aux fibres ainsi que les essais sur résine et sur microcomposites ont permis d'identifier les signatures acoustique provenant des trois modes d'endommagement : fissuration matricielle, décohésions interfaciales, ruptures de fibres, des techniques d'analyse statistique, les K plus proches voisins et les réseaux de neurones (carte de Kohonen) ont été utilisées pour la réalisation d'un outil permettant de distinguer les signaux correspondant à ces modes d'endommagement. La technique a été étendue à des essais sur composites stratifiés à plis croisés, avec des résultats prometteurs. Sur ces derniers, il a été mis en évidence que l'analyse du seul paramètre d'amplitude n'est pas toujours suffisante pour distinguer les signaux provenant des différents modes d'endommagement
Composites. Unidirectional samples tested in off-axis tensile tests, associated with tensile tests on resin and microcomposite, allow the identification of AE signatures of the three damage modes in composite materials: matrix cracking, fiber/matrix decohesion and fiber fracture. Statistical analysis techniques, with Keywords nearest neighbors and neural networks (Kohonen map) were used to build an automatic recognition tool able to distinguish between the signals from those damage modes. This methodology was successfully also applied on +-55 degrees glass-fiber/epoxy-resin laminates

Стилі APA, Harvard, Vancouver, ISO та ін.

36

Seube, Nicolas. "Régulation de systèmes contrôlés avec contraintes sur l'état par réseaux de neurones." Paris 9, 1992. https://portail.bu.dauphine.fr/fileviewer/index.php?doc=1992PA090013.

Повний текст джерела

Анотація:

L'objet de cette thèse est la construction de règles d'apprentissage pour des réseaux de neurones, dans le but de réguler des systèmes soumis à des contraintes d'état. Dans un premier temps, on considère les réseaux de neurones comme des systèmes contrôlés par des matrices synaptiques, et l'on montre que les règles d'apprentissage classiques s'expriment simplement à l'aide du produit tensoriel d'operateurs linéaires. Ensuite, on construit des règles d'apprentissage pour le contrôle de systèmes par réseaux de neurones. Trois classes de règles sont alors proposées. Les deux premières (retro propagation dynamique (RPD) et retro propagation dynamique uniforme (RPDU) sont basées sur des procédures de minimisation complexes d'un critère défini dans l'espace des états du système contrôle, traduites dans l'espace des matrices synaptiques du réseau de neurones effectuant la fonction de régulation du système. La troisième règle (la règle d'apprentissage adaptative lourde (AL) sera interprétée comme une règle de Hebb continue. Cette règle est basée sur un théorème concernant l'apprentissage adaptatif de lois de commande par réseau de neurones, lui-même basé sur le théorème de viabilité. Des résultats numériques seront présentes pour les trois classes d'algorithmes

Стилі APA, Harvard, Vancouver, ISO та ін.

37

Guérin-Dugué, Anne. "Crasy : un Calculateur de Réseaux Adaptatifs SYstolique : application au calcul neuromimétique." Grenoble INPG, 1987. http://www.theses.fr/1987INPG0082.

Повний текст джерела

Анотація:

En nous inspirant à la fois des principes très généraux des réseaux de neurones et des tendances actuelles vers le parallélisme, en matière de structures de calculateurs, nous proposons une architecture originale et performante pour la simulation de réseaux neuromimétiques munis de fonctions d'apprentissage

Стилі APA, Harvard, Vancouver, ISO та ін.

38

Klein, Jacques-Olivier. "Contribution a l'etude de l'adequation algorithme-architecture : machines de boltzmann et circuits analogiques cellulaires." Paris 11, 1995. http://www.theses.fr/1995PA112009.

Повний текст джерела

Анотація:

La machine de boltzmann est l'un des modeles de reseaux de neurones formels les plus efficaces pour la classification, mais la duree excessive de ses simulations exclut son application effective. Le recours au parallelisme est donc naturel. Dans le contexte des reseaux connexionnistes, la granularite fine utilisant une precision limitee permet d'obtenir des vitesses de traitement tres importantes grace a un parallelisme massif. La granularite la plus fine est obtenue en utilisant la grande densite des operateurs analogiques. Cependant, de telles architectures ne presentent d'interet que si les vitesses qu'elles apportent ouvrent la voie a de nouvelles classes d'applications et si l'imprecision des calculs analogiques ne degrade pas leurs performances de reconnaissance. D'une part, en utilisant une nouvelle methodologie d'evaluation de performances nous degageons les classes d'applications que seules des architectures analogiques permettent d'envisager: les tres gros reseaux de neurones utilises en traitement d'images ainsi que les applications de classification necessitant un temps de reponse tres courts (radar, physique des particules). D'autre part, nous evaluons la robustesse de la machine de boltzmann vis a vis des imperfections des operateurs analogiques et presentons les algorithmes originaux et les architectures permettant la compensation de ces defauts. Enfin nous presentons l'architecture materielle et logicielle d'une realisation analogique de machine de boltzmann permettant la validation de cette approche

Стилі APA, Harvard, Vancouver, ISO та ін.

39

Le, Fablec Yann. "Prévision de trajectoires d'avions par réseaux de neurones." Toulouse, INPT, 1999. http://www.theses.fr/1999INPT034H.

Повний текст джерела

Анотація:

La prévision de trajectoires d'avions est un problème crucial pour les systèmes de gestion du traffic aérien. Des méthodes de prévision utilisant des modélisations d'avion existent déjà mais nécessitent beaucoup de paramètres en n'offrant qu'une précision moyenne. C'est pourquoi nous développons une nouvelle approche nútilisant que peu d'informations initiales. La méthode choisie est basée sur l'utilisation de réseaux de neurones auxquels on fait apprendre un ensemble de trajectoires avant de les utiliser pour en prédire de nouvelles. Nous développons trois méthodes différentes qui permettent une prédiction à long terme dans le plan vertical et à court et moyen terme dans le plan horizontal. L'une d'elles est capable d'intégrer de nouvelles données au fur et à mesure que l'avion vole, ce qui lui permet de réagir aux éventuels changements de trajectoire et ainsi de parfaire la prévision. Les deux autres réalisent la prédiction même lorsque l'avion ne vole pas. Nous introduisons aussi une structure de type mélange hiérarchique d'experts qui permet de regrouper le savoir emmagaziné dans plusieurs réseaux, ainsi, il est possible de se passer de la connaissance du type d'avion étudié. Les méthodes utilisant des réseaux de neurones sont ensuite comparées aux méthodes à base de modèles avion. Nous montrons alors que les réseaux de neurones donnent de bien meilleurs résultats tout en permettant une prédiction très rapide. De plus, ne nécessitant que très peu de paramètres au départ, ils sont applicables sur un plus grand nombre de cas.

Стилі APA, Harvard, Vancouver, ISO та ін.

40

Séjourné, Julien. "Dynamique des phases de mémoire et réseaux neuronaux chez Drosophila melanogaster." Phd thesis, Paris 6, 2009. http://pastel.archives-ouvertes.fr/pastel-00567093.

Повний текст джерела

Анотація:

Comment les différentes phases de mémoire interagissent-elles ? Quels sont les mécanismes moléculaires et cellulaires impliqués dans la formation de la mémoire consolidée ? Drosophila melanogaster s'avère être un excellent modèle pour l'étude des mécanismes neurologiques de l'apprentissage et de la mémoire car, malgré la relative simplicité de son cerveau, elle est capable d'apprentissages variés et performants. Ainsi, un protocole de conditionnement pavlovien associant une odeur à des chocs électriques permet la formation d'une mémoire olfactive aversive. Un cycle unique de conditionnement induit la formation d'une mémoire labile ne durant que quelques heures, alors que cinq cycles de conditionnement espacés avec un intervalle de repos induisent la formation de la mémoire à long terme (MLT). La MLT est une mémoire consolidée et dépendante d'une synthèse protéique de novo. Une autre forme de mémoire consolidée, la mémoire résistante à l'anesthésie (MRA), est formée après un cycle ou plusieurs cycles de conditionnement massés. Même si les mécanismes moléculaires impliqués dans la formation des mémoires labiles et de la MLT commencent à être relativement bien caractérisés, ceux de la MRA restent largement inconnus à ce jour, peu de mutants pour ce type de mémoire ayant été identifiés. Par ailleurs, les relations entre les deux formes de mémoire consolidée restaient à définir, certains modèles proposant que ces deux formes de mémoire coexistent après un conditionnement espacé, alors que notre équipe a suggéré que la MRA et la MLT étaient exclusives. Pendant ma thèse, j'ai recherché de nouveaux mutants de MRA afin d'essayer de répondre à ces questions. Le criblage après conditionnement de lignées homozygotes portant un élément transposable P(Gal4) a permis d'identifier un nouveau mutant de MRA, memory-gating-defective (megad). Le gène megad code un transporteur aux acides monocarboxyliques, tel que le lactate. Chez la souche sauvage la protéine Megad est exprimée dans le centre de la mémoire olfactive, les corps pédonculés (CPs), où elle pourrait jouer un rôle dans l'approvisionnement énergétique de certains neurones lors de la formation de la MRA. L'inhibition de l'expression de megad uniquement dans les CPs de l'adulte induit un défaut de MRA, indiquant que ce gène joue un rôle physiologique dans la formation de cette mémoire. Au contraire après un conditionnement espacé le mutant megad présente une performance mnésique normale, confirmant l'hypothèse proposée au laboratoire selon laquelle la MRA n'est plus détectée après un conditionnement espacé. Pourquoi la MRA est-elle effacée ou bloquée après un conditionnement espacé ? Nous montrons que la formation de la MLT est facilitée chez le mutant megad puisqu'elle se forme après trois seulement trois cycles de conditionnement espacés, alors qu'il en faut au moins 5 chez la souche sauvage. Ce résultat important suggère que la présence de la MRA contrôle chez la souche sauvage la formation de la MLT, empêchant cette mémoire coûteuse en énergie de se former après un conditionnement unique. Les rôles des CPs ainsi que de certains réseaux neuronaux extrinsèques aux CPs dans la mémorisation olfactive ont été bien caractérisés ces dernières années. Néanmoins, il n'est pas connu comment la trace mnésique sort des CPs lors du rappel mnésique. Dans le but de répondre à cette question j'ai criblé des neurones extrinsèques aux CPs à l'aide d'une toxine thermosensible permettant une inactivation spécifique et conditionnelle de ces neurones. J'ai ainsi montré que les neurones MB-V2, qui sont efférents aux lobes verticaux des CPs, sont impliqués dans le rappel de toutes les formes de mémoire olfactive aversive. De plus la neurotransmission des neurones MB-V2 n'est requise ni pendant l'apprentissage ni pendant la consolidation mnésique. Les neurones MB-V2 projettent sur la corne latérale, une structure impliquée dans l'évitement aux odeurs aversives chez les mouches naïves. Ainsi, pendant le rappel de la mémoire olfactive aversive, la trace mnésique présente dans les CPs activerait les neurones MB-V2 qui renforceraient, via la corne latérale, la voie naturelle d'évitement de l'odeur.

Стилі APA, Harvard, Vancouver, ISO та ін.

41

Henniges, Philippe. "PSO pour l'apprentissage supervisé des réseaux neuronaux de type fuzzy ARTMAP." Mémoire, École de technologie supérieure, 2006. http://espace.etsmtl.ca/508/1/HENNIGES_Pihilippe.pdf.

Повний текст джерела

Анотація:

Dans ce mémoire, nous avons étudié les divers comportements d'un type de réseau de neurones en particulier, soit le réseau fuzzy ARTMAP (FAM), dans le but de développer une stratégie d'apprentissage spécialisée pour ce type de réseau. Pour ce faire, nous avons observé les effets de plusieurs caractéristiques sur ce type de réseau, soit: la taille de la base de données d'entraînement, les stratégies d'apprentissage standard, la technique de normalisation, la structure du chevauchement, la polarité du MatchTracking ainsi que l'influence des paramètres internes du réseau fuzzy ARTMAP. Ces effets sont mesurés au niveau de la qualité et des ressources utilisées par le réseau FAM à travers des bases de données synthétiques et réelles. Nous avons remarqué que le réseau FAM présente une dégradation de performances due à un effet de sur-apprentissage créé par le nombre de patrons d'entraînement et le nombre d'époques d'apprentissage, et ce, avec les bases de données possédant un degré de chevauchement. Pour éviter ce problème, nous avons développé une stratégie d'apprentissage spécialisée pour les réseaux FAM. Celle-ci permet d'améliorer les performances en généralisation en utilisant l'optimisation par essaims particulaires ou PSO (anglais pour "Particle Swarm Optimization") pour optimiser la valeur des quatre paramètres internes FAM (α, β, є et ρ). Cette stratégie spécialisée obtient lors de toutes nos simulations, tant avec les bases de données synthétiques que réelles, de meilleures performances en généralisation que lors de l'utilisation des stratégies d'apprentissage standard utilisant les paramètres standard des réseaux FAM (MT+, MT-). De plus, elle permet d'éliminer la majorité de l'erreur de sur-apprentissage due à la taille de la base d'entraînement et au nombre d'époques d'apprentissage. Ainsi, cette stratégie spécialisée pour FAM a démontré que la valeur des paramètres internes du réseau FAM a un impact considérable sur les performances du réseau. De plus, pour toutes les bases testées, les valeurs optimisées des paramètres sont généralement toutes éloignées de leurs valeurs standard (MT-et MT+), lesquelles sont majoritairement utilisées lors de l'emploi du réseau FAM. Cependant, cette stratégie d'apprentissage spécialisée n'est pas consistante avec la philosophie « on-line » de la famille ART, car la valeur des paramètres n'est pas optimisée séquentiellement. Malgré tout, elle permet d'indiquer les zones de performances optimales pouvant être atteintes par le réseau fuzzy ARTMAP. À notre connaissance, c'est la première fois qu'une stratégie d'apprentissage pour FAM utilise l'optimisation des valeurs des quatre paramètres internes de ce réseau.

Стилі APA, Harvard, Vancouver, ISO та ін.

42

Grava, Cristian. "Compensation de mouvement par réseaux neuronaux cellulaires : application en imagerie médicale." Lyon, INSA, 2003. http://theses.insa-lyon.fr/publication/2003ISAL0096/these.pdf.

Повний текст джерела

Анотація:

Ce travail concerne l'estimation et la compensation de mouvement à partir de séquences d'images. L'originalité de cette thèse consiste dans les solutions proposées pour l'implantation rapide de l'interpolation et de la compensation du mouvement sur un support physique existant de réseaux neuronaux céllulaires (RNC). Pour améliorer la précision des méthodes classiques d'estimation du mouvement, on a développé des approches avec prise en compte des discontinuités. Les algorithmes déterministes de minimisation de l'énergie par Maximum a Posteriori implantés sont l'ICM et le recuit en champ moyen. La compensation du mouvement implantée sur le RNC s'appuie sur le champ de mouvement estimé précédent. Ceci est facilité par la similitude entre le voisinage au sens de Markov et la structure physique des RNC. Les performances de algorithmes proposés, ont été testées sur des imageries medicales échographiques et tomographiques X. Les gains de temps obtenus sont de plusieurs ordres de grandeur (jusqu'à 10 puissance 3) et constituent une alternative extrêment intéréssante aux solutions conventionnelles
This work concern motion estimation and compensation in image sequences. The originality of this thesis consist in the proposed solutions for a fast implementation of the interpolation and motion compensation on an existing hardware structure based on Cellular Neural Networks (CNN). To improve the precision of classical motion estimation methods, we developed markovian approaches, taking into account the discontinuities in the motion field. The deterministic algorithms implemented for the minimization of the maximum a Posteriori energy are ICM and mean-field annealing. The motion compensation implemented on CNN is based on the motion field, already estimated. This is facilitated by the similitude between the neighbourhood in the Markov sense and the physical structure of the CNN. The performances of the proposed algorithms were studied on images from echography and X-ray tomography. The time-gain is several orders (until 10~) greater and they are an alternative to conventional solutions

Стилі APA, Harvard, Vancouver, ISO та ін.

43

Remm, Jean-François. "Extraction de connaissances par réseaux neuronaux : application au domaine du radar." Nancy 1, 1996. http://www.theses.fr/1996NAN10366.

Повний текст джерела

Анотація:

Actuellement, une avancée majeure des réseaux de neurones artificiels est de ne plus se limiter aux seules fonctions de prétraitement ou de classification et de revendiquer pleinement leur appartenance au domaine de l'intelligence artificielle. Plus particulièrement, au-delà de l'utilisation d'une boite noire pour classer ou identifier des données, on cherche à comprendre comment les réseaux de neurones pourraient apporter leur contribution à l'extraction de connaissances d'une base de données et étendre ainsi leur domaine de compétence. Notre travail se situe donc dans un domaine actuellement en plein essor qui consiste à ajouter aux propriétés naturellement adaptatives des réseaux de neurones artificiels des capacités de plus haut niveau de manipulation symbolique. Nous nous sommes en particulier intéressés au domaine du traitement de données radar. Pour notre problème, les réseaux de neurones artificiels, testes extensivement sous différentes versions (réseaux prototypaux, cartes auto-organisatrices, réseaux multi-couches) se sont rapidement révélés être des outils efficaces de classification dont les performances dépassent les meilleurs outils statistiques utilises par les radaristes. Au-delà de ces bons résultats, les radaristes désiraient aussi acquérir une meilleure connaissance de leurs données et comprendre sur quels critères les réseaux de neurones artificiels se fondaient pour réaliser leur tâche. Nous avons donc utilise et amélioré des outils d'élagage de réseaux, qui consistent à retirer des connexions superflues ou redondantes tout en conservant de bonnes performances. Nous obtenons ainsi des réseaux faiblement connectés à partir desquels nous proposons différentes méthodes d'extraction de connaissances. Ces connaissances s'expriment sous forme de règles ou de définitions d'indices extraits. Cette approche se focalise sur l'utilisation des réseaux de neurones artificiels comme outils pour extraire des connaissances sub-symboliques dans un domaine où l'expertise n'existe pas. En perspective de ces travaux, nous proposons des stratégies pour coupler cette approche à des systèmes classiques d'intelligence artificielle

Стилі APA, Harvard, Vancouver, ISO та ін.

44

Daoudi, Mohamed. "Classification interactive multidimensionnelle par les réseaux neuronaux et la morphologie mathématique." Lille 1, 1993. http://www.theses.fr/1993LIL10134.

Повний текст джерела

Анотація:

Dans ce mémoire, nous avons proposé une méthodologie qui permet à un opérateur de maîtriser le procédé de classification en visualisant les données grâce à un réseau de neurones multicouche. Ce support visuel est alors utilisé pour classer les observations selon différentes procédures plus ou moins interactives. La représentation plane des données mise en oeuvre utilise une réseau neuronal multicouche. L'apprentissage s'effectue en mode non supervisé par la technique de rétro propagation. La visualisation plane est exploitée par l'appui de techniques de classification telle la procédure isodata avec laquelle l'analyste garde un contact étroit avec les données. Cette méthode donne de très bons résultats quand les classes, en présence dans l'échantillon ont des formes sphériques. Pour les cas où les classes ne sont pas sphériques, nous proposons une nouvelle approche fondée sur l'utilisation de critères géométriques et structuraux en faisant appel à la morphologie mathématique. Cette nouvelle approche aboutit à la classification des données en deux étapes successives: une étape de détection des modes et une étape de classification des observations s'appuyant sur les modes détectés. La détection des modes est réalisée par application de l'algorithme de la ligne de partage des eaux. Enfin, afin de préciser les domaines de validité de chacune des méthodes, nous comparons les résultats obtenus avec chacune d'elles. Cela nous permet de proposer une méthodologie de travail pour l'analyste confronte au problème de classification de ces données

Стилі APA, Harvard, Vancouver, ISO та ін.

45

Nargeot, Romuald. "Plasticité des réseaux neuronaux stomatogastriques des crustacés : étude électrophysiologique et pharmacologique." Bordeaux 1, 1995. http://www.theses.fr/1995BOR10514.

Повний текст джерела

Анотація:

Dans cette etude, des reseaux moteurs comprenant un nombre reduit de neurones ont ete utilises pour caracteriser les mecanismes cellulaires de leur plasticite fonctionnelle. Sur des preparations in vitro, la mise en jeu repetee d'une entree sensorielle identifiee s'accompagne d'un affaiblissement progressif de la reponse de neurones du reseau pylorique. Ce phenomene, tres comparable a celui de l'habituation, est produit par une voie sensori-motrice di-synaptique et releverait de modifications durables des proprietes membranaires de l'un des neurones post-synaptiques lui-meme. Par ailleurs, l'efficacite de cette meme entree sensorielle vis a vis d'un autre neurone du reseau, peut etre modifiee par la mise en jeu d'une seconde entree sensorielle. Dans ce cas, les modifications d'activite nerveuse induites dependent de la nature associative ou non des stimulations utilisees. De plus, apres leur induction, ces modifications s'expriment progressivement au cours de la mise en jeu repetee de la premiere entree sensorielle. Cette fois-ci, les mecanismes impliques releveraient, a la fois de modifications durables pre- et post-synaptiques

Стилі APA, Harvard, Vancouver, ISO та ін.

46

Parey, Christine. "Logique majoritaire trivalente et réseaux neuronaux : application à l'analyse de fiabilité." Paris 11, 1988. http://www.theses.fr/1988PA112201.

Повний текст джерела

Анотація:

La présence de redondances matérielles dans les installations industrielles pose des problèmes de performances pour les systèmes experts en analyse de fiabilité et diagnostic rapide. Un fonctionnement parallèle du moteur d'inférences apparait comme une bonne solution, c'est pourquoi l'application des réseaux neuronaux à cette classe de problèmes est proposée. En effet, le fonctionnement d'un réseau neuronal de type Hopfield s'assimile à celui d'un moteur d'inférences évaluant en parallèle des expressions de la forme "Au moins P parmi Q énoncés sont vrais", lesquelles représentent typiquement les redondances. La logique trivalente est bien adaptée aux systèmes experts cités ci-dessus, aussi en a-t-il été développé une extension appropriée aux réseaux neuronaux : la logique majoritaire trivalente. Le domaine d'application choisi permet de générer des configurations du réseau neuronal à partir d'un texte de règles de production dont la syntaxe est associée à la logique majoritaire. La transformation d'un tel texte en réseau neuronal nécessite un prétraitement logique pour réécrire les premiers membres de chaque règle sous la forme P parmi Q énoncés sont vrais", ainsi chacun d'eux correspond à l'entrée d'un neurone, la sortie représentant la conclusion de la règle associée. La phase d'apprentissage, caractéristique des réseaux neuronaux, est ici effectuée à la suite du prétraitement logique et est extrêmement rapide. Dans le cadre de notre application, le réseau neuronal, configuré selon le texte source, ne pose pas le problème classique d'erreurs sur les conclusions.

Стилі APA, Harvard, Vancouver, ISO та ін.

47

Minaburo, Villar Ana Carolina. "Compression des en-têtes sur les réseaux bas-débit." Rennes 1, 2003. http://www.theses.fr/2003REN10144.

Повний текст джерела

Анотація:

Dans les réseaux téléphoniques de troisième génération, l'utilisation d'un mécanisme de compression robuste peut réduire le temps de transmission et augmenter l'utilisation d'une ressource rare tel que le support de transmission Hertzien. Mais la compression des en-têtes signifie aussi la réduction de la redondance dans l'information transmise qui se traduit par la perte des paquets s'il y a eu une erreur. Les travaux de cette thèse se concentrent sur les principales fonctionnalités du mécanisme de compression des en-têtes ROHC (Robust Header Compression), ainsi que les résultats obtenus dans nos expérimentations, plus particulièrement sur la compression du protocole IPv6. L'architecture de ROHC est complexe mais lui permet de s'adapter aux différentes caractéristiques du lien et au flux de données. L'analyse du mécanisme ROHC dans les réseaux bas-débit nous ont permit d'identifier les différentes caractéristiques du ROHC et d'étudier le paramétrage de ROHC sur les différentes liaisons et les performances dans les réseaux bruités.

Стилі APA, Harvard, Vancouver, ISO та ін.

48

Makkaoui, Leila. "Compression d'images dans les réseaux de capteurs sans fil." Phd thesis, Université de Lorraine, 2012. http://tel.archives-ouvertes.fr/tel-00795503.

Повний текст джерела

Анотація:

Cette thèse forme une contribution au problème de la conservation de l'énergie dans le cas particulier des réseaux de capteurs d'images, où une partie voire tous les nœuds du réseau sont équipés d'une petite caméra à technologie CMOS. Les images engagent des volumes de données très largement supérieurs aux mesures scalaires classiques telles que la température, et donc des dépenses énergétiques plus élevées. L'émetteur radio étant l'un des composants les plus gourmands en énergie, il est évident que la compression de l'image à la source peut réduire significativement l'énergie dépensée pour la transmission de l'image, tant au niveau du nœud caméra que des nœuds formant le chemin jusqu'au point de collecte. Toutefois, les méthodes de compression bien connues (JPEG, JPEG2000, SPIHT) sont mal adaptées à la limitation des ressources de calcul et de mémoire caractéristiques des nœuds-capteurs. Sur certaines plateformes matérielles, ces algorithmes ont même un coût énergétique supérieur au gain qu'ils amènent sur la transmission. Autrement dit, le nœud caméra épuise plus vite sa batterie en envoyant des images compressées que des images non compressées. La complexité de l'algorithme de compression est donc un critère de performance aussi important que le rapport débit-distorsion. Les contributions contenues dans ce mémoire de thèses sont triples : - Tout d'abord, nous avons proposé un algorithme de compression basé sur la transformée en cosinus discrète (DCT 8 points) de complexité réduite, combinant la méthode de DCT rapide la plus efficace de la littérature (DCT de Cordic-Loeffler) à une exécution réduite aux coefficients délimités par une zone carrée de taille k<8, les plus importants dans la reconstruction visuelle. Avec cette approche zonale, le nombre de coefficients à calculer, mais aussi à quantifier et encoder par bloc de 8x8 pixels est réduit à k^2 au lieu de 64, ce qui diminue mécaniquement le coût de la compression. - Nous avons ensuite étudié l'impact de k, donc du nombre de coefficients sélectionnés, sur la qualité de l'image finale. L'étude a été réalisée avec un jeu d'une soixantaine d'images de référence et la qualité des images était évaluée en utilisant plusieurs métriques, le PSNR, le PSNR-HVS et le MMSIM. Les résultats ont servi à identifier, pour un débit donné, la valeur limite de k qu'on peut choisir (statistiquement) sans dégradation perceptible de la qualité, et par conséquent les limites posées sur la réduction de la consommation d'énergie à débit et qualité constants. - Enfin, nous donnons les résultats de performances obtenus par des expérimentations sur une plateforme réelle composée d'un nœud Mica2 et d'une caméra Cyclops afin de démontrer la validité de nos propositions. Dans un scénario considérant des images de 128x128 pixels encodées à 0,5 bpp par exemple, la dépense d'énergie du nœud caméra (incluant compression et transmission) est divisée par 6 comparée au cas sans compression, et par 2 comparée au cas de l'algorithme JPEG standard.

Стилі APA, Harvard, Vancouver, ISO та ін.

49

Makkaoui, Leila. "Compression d'images dans les réseaux de capteurs sans fil." Electronic Thesis or Diss., Université de Lorraine, 2012. http://www.theses.fr/2012LORR0416.

Повний текст джерела

Анотація:

Les réseaux de capteurs sans fil d'images sont utilisés aujourd'hui dans de nombreuses applications qui diffèrent par leurs objectifs et leurs contraintes individuelles. Toutefois, le dénominateur commun de toutes les applications de réseaux de capteurs reste la vulnérabilité des noeuds-capteurs en raison de leurs ressources matérielles limitées dont la plus contraignante est l'énergie. En effet, les technologies sans fil disponibles dans ce type de réseaux sont généralement à faible portée, et les ressources matérielles (CPU, batterie) sont également de faible puissance. Il faut donc répondre à un double objectif : l'efficacité d'une solution tout en offrant une bonne qualité d'image à la réception. La contribution de cette thèse porte principalement sur l'étude des méthodes de traitement et de compression d'images au noeud-caméra, nous avons proposé une nouvelle méthode de compression d'images qui permet d'améliorer l'efficacité énergétique des réseaux de capteurs sans fil. Des expérimentations sur une plate-forme réelle de réseau de capteurs d'images ont été réalisées afin de démontrer la validité de nos propositions, en mesurant des aspects telles que la quantité de mémoire requise pour l'implantation logicielle de nos algorithmes, leur consommation d'énergie et leur temps d'exécution. Nous présentons aussi, les résultats de synthèse de la chaine de compression proposée sur des systèmes à puce FPGA et ASIC
The increasing development of Wireless Camera Sensor Networks today allows a wide variety of applications with different objectives and constraints. However, the common problem of all the applications of sensor networks remains the vulnerability of sensors nodes because of their limitation in material resources, the most restricting being energy. Indeed, the available wireless technologies in this type of networks are usually a low-power, short-range wireless technology and low power hardware resources (CPU, battery). So we should meet a twofold objective: an efficient solution while delivering outstanding image quality on reception. This thesis concentrates mainly on the study and evaluation of compression methods dedicated to transmission over wireless camera sensor networks. We have suggested a new image compression method which decreases the energy consumption of sensors and thus maintains a long network lifetime. We evaluate its hardware implementation using experiments on real camera sensor platforms in order to show the validity of our propositions, by measuring aspects such as the quantity of memory required for the implantation program of our algorithms, the energy consumption and the execution time. We then focus on the study of the hardware features of our proposed method of synthesis of the compression circuit when implemented on a FPGA and ASIC chip prototype

Стилі APA, Harvard, Vancouver, ISO та ін.

50

Casasnovas, Béatrice. "Différenciation et maturation des réseaux neuronaux au cours de l'ontogenèse : étude anatomique, électrophysiologique et pharmacologique du système nerveux stomatogastrique des crustacés." Bordeaux 1, 1996. http://www.theses.fr/1996BOR10569.

Повний текст джерела

Анотація:

Une question fondamentale en neurobiologie est de comprendre les mecanismes cellulaires et moleculaires impliques dans le developpement des reseaux neuronaux centraux. Dans ce but l'ontogenese du systeme nerveux stomatogastrique des crustaces a ete etudie. Chez l'adulte, ce systeme est constitue de plusieurs reseaux distincts oligoneuroniques, parfaitement connus en terme de proprietes synaptiques et cellulaires. En utilisant des techniques morphologiques et electrophysiologiques nous avons pu montrer: (1) que ce systeme se met en place des 5% du developpement et ne subit ni mort neuronale, ni neurogenese tardive ; (2) que les differents reseaux adultes sont progressivement differencies a partir d'un large reseau embryonnaire unique. Ce mecanisme de differenciation des reseaux de neurones contraste avec les donnees classiquement decrites dans la litterature

Стилі APA, Harvard, Vancouver, ISO та ін.

Дисертації з теми "Compression de réseaux neuronaux"

Оформте джерело за APA, MLA, Chicago, Harvard та іншими стилями