Letteratura scientifica selezionata sul tema "Compression de réseaux de neurones"
Cita una fonte nei formati APA, MLA, Chicago, Harvard e in molti altri stili
Consulta la lista di attuali articoli, libri, tesi, atti di convegni e altre fonti scientifiche attinenti al tema "Compression de réseaux de neurones".
Accanto a ogni fonte nell'elenco di riferimenti c'è un pulsante "Aggiungi alla bibliografia". Premilo e genereremo automaticamente la citazione bibliografica dell'opera scelta nello stile citazionale di cui hai bisogno: APA, MLA, Harvard, Chicago, Vancouver ecc.
Puoi anche scaricare il testo completo della pubblicazione scientifica nel formato .pdf e leggere online l'abstract (il sommario) dell'opera se è presente nei metadati.
Articoli di riviste sul tema "Compression de réseaux de neurones":
1
-BORNE, Pierre. "Les réseaux de neurones." Revue de l'Electricité et de l'Electronique -, n. 08 (2006): 31. http://dx.doi.org/10.3845/ree.2006.074.
2
-BORNE, Pierre. "Les réseaux de neurones." Revue de l'Electricité et de l'Electronique -, n. 08 (2006): 37. http://dx.doi.org/10.3845/ree.2006.075.
3
-Y. HAGGEGE, Joseph. "Les réseaux de neurones". Revue de l'Electricité et de l'Electronique -, n. 08 (2006): 43. http://dx.doi.org/10.3845/ree.2006.076.
4
-BENREJEB, Mohamed. "Les réseaux de neurones." Revue de l'Electricité et de l'Electronique -, n. 08 (2006): 47. http://dx.doi.org/10.3845/ree.2006.077.
5
-Y. HAGGEGE, Joseph. "Les réseaux de neurones." Revue de l'Electricité et de l'Electronique -, n. 08 (2006): 50. http://dx.doi.org/10.3845/ree.2006.078.
6
-BENREJEB, Mohamed. "Les réseaux de neurones." Revue de l'Electricité et de l'Electronique -, n. 08 (2006): 55. http://dx.doi.org/10.3845/ree.2006.079.
7
Bélanger, M., N. El-Jabi, D. Caissie, F. Ashkar e J. M. Ribi. "Estimation de la température de l'eau de rivière en utilisant les réseaux de neurones et la régression linéaire multiple". Revue des sciences de l'eau 18, n. 3 (12 aprile 2005): 403–21. http://dx.doi.org/10.7202/705565ar.
Abstract (sommario):
La température de l'eau en rivière est un paramètre ayant une importance majeure pour la vie aquatique. Les séries temporelles décrivant ce paramètre thermique existent, mais elles sont moins nombreuses et souvent courtes, ou comptent parfois des valeurs manquantes. Cette étude présente la modélisation de la température de l'eau en utilisant des réseaux de neurones et la régression linéaire multiple pour relier la température de l'eau à celle de l'air et le débit du ruisseau Catamaran, situé au Nouveau-Brunswick, Canada. Une recherche multidisciplinaire à long terme se déroule présentement sur ce site. Les données utilisées sont de 1991 à 2000 et comprennent la température de l'air de la journée en cours, de la veille et de l'avant-veille, le débit ainsi que le temps transformé en série trigonométrique. Les données de 1991 à 1995 ont été utilisées pour l'entraînement ou la calibration du modèle tandis que les données de 1996 à 2000 ont été utilisées pour la validation du modèle. Les coefficients de détermination obtenus pour l'entraînement sont de 94,2 % pour les réseaux de neurones et de 92,6 % pour la régression linéaire multiple, ce qui donne un écart-type des erreurs de 1,01 C pour les réseaux de neurones et de 1,05 C pour la régression linéaire multiple. Pour la validation, les coefficients de détermination sont de 92,2 % pour les réseaux de neurones et de 91,6 % pour la régression linéaire multiple, ce qui se traduit en un écart-type des erreurs de 1,10 C pour les réseaux de neurones et de 1,25 C pour la régression linéaire multiple. Durant la période d'étude (1991-2000), le biais a été calculé à +0,11 C pour le modèle de réseaux de neurones et à -0,26 °C pour le modèle de régression. Ces résultats permettent de conclure qu'il est possible de prévoir la température de l'eau de petits cours d'eau en utilisant la température de l'air et le débit, aussi bien avec les réseaux de neurones qu'avec la régression linéaire multiple. Les réseaux de neurones semblent donner un ajustement aux données légèrement meilleur que celui offert par la régression linéaire multiple, toutefois ces deux approches de modélisation démontrent une bonne performance pour la prédiction de la température de l'eau en rivière.
8
Mézard, Marc, e Jean-Pierre Nadal. "Réseaux de neurones et physique statistique". Intellectica. Revue de l'Association pour la Recherche Cognitive 9, n. 1 (1990): 213–45. http://dx.doi.org/10.3406/intel.1990.884.
9
Laks, Bernard. "Réseaux de neurones et syllabation du français". Linx 34, n. 1 (1996): 327–46. http://dx.doi.org/10.3406/linx.1996.1440.
10
Jelassi, Khaled, Najiba Bellaaj-Merabet e Bruno Dagues. "Estimation du flux par réseaux de neurones". Revue internationale de génie électrique 7, n. 1-2 (30 aprile 2004): 105–31. http://dx.doi.org/10.3166/rige.7.105-131.
Tesi sul tema "Compression de réseaux de neurones":
1
Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée". Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.
Abstract (sommario):
Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeurRecently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE
2
Hubens, Nathan. "Towards lighter and faster deep neural networks with parameter pruning". Electronic Thesis or Diss., Institut polytechnique de Paris, 2022. http://www.theses.fr/2022IPPAS025.
Abstract (sommario):
Depuis leur résurgence en 2012, les réseaux de neurones profonds sont devenus omniprésents dans la plupart des disciplines de l'intelligence artificielle, comme la reconnaissance d'images, le traitement de la parole et le traitement du langage naturel. Cependant, au cours des dernières années, les réseaux de neurones sont devenus exponentiellement profonds, faisant intervenir de plus en plus de paramètres. Aujourd'hui, il n'est pas rare de rencontrer des architectures impliquant plusieurs milliards de paramètres, alors qu'elles en contenaient le plus souvent des milliers il y a moins de dix ans.Cette augmentation généralisée du nombre de paramètres rend ces grands modèles gourmands en ressources informatiques et essentiellement inefficaces sur le plan énergétique. Cela rend les modèles déployés coûteux à maintenir, mais aussi leur utilisation dans des environnements limités en ressources très difficile.Pour ces raisons, de nombreuses recherches ont été menées pour proposer des techniques permettant de réduire la quantité de stockage et de calcul requise par les réseaux neuronaux. Parmi ces techniques, l'élagage synaptique, consistant à créer des modèles réduits, a récemment été mis en évidence. Cependant, bien que l'élagage soit une technique de compression courante, il n'existe actuellement aucune méthode standard pour mettre en œuvre ou évaluer les nouvelles méthodes, rendant la comparaison avec les recherches précédentes difficile.Notre première contribution concerne donc une description inédite des techniques d'élagage, développée selon quatre axes, et permettant de définir de manière univoque et complète les méthodes existantes. Ces composantes sont : la granularité, le contexte, les critères et le programme. Cette nouvelle définition du problème de l'élagage nous permet de le subdiviser en quatre sous-problèmes indépendants et de mieux déterminer les axes de recherche potentiels.De plus, les méthodes d'élagage en sont encore à un stade de développement précoce et principalement destinées aux chercheurs, rendant difficile pour les novices d'appliquer ces techniques. Pour combler cette lacune, nous avons proposé l'outil FasterAI, destiné aux chercheurs, désireux de créer et d'expérimenter différentes techniques de compression, mais aussi aux nouveaux venus, souhaitant compresser leurs modèles pour des applications concrètes. Cet outil a de plus été construit selon les quatre composantes précédemment définis, permettant une correspondance aisée entre les idées de recherche et leur mise en œuvre.Nous proposons ensuite quatre contributions théoriques, chacune visant à fournir de nouvelles perspectives et à améliorer les méthodes actuelles dans chacun des quatre axes de description identifiés. De plus, ces contributions ont été réalisées en utilisant l'outil précédemment développé, validant ainsi son utilité scientifique.Enfin, afin de démontrer que l'outil développé, ainsi que les différentes contributions scientifiques proposées, peuvent être applicables à un problème complexe et réel, nous avons sélectionné un cas d'utilisation : la détection de la manipulation faciale, également appelée détection de DeepFakes. Cette dernière contribution est accompagnée d'une application de preuve de concept, permettant à quiconque de réaliser la détection sur une image ou une vidéo de son choix.L'ère actuelle du Deep Learning a émergé grâce aux améliorations considérables des puissances de calcul et à l'accès à une grande quantité de données. Cependant, depuis le déclin de la loi de Moore, les experts suggèrent que nous pourrions observer un changement dans la façon dont nous concevons les ressources de calcul, conduisant ainsi à une nouvelle ère de collaboration entre les communautés du logiciel, du matériel et de l'apprentissage automatique. Cette nouvelle quête de plus d'efficacité passera donc indéniablement par les différentes techniques de compression des réseaux neuronaux, et notamment les techniques d'élagageSince their resurgence in 2012, Deep Neural Networks have become ubiquitous in most disciplines of Artificial Intelligence, such as image recognition, speech processing, and Natural Language Processing. However, over the last few years, neural networks have grown exponentially deeper, involving more and more parameters. Nowadays, it is not unusual to encounter architectures involving several billions of parameters, while they mostly contained thousands less than ten years ago.This generalized increase in the number of parameters makes such large models compute-intensive and essentially energy inefficient. This makes deployed models costly to maintain but also their use in resource-constrained environments very challenging.For these reasons, much research has been conducted to provide techniques reducing the amount of storage and computing required by neural networks. Among those techniques, neural network pruning, consisting in creating sparsely connected models, has been recently at the forefront of research. However, although pruning is a prevalent compression technique, there is currently no standard way of implementing or evaluating novel pruning techniques, making the comparison with previous research challenging.Our first contribution thus concerns a novel description of pruning techniques, developed according to four axes, and allowing us to unequivocally and completely define currently existing pruning techniques. Those components are: the granularity, the context, the criteria, and the schedule. Defining the pruning problem according to those components allows us to subdivide the problem into four mostly independent subproblems and also to better determine potential research lines.Moreover, pruning methods are still in an early development stage, and primarily designed for the research community. Indeed, most pruning works are usually implemented in a self-contained and sophisticated way, making it troublesome for non-researchers to apply such techniques without having to learn all the intricacies of the field. To fill this gap, we proposed FasterAI toolbox, intended to be helpful to researchers, eager to create and experiment with different compression techniques, but also to newcomers, that desire to compress their neural network for concrete applications. In particular, the sparsification capabilities of FasterAI have been built according to the previously defined pruning components, allowing for a seamless mapping between research ideas and their implementation.We then propose four theoretical contributions, each one aiming at providing new insights and improving on state-of-the-art methods in each of the four identified description axes. Also, those contributions have been realized by using the previously developed toolbox, thus validating its scientific utility.Finally, to validate the applicative character of the pruning technique, we have selected a use case: the detection of facial manipulation, also called DeepFakes Detection. The goal is to demonstrate that the developed tool, as well as the different proposed scientific contributions, can be applicable to a complex and actual problem. This last contribution is accompanied by a proof-of-concept application, providing DeepFake detection capabilities in a web-based environment, thus allowing anyone to perform detection on an image or video of their choice.This Deep Learning era has emerged thanks to the considerable improvements in high-performance hardware and access to a large amount of data. However, since the decline of Moore's Law, experts are suggesting that we might observe a shift in how we conceptualize the hardware, by going from task-agnostic to domain-specialized computations, thus leading to a new era of collaboration between software, hardware, and machine learning communities. This new quest for more efficiency will thus undeniably go through neural network compression techniques, and particularly sparse computations
3
Dupont, Robin. "Deep Neural Network Compression for Visual Recognition". Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS565.
Abstract (sommario):
Grâce à la miniaturisation de l'électronique, les dispositifs embarqués sont devenus omniprésents depuis les années 2010, réalisant diverses tâches autour de nous. À mesure que leur utilisation augmente, la demande pour des dispositifs traitant les données et prenant des décisions complexes de manière efficace s'intensifie. Les réseaux de neurones profonds sont puissants pour cet objectif, mais souvent trop lourds pour les appareils embarqués. Il est donc impératif de compresser ces réseaux sans compromettre leur performance. Cette thèse introduit deux méthodes innovantes centrées sur l'élagage, pour compresser les réseaux sans impacter leur précision. Elle introduit d'abord une méthode qui considère un budget pour la compression de grands réseaux via la reparamétrisation des poids et une fonction de coût budgétaire, sans nécessité de fine-tuning. Les méthodes d'élagage traditionnelles reposent sur des indicateurs post-entraînement pour éliminer les poids, négligeant le taux d'élagage visé. Notre approche intègre une fonction de coût, guidant l'élagage vers une parcimonie précise pendant l'entraînement, optimisant la topologie et les poids. En simulant l'élagage des petits poids pendant l'entraînement via reparamétrisation, notre méthode limite la perte de précision par rapport aux méthodes traditionnelles. Nous démontrons son efficacité sur divers ensembles de données et architectures. La thèse se penche ensuite sur l'extraction de sous-réseaux efficaces sans entraîner les poids. L'objectif est de trouver la meilleure topologie d'un sous-réseau dans un grand réseau sans optimiser les poids, tout en offrant de bonnes performances. Ceci est fait grâce à notre méthode, l'Arbitrarily Shifted Log-Parametrisation, qui échantillonne des topologies de manière différentiable, permettant de former des masques indiquant la probabilité de sélection des poids. En parallèle, un mécanisme de recalibrage des poids, le Smart Rescale, est introduit, améliorant la performance des sous-réseaux et accélérant leur formation. Notre méthode trouve également le taux d'élagage optimal après un entraînement unique, évitant la recherche d'hyperparamètres et un entraînement pour chaque taux. Nous prouvons que notre méthode dépasse les techniques de pointe et permet de créer des réseaux légers avec haute parcimonie sans perdre en précisionThanks to the miniaturisation of electronics, embedded devices have become ubiquitous since the 2010s, performing various tasks around us. As their usage expands, there's an increasing demand for efficient data processing and decision-making. Deep neural networks are apt tools for this, but they are often too large and intricate for embedded systems. Therefore, methods to compress these networks without affecting their performance are crucial. This PhD thesis introduces two methods focused on pruning to compress networks, maintaining accuracy. The thesis first details a budget-aware method for compressing large neural networks using weight reparametrisation and a budget loss, eliminating the need for fine-tuning. Traditional pruning methods often use post-training indicators to cut weights, ignoring desired pruning rates. Our method incorporates a budget loss, directing pruning during training, enabling simultaneous topology and weight optimisation. By soft-pruning smaller weights via reparametrisation, we reduce accuracy loss compared to standard pruning. We validate our method on several datasets and architectures. Later, the thesis examines extracting efficient subnetworks without weight training. We aim to discern the optimal subnetwork topology within a large network, bypassing weight optimisation yet ensuring strong performance. This is realized with our Arbitrarily Shifted Log Parametrisation, a differentiable method for discrete topology sampling, facilitating masks' training to denote weight selection probability. Additionally, a weight recalibration technique, Smart Rescale, is presented. It boosts extracted subnetworks' performance and hastens their training. Our method identifies the best pruning rate in a single training cycle, averting exhaustive hyperparameter searches and various rate training. Through extensive tests, our technique consistently surpasses similar state-of-the-art methods, creating streamlined networks that achieve high sparsity without notable accuracy drops
4
Yvinec, Edouard. "Efficient Neural Networks : Post Training Pruning and Quantization". Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS581.
Abstract (sommario):
Les réseaux de neurones profonds sont devenus les modèles les plus utilisés, que ce soit en vision par ordinateur ou en traitement du langage. Depuis le sursaut provoqué par l'utilisation des ordinateurs modernes, en 2012, la taille de ces modèles n'a fait qu'augmenter, aussi bien en matière de taille mémoire qu'en matière de coût de calcul. Ce phénomène a grandement limité le déploiement industriel de ces modèles. Spécifiquement, le cas de l'IA générative, et plus particulièrement des modèles de langue tels que GPT, a fait atteindre une toute nouvelle dimension à ce problème. En effet, ces réseaux sont définis par des milliards de paramètres et nécessitent plusieurs gpu en parallèle pour effectuer des inférences en temps réel. En réponse, la communauté scientifique et les spécialistes de l'apprentissage profond ont développé des solutions afin de compresser et d'accélérer ces modèles. Ces solutions sont : l'utilisation d'architecture efficiente par design, la décomposition tensorielle, l'élagage (ou pruning) et la quantification. Dans ce manuscrit de thèse, je propose de dépeindre une vue d'ensemble du domaine de la compression des réseaux de neurones artificiels ainsi que de mes contributions. Dans le premier chapitre, je présente une introduction générale au fonctionnement de chaque méthode de compression précédemment citée. De plus, j'y ajoute les intuitions relatives à leurs limitations ainsi que des exemples pratiques, issus des cours que j'ai donnés. Dans le second chapitre, je présente mes contributions au sujet du pruning. Ces dernières ont mené à la publications de trois articles: RED, RED++ et SInGE. Dans RED et RED++, j'ai proposé une nouvelle approche pour le pruning et la décomposition tensorielle, sans données. L'idée centrale était de réduire la redundance au sein des opérations effectuées par le modèle. 'A l'opposé, dans SInGE, j'ai défini un nouveau critère de pruning par importance. Pour ce faire, j'ai puisé de l'inspiration dans le domaine de l'attribution. En effet, afin d'expliquer les règles de décisions des réseaux de neurones profonds, les chercheurs et les chercheuses ont introduit des techniques visant à estimer l'importance relative des entrées du modèle par rapport aux sorties. Dans SInGE, j'ai adapté l'une de ces méthodes les plus efficaces, au pruning afin d'estimer l'importance des poids et donc des calculs du modèle. Dans le troisième chapitre, j'aborde mes contributions relatives à la quantification de réseaux de neurones. Celles-ci ont donné lieu à plusieurs publications dont les principales: SPIQ, PowerQuant, REx, NUPES et une publication sur les meilleurs pratiques à adopter. Dans SPIQ, PowerQuant et REx, j'adresse des limites spécifiques à la quantification sans données. En particulier, la granularité, dans SPIQ, la quantification non-uniform par automorphismes dans PowerQuant et l'utilisation d'une bit-width spécifique dans REx. Par ailleurs, dans les deux autres articles, je me suis attelé à la quantification post-training avec optimisation par descente de gradient. N'ayant pas eu le temps de toucher à tous les aspects de la compression de réseau de neurones, je conclue ce manuscrit par un chapitre sur ce qui me semble être les enjeux de demain ainsi que des pistes de solutionsDeep neural networks have grown to be the most widely adopted models to solve most computer vision and natural language processing tasks. Since the renewed interest, sparked in 2012, for these architectures, in machine learning, their size in terms of memory footprint and computational costs have increased tremendously, which has hindered their deployment. In particular, with the rising interest for generative ai such as large language models and diffusion models, this phenomenon has recently reached new heights, as these models can weight several billions of parameters and require multiple high-end gpus in order to infer in real-time. In response, the deep learning community has researched for methods to compress and accelerate these models. These methods are: efficient architecture design, tensor decomposition, pruning and quantization. In this manuscript, I paint a landscape of the current state-of-the art in deep neural networks compression and acceleration as well as my contributions to the field. First, I propose a general introduction to the aforementioned techniques and highlight their shortcomings and current challenges. Second, I provide a detailed discussion regarding my contributions to the field of deep neural networks pruning. These contributions led to the publication of three articles: RED, RED++ and SInGE. In RED and RED++, I introduced a novel way to perform data-free pruning and tensor decomposition based on redundancy reduction. On the flip side, in SInGE, I proposed a new importance-based criterion for data-driven pruning. This criterion was inspired by attribution techniques which consist in ranking inputs by their relative importance with respect to the final prediction. In SInGE, I adapted one of the most effective attribution technique to weight importance ranking for pruning. In the third chapter, I layout my contributions to the field of deep quantization: SPIQ, PowerQuant, REx, NUPES, and a best practice paper. Each of these methods address one of the previous limitations of post-training quantization. In SPIQ, PowerQuant and REx, I provide a solution to the granularity limitations of quantization, a novel non-uniform format which is particularly effective on transformer architectures and a technique for quantization decomposition which eliminates the need for unsupported bit-widths, respectively. In the two remaining articles, I provide significant improvements over existing gradient-based post-training quantization techniques, bridging the gap between such techniques and non-uniform quantization. In the last chapter, I propose a set of leads for future work which I believe to be the, current, most important unanswered questions in the field
5
Resmerita, Diana. "Compression pour l'apprentissage en profondeur". Thesis, Université Côte d'Azur, 2022. http://www.theses.fr/2022COAZ4043.
Abstract (sommario):
Les voitures autonomes sont des applications complexes qui nécessitent des machines puissantes pour pouvoir fonctionner correctement. Des tâches telles que rester entre les lignes blanches, lire les panneaux ou éviter les obstacles sont résolues en utilisant plusieurs réseaux neuronaux convolutifs (CNN) pour classer ou détecter les objets. Il est très important que tous les réseaux fonctionnent en parallèle afin de transmettre toutes les informations nécessaires et de prendre une décision commune. Aujourd'hui, à force de s'améliorer, les réseaux sont devenus plus gros et plus coûteux en termes de calcul. Le déploiement d'un seul réseau devient un défi. La compression des réseaux peut résoudre ce problème. Par conséquent, le premier objectif de cette thèse est de trouver des méthodes de compression profonde afin de faire face aux limitations de mémoire et de puissance de calcul présentes sur les systèmes embarqués. Les méthodes de compression doivent être adaptées à un processeur spécifique, le MPPA de Kalray, pour des implémentations à court terme. Nos contributions se concentrent principalement sur la compression du réseau après l'entraînement pour le stockage, ce qui signifie compresser des paramètres du réseau sans réentraîner ou changer l'architecture originale et le type de calculs. Dans le contexte de notre travail, nous avons décidé de nous concentrer sur la quantification. Notre première contribution consiste à comparer les performances de la quantification uniforme et de la quantification non-uniforme, afin d'identifier laquelle des deux présente un meilleur compromis taux-distorsion et pourrait être rapidement prise en charge par l'entreprise. L'intérêt de l'entreprise est également orienté vers la recherche de nouvelles méthodes innovantes pour les futures générations de MPPA. Par conséquent, notre deuxième contribution se concentre sur la comparaison des représentations en virgule flottante (FP32, FP16) aux représentations arithmétiques alternatives telles que BFloat16, msfp8, Posit8. Les résultats de cette analyse étaient en faveur de Posit8. Ceci a motivé la société Kalray à concevoir un décompresseur de FP16 vers Posit8. Enfin, de nombreuses méthodes de compression existent déjà, nous avons décidé de passer à un sujet adjacent qui vise à quantifier théoriquement les effets de l'erreur de quantification sur la précision du réseau. Il s'agit du deuxième objectif de la thèse. Nous remarquons que les mesures de distorsion bien connues ne sont pas adaptées pour prédire la dégradation de la précision dans le cas de l'inférence pour les réseaux de neurones compressés. Nous définissons une nouvelle mesure de distorsion avec une expression analytique qui s’apparente à un rapport signal/bruit. Un ensemble d'expériences a été réalisé en utilisant des données simulées et de petits réseaux qui montrent le potentiel de cette mesure de distorsionAutonomous cars are complex applications that need powerful hardware machines to be able to function properly. Tasks such as staying between the white lines, reading signs, or avoiding obstacles are solved by using convolutional neural networks (CNNs) to classify or detect objects. It is highly important that all the networks work in parallel in order to transmit all the necessary information and take a common decision. Nowadays, as the networks improve, they also have become bigger and more computational expensive. Deploying even one network becomes challenging. Compressing the networks can solve this issue. Therefore, the first objective of this thesis is to find deep compression methods in order to cope with the memory and computational power limitations present on embedded systems. The compression methods need to be adapted to a specific processor, Kalray's MPPA, for short term implementations. Our contributions mainly focus on compressing the network post-training for storage purposes, which means compressing the parameters of the network without retraining or changing the original architecture and the type of the computations. In the context of our work, we decided to focus on quantization. Our first contribution consists in comparing the performances of uniform quantization and non-uniform quantization, in order to identify which of the two has a better rate-distortion trade-off and could be quickly supported in the company. The company's interest is also directed towards finding new innovative methods for future MPPA generations. Therefore, our second contribution focuses on comparing standard floating-point representations (FP32, FP16) to recently proposed alternative arithmetical representations such as BFloat16, msfp8, Posit8. The results of this analysis were in favor for Posit8. This motivated the company Kalray to conceive a decompressor from FP16 to Posit8. Finally, since many compression methods already exist, we decided to move to an adjacent topic which aims to quantify theoretically the effects of quantization error on the network's accuracy. This is the second objective of the thesis. We notice that well-known distortion measures are not adapted to predict accuracy degradation in the case of inference for compressed neural networks. We define a new distortion measure with a closed form which looks like a signal-to-noise ratio. A set of experiments were done using simulated data and small networks, which show the potential of this distortion measure
6
Cherkashyn, Valeriy. "Représentation adaptative d'images de télédétection à très haute résolution spatiale une nouvelle approche hybride (la décomposition pyramidale avec des réseaux de neurones)". Thèse, Université de Sherbrooke, 2011. http://hdl.handle.net/11143/5831.
Abstract (sommario):
Résumé: De nos jours l’observation de la terre à l’aide d’images satellitaires de très haute résolution spatiale (Ikonos, Quickbird, World View-2) donne de nombreuses possibilités pour gérer de l’information à l’échelle mondiale. Les technologies actuelles d’acquisition d’information sont à l’origine de l’augmentation importante du volume des données. L’objectif général de cette thèse consiste à développer une nouvelle méthode hybride de représentation d’image numérique de très haute résolution spatiale qui améliore la qualité visuelle d’images compressée avec un haut niveau de compression (100 fois et plus). La nouvelle méthode hybride exploite la transformation pyramidale inverse d’image numérique en utilisant des réseaux de neurones artificiels. Elle combine le traitement spatial et la transformation abstraite de l’image. L’emploi de l’approche de la transformation pyramidale inverse a démontré l’efficacité du traitement de l’information à une ou à des échelles spécifiques, sans interférer ou ajouter un temps de calcul inutile. Cette approche est essentielle pour réaliser une transformation progressive d’image. Les résultats montrent une amélioration du rapport signal pur bruit de 4 dB pour chaque couche additionnelle de la transformation progressive.
Nous avons réussi à garder une qualité visuelle d’images compressées comparable, jusqu’au niveau de la compression de 107 fois. De plus, pour le niveau de la compression de 274 fois, nous avons obtenu une amélioration de la qualité visuelle en comparaison des méthodes de compression courantes (JPEG, JPEG2000). Les résultats du travail confirment l’hypothèse que les images de télédétection possèdent un haut degré de redondance et que l’utilisation d’un réseau de neurones est un bon moyen pour trouver l’opérateur efficace du regroupement de pixels. Cette nouvelle méthode de représentation d’images à très haute résolution spatiale permet de réduire le volume des données sans détérioration majeure de la qualité visuelle, comparé aux méthodes existantes. Enfin, nous recommandons de poursuivre l’exploration du domaine des calculs distribués tels que les réseaux des neurones artificiels, considérant l’augmentation de la performance des outils informatiques (nanotechnologies et calculs parallèles). ||
Abstract: Earth observations using very high-resolution satellite imagery, such as from Ikonos, QuickBird or WorldView-2, provide many possibilities for addressing issues on a global scale. However, the acquisition of high-resolution imagery using these technologies also significantly increases the volume of data that must be managed. With the passing of each day, the number of collected satellite images continues to increase. The overall objective of this work is to develop new hybrid methods for numerical data representation that improve the visual quality of compressed satellite visible imagery for compression levels of 100 times and more. Our new method exploits the inverse pyramid transform using artificial neural networks, and thus addresses the trend in the field of remote sensing and image compression towards combining the spatial processing and abstract transformation of an image. Our implementation of the pyramidal inverse transformation demonstrates the effectiveness of information processing for specific levels, without interfering or adding unnecessary computation time. This approach is essential in order to achieve a gradual transformation of an image. The results showed an improvement in the signal to noise ratio of 4dB for each additional layer in the pyramidal image transformation. We managed to keep a similar level of visual quality for the compressed images up to a compression level of 107 times. In addition, for a compression level of 274, we improved the visual quality as compared to standard compression methods (JPEG, JPEG2000). The results of this study confirm the hypothesis that remote sensing images have a high degree of redundancy and that the use of neural networks is a good way to find the effective operator of the pixel combination. This new method for image representation reduces the volume of data without major deterioration in the visual quality of the compressed images, as compared to existing methods. Finally, we recommend further exploration in the field of distributed computing, such as artificial neural networks, considering the rapidly increasing performance of computers in the near future (parallel computing technology and nanotechnology).
7
Mitrica, Iulia. "Video compression of airplane cockpit screens content". Electronic Thesis or Diss., Institut polytechnique de Paris, 2021. http://www.theses.fr/2021IPPAT042.
Abstract (sommario):
Cette thèse aborde le problème de l'encodage de la vidéo des cockpits d'avion. Le cockpit des avions de ligne modernes consiste en un ou plusieurs écrans affichant l'état des instruments de l'avion (par exemple, la position de l'avion telle que rapportée par le GPS, le niveau de carburant tel que lu par les capteurs dans les réservoirs, etc.,) souvent superposés au naturel images (par exemple, cartes de navigation, caméras extérieures, etc.). Les capteurs d'avion sont généralement inaccessibles pour des raisons de sécurité, de sorte que l'enregistrement du cockpit est souvent le seul moyen de consigner les données vitales de l'avion en cas, par exemple, d'un accident. Les contraintes sur la mémoire d'enregistrement disponible à bord nécessitent que la vidéo du cockpit soit codée à des débits faibles à très faibles, alors que pour des raisons de sécurité, les informations textuelles doivent rester intelligibles après le décodage. De plus, les contraintes sur l'enveloppe de puissance des dispositifs avioniques limitent la complexité du sous-système d'enregistrement du poste de pilotage. Au fil des ans, un certain nombre de schémas de codage d'images ou de vidéos avec des contenus mixtes générés par ordinateur et naturels ont été proposés. Le texte et d'autres graphiques générés par ordinateur produisent des composants haute fréquence dans le domaine transformé. Par conséquent, la perte due à la compression peut nuire à la lisibilité de la vidéo et donc à son utilité. Par exemple, l'extension récemment normalisée SCC (Screen Content Coding) de la norme H.265/HEVC comprend des outils conçus explicitement pour la compression du contenu de l'écran. Nos expériences montrent cependant que les artefacts persistent aux bas débits ciblés par notre application, incitant à des schémas où la vidéo n'est pas encodée dans le domaine des pixels. Cette thèse propose des méthodes de codage d'écran de faible complexité où le texte et les primitives graphiques sont codés en fonction de leur sémantique plutôt que sous forme de blocs de pixels. Du côté du codeur, les caractères sont détectés et lus à l'aide d'un réseau neuronal convolutif. Les caractères détectés sont ensuite supprimés de l'écran via le pixel inpainting, ce qui donne une vidéo résiduelle plus fluide avec moins de hautes fréquences. La vidéo résiduelle est codée avec un codec vidéo standard et est transmise du côté récepteur avec une sémantique textuelle et graphique en tant qu'informations secondaires. Du côté du décodeur, le texte et les graphiques sont synthétisés à l'aide de la sémantique décodée et superposés à la vidéo résiduelle, récupérant finalement l'image d'origine. Nos expériences montrent qu'un encodeur AVC/H.264 équipé de notre méthode a de meilleures performances de distorsion-débit que H.265/HEVC et se rapproche de celle de son extension SCC. Si les contraintes de complexité permettent la prédiction inter-trame, nous exploitons également le fait que les caractères co-localisés dans les trames voisines sont fortement corrélés. À savoir, les symboles mal classés sont récupérés à l'aide d'une méthode proposée basée sur un modèle de faible complexité des probabilités de transition pour les caractères et les graphiques. Concernant la reconnaissance de caractères, le taux d'erreur chute jusqu'à 18 fois dans les cas les plus faciles et au moins 1,5 fois dans les séquences les plus difficiles malgré des occlusions complexes.En exploitant la redondance temporelle, notre schéma s'améliore encore en termes de distorsion de débit et permet un décodage de caractères quasi sans erreur. Des expériences avec de vraies séquences vidéo de cockpit montrent des gains de distorsion de débit importants pour la méthode proposée par rapport aux normes de compression vidéoThis thesis addresses the problem of encoding the video of airplane cockpits.The cockpit of modern airliners consists in one or more screens displaying the status of the plane instruments (e.g., the plane location as reported by the GPS, the fuel level as read by the sensors in the tanks, etc.,) often superimposed over natural images (e.g., navigation maps, outdoor cameras, etc.).Plane sensors are usually inaccessible due to security reasons, so recording the cockpit is often the only way to log vital plane data in the event of, e.g., an accident.Constraints on the recording storage available on-board require the cockpit video to be coded at low to very low bitrates, whereas safety reasons require the textual information to remain intelligible after decoding. In addition, constraints on the power envelope of avionic devices limit the cockpit recording subsystem complexity.Over the years, a number of schemes for coding images or videos with mixed computer-generated and natural contents have been proposed. Text and other computer generated graphics yield high-frequency components in the transformed domain. Therefore, the loss due to compression may hinder the readability of the video and thus its usefulness. For example, the recently standardized Screen Content Coding (SCC) extension of the H.265/HEVC standard includes tools designed explicitly for screen contents compression. Our experiments show however that artifacts persist at the low bitrates targeted by our application, prompting for schemes where the video is not encoded in the pixel domain.This thesis proposes methods for low complexity screen coding where text and graphical primitives are encoded in terms of their semantics rather than as blocks of pixels.At the encoder side, characters are detected and read using a convolutional neural network.Detected characters are then removed from screen via pixel inpainting, yielding a smoother residual video with fewer high frequencies. The residual video is encoded with a standard video codec and is transmitted to the receiver side together with text and graphics semantics as side information.At the decoder side, text and graphics are synthesized using the decoded semantics and superimposed over the residual video, eventually recovering the original frame. Our experiments show that an AVC/H.264 encoder retrofitted with our method has better rate-distortion performance than H.265/HEVC and approaches that of its SCC extension.If the complexity constraints allow inter-frame prediction, we also exploit the fact that co-located characters in neighbor frames are strongly correlated.Namely, the misclassified symbols are recovered using a proposed method based on low-complexity model of transitional probabilities for characters and graphics. Concerning character recognition, the error rate drops up to 18 times in the easiest cases and at least 1.5 times in the most difficult sequences despite complex occlusions.By exploiting temporal redundancy, our scheme further improves in rate-distortion terms and enables quasi-errorless character decoding. Experiments with real cockpit video footage show large rate-distortion gains for the proposed method with respect to video compression standards
8
Verma, Sagar. "Deep Neural Network Modeling of Electric Motors". Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPAST088.
Abstract (sommario):
Cette thèse traite de l’application des réseaux de neurones dans la résolution de problèmes liés aux moteurs électriques. Le chapitre 2 contribue à identifier une structure de réseau de neurones capable d’apprendre la relation multi-variée entre différents signaux d’un moteur électrique. La structure identifiée est ensuite utilisée pour l’estimation vitesse- couple à partir des courants et des tensions.Le chapitre 3 se concentre sur la détection et la correction de défauts de mesure. Notre méthode prend en compte les défauts de capteurs électriques, les défauts mécaniques et l’estimation de température.Le chapitre 4 traite ensuite de la fiabilité de l’estimateur vitesse-couple en cas de courants et de tensions bruités. Nous présentons uneméthode de débruitage permettant de rendre notre estimateur vitesse-couple applicable dans un contexte réaliste. Ensuite, une rapide analyse de la robustesse face à une attaque adverse est menée pour les réseaux neuronaux utilisés dans des applications des moteurs électriques. La capacité de généralisation de l’estimateur vitesse-couple est également brièvement analysée. Dans le chapitre 5, nous nous concentrons sur le dernier obstacle à la mise en œuvre des réseaux de neurones: le coût de calcul. Nous présentons la méthode de sparsification par inclusion sous-différentielle (SIS) permettant de trouver le meilleur réseau parcimonieux à partir de poids pré-calculés, tout en conservant la précision d’origineThis thesis deals with the application of neural networks in solving electrical motor problems. Chapter 2 contributes to identifying a neural network that can learn the multivariate relationship between different electrical motor signals.The identified network is then used for speed-torque estimation from currents and voltages. Chapter 3 focuses on detecting and recovering from faulty measurements. Our method encompasses electrical sensor faults, mechanical faults, and temperature estimation.Chapter 4 then discusses the reliability of the speed-torque estimator in case of noisy currents and voltages. We presenta denoising method which allows our speed- torque estimator to be applicable in a realistic context. This is followed by an analysis of the adversarial robustness of the neural networks used in electrical motor tasks. The generalization capability of the speed-torque estimator is also briefly considered. In Chapter 5, we focus on the final roadblock in achieving real-world application of neural networks: computational requirements. We present the Subdifferential Inclusion for Sparsity (SIS) method to find the best sparse network from pretrained weights while maintaining original accuracy
9
Burel, Gilles. "RESEAUX DE NEURONES EN TRAITEMENT D'IMAGES - Des Modèles théoriques aux Applications Industrielles -". Phd thesis, Université de Bretagne occidentale - Brest, 1991. http://tel.archives-ouvertes.fr/tel-00101699.
Abstract (sommario):
Les travaux présentés portent sur les réseaux de neurones appliqués autraitement du signal et de l'image. On se place d'emblée du point de vue de
l'industriel impliqué dans la recherche, c'est à dire que l'on s'intéresse à
des problèmes réalistes, sans pour autant négliger la recherche
théorique.
Dans une première partie, nous montrons
l'intérêt des réseaux de neurones comme source d'inspiration pour la
conception de nouveaux algorithmes. Nous proposons en particulier une
structure originale pour la prédiction, ainsi que de nouveaux algorithmes de
Quantification Vectorielle. Les propriétés des algorithmes existants sont
également éclaircies du point de vue théorique, et des méthodes de réglage
automatique de leurs paramètres sont proposées.
On montre ensuite les capacités des réseaux de neurones à traiter un vaste champ
d'applications d'intérêt industriel. Pour divers problèmes de traitement de
l'image et du signal (de la segmentation à la séparation de sources, en
passant par la reconnaissance de formes et la compression de données), on
montre qu'il est possible de développer à moindre coût une solution neuronale
efficace.
10
Boukli, Hacene Ghouthi. "Processing and learning deep neural networks on chip". Thesis, Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire, 2019. http://www.theses.fr/2019IMTA0153/document.
Abstract (sommario):
Dans le domaine de l'apprentissage machine, les réseaux de neurones profonds sont devenus la référence incontournable pour un très grand nombre de problèmes. Ces systèmes sont constitués par un assemblage de couches, lesquelles réalisent des traitements élémentaires, paramétrés par un grand nombre de variables. À l'aide de données disponibles pendant une phase d'apprentissage, ces variables sont ajustées de façon à ce que le réseau de neurones réponde à la tâche donnée. Il est ensuite possible de traiter de nouvelles données. Si ces méthodes atteignent les performances à l'état de l'art dans bien des cas, ils reposent pour cela sur un très grand nombre de paramètres, et donc des complexités en mémoire et en calculs importantes. De fait, ils sont souvent peu adaptés à l'implémentation matérielle sur des systèmes contraints en ressources. Par ailleurs, l'apprentissage requiert de repasser sur les données d'entraînement plusieurs fois, et s'adapte donc difficilement à des scénarios où de nouvelles informations apparaissent au fil de l'eau. Dans cette thèse, nous nous intéressons dans un premier temps aux méthodes permettant de réduire l'impact en calculs et en mémoire des réseaux de neurones profonds. Nous proposons dans un second temps des techniques permettant d'effectuer l'apprentissage au fil de l'eau, dans un contexte embarquéIn the field of machine learning, deep neural networks have become the inescapablereference for a very large number of problems. These systems are made of an assembly of layers,performing elementary operations, and using a large number of tunable variables. Using dataavailable during a learning phase, these variables are adjusted such that the neural networkaddresses the given task. It is then possible to process new data.To achieve state-of-the-art performance, in many cases these methods rely on a very largenumber of parameters, and thus large memory and computational costs. Therefore, they are oftennot very adapted to a hardware implementation on constrained resources systems. Moreover, thelearning process requires to reuse the training data several times, making it difficult to adapt toscenarios where new information appears on the fly.In this thesis, we are first interested in methods allowing to reduce the impact of computations andmemory required by deep neural networks. Secondly, we propose techniques for learning on thefly, in an embedded context
Libri sul tema "Compression de réseaux de neurones":
1
Blayo, François. Les réseaux de neurones artificiels. Paris: Presses universitaires de France, 1996.
2
Kamp, Yves. Réseaux de neurones récursifs pour mémoires associatives. Lausanne: Presses polytechniques et universitaires romandes, 1990.
3
Rollet, Guy. Les RÉSEAUX DE NEURONES DE LA CONSCIENCE - Approche multidisciplinaire du phénomène. Paris: Editions L'Harmattan, 2013.
4
Personnaz, L. Réseaux de neurones formels pour la modélisation, la commande et la classification. Paris: CNRS Editions, 2003.
5
Amat, Jean-Louis. Techniques avancées pour le traitement de l'information: Réseaux de neurones, logique floue, algorithmes génétiques. 2a ed. Toulouse: Cépaduès-Ed., 2002.
6
Journées d'électronique (1989 Lausanne, Switzerland). Réseaux de neurones artificiels: Comptes rendus des Journées d'électronique 1989, Lausanne, 10-12 october 1983. Lausanne: Presses polytechniques romande, 1989.
7
A, Chou Philip, e Schaar Mihaela van der, a cura di. Multimedia over IP and wireless networks: Compression, networking, and systems. Amsterdam: Elsevier/Academic Press, 2007.
8
Seidou, Ousmane. Modélisation de la croissance de glace de lac par réseaux de neurones artificiels et estimation du volume de la glace abandonnée sur les berges des réservoirs hydroélectriques pendant les opérations d'hiver. Québec, QC: INRS--ETE, 2005.
9
Horcholle-Bossavit, Ginette. Le neurone computationnel: Histoire d'un siècle de recherches. Paris: CNRS, 2005.
10
Koch, Christof. Biophysics of computation: Information processing in single neurons. New York: Oxford University Press, 1999.
Capitoli di libri sul tema "Compression de réseaux de neurones":
1
Martaj, Dr Nadia, e Dr Mohand Mokhtari. "Réseaux de neurones". In MATLAB R2009, SIMULINK et STATEFLOW pour Ingénieurs, Chercheurs et Etudiants, 807–78. Berlin, Heidelberg: Springer Berlin Heidelberg, 2010. http://dx.doi.org/10.1007/978-3-642-11764-0_17.
2
Kipnis, C., e E. Saada. "Un lien entre réseaux de neurones et systèmes de particules: Un modele de rétinotopie". In Lecture Notes in Mathematics, 55–67. Berlin, Heidelberg: Springer Berlin Heidelberg, 1996. http://dx.doi.org/10.1007/bfb0094641.
3
"4. Les réseaux de neurones artificiels". In L'intelligence artificielle, 91–112. EDP Sciences, 2021. http://dx.doi.org/10.1051/978-2-7598-2580-6.c006.
4
MOLINIER, Matthieu, Jukka MIETTINEN, Dino IENCO, Shi QIU e Zhe ZHU. "Analyse de séries chronologiques d’images satellitaires optiques pour des applications environnementales". In Détection de changements et analyse des séries temporelles d’images 2, 125–74. ISTE Group, 2024. http://dx.doi.org/10.51926/iste.9057.ch4.
Abstract (sommario):
Ce chapitre traite des méthodes d’analyse de séries chronologiques denses en télédétection. Il présente les principales exigences en termes de prétraitements des données, puis un aperçu des quatre principaux axes en détection de changement basée sur l'analyse de séries chronologiques denses : carte de classification, classification de trajectoire, frontières statistiques et approches d'ensemble. Il fournit aussi les détails sur deux des algorithmes les plus largement utilisés dans ce contexte d’analyse. Il aborde également la question de l'apprentissage profond pour la télédétection, en détaillant trois types d'architectures de réseau adaptées à l'analyse de séries chronologiques d'images satellitaires : les réseaux de neurones récurrents, les réseaux de neurones convolutifs et les modèles hybrides combinant ces deux derniers modèles de réseau.
5
BYTYN, Andreas, René AHLSDORF e Gerd ASCHEID. "Systèmes multiprocesseurs basés sur un ASIP pour l’efficacité des CNN". In Systèmes multiprocesseurs sur puce 1, 93–111. ISTE Group, 2023. http://dx.doi.org/10.51926/iste.9021.ch4.
Abstract (sommario):
Les réseaux de neurones convolutifs (CNN) utilisés pour l’analyse des signaux vidéo sont très gourmands en calculs. De telles applications embarquées nécessitent des implémentations efficaces en termes de coût et de puissance. Ce chapitre présente une solution basée sur un processeur de jeu d’instructions spécifique à l’application (ASIP) qui représente un bon compromis entre efficacité et programmabilité.
6
BENMAMMAR, Badr, e Asma AMRAOUI. "Application de l’intelligence artificielle dans les réseaux de radio cognitive". In Gestion et contrôle intelligents des réseaux, 233–60. ISTE Group, 2020. http://dx.doi.org/10.51926/iste.9008.ch9.
Abstract (sommario):
Dans ce chapitre, nous nous intéressons aux techniques de l’intelligence artificielle (IA) qui ont été les plus utilisées dans les trois dernières années dans la radio cognitive (RC). Nous nous intéressons à des métaheuristiques qui n’étaient pas discutées dans les précédents travaux, comme l’algorithme des lucioles, la recherche coucou, l’algorithme de recherche gravitationnel et l’optimisation par essaim de particules. Nous présentons également les travaux récents liés à l’application des autres techniques d’IA dans la RC, à savoir les algorithmes génétiques, les algorithmes de colonies d’abeilles, la logique floue, la théorie des jeux, les réseaux de neurones, les modèles de Markov, les machines à vecteurs de support, le raisonnement à partir de cas, les arbres de décision, les réseaux bayésiens, les systèmes multi-agents et l’apprentissage par renforcement.
7
COGRANNE, Rémi, Marc CHAUMONT e Patrick BAS. "Stéganalyse : détection d’information cachée dans des contenus multimédias". In Sécurité multimédia 1, 261–303. ISTE Group, 2021. http://dx.doi.org/10.51926/iste.9026.ch8.
Abstract (sommario):
Ce chapitre détaille comment analyser une image numérique en vue d’obtenir des informations sur les données cachées par une méthode de stéganographie. Après une présentation des objectifs, plusieurs stratégies de détection sont ensuite détaillées, notamment les méthodes statistiques utilisant le rapport de vraisemblance, les méthodes par apprentissage reposant soit sur l’extraction de caractéristiques, soit sur l’utilisation de réseaux de neurones profonds.
8
ATTO, Abdourrahmane M., Héla HADHRI, Flavien VERNIER e Emmanuel TROUVÉ. "Apprentissage multiclasse multi-étiquette de changements d’état à partir de séries chronologiques d’images". In Détection de changements et analyse des séries temporelles d’images 2, 247–71. ISTE Group, 2024. http://dx.doi.org/10.51926/iste.9057.ch6.
Abstract (sommario):
Ce chapitre étudie les capacités de généralisation d’une bibliothèque de réseaux de neurones convolutifs pour la classification d’états de surface terrestre dans le temps, avec une granularité variable sur la nature des états. L’ensemble de données utilisé pour réaliser cette étude est constitué d'images à sémantique descriptible au sens de propriétés géophysiques et des impacts des conditions météorologiques en zone de glaciers.
9
DE’ FAVERI TRON, Alvise. "La détection d’intrusion au moyen des réseaux de neurones : un tutoriel". In Optimisation et apprentissage, 211–47. ISTE Group, 2023. http://dx.doi.org/10.51926/iste.9071.ch8.
Abstract (sommario):
La détection d'intrusion est un concept clé dans la sécurité. Elle vise à analyser l'état actuel d'un réseau en temps réel et à identifier les anomalies potentielles qui se produisent dans le système. Un réseau de neurones à réaction formé sur l'ensemble de données NSL-KDD a pour objectif de maximiser la précision de la reconnaissance de nouveaux échantillons de données.
10
ATTO, Abdourrahmane M., Fatima KARBOU, Sophie GIFFARD-ROISIN e Lionel BOMBRUN. "Clustering fonctionnel de séries d’images par entropies relatives". In Détection de changements et analyse des séries temporelles d’images 1, 121–38. ISTE Group, 2022. http://dx.doi.org/10.51926/iste.9056.ch4.
Abstract (sommario):
Ce chapitre traite l'extraction d'attributs à partir d'ondelettes et de filtres ConvNet (réseaux de neurones à convolution) pour l'analyse non supervisée de séries chronologiques d'images. Nous exploitons les capacités des ondelettes et des filtres neuro-convolutifs à capturer des propriétés d'invariance non-triviales, ainsi que les nouvelles solutions de centroïdes proposées dans ce chapitre, pour l'analyse d'attributs de hauts niveaux par entropie relative. La détection d'anomalies et le clustering fonctionnel d'évolution sont développés à partir de ce cadre.
Atti di convegni sul tema "Compression de réseaux de neurones":
1
Fourcade, A. "Apprentissage profond : un troisième oeil pour les praticiens". In 66ème Congrès de la SFCO. Les Ulis, France: EDP Sciences, 2020. http://dx.doi.org/10.1051/sfco/20206601014.
Abstract (sommario):
« L’intelligence artificielle connaît un essor fulgurant depuis ces dernières années. Lapprentissage automatique et plus précisément lapprentissage profond grâce aux réseaux de neurones convolutifs ont permis des avancées majeures dans le domaine de la reconnaissance des formes. Cette présentation fait suite à mon travail de thèse. La première partie retrace lhistorique et décrit les principes de fonctionnement de ces réseaux. La seconde présente une revue de la littérature de leurs applications dans la pratique médicale de plusieurs spécialités, pour des tâches diagnostiques nécessitant une démarche visuelle (classification dimages et détection de lésions). Quinze articles, évaluant les performances de ces solutions dautomatisation, ont été analysés. La troisième partie est une discussion à propos des perspectives et des limites présentées par les réseaux de neurones convolutifs, ainsi que leurs possibles applications en chirurgie orale. »
2
Gresse, Adrien, Richard Dufour, Vincent Labatut, Mickael Rouvier e Jean-François Bonastre. "Mesure de similarité fondée sur des réseaux de neurones siamois pour le doublage de voix". In XXXIIe Journées d’Études sur la Parole. ISCA: ISCA, 2018. http://dx.doi.org/10.21437/jep.2018-2.
3
ORLIANGES, Jean-Christophe, Younes El Moustakime, Aurelian Crunteanu STANESCU, Ricardo Carrizales Juarez e Oihan Allegret. "Retour vers le perceptron - fabrication d’un neurone synthétique à base de composants électroniques analogiques simples". In Les journées de l'interdisciplinarité 2023. Limoges: Université de Limoges, 2024. http://dx.doi.org/10.25965/lji.761.
Abstract (sommario):
Les avancées récentes dans le domaine de l'intelligence artificielle (IA), en particulier dans la reconnaissance d'images et le traitement du langage naturel, ouvrent de nouvelles perspectives qui vont bien au-delà de la recherche académique. L'IA, portée par ces succès populaires, repose sur des algorithmes basés sur des "réseaux de neurones" et elle se nourrit des vastes quantités d'informations accessibles sur Internet, notamment via des ressources telles que l'encyclopédie en ligne Wikipédia, la numérisation de livres et de revues, ainsi que des bibliothèques de photographies. Si l'on en croit les propres dires du programme informatique ChatGPT, son réseau de neurones compte plus de 175 millions de paramètres. Quant à notre cerveau, qui était le modèle initial de cette approche connexionniste, il compte environ 86 milliards de neurones formant un vaste réseau interconnecté... Dans ce travail, nous proposons une approche plus modeste de l'IA en nous contentant de décrire les résultats que l'on peut obtenir avec un seul neurone synthétique isolé, le modèle historique du perceptron (proposé par Frank Rosenblatt dans les années 1950). C'est un "Retour vers le futur" de l'IA qui est entrepris pour fabriquer et tester un neurone artificiel à partir de composants électroniques simples. Celui-ci doit permettre de différencier un chien d'un chat à partir de données anatomiques collectées sur ces animaux.
4
Walid, Tazarki, Fareh Riadh e Chichti Jameleddine. "La Prevision Des Crises Bancaires: Un essai de modélisation par la méthode des réseaux de neurones [Not available in English]". In International Conference on Information and Communication Technologies from Theory to Applications - ICTTA'08. IEEE, 2008. http://dx.doi.org/10.1109/ictta.2008.4529985.
5
Kim, Lila, e Cédric Gendrot. "Classification automatique de voyelles nasales pour une caractérisation de la qualité de voix des locuteurs par des réseaux de neurones convolutifs". In XXXIVe Journées d'Études sur la Parole -- JEP 2022. ISCA: ISCA, 2022. http://dx.doi.org/10.21437/jep.2022-82.
6
Gendrot, Cedric, Emmanuel Ferragne e Anaïs Chanclu. "Analyse phonétique de la variation inter-locuteurs au moyen de réseaux de neurones convolutifs : voyelles seules et séquences courtes de parole". In XXXIVe Journées d'Études sur la Parole -- JEP 2022. ISCA: ISCA, 2022. http://dx.doi.org/10.21437/jep.2022-94.
7
Quintas, Sebastião, Alberto Abad, Julie Mauclair, Virginie Woisard e Julien Pinquier. "Utilisation de réseaux de neurones profonds avec attention pour la prédiction de l’intelligibilité de la parole de patients atteints de cancers ORL". In XXXIVe Journées d'Études sur la Parole -- JEP 2022. ISCA: ISCA, 2022. http://dx.doi.org/10.21437/jep.2022-7.