Auswahl der wissenschaftlichen Literatur zum Thema „Compression de réseaux neuronaux“

Le présent Cortica Journal Club permet d’explorer les fondements sous-jacents de l’apprentissage et de la mémoire, éclairant comment ces processus se reflètent et interagissent avec la topologie des réseaux sociaux élargis. En effet, les cerveaux humains évaluent instinctivement la position des individus au sein de leur réseau social. Les similitudes dans les réponses cérébrales sont corrélées à la force des liens d’amitié, tandis que la compréhension de la structure globale du réseau reflète l'assimilation de topologies à la fois sociales et cognitives. A l’avenir, la combinaison de méthodes expérimentales et informatiques pourrait permettre d'explorer l'évolution des réseaux neuronaux en parallèle de la capacité de comprendre des groupes étendus, afin d’éclairer leurs rôles divers et leurs effets collectifs. L'identification des réseaux neuronaux partagés, agissant comme des guides pour la compréhension des structures tant sociales que non sociales, pourrait grandement enrichir notre compréhension de la cognition collective et de l'évolution culturelle

Dans le contexte de l'imagerie satellite, nous avons travaillé sur la quantification vectorielle (QV) qui permet un meilleur compromis qualité/compression avec un codage à longueur fixe, plus robuste. Pour guider le choix d'un algorithme, nous avons en analysé plusieurs selon leurs caractéristiques de fonctionnement et leurs performances. Certains ont été simulés sur des images réelles. Un point faible de la QV est la complexité algorithmique du codage. Les évaluations ont confirmé l'intérêt des techniques de QV avec contrainte pour la réduire mais au détriment de la qualité. C'est pourquoi nous avons proposé deux techniques d'accélération sans contrainte. La première utilise les corrélations intra-blocs pour accélérer la recherche par distorsion partielle grâce à une concentration préalable de la variance. La seconde utilise les corrélations inter-blocs grâce à l'organisation topologique d'un dictionnaire construit par carte auto-organisée.

Grâce à la miniaturisation de l'électronique, les dispositifs embarqués sont devenus omniprésents depuis les années 2010, réalisant diverses tâches autour de nous. À mesure que leur utilisation augmente, la demande pour des dispositifs traitant les données et prenant des décisions complexes de manière efficace s'intensifie. Les réseaux de neurones profonds sont puissants pour cet objectif, mais souvent trop lourds pour les appareils embarqués. Il est donc impératif de compresser ces réseaux sans compromettre leur performance. Cette thèse introduit deux méthodes innovantes centrées sur l'élagage, pour compresser les réseaux sans impacter leur précision. Elle introduit d'abord une méthode qui considère un budget pour la compression de grands réseaux via la reparamétrisation des poids et une fonction de coût budgétaire, sans nécessité de fine-tuning. Les méthodes d'élagage traditionnelles reposent sur des indicateurs post-entraînement pour éliminer les poids, négligeant le taux d'élagage visé. Notre approche intègre une fonction de coût, guidant l'élagage vers une parcimonie précise pendant l'entraînement, optimisant la topologie et les poids. En simulant l'élagage des petits poids pendant l'entraînement via reparamétrisation, notre méthode limite la perte de précision par rapport aux méthodes traditionnelles. Nous démontrons son efficacité sur divers ensembles de données et architectures. La thèse se penche ensuite sur l'extraction de sous-réseaux efficaces sans entraîner les poids. L'objectif est de trouver la meilleure topologie d'un sous-réseau dans un grand réseau sans optimiser les poids, tout en offrant de bonnes performances. Ceci est fait grâce à notre méthode, l'Arbitrarily Shifted Log-Parametrisation, qui échantillonne des topologies de manière différentiable, permettant de former des masques indiquant la probabilité de sélection des poids. En parallèle, un mécanisme de recalibrage des poids, le Smart Rescale, est introduit, améliorant la performance des sous-réseaux et accélérant leur formation. Notre méthode trouve également le taux d'élagage optimal après un entraînement unique, évitant la recherche d'hyperparamètres et un entraînement pour chaque taux. Nous prouvons que notre méthode dépasse les techniques de pointe et permet de créer des réseaux légers avec haute parcimonie sans perdre en précision
Thanks to the miniaturisation of electronics, embedded devices have become ubiquitous since the 2010s, performing various tasks around us. As their usage expands, there's an increasing demand for efficient data processing and decision-making. Deep neural networks are apt tools for this, but they are often too large and intricate for embedded systems. Therefore, methods to compress these networks without affecting their performance are crucial. This PhD thesis introduces two methods focused on pruning to compress networks, maintaining accuracy. The thesis first details a budget-aware method for compressing large neural networks using weight reparametrisation and a budget loss, eliminating the need for fine-tuning. Traditional pruning methods often use post-training indicators to cut weights, ignoring desired pruning rates. Our method incorporates a budget loss, directing pruning during training, enabling simultaneous topology and weight optimisation. By soft-pruning smaller weights via reparametrisation, we reduce accuracy loss compared to standard pruning. We validate our method on several datasets and architectures. Later, the thesis examines extracting efficient subnetworks without weight training. We aim to discern the optimal subnetwork topology within a large network, bypassing weight optimisation yet ensuring strong performance. This is realized with our Arbitrarily Shifted Log Parametrisation, a differentiable method for discrete topology sampling, facilitating masks' training to denote weight selection probability. Additionally, a weight recalibration technique, Smart Rescale, is presented. It boosts extracted subnetworks' performance and hastens their training. Our method identifies the best pruning rate in a single training cycle, averting exhaustive hyperparameter searches and various rate training. Through extensive tests, our technique consistently surpasses similar state-of-the-art methods, creating streamlined networks that achieve high sparsity without notable accuracy drops

Les appareils et outils “intelligents” deviennent progressivement la norme, la mise en œuvre d'algorithmes basés sur des réseaux neuronaux artificiels se développant largement. Les réseaux neuronaux sont des modèles non linéaires d'apprentissage automatique avec de nombreux paramètres qui manipulent des objets de haute dimension et obtiennent des performances de pointe dans divers domaines, tels que la reconnaissance d'images, la reconnaissance vocale, le traitement du langage naturel et les systèmes de recommandation.Toutefois, l'entraînement d'un réseau neuronal sur un appareil à faible capacité de calcul est difficile en raison de problèmes de mémoire, de temps de calcul ou d'alimentation. Une approche naturelle pour simplifier cet entraînement consiste à utiliser des réseaux neuronaux quantifiés, dont les paramètres et les opérations utilisent des primitives efficaces à faible bit. Cependant, l'optimisation d'une fonction sur un ensemble discret en haute dimension est complexe et peut encore s'avérer prohibitive en termes de puissance de calcul. C'est pourquoi de nombreuses applications modernes utilisent un réseau d'appareils pour stocker des données individuelles et partager la charge de calcul. Une nouvelle approche a été proposée, l'apprentissage fédéré, qui prend en compte un environnement distribué : les données sont stockées sur des appareils différents et un serveur central orchestre le processus d'apprentissage sur les divers appareils.Dans cette thèse, nous étudions différents aspects de l'optimisation (stochastique) dans le but de réduire les coûts énergétiques pour des appareils potentiellement très hétérogènes. Les deux premières contributions de ce travail sont consacrées au cas des réseaux neuronaux quantifiés. Notre première idée est basée sur une stratégie de recuit : nous formulons le problème d'optimisation discret comme un problème d'optimisation sous contraintes (où la taille de la contrainte est réduite au fil des itérations). Nous nous sommes ensuite concentrés sur une heuristique pour la formation de réseaux neuronaux profonds binaires. Dans ce cadre particulier, les paramètres des réseaux neuronaux ne peuvent avoir que deux valeurs. Le reste de la thèse s'est concentré sur l'apprentissage fédéré efficace. Suite à nos contributions développées pour l'apprentissage de réseaux neuronaux quantifiés, nous les avons intégrées dans un environnement fédéré. Ensuite, nous avons proposé une nouvelle technique de compression sans biais qui peut être utilisée dans n'importe quel cadre d'optimisation distribuée basé sur le gradient. Nos dernières contributions abordent le cas particulier de l'apprentissage fédéré asynchrone, où les appareils ont des vitesses de calcul et/ou un accès à la bande passante différents. Nous avons d'abord proposé une contribution qui repondère les contributions des dispositifs distribués. Dans notre travail final, à travers une analyse détaillée de la dynamique des files d'attente, nous proposons une amélioration significative des bornes de complexité fournies dans la littérature sur l'apprentissage fédéré asynchrone.En résumé, cette thèse présente de nouvelles contributions au domaine des réseaux neuronaux quantifiés et de l'apprentissage fédéré en abordant des défis critiques et en fournissant des solutions innovantes pour un apprentissage efficace et durable dans un environnement distribué et hétérogène. Bien que les avantages potentiels soient prometteurs, notamment en termes d'économies d'énergie, il convient d'être prudent car un effet rebond pourrait se produire
“Intelligent” devices and tools are gradually becoming the standard, as the implementation of algorithms based on artificial neural networks is experiencing widespread development. Neural networks consist of non-linear machine learning models that manipulate high-dimensional objects and obtain state-of-the-art performances in various areas, such as image recognition, speech recognition, natural language processing, and recommendation systems.However, training a neural network on a device with lower computing capacity can be challenging, as it can imply cutting back on memory, computing time or power. A natural approach to simplify this training is to use quantized neural networks, whose parameters and operations use efficient low-bit primitives. However, optimizing a function over a discrete set in high dimension is complex, and can still be prohibitively expensive in terms of computational power. For this reason, many modern applications use a network of devices to store individual data and share the computational load. A new approach, federated learning, considers a distributed environment: Data is stored on devices and a centralized server orchestrates the training process across multiple devices.In this thesis, we investigate different aspects of (stochastic) optimization with the goal of reducing energy costs for potentially very heterogeneous devices. The first two contributions of this work are dedicated to the case of quantized neural networks. Our first idea is based on an annealing strategy: we formulate the discrete optimization problem as a constrained optimization problem (where the size of the constraint is reduced over iterations). We then focus on a heuristic for training binary deep neural networks. In this particular framework, the parameters of the neural networks can only have two values. The rest of the thesis is about efficient federated learning. Following our contributions developed for training quantized neural network, we integrate them into a federated environment. Then, we propose a novel unbiased compression technique that can be used in any gradient based distributed optimization framework. Our final contributions address the particular case of asynchronous federated learning, where devices have different computational speeds and/or access to bandwidth. We first propose a contribution that reweights the contributions of distributed devices. Then, in our final work, through a detailed queuing dynamics analysis, we propose a significant improvement to the complexity bounds provided in the literature onasynchronous federated learning.In summary, this thesis presents novel contributions to the field of quantized neural networks and federated learning by addressing critical challenges and providing innovative solutions for efficient and sustainable learning in a distributed and heterogeneous environment. Although the potential benefits are promising, especially in terms of energy savings, caution is needed as a rebound effect could occur

Les réseaux de neurones profonds sont devenus les modèles les plus utilisés, que ce soit en vision par ordinateur ou en traitement du langage. Depuis le sursaut provoqué par l'utilisation des ordinateurs modernes, en 2012, la taille de ces modèles n'a fait qu'augmenter, aussi bien en matière de taille mémoire qu'en matière de coût de calcul. Ce phénomène a grandement limité le déploiement industriel de ces modèles. Spécifiquement, le cas de l'IA générative, et plus particulièrement des modèles de langue tels que GPT, a fait atteindre une toute nouvelle dimension à ce problème. En effet, ces réseaux sont définis par des milliards de paramètres et nécessitent plusieurs gpu en parallèle pour effectuer des inférences en temps réel. En réponse, la communauté scientifique et les spécialistes de l'apprentissage profond ont développé des solutions afin de compresser et d'accélérer ces modèles. Ces solutions sont : l'utilisation d'architecture efficiente par design, la décomposition tensorielle, l'élagage (ou pruning) et la quantification. Dans ce manuscrit de thèse, je propose de dépeindre une vue d'ensemble du domaine de la compression des réseaux de neurones artificiels ainsi que de mes contributions. Dans le premier chapitre, je présente une introduction générale au fonctionnement de chaque méthode de compression précédemment citée. De plus, j'y ajoute les intuitions relatives à leurs limitations ainsi que des exemples pratiques, issus des cours que j'ai donnés. Dans le second chapitre, je présente mes contributions au sujet du pruning. Ces dernières ont mené à la publications de trois articles: RED, RED++ et SInGE. Dans RED et RED++, j'ai proposé une nouvelle approche pour le pruning et la décomposition tensorielle, sans données. L'idée centrale était de réduire la redundance au sein des opérations effectuées par le modèle. 'A l'opposé, dans SInGE, j'ai défini un nouveau critère de pruning par importance. Pour ce faire, j'ai puisé de l'inspiration dans le domaine de l'attribution. En effet, afin d'expliquer les règles de décisions des réseaux de neurones profonds, les chercheurs et les chercheuses ont introduit des techniques visant à estimer l'importance relative des entrées du modèle par rapport aux sorties. Dans SInGE, j'ai adapté l'une de ces méthodes les plus efficaces, au pruning afin d'estimer l'importance des poids et donc des calculs du modèle. Dans le troisième chapitre, j'aborde mes contributions relatives à la quantification de réseaux de neurones. Celles-ci ont donné lieu à plusieurs publications dont les principales: SPIQ, PowerQuant, REx, NUPES et une publication sur les meilleurs pratiques à adopter. Dans SPIQ, PowerQuant et REx, j'adresse des limites spécifiques à la quantification sans données. En particulier, la granularité, dans SPIQ, la quantification non-uniform par automorphismes dans PowerQuant et l'utilisation d'une bit-width spécifique dans REx. Par ailleurs, dans les deux autres articles, je me suis attelé à la quantification post-training avec optimisation par descente de gradient. N'ayant pas eu le temps de toucher à tous les aspects de la compression de réseau de neurones, je conclue ce manuscrit par un chapitre sur ce qui me semble être les enjeux de demain ainsi que des pistes de solutions
Deep neural networks have grown to be the most widely adopted models to solve most computer vision and natural language processing tasks. Since the renewed interest, sparked in 2012, for these architectures, in machine learning, their size in terms of memory footprint and computational costs have increased tremendously, which has hindered their deployment. In particular, with the rising interest for generative ai such as large language models and diffusion models, this phenomenon has recently reached new heights, as these models can weight several billions of parameters and require multiple high-end gpus in order to infer in real-time. In response, the deep learning community has researched for methods to compress and accelerate these models. These methods are: efficient architecture design, tensor decomposition, pruning and quantization. In this manuscript, I paint a landscape of the current state-of-the art in deep neural networks compression and acceleration as well as my contributions to the field. First, I propose a general introduction to the aforementioned techniques and highlight their shortcomings and current challenges. Second, I provide a detailed discussion regarding my contributions to the field of deep neural networks pruning. These contributions led to the publication of three articles: RED, RED++ and SInGE. In RED and RED++, I introduced a novel way to perform data-free pruning and tensor decomposition based on redundancy reduction. On the flip side, in SInGE, I proposed a new importance-based criterion for data-driven pruning. This criterion was inspired by attribution techniques which consist in ranking inputs by their relative importance with respect to the final prediction. In SInGE, I adapted one of the most effective attribution technique to weight importance ranking for pruning. In the third chapter, I layout my contributions to the field of deep quantization: SPIQ, PowerQuant, REx, NUPES, and a best practice paper. Each of these methods address one of the previous limitations of post-training quantization. In SPIQ, PowerQuant and REx, I provide a solution to the granularity limitations of quantization, a novel non-uniform format which is particularly effective on transformer architectures and a technique for quantization decomposition which eliminates the need for unsupported bit-widths, respectively. In the two remaining articles, I provide significant improvements over existing gradient-based post-training quantization techniques, bridging the gap between such techniques and non-uniform quantization. In the last chapter, I propose a set of leads for future work which I believe to be the, current, most important unanswered questions in the field

Intégrer des algorithmes d'intelligence artificielle (IA) directement dans des satellites présente de nombreux défis. Ces systèmes embarqués, fortement limités en consommation d'énergie et en empreinte mémoire, doivent également résister aux interférences. Cela nécessite systématiquement l'utilisation de systèmes sur puce (SoC) afin de combiner deux systèmes dits « hétérogènes » : un microcontrôleur polyvalent et un accélérateur de calcul économe en énergie (comme un FPGA ou un ASIC). Pour relever les défis liés au portage de telles architectures, cette thèse se concentre sur l'optimisation et le déploiement de réseaux de neurones sur des architectures embarquées hétérogènes, dans le but de trouver un compromis entre la consommation d'énergie et la performance de l'IA. Dans le chapitre 2 de cette thèse, une étude approfondie des techniques de compression récentes pour des réseaux de neurones formels (FNN) tels que les MLP ou CNN a tout d'abord été effectuée. Ces techniques, qui permettent de réduire la complexité calculatoire et l'empreinte mémoire de ces modèles, sont essentielles pour leur déploiement dans des environnements aux ressources limitées. Les réseaux de neurones impulsionnels (SNN) ont également été explorés. Ces réseaux bio-inspirés peuvent en effet offrir une plus grande efficacité énergétique par rapport aux FNN. Dans le chapitre 3, nous avons ainsi adapté et élaboré des méthodes de quantification innovantes afin de réduire le nombre de bits utilisés pour représenter les valeurs d'un réseau impulsionnel. Nous avons ainsi pu confronter la quantification des SNN et des FNN, afin d'en comparer et comprendre les pertes et gains respectifs. Néanmoins, réduire l'activité d'un SNN (e.g. le nombre d'impulsions générées lors de l'inférence) améliore directement l'efficacité énergétique des SNN. Dans ce but, nous avons exploité dans le chapitre 4 des techniques de distillation de connaissances et de régularisation. Ces méthodes permettent de réduire l'activité impulsionnelle du réseau tout en préservant son accuracy, ce qui garantit un fonctionnement efficace des SNN sur du matériel à ressources limitées. Dans la dernière partie de cette thèse, nous nous sommes intéressés à l'hybridation des SNN et FNN. Ces réseaux hybrides (HNN) visent à optimiser encore davantage l'efficacité énergétique tout en améliorant les performances. Nous avons également proposé des réseaux multi-timesteps innovants, qui traitent l'information à des latences différentes à travers les couches d'un même SNN. Les résultats expérimentaux montrent que cette approche permet une réduction de la consommation d'énergie globale tout en maintenant les performances sur un ensemble de tâches. Ce travail de thèse constitue une base pour déployer les futures applications des réseaux de neurones dans l'espace. Pour valider nos méthodes, nous fournissons une analyse comparative sur différents jeux de données publics (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) et sur un jeu de données privé pour la segmentation des nuages. Nos approches sont évaluées sur la base de métriques telles que l'accuracy, la consommation d'énergie ou l'activité du SNN. Ce travail de recherche ne se limite pas aux applications aérospatiales. Nous avons en effet mis en évidence le potentiel des SNN quantifiés, des réseaux de neurones hybrides et des réseaux multi-timesteps pour une variété de scénarios réels où l'efficacité énergétique est cruciale. Ce travail offre ainsi des perspectives intéressantes pour des domaines tels que les dispositifs IoT, les véhicules autonomes et d'autres systèmes nécessitant un déploiement efficace de l'IA
Integrating artificial intelligence (AI) algorithms directly into satellites presents numerous challenges. These embedded systems, which are heavily limited in energy consumption and memory footprint, must also withstand interference. This systematically requires the use of system-on-chip (SoC) solutions to combine two so-called “heterogeneous” systems: a versatile microcontroller and an energy-efficient computing accelerator (such as an FPGA or ASIC). To address the challenges related to deploying such architectures, this thesis focuses on optimizing and deploying neural networks on heterogeneous embedded architectures, aiming to balance energy consumption and AI performance.In Chapter 2 of this thesis, an in-depth study of recent compression techniques for feedforward neural networks (FNN) like MLPs or CNNs was conducted. These techniques, which reduce the computational complexity and memory footprint of these models, are essential for deployment in resource-constrained environments. Spiking neural networks (SNN) were also explored. These bio-inspired networks can indeed offer greater energy efficiency compared to FNNs.In Chapter 3, we adapted and developed innovative quantization methods to reduce the number of bits used to represent the values in a spiking network. This allowed us to compare the quantization of SNNs and FNNs, to understand and assess their respective trade-offs in terms of losses and gains. Reducing the activity of an SNN (e.g., the number of spikes generated during inference) directly improves the energy efficiency of SNNs. To this end, in Chapter 4, we leveraged knowledge distillation and regularization techniques. These methods reduce the spiking activity of the network while preserving its accuracy, ensuring effective operation of SNNs on resource-limited hardware.In the final part of this thesis, we explored the hybridization of SNNs and FNNs. These hybrid networks (HNN) aim to further optimize energy efficiency while enhancing performance. We also proposed innovative multi-timestep networks, which process information with different latencies across layers within the same SNN. Experimental results show that this approach enables a reduction in overall energy consumption while maintaining performance across a range of tasks.This thesis serves as a foundation for deploying future neural network applications in space. To validate our methods, we provide a comparative analysis on various public datasets (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) as well as on a private dataset for cloud segmentation. Our approaches are evaluated based on metrics such as accuracy, energy consumption, or SNN activity. This research extends beyond aerospace applications. We have demonstrated the potential of quantized SNNs, hybrid neural networks, and multi-timestep networks for a variety of real-world scenarios where energy efficiency is critical. This work offers promising prospects for fields such as IoT devices, autonomous vehicles, and other systems requiring efficient AI deployment

Depuis leur résurgence en 2012, les réseaux de neurones profonds sont devenus omniprésents dans la plupart des disciplines de l'intelligence artificielle, comme la reconnaissance d'images, le traitement de la parole et le traitement du langage naturel. Cependant, au cours des dernières années, les réseaux de neurones sont devenus exponentiellement profonds, faisant intervenir de plus en plus de paramètres. Aujourd'hui, il n'est pas rare de rencontrer des architectures impliquant plusieurs milliards de paramètres, alors qu'elles en contenaient le plus souvent des milliers il y a moins de dix ans.Cette augmentation généralisée du nombre de paramètres rend ces grands modèles gourmands en ressources informatiques et essentiellement inefficaces sur le plan énergétique. Cela rend les modèles déployés coûteux à maintenir, mais aussi leur utilisation dans des environnements limités en ressources très difficile.Pour ces raisons, de nombreuses recherches ont été menées pour proposer des techniques permettant de réduire la quantité de stockage et de calcul requise par les réseaux neuronaux. Parmi ces techniques, l'élagage synaptique, consistant à créer des modèles réduits, a récemment été mis en évidence. Cependant, bien que l'élagage soit une technique de compression courante, il n'existe actuellement aucune méthode standard pour mettre en œuvre ou évaluer les nouvelles méthodes, rendant la comparaison avec les recherches précédentes difficile.Notre première contribution concerne donc une description inédite des techniques d'élagage, développée selon quatre axes, et permettant de définir de manière univoque et complète les méthodes existantes. Ces composantes sont : la granularité, le contexte, les critères et le programme. Cette nouvelle définition du problème de l'élagage nous permet de le subdiviser en quatre sous-problèmes indépendants et de mieux déterminer les axes de recherche potentiels.De plus, les méthodes d'élagage en sont encore à un stade de développement précoce et principalement destinées aux chercheurs, rendant difficile pour les novices d'appliquer ces techniques. Pour combler cette lacune, nous avons proposé l'outil FasterAI, destiné aux chercheurs, désireux de créer et d'expérimenter différentes techniques de compression, mais aussi aux nouveaux venus, souhaitant compresser leurs modèles pour des applications concrètes. Cet outil a de plus été construit selon les quatre composantes précédemment définis, permettant une correspondance aisée entre les idées de recherche et leur mise en œuvre.Nous proposons ensuite quatre contributions théoriques, chacune visant à fournir de nouvelles perspectives et à améliorer les méthodes actuelles dans chacun des quatre axes de description identifiés. De plus, ces contributions ont été réalisées en utilisant l'outil précédemment développé, validant ainsi son utilité scientifique.Enfin, afin de démontrer que l'outil développé, ainsi que les différentes contributions scientifiques proposées, peuvent être applicables à un problème complexe et réel, nous avons sélectionné un cas d'utilisation : la détection de la manipulation faciale, également appelée détection de DeepFakes. Cette dernière contribution est accompagnée d'une application de preuve de concept, permettant à quiconque de réaliser la détection sur une image ou une vidéo de son choix.L'ère actuelle du Deep Learning a émergé grâce aux améliorations considérables des puissances de calcul et à l'accès à une grande quantité de données. Cependant, depuis le déclin de la loi de Moore, les experts suggèrent que nous pourrions observer un changement dans la façon dont nous concevons les ressources de calcul, conduisant ainsi à une nouvelle ère de collaboration entre les communautés du logiciel, du matériel et de l'apprentissage automatique. Cette nouvelle quête de plus d'efficacité passera donc indéniablement par les différentes techniques de compression des réseaux neuronaux, et notamment les techniques d'élagage
Since their resurgence in 2012, Deep Neural Networks have become ubiquitous in most disciplines of Artificial Intelligence, such as image recognition, speech processing, and Natural Language Processing. However, over the last few years, neural networks have grown exponentially deeper, involving more and more parameters. Nowadays, it is not unusual to encounter architectures involving several billions of parameters, while they mostly contained thousands less than ten years ago.This generalized increase in the number of parameters makes such large models compute-intensive and essentially energy inefficient. This makes deployed models costly to maintain but also their use in resource-constrained environments very challenging.For these reasons, much research has been conducted to provide techniques reducing the amount of storage and computing required by neural networks. Among those techniques, neural network pruning, consisting in creating sparsely connected models, has been recently at the forefront of research. However, although pruning is a prevalent compression technique, there is currently no standard way of implementing or evaluating novel pruning techniques, making the comparison with previous research challenging.Our first contribution thus concerns a novel description of pruning techniques, developed according to four axes, and allowing us to unequivocally and completely define currently existing pruning techniques. Those components are: the granularity, the context, the criteria, and the schedule. Defining the pruning problem according to those components allows us to subdivide the problem into four mostly independent subproblems and also to better determine potential research lines.Moreover, pruning methods are still in an early development stage, and primarily designed for the research community. Indeed, most pruning works are usually implemented in a self-contained and sophisticated way, making it troublesome for non-researchers to apply such techniques without having to learn all the intricacies of the field. To fill this gap, we proposed FasterAI toolbox, intended to be helpful to researchers, eager to create and experiment with different compression techniques, but also to newcomers, that desire to compress their neural network for concrete applications. In particular, the sparsification capabilities of FasterAI have been built according to the previously defined pruning components, allowing for a seamless mapping between research ideas and their implementation.We then propose four theoretical contributions, each one aiming at providing new insights and improving on state-of-the-art methods in each of the four identified description axes. Also, those contributions have been realized by using the previously developed toolbox, thus validating its scientific utility.Finally, to validate the applicative character of the pruning technique, we have selected a use case: the detection of facial manipulation, also called DeepFakes Detection. The goal is to demonstrate that the developed tool, as well as the different proposed scientific contributions, can be applicable to a complex and actual problem. This last contribution is accompanied by a proof-of-concept application, providing DeepFake detection capabilities in a web-based environment, thus allowing anyone to perform detection on an image or video of their choice.This Deep Learning era has emerged thanks to the considerable improvements in high-performance hardware and access to a large amount of data. However, since the decline of Moore's Law, experts are suggesting that we might observe a shift in how we conceptualize the hardware, by going from task-agnostic to domain-specialized computations, thus leading to a new era of collaboration between software, hardware, and machine learning communities. This new quest for more efficiency will thus undeniably go through neural network compression techniques, and particularly sparse computations

Les voitures autonomes sont des applications complexes qui nécessitent des machines puissantes pour pouvoir fonctionner correctement. Des tâches telles que rester entre les lignes blanches, lire les panneaux ou éviter les obstacles sont résolues en utilisant plusieurs réseaux neuronaux convolutifs (CNN) pour classer ou détecter les objets. Il est très important que tous les réseaux fonctionnent en parallèle afin de transmettre toutes les informations nécessaires et de prendre une décision commune. Aujourd'hui, à force de s'améliorer, les réseaux sont devenus plus gros et plus coûteux en termes de calcul. Le déploiement d'un seul réseau devient un défi. La compression des réseaux peut résoudre ce problème. Par conséquent, le premier objectif de cette thèse est de trouver des méthodes de compression profonde afin de faire face aux limitations de mémoire et de puissance de calcul présentes sur les systèmes embarqués. Les méthodes de compression doivent être adaptées à un processeur spécifique, le MPPA de Kalray, pour des implémentations à court terme. Nos contributions se concentrent principalement sur la compression du réseau après l'entraînement pour le stockage, ce qui signifie compresser des paramètres du réseau sans réentraîner ou changer l'architecture originale et le type de calculs. Dans le contexte de notre travail, nous avons décidé de nous concentrer sur la quantification. Notre première contribution consiste à comparer les performances de la quantification uniforme et de la quantification non-uniforme, afin d'identifier laquelle des deux présente un meilleur compromis taux-distorsion et pourrait être rapidement prise en charge par l'entreprise. L'intérêt de l'entreprise est également orienté vers la recherche de nouvelles méthodes innovantes pour les futures générations de MPPA. Par conséquent, notre deuxième contribution se concentre sur la comparaison des représentations en virgule flottante (FP32, FP16) aux représentations arithmétiques alternatives telles que BFloat16, msfp8, Posit8. Les résultats de cette analyse étaient en faveur de Posit8. Ceci a motivé la société Kalray à concevoir un décompresseur de FP16 vers Posit8. Enfin, de nombreuses méthodes de compression existent déjà, nous avons décidé de passer à un sujet adjacent qui vise à quantifier théoriquement les effets de l'erreur de quantification sur la précision du réseau. Il s'agit du deuxième objectif de la thèse. Nous remarquons que les mesures de distorsion bien connues ne sont pas adaptées pour prédire la dégradation de la précision dans le cas de l'inférence pour les réseaux de neurones compressés. Nous définissons une nouvelle mesure de distorsion avec une expression analytique qui s’apparente à un rapport signal/bruit. Un ensemble d'expériences a été réalisé en utilisant des données simulées et de petits réseaux qui montrent le potentiel de cette mesure de distorsion
Autonomous cars are complex applications that need powerful hardware machines to be able to function properly. Tasks such as staying between the white lines, reading signs, or avoiding obstacles are solved by using convolutional neural networks (CNNs) to classify or detect objects. It is highly important that all the networks work in parallel in order to transmit all the necessary information and take a common decision. Nowadays, as the networks improve, they also have become bigger and more computational expensive. Deploying even one network becomes challenging. Compressing the networks can solve this issue. Therefore, the first objective of this thesis is to find deep compression methods in order to cope with the memory and computational power limitations present on embedded systems. The compression methods need to be adapted to a specific processor, Kalray's MPPA, for short term implementations. Our contributions mainly focus on compressing the network post-training for storage purposes, which means compressing the parameters of the network without retraining or changing the original architecture and the type of the computations. In the context of our work, we decided to focus on quantization. Our first contribution consists in comparing the performances of uniform quantization and non-uniform quantization, in order to identify which of the two has a better rate-distortion trade-off and could be quickly supported in the company. The company's interest is also directed towards finding new innovative methods for future MPPA generations. Therefore, our second contribution focuses on comparing standard floating-point representations (FP32, FP16) to recently proposed alternative arithmetical representations such as BFloat16, msfp8, Posit8. The results of this analysis were in favor for Posit8. This motivated the company Kalray to conceive a decompressor from FP16 to Posit8. Finally, since many compression methods already exist, we decided to move to an adjacent topic which aims to quantify theoretically the effects of quantization error on the network's accuracy. This is the second objective of the thesis. We notice that well-known distortion measures are not adapted to predict accuracy degradation in the case of inference for compressed neural networks. We define a new distortion measure with a closed form which looks like a signal-to-noise ratio. A set of experiments were done using simulated data and small networks, which show the potential of this distortion measure

Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeur
Recently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE

Cette thèse traite de l’application des réseaux de neurones dans la résolution de problèmes liés aux moteurs électriques. Le chapitre 2 contribue à identifier une structure de réseau de neurones capable d’apprendre la relation multi-variée entre différents signaux d’un moteur électrique. La structure identifiée est ensuite utilisée pour l’estimation vitesse- couple à partir des courants et des tensions.Le chapitre 3 se concentre sur la détection et la correction de défauts de mesure. Notre méthode prend en compte les défauts de capteurs électriques, les défauts mécaniques et l’estimation de température.Le chapitre 4 traite ensuite de la fiabilité de l’estimateur vitesse-couple en cas de courants et de tensions bruités. Nous présentons uneméthode de débruitage permettant de rendre notre estimateur vitesse-couple applicable dans un contexte réaliste. Ensuite, une rapide analyse de la robustesse face à une attaque adverse est menée pour les réseaux neuronaux utilisés dans des applications des moteurs électriques. La capacité de généralisation de l’estimateur vitesse-couple est également brièvement analysée. Dans le chapitre 5, nous nous concentrons sur le dernier obstacle à la mise en œuvre des réseaux de neurones: le coût de calcul. Nous présentons la méthode de sparsification par inclusion sous-différentielle (SIS) permettant de trouver le meilleur réseau parcimonieux à partir de poids pré-calculés, tout en conservant la précision d’origine
This thesis deals with the application of neural networks in solving electrical motor problems. Chapter 2 contributes to identifying a neural network that can learn the multivariate relationship between different electrical motor signals.The identified network is then used for speed-torque estimation from currents and voltages. Chapter 3 focuses on detecting and recovering from faulty measurements. Our method encompasses electrical sensor faults, mechanical faults, and temperature estimation.Chapter 4 then discusses the reliability of the speed-torque estimator in case of noisy currents and voltages. We presenta denoising method which allows our speed- torque estimator to be applicable in a realistic context. This is followed by an analysis of the adversarial robustness of the neural networks used in electrical motor tasks. The generalization capability of the speed-torque estimator is also briefly considered. In Chapter 5, we focus on the final roadblock in achieving real-world application of neural networks: computational requirements. We present the Subdifferential Inclusion for Sparsity (SIS) method to find the best sparse network from pretrained weights while maintaining original accuracy

Par leurs domaines d'application très divers (santé, énergie, défense, finance, navigation autonome...), les réseaux de neurones constituent une composante importante des outils d'apprentissage automatique. Les performances des réseaux de neurones sont grandement influencées par la complexité de leur architecture en nombre de couches, de neurones et de connexions. Mais l'entraînement et l'inférence de réseaux de plus en plus grands implique une sollicitation croissante de ressources matérielles et des temps de calcul plus longs. A l'inverse, leur portabilité se retrouve bridée sur des systèmes embarqués aux faibles capacités mémoire et/ou calculatoire.L'objectif de cette thèse est d'étudier et de concevoir des méthodes permettant de réduire l'empreinte matérielle des réseaux de neurones tout en préservant au mieux leurs performances. Nous nous restreignons aux réseaux de convolution dédiés à la vision par ordinateur en étudiant les possibilités offertes par la quantification. La quantification vise à réduire l'empreinte matérielle des réseaux en mémoire, en bande passante et en opérateurs de calculs par la réduction du nombre de bits des paramètres et des activations.Les contributions de cette thèse consistent en une nouvelle méthode de quantification post-entraînement reposant sur l'exploitation des corrélations spatiales des paramètres du réseau, une approche facilitant l'apprentissage des réseaux très fortement quantifiés, ainsi qu'une méthode visant à combiner la quantification en précision mixte et le codage entropique sans perte.Cette thèse se limite essentiellement aux aspects algorithmiques, mais les orientations de recherche ont été fortement influencées par la contrainte de faisabilité matérielle des propositions apportées
Neural networks are an important component of machine learning tools because of their wide range of applications (health, energy, defence, finance, autonomous navigation, etc.). The performance of neural networks is greatly influenced by the complexity of their architecture in terms of the number of layers, neurons and connections. But the training and inference of ever-larger networks translates to greater demands on hardware resources and longer computing times. Conversely, their portability is limited on embedded systems with low memory and/or computing capacity.The aim of this thesis is to study and design methods for reducing the hardware footprint of neural networks while preserving their performance as much as possible. We restrict ourselves to convolution networks dedicated to computer vision by studying the possibilities offered by quantization. Quantization aims to reduce the hardware footprint, in terms of memory, bandwidth and computation operators, by reducing the number of bits in the network parameters and activations.The contributions of this thesis consist of a new post-training quantization method based on the exploitation of spatial correlations of network parameters, an approach facilitating the learning of very highly quantized networks, and a method aiming to combine mixed precision quantization and lossless entropy coding.The contents of this thesis are essentially limited to algorithmic aspects, but the research orientations were strongly influenced by the requirement for hardware feasibility of our solutions

L’apprentissage automatique utilisant des réseaux neuronaux profonds appliqués à la reconnaissance d’images fonctionne extrêmement bien. Néanmoins, il est possible de modifier intentionnellement et très légèrement les images, modifications quasi invisibles à nos yeux, pour leurrer le système de classification et lui faire classer dans une catégorie visuelle erronée tel ou tel contenu. Ce chapitre dresse un panorama de ces attaques intentionnelles, mais aussi des mécanismes de défense visant à les déjouer.

Ce chapitre décrit les solutions actuelles en matière de modélisation spatio-temporelle. Il passe en revue les caractéristiques artisanales et les approches reposant sur l'apprentissage profond. Il décrit également les architectures développées pour étendre la connectivité des détecteurs de points de repère basés sur les réseaux neuronaux convolutionnels afin d'inclure le mouvement local par le biais d'une connectivité précoce. Il analyse les performances de chaque modèle en termes de vitesse, de taille et de nombre de paramètres. La complémentarité entre le mouvement local et le mouvement global a également fait l'objet d’expérimentations. Le protocole expérimental, les détails d'implémentation et les résultats sont présentés avec leur analyse. Des expérimentations sur deux ensembles de données, 300VW et SNaP-2DFe sont fournies afin d'évaluer les résultats obtenus et de les comparer avec les approches de l'état de l'art.

La mission Sentinel-2 de Copernicus est conçue pour fournir des données pouvant être utilisées pour cartographier les variables biophysiques de la végétation a une échelle globale. Les estimations des variables biophysiques de la végétation ne sont pas encore produites de manière opérationnelle par le segment au sol de Sentinel-2. Plutôt, un algorithme de prédiction, appelé Simplified Level 2 Prototype Processor (SL2P), a été défini par l'Agence Spatiale Européenne. SL2P utilise deux réseaux neuronaux à rétropropagation, un pour estimer le variable biophysique de la végétation et l’autre pour quantifier l'incertitude de l'estimation, en utilisant une base de données de conditions de canopée globalement représentatives peuplée à l'aide de simulations de modèle de transfert radiatif de la canopée. SL2P a été mis en œuvre dans la boîte à outils LEAF du Centre Canadien de Télédétection qui s'appuie sur Google Earth Engine. Ce document décrit une implémentation PYTHON de SL2P (SL2P-PYTHON) qui fournit des estimations identiques estimations obtenues avec LEAF en utilisant la même image Sentinel-2 en entrée.