Добірка наукової літератури з теми "Oubli catastrophique (informatique)"

L'objectif principal de cette thèse est d'explorer la connectivité cérébrale et celle des réseaux de neurones artificiels d'un point de vue de leur connectivité. Un modèle par graphes pour l'analyse de la connectivité structurelle et fonctionnelle a été largement étudié dans le contexte du cerveau humain mais, un tel cadre d'analyse manque encore pour l'analyse des systèmes artificiels. Avec l'objectif d'intégrer l'analyse de la connectivité dans les système artificiels, cette recherche se concentre sur deux axes principaux. Dans le premier axe, l'objectif principal est de déterminer une caractérisation de la signature saine de la connectivité fonctionnelle de repos du cerveau humain. Pour atteindre cet objectif, une nouvelle méthode est proposée, intégrant des statistiques de graphe traditionnelles et des outils de réduction de réseau, pour déterminer des modèles de connectivité sains. Ainsi, nous construisons une comparaison en paires de graphes et un classifieur pour identifier les états pathologiques et identifier les régions cérébrales perturbées par une pathologie. De plus, la généralisation et la robustesse de la méthode proposée ont été étudiées sur plusieurs bases de données et variations de la qualité des données. Le deuxième axe de recherche explore les avantages de l'intégration des études de la connectivité inspirée du cerveau aux réseaux de neurones artificiels (ANNs) dans la perspective du développement de systèmes artificiels plus robustes. Un problème majeur de robustesse dans les modèles d'ANN est représenté par l'oubli catastrophique qui apparaît lorsque le réseau oublie dramatiquement les tâches précédemment apprises lors de l'adaptation à de nouvelles tâches. Notre travail démontre que la modélisation par graphes offre un cadre simple et élégant pour étudier les ANNs, comparer différentes stratégies d'apprentissage et détecter des comportements nuisibles tels que l'oubli catastrophique. De plus, nous soulignons le potentiel d'une adaptation à de nouvelles tâches en contrôlant les graphes afin d'atténuer efficacement l'oubli catastrophique et jetant ainsi les bases de futures recherches et explorations dans ce domaine
The main objective of this thesis is to explore brain and artificial neural network connectivity from agraph-based perspective. While structural and functional connectivity analysis has been extensivelystudied in the context of the human brain, there is a lack of a similar analysis framework in artificialsystems.To address this gap, this research focuses on two main axes.In the first axis, the main objective is to determine a healthy signature characterization of the humanbrain resting state functional connectivity. To achieve this objective, a novel framework is proposed,integrating traditional graph statistics and network reduction tools, to determine healthy connectivitypatterns. Hence, we build a graph pair-wise comparison and a classifier to identify pathological statesand rank associated perturbed brain regions. Additionally, the generalization and robustness of theproposed framework were investigated across multiple datasets and variations in data quality.The second research axis explores the benefits of brain-inspired connectivity exploration of artificialneural networks (ANNs) in the future perspective of more robust artificial systems development. Amajor robustness issue in ANN models is represented by catastrophic forgetting when the networkdramatically forgets previously learned tasks when adapting to new ones. Our work demonstrates thatgraph modeling offers a simple and elegant framework for investigating ANNs, comparing differentlearning strategies, and detecting deleterious behaviors such as catastrophic forgetting.Moreover, we explore the potential of leveraging graph-based insights to effectively mitigatecatastrophic forgetting, laying a foundation for future research and explorations in this area

Le cerveau humain reçoit en continu des informations en provenance de stimuli externes. Il a alors la capacité de s’adapter à de nouvelles connaissances tout en conservant une mémoire précise de la connaissance apprise par le passé. De plus en plus d’algorithmes d’intelligence artificielle visent à apprendre des connaissances à la manière d’un être humain. Ils doivent alors être mis à jour sur des données variées arrivant séquentiellement et disponibles sur un temps limité. Cependant, un des verrous majeurs de l’apprentissage profond réside dans le fait que lors de l’apprentissage de nouvelles connaissances, les anciennes sont quant-à-elles perdues définitivement, c’est ce que l’on appelle « l’oubli catastrophique ». De nombreuses méthodes ont été proposées pour répondre à cette problématique, mais celles-ci ne sont pas toujours applicables à une mise en situation réelle car elles sont construites pour obtenir les meilleures performances possibles sur un seul scénario d’arrivée de données à la fois. Par ailleurs, les meilleures méthodes existant dans l’état de l’art sont la plupart du temps ce que l’on appelle des méthodes à « rejeu de données » qui vont donc conserver une petite mémoire du passé, posant ainsi un problème dans la gestion de la confidentialité des données ainsi que dans la gestion de la taille mémoire disponible.Dans cette thèse, nous proposons d’explorer divers scénarios d’arrivée de données existants dans la littérature avec, pour objectif final, l’application à la reconnaissance faciale d’émotion qui est essentielle pour les interactions humain-machine. Pour cela nous présenterons l’algorithme Dream Net – Data-Free qui est capable de s’adapter à un vaste nombre de scenarii d’arrivée des données sans stocker aucune donnée passée. Cela lui permet donc de préserver la confidentialité des données apprises. Après avoir montré la robustesse de cet algorithme comparé aux méthodes existantes de l’état de l’art sur des bases de données classiques de la vision par ordinateur (Mnist, Cifar-10, Cifar-100 et Imagenet-100), nous verrons qu’il fonctionne également sur des bases de données de reconnaissance faciale d’émotions. En s’appuyant sur ces résultats, nous proposons alors un démonstrateur embarquant l’algorithme sur une carte Nvidia Jetson nano. Enfin nous discuterons la pertinence de notre approche pour la réduction des biais en intelligence artificielle ouvrant ainsi des perspectives vers une IA plus robuste et éthique
The human brain continuously receives information from external stimuli. It then has the ability to adapt to new knowledge while retaining past events. Nowadays, more and more artificial intelligence algorithms aim to learn knowledge in the same way as a human being. They therefore have to be able to adapt to a large variety of data arriving sequentially and available over a limited period of time. However, when a deep learning algorithm learns new data, the knowledge contained in the neural network overlaps old one and the majority of the past information is lost, a phenomenon referred in the literature as catastrophic forgetting. Numerous methods have been proposed to overcome this issue, but as they were focused on providing the best performance, studies have moved away from real-life applications where algorithms need to adapt to changing environments and perform, no matter the type of data arrival. In addition, most of the best state of the art methods are replay methods which retain a small memory of the past and consequently do not preserve data privacy.In this thesis, we propose to explore data arrival scenarios existing in the literature, with the aim of applying them to facial emotion recognition, which is essential for human-robot interactions. To this end, we present Dream Net - Data-Free, a privacy preserving algorithm, able to adapt to a large number of data arrival scenarios without storing any past samples. After demonstrating the robustness of this algorithm compared to existing state-of-the-art methods on standard computer vision databases (Mnist, Cifar-10, Cifar-100 and Imagenet-100), we show that it can also adapt to more complex facial emotion recognition databases. We then propose to embed the algorithm on a Nvidia Jetson nano card creating a demonstrator able to learn and predict emotions in real-time. Finally, we discuss the relevance of our approach for bias mitigation in artificial intelligence, opening up perspectives towards a more ethical AI

La localisation d'une personne ou d'un bien dans des environnements intérieurs est devenue une nécessité. Le système de positionnement par satellites, une solution prédominante pour la localisation en extérieur, rencontre des limites lorsqu'il est appliqué en intérieur en raison de la réflexion des signaux et de l'atténuation causée par les obstacles. Pour y remédier, diverses solutions de localisation en intérieur ont été étudiées. Les méthodes de localisation en intérieur sans fil exploitent les signaux pour déterminer la position d'un appareil dans un environnement intérieur. Cependant, l'interférence des signaux, souvent causée par des obstacles physiques, des réflexions et des appareils concurrents, peut entraîner des imprécisions dans l'estimation de la position. De plus, ces méthodes nécessitent le déploiement d'infrastructures, ce qui entraîne des coûts d'installation et de maintenance. Une autre approche consiste à estimer le mouvement de l'utilisateur à l'aide des capteurs inertiels de l'appareil. Toutefois, cette méthode se heurte à des difficultés liées à la précision des capteurs, aux caractéristiques de mouvement de l'utilisateur et à la dérive temporelle. D'autres techniques de localisation en intérieur exploitent les champs magnétiques générés par la Terre et les structures métalliques. Ces techniques dépendent des appareils et des capteurs utilisés ainsi que de l'environnement dans lequel se situe l'utilisateur.L'objectif de cette thèse est de réaliser un système de localisation en intérieur conçu pour les professionnels, tels que les pompiers, les officiers de police et les travailleurs isolés, qui ont besoin de solutions de positionnement précises et robustes dans des environnements intérieurs complexes. Dans cette thèse, nous proposons un système de localisation en intérieur qui exploite les récentes avancées en vision par ordinateur pour localiser une personne à l’intérieur d’un bâtiment. Nous développons un système de localisation au niveau de la pièce. Ce système est basé sur l'apprentissage profond et les capteurs intégrés dans le smartphone, combinant ainsi les informations visuelles avec le cap magnétique du smartphone. Pour se localiser, l'utilisateur capture une image de l'environnement intérieur à l'aide d'un smartphone équipé d'une caméra, d'un accéléromètre et d'un magnétomètre. L'image capturée est ensuite traitée par notre système composé de plusieurs réseaux neuronaux convolutionnels directionnels pour identifier la pièce spécifique dans laquelle se situe l'utilisateur. Le système proposé nécessite une infrastructure minimale et fournit une localisation précise. Nous soulignons l'importance de la maintenance continue du système de localisation en intérieur par vision. Ce système nécessite une maintenance régulière afin de s'adapter à l'évolution des environnements intérieurs, en particulier lorsque de nouvelles pièces doivent être intégrées dans le système de localisation existant. L'apprentissage incrémental par classe est une approche de vision par ordinateur qui permet aux réseaux neuronaux profonds d'intégrer de nouvelles classes au fil du temps sans oublier les connaissances déjà acquises. Dans le contexte de la localisation en intérieur par vision, ce concept doit être appliqué pour prendre en compte de nouvelles pièces. La sélection d'échantillons représentatifs est essentielle pour contrôler les limites de la mémoire, éviter l'oubli et conserver les connaissances des classes déjà apprises. Nous développons une méthode de sélection d'échantillons basée sur la cohérence pour l'apprentissage incrémental par classe dans le cadre de l'apprentissage profond. La pertinence de la méthodologie et des contributions algorithmiques de cette thèse est rigoureusement testée et validée par des expérimentations et des évaluations complètes sur des données réelles
The need to determine the location of individuals or objects in indoor environments has become an essential requirement. The Global Navigation Satellite System, a predominant outdoor localization solution, encounters limitations when applied indoors due to signal reflections and attenuation caused by obstacles. To address this, various indoor localization solutions have been explored. Wireless-based indoor localization methods exploit wireless signals to determine a device's indoor location. However, signal interference, often caused by physical obstructions, reflections, and competing devices, can lead to inaccuracies in location estimation. Additionally, these methods require access points deployment, incurring associated costs and maintenance efforts. An alternative approach is dead reckoning, which estimates a user's movement using a device's inertial sensors. However, this method faces challenges related to sensor accuracy, user characteristics, and temporal drift. Other indoor localization techniques exploit magnetic fields generated by the Earth and metal structures. These techniques depend on the used devices and sensors as well as the user's surroundings.The goal of this thesis is to provide an indoor localization system designed for professionals, such as firefighters, police officers, and lone workers, who require precise and robust positioning solutions in challenging indoor environments. In this thesis, we propose a vision-based indoor localization system that leverages recent advances in computer vision to determine the location of a person within indoor spaces. We develop a room-level indoor localization system based on Deep Learning (DL) and built-in smartphone sensors combining visual information with smartphone magnetic heading. To achieve localization, the user captures an image of the indoor surroundings using a smartphone, equipped with a camera, an accelerometer, and a magnetometer. The captured image is then processed using our proposed multiple direction-driven Convolutional Neural Networks to accurately predict the specific indoor room. The proposed system requires minimal infrastructure and provides accurate localization. In addition, we highlight the importance of ongoing maintenance of the vision-based indoor localization system. This system necessitates regular maintenance to adapt to changing indoor environments, particularly when new rooms have to be integrated into the existing localization framework. Class-Incremental Learning (Class-IL) is a computer vision approach that allows deep neural networks to incorporate new classes over time without forgetting the knowledge previously learned. In the context of vision-based indoor localization, this concept must be applied to accommodate new rooms. The selection of representative samples is essential to control memory limits, avoid forgetting, and retain knowledge from previous classes. We develop a coherence-based sample selection method for Class-IL, bringing forward the advantages of the coherence measure to a DL framework. The relevance of the methodology and algorithmic contributions of this thesis is rigorously tested and validated through comprehensive experimentation and evaluations on real datasets

Nous nous intéressons au problème de l'apprentissage continu de réseaux de neurones artificiels dans le cas où les données ne sont accessibles que pour une seule catégorie à la fois. Pour remédier au problème de l'oubli catastrophique qui limite les performances d'apprentissage dans ces conditions, nous proposons une approche basée sur la représentation des données d'une catégorie par une loi normale. Les transformations associées à ces représentations sont effectuées à l'aide de réseaux inversibles, qui peuvent alors être entraînés avec les données d'une seule catégorie. Chaque catégorie se voit attribuer un réseau pour représenter ses caractéristiques. Prédire la catégorie revient alors à identifier le réseau le plus représentatif. L'avantage d'une telle approche est qu'une fois qu'un réseau est entraîné, il n'est plus nécessaire de le mettre à jour par la suite, chaque réseau étant indépendant des autres. C'est cette propriété particulièrement avantageuse qui démarque notre méthode des précédents travaux dans ce domaine. Nous appuyons notre démonstration sur des expériences réalisées sur divers jeux de données et montrons que notre approche fonctionne favorablement comparé à l'état de l'art. Dans un second temps, nous proposons d'optimiser notre approche en réduisant son impact en mémoire en factorisant les paramètres des réseaux. Il est alors possible de réduire significativement le coût de stockage de ces réseaux avec une perte de performances limitée. Enfin, nous étudions également des stratégies pour produire des réseaux capables d'être réutilisés sur le long terme et nous montrons leur pertinence par rapport aux réseaux traditionnellement utilisés pour l'apprentissage continu
We are interested in the problem of continual learning of artificial neural networks in the case where the data are available for only one class at a time. To address the problem of catastrophic forgetting that restrain the learning performances in these conditions, we propose an approach based on the representation of the data of a class by a normal distribution. The transformations associated with these representations are performed using invertible neural networks, which can be trained with the data of a single class. Each class is assigned a network that will model its features. In this setting, predicting the class of a sample corresponds to identifying the network that best fit the sample. The advantage of such an approach is that once a network is trained, it is no longer necessary to update it later, as each network is independent of the others. It is this particularly advantageous property that sets our method apart from previous work in this area. We support our demonstration with experiments performed on various datasets and show that our approach performs favorably compared to the state of the art. Subsequently, we propose to optimize our approach by reducing its impact on memory by factoring the network parameters. It is then possible to significantly reduce the storage cost of these networks with a limited performance loss. Finally, we also study strategies to produce efficient feature extractor models for continual learning and we show their relevance compared to the networks traditionally used for continual learning

Dans cette thèse, nous proposons une nouvelle approche de l’apprentissage profond pour la classification des flux de données de grande dimension. Au cours des dernières années, les réseaux de neurones sont devenus la référence dans diverses applications d’apprentissage automatique. Cependant, la plupart des méthodes basées sur les réseaux de neurones sont conçues pour résoudre des problèmes d’apprentissage statique. Effectuer un apprentissage profond en ligne est une tâche difficile. La principale difficulté est que les classificateurs basés sur les réseaux de neurones reposent généralement sur l’hypothèse que la séquence des lots de données utilisées pendant l’entraînement est stationnaire ; ou en d’autres termes, que la distribution des classes de données est la même pour tous les lots (hypothèse i.i.d.). Lorsque cette hypothèse ne tient pas les réseaux de neurones ont tendance à oublier les concepts temporairement indisponibles dans le flux. Dans la littérature scientifique, ce phénomène est généralement appelé oubli catastrophique. Les approches que nous proposons ont comme objectif de garantir la nature i.i.d. de chaque lot qui provient du flux et de compenser l’absence de données historiques. Pour ce faire, nous entrainons des modèles génératifs et pseudo-génératifs capable de produire des échantillons synthétiques à partir des classes absentes ou mal représentées dans le flux, et complètent les lots du flux avec ces échantillons. Nous testons nos approches dans un scénario d’apprentissage incrémental et dans un type spécifique de l’apprentissage continu. Nos approches effectuent une classification sur des flux de données dynamiques avec une précision proche des résultats obtenus dans la configuration de classification statique où toutes les données sont disponibles pour la durée de l’apprentissage. En outre, nous démontrons la capacité de nos méthodes à s’adapter à des classes de données invisibles et à de nouvelles instances de catégories de données déjà connues, tout en évitant d’oublier les connaissances précédemment acquises
In this thesis, we propose a new deep-learning-based approach for online classification on streams of high-dimensional data. In recent years, Neural Networks (NN) have become the primary building block of state-of-the-art methods in various machine learning problems. Most of these methods, however, are designed to solve the static learning problem, when all data are available at once at training time. Performing Online Deep Learning is exceptionally challenging.The main difficulty is that NN-based classifiers usually rely on the assumption that the sequence of data batches used during training is stationary, or in other words, that the distribution of data classes is the same for all batches (i.i.d. assumption).When this assumption does not hold Neural Networks tend to forget the concepts that are temporarily not available in thestream. In the literature, this phenomenon is known as catastrophic forgetting. The approaches we propose in this thesis aim to guarantee the i.i.d. nature of each batch that comes from the stream and compensates for the lack of historical data. To do this, we train generative models and pseudo-generative models capable of producing synthetic samples from classes that are absent or misrepresented in the stream and complete the stream’s batches with these samples. We test our approaches in an incremental learning scenario and a specific type of continuous learning. Our approaches perform classification on dynamic data streams with the accuracy close to the results obtained in the static classification configuration where all data are available for the duration of the learning. Besides, we demonstrate the ability of our methods to adapt to invisible data classes and new instances of already known data categories, while avoiding forgetting the previously acquired knowledge