Academic literature on the topic 'Distillation de connaissances'

Le traitement du langage naturel (NLP) est un domaine en pleine expansion axé sur le développement d'algorithmes et de systèmes permettant de comprendre et de manipuler les données du langage naturel. La capacité à traiter et à analyser efficacement les données du langage naturel est devenue de plus en plus importante ces dernières années, car le volume de données textuelles générées par les individus, les organisations et la société dans son ensemble continue de croître de façon significative. Les graphes de connaissances sont des structures qui encodent des informations sur les entités et les relations entre elles. Ils constituent un outil puissant qui permet de représenter les connaissances de manière structurée et formalisée, et de fournir une compréhension globale des concepts sous-jacents et de leurs relations. La capacité d'apprendre des représentations de graphes de connaissances a le potentiel de transformer le traitement automatique du langage et d'autres domaines qui reposent sur de grandes quantités de données structurées. Les travaux menés dans cette thèse visent à explorer le concept de distillation des connaissances et, plus particulièrement, l'apprentissage mutuel pour l'apprentissage de représentations d'espace distincts et complémentaires. Notre première contribution est de proposer un nouveau cadre pour l'apprentissage d'entités et de relations sur des bases de connaissances multiples appelé KD-MKB. L'objectif clé de l'apprentissage de représentations multigraphes est d'améliorer les modèles d'entités et de relations avec différents contextes de graphes qui peuvent potentiellement faire le lien entre des contextes sémantiques distincts. Notre approche est basée sur le cadre théorique de la distillation des connaissances et de l'apprentissage mutuel. Elle permet un transfert de connaissances efficace entre les KBs tout en préservant la structure relationnelle de chaque graphe de connaissances. Nous formalisons l'inférence d'entités et de relations entre les bases de connaissances comme un objectif de distillation sur les distributions de probabilité postérieures à partir des connaissances alignées. Sur la base de ces résultats, nous proposons et formalisons un cadre de distillation coopératif dans lequel un ensemble de modèles de KB sont appris conjointement en utilisant les connaissances de leur propre contexte et les softs labels fournies par leurs pairs. Notre deuxième contribution est une méthode permettant d'incorporer des informations riches sur les entités provenant de bases de connaissances dans des modèles de langage pré-entraînés (PLM). Nous proposons un cadre original de distillation coopératif des connaissances pour aligner la tâche de pré-entraînement de modèles de langage masqués et l'objectif de prédiction de liens des modèles de représentation de KB. En exploitant les informations encodées dans les bases de connaissances et les modèles de langage pré-entraînés, notre approche offre une nouvelle direction de recherche pour améliorer la capacité à traiter les entités des systèmes de slot filling basés sur les PLMs
Natural language processing (NLP) is a rapidly growing field focusing on developing algorithms and systems to understand and manipulate natural language data. The ability to effectively process and analyze natural language data has become increasingly important in recent years as the volume of textual data generated by individuals, organizations, and society as a whole continues to grow significantly. One of the main challenges in NLP is the ability to represent and process knowledge about the world. Knowledge graphs are structures that encode information about entities and the relationships between them, they are a powerful tool that allows to represent knowledge in a structured and formalized way, and provide a holistic understanding of the underlying concepts and their relationships. The ability to learn knowledge graph representations has the potential to transform NLP and other domains that rely on large amounts of structured data. The work conducted in this thesis aims to explore the concept of knowledge distillation and, more specifically, mutual learning for learning distinct and complementary space representations. Our first contribution is proposing a new framework for learning entities and relations on multiple knowledge bases called KD-MKB. The key objective of multi-graph representation learning is to empower the entity and relation models with different graph contexts that potentially bridge distinct semantic contexts. Our approach is based on the theoretical framework of knowledge distillation and mutual learning. It allows for efficient knowledge transfer between KBs while preserving the relational structure of each knowledge graph. We formalize entity and relation inference between KBs as a distillation loss over posterior probability distributions on aligned knowledge. Grounded on this finding, we propose and formalize a cooperative distillation framework where a set of KB models are jointly learned by using hard labels from their own context and soft labels provided by peers. Our second contribution is a method for incorporating rich entity information from knowledge bases into pre-trained language models (PLM). We propose an original cooperative knowledge distillation framework to align the masked language modeling pre-training task of language models and the link prediction objective of KB embedding models. By leveraging the information encoded in knowledge bases, our proposed approach provides a new direction to improve the ability of PLM-based slot-filling systems to handle entities

Cette thèse explore les méthodes d'apprentissage auto-supervisé pour la localisation d'objets, communément appelées « Object Discovery ». La localisation d'objets dans les images et les vidéos est un élément essentiel des tâches de vision par ordinateur telles que la détection, la ré-identification, le suivi, etc. Les algorithmes supervisés actuels peuvent localiser (et classifier) les objets avec précision, mais ils sont coûteux en raison de la nécessité de données annotées. Le processus d'étiquetage est généralement répété pour chaque nouvelle donnée ou catégorie d'intérêt, limitant ainsi leur évolutivité. De plus, les approches sémantiquement spécialisées nécessitent une connaissance préalable des classes cibles, restreignant leur utilisation aux objets connus. La découverte d'objets vise à pallier ces limitations en étant plus générique. La première contribution de la thèse s'est concentrée sur la modalité image, en étudiant comment les caractéristiques des modèles transformers de vision auto-supervisés peuvent servir d'indices pour la découverte d'objets multiples. Afin de localiser les objets dans leur définition la plus large, nous avons étendu notre étude aux données vidéo, en exploitant les indices de mouvement et en ciblant la localisation d'objets capables de se déplacer. Nous avons introduit la modélisation de l'arrière-plan et la distillation de connaissances dans la découverte d'objets pour résoudre le problème de la sur-segmentation de l'arrière-plan dans les méthodes existantes, et pour réintégrer les objets statiques, améliorant ainsi de manière significative le rapport signal/bruit dans les prédictions. Reconnaissant les limites des données à modalité unique, nous avons incorporé des données 3D à travers un apprentissage par distillation de connaissances cross-modale. L'échange de connaissances entre les domaines 2D et 3D a permis d'améliorer l'alignement des régions d'objets entre les deux modalités, rendant possible l'utilisation de la cohérence multi-modale comme critère de confiance
This thesis explores self-supervised learning methods for object localization, commonly known as Object Discovery. Object localization in images and videos is an essential component of computer vision tasks such as detection, re-identification, tracking etc. Current supervised algorithms can localize (and classify) objects accurately but are costly due to the need for annotated data. The process of labeling is typically repeated for each new data or category of interest, limiting their scalability. Additionally, the semantically specialized approaches require prior knowledge of the target classes, restricting their use to known objects. Object Discovery aims to address these limitations by being more generic. The first contribution of this thesis focused on the image modality, investigating how features from self-supervised vision transformers can serve as cues for multi-object discovery. To localize objects in their broadest definition, we extended our focus to video data, leveraging motion cues and targeting the localization of objects that can move. We introduced background modeling and knowledge distillation in object discovery to tackle the background over-segmentation issue in existing object discovery methods and to reintegrate static objects, significantly improving the signal-to-noise ratio in predictions. Recognizing the limitations of single-modality data, we incorporated 3D data through a cross-modal distillation framework. The knowledge exchange between 2D and 3D domains improved alignment on object regions between the two modalities, enabling the use of multi-modal consistency as a confidence criterion

Intégrer des algorithmes d'intelligence artificielle (IA) directement dans des satellites présente de nombreux défis. Ces systèmes embarqués, fortement limités en consommation d'énergie et en empreinte mémoire, doivent également résister aux interférences. Cela nécessite systématiquement l'utilisation de systèmes sur puce (SoC) afin de combiner deux systèmes dits « hétérogènes » : un microcontrôleur polyvalent et un accélérateur de calcul économe en énergie (comme un FPGA ou un ASIC). Pour relever les défis liés au portage de telles architectures, cette thèse se concentre sur l'optimisation et le déploiement de réseaux de neurones sur des architectures embarquées hétérogènes, dans le but de trouver un compromis entre la consommation d'énergie et la performance de l'IA. Dans le chapitre 2 de cette thèse, une étude approfondie des techniques de compression récentes pour des réseaux de neurones formels (FNN) tels que les MLP ou CNN a tout d'abord été effectuée. Ces techniques, qui permettent de réduire la complexité calculatoire et l'empreinte mémoire de ces modèles, sont essentielles pour leur déploiement dans des environnements aux ressources limitées. Les réseaux de neurones impulsionnels (SNN) ont également été explorés. Ces réseaux bio-inspirés peuvent en effet offrir une plus grande efficacité énergétique par rapport aux FNN. Dans le chapitre 3, nous avons ainsi adapté et élaboré des méthodes de quantification innovantes afin de réduire le nombre de bits utilisés pour représenter les valeurs d'un réseau impulsionnel. Nous avons ainsi pu confronter la quantification des SNN et des FNN, afin d'en comparer et comprendre les pertes et gains respectifs. Néanmoins, réduire l'activité d'un SNN (e.g. le nombre d'impulsions générées lors de l'inférence) améliore directement l'efficacité énergétique des SNN. Dans ce but, nous avons exploité dans le chapitre 4 des techniques de distillation de connaissances et de régularisation. Ces méthodes permettent de réduire l'activité impulsionnelle du réseau tout en préservant son accuracy, ce qui garantit un fonctionnement efficace des SNN sur du matériel à ressources limitées. Dans la dernière partie de cette thèse, nous nous sommes intéressés à l'hybridation des SNN et FNN. Ces réseaux hybrides (HNN) visent à optimiser encore davantage l'efficacité énergétique tout en améliorant les performances. Nous avons également proposé des réseaux multi-timesteps innovants, qui traitent l'information à des latences différentes à travers les couches d'un même SNN. Les résultats expérimentaux montrent que cette approche permet une réduction de la consommation d'énergie globale tout en maintenant les performances sur un ensemble de tâches. Ce travail de thèse constitue une base pour déployer les futures applications des réseaux de neurones dans l'espace. Pour valider nos méthodes, nous fournissons une analyse comparative sur différents jeux de données publics (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) et sur un jeu de données privé pour la segmentation des nuages. Nos approches sont évaluées sur la base de métriques telles que l'accuracy, la consommation d'énergie ou l'activité du SNN. Ce travail de recherche ne se limite pas aux applications aérospatiales. Nous avons en effet mis en évidence le potentiel des SNN quantifiés, des réseaux de neurones hybrides et des réseaux multi-timesteps pour une variété de scénarios réels où l'efficacité énergétique est cruciale. Ce travail offre ainsi des perspectives intéressantes pour des domaines tels que les dispositifs IoT, les véhicules autonomes et d'autres systèmes nécessitant un déploiement efficace de l'IA
Integrating artificial intelligence (AI) algorithms directly into satellites presents numerous challenges. These embedded systems, which are heavily limited in energy consumption and memory footprint, must also withstand interference. This systematically requires the use of system-on-chip (SoC) solutions to combine two so-called “heterogeneous” systems: a versatile microcontroller and an energy-efficient computing accelerator (such as an FPGA or ASIC). To address the challenges related to deploying such architectures, this thesis focuses on optimizing and deploying neural networks on heterogeneous embedded architectures, aiming to balance energy consumption and AI performance.In Chapter 2 of this thesis, an in-depth study of recent compression techniques for feedforward neural networks (FNN) like MLPs or CNNs was conducted. These techniques, which reduce the computational complexity and memory footprint of these models, are essential for deployment in resource-constrained environments. Spiking neural networks (SNN) were also explored. These bio-inspired networks can indeed offer greater energy efficiency compared to FNNs.In Chapter 3, we adapted and developed innovative quantization methods to reduce the number of bits used to represent the values in a spiking network. This allowed us to compare the quantization of SNNs and FNNs, to understand and assess their respective trade-offs in terms of losses and gains. Reducing the activity of an SNN (e.g., the number of spikes generated during inference) directly improves the energy efficiency of SNNs. To this end, in Chapter 4, we leveraged knowledge distillation and regularization techniques. These methods reduce the spiking activity of the network while preserving its accuracy, ensuring effective operation of SNNs on resource-limited hardware.In the final part of this thesis, we explored the hybridization of SNNs and FNNs. These hybrid networks (HNN) aim to further optimize energy efficiency while enhancing performance. We also proposed innovative multi-timestep networks, which process information with different latencies across layers within the same SNN. Experimental results show that this approach enables a reduction in overall energy consumption while maintaining performance across a range of tasks.This thesis serves as a foundation for deploying future neural network applications in space. To validate our methods, we provide a comparative analysis on various public datasets (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) as well as on a private dataset for cloud segmentation. Our approaches are evaluated based on metrics such as accuracy, energy consumption, or SNN activity. This research extends beyond aerospace applications. We have demonstrated the potential of quantized SNNs, hybrid neural networks, and multi-timestep networks for a variety of real-world scenarios where energy efficiency is critical. This work offers promising prospects for fields such as IoT devices, autonomous vehicles, and other systems requiring efficient AI deployment

Cette étude a pour but de mettre en évidence les composes clés responsables de l'arôme de trois vins de gewurztraminer alsacien d'expressions différentes. L'isolement des composés volatils est réalisé par démixtion du vin dans le but d'analyser le même extrait, d'une part d'un point de vue sensoriel, et d'autre part à l'aide de méthodes physico-chimiques, notamment par chromatographie en phase gazeuse couplée a différents modes de détection (F. I. D. , Spectrométrie De Masse Et Olfactométrie). Les trois vins étudiés ainsi que leurs extraits respectifs sont différenciés par l'ensemble du jury et l'analyse statistique des mesures olfactives montre que les extraits sont perçus comme très représentatifs des vins d'origine. Afin d'être compatible avec une éventuelle analyse chromatographique en phase gazeuse, ces extraits ont été ultradistillés. L'analyse des données sensorielles indique que les extraits ultradistillés ne sont pas statistiquement différents des extraits bruts et qu'ils conservent les particularités aromatiques des échantillons d'origine. L'étude olfactométrique des extraits distillés est réalisée par Finger Span Cross Modality Matching (FSCM). Cette méthode est basée sur l'évaluation intuitive de l'intensité des odeurs détectées. Le nombre d'odeurs par vin détectées par le jury de six sujets varie entre 87 et 121. Le traitement des données a permis de mettre en évidence 44 zones odorantes communes aux trois extraits de vin. Quantitativement, ces extraits sont différenciés par les mesures d'intensité attribuées à 10 des 44 odeurs. Parmi ces 44 zones odorantes, 27 sont associées à des molécules considérées comme clés identifiées par spectrométrie de masse.

La localisation d'une personne ou d'un bien dans des environnements intérieurs est devenue une nécessité. Le système de positionnement par satellites, une solution prédominante pour la localisation en extérieur, rencontre des limites lorsqu'il est appliqué en intérieur en raison de la réflexion des signaux et de l'atténuation causée par les obstacles. Pour y remédier, diverses solutions de localisation en intérieur ont été étudiées. Les méthodes de localisation en intérieur sans fil exploitent les signaux pour déterminer la position d'un appareil dans un environnement intérieur. Cependant, l'interférence des signaux, souvent causée par des obstacles physiques, des réflexions et des appareils concurrents, peut entraîner des imprécisions dans l'estimation de la position. De plus, ces méthodes nécessitent le déploiement d'infrastructures, ce qui entraîne des coûts d'installation et de maintenance. Une autre approche consiste à estimer le mouvement de l'utilisateur à l'aide des capteurs inertiels de l'appareil. Toutefois, cette méthode se heurte à des difficultés liées à la précision des capteurs, aux caractéristiques de mouvement de l'utilisateur et à la dérive temporelle. D'autres techniques de localisation en intérieur exploitent les champs magnétiques générés par la Terre et les structures métalliques. Ces techniques dépendent des appareils et des capteurs utilisés ainsi que de l'environnement dans lequel se situe l'utilisateur.L'objectif de cette thèse est de réaliser un système de localisation en intérieur conçu pour les professionnels, tels que les pompiers, les officiers de police et les travailleurs isolés, qui ont besoin de solutions de positionnement précises et robustes dans des environnements intérieurs complexes. Dans cette thèse, nous proposons un système de localisation en intérieur qui exploite les récentes avancées en vision par ordinateur pour localiser une personne à l’intérieur d’un bâtiment. Nous développons un système de localisation au niveau de la pièce. Ce système est basé sur l'apprentissage profond et les capteurs intégrés dans le smartphone, combinant ainsi les informations visuelles avec le cap magnétique du smartphone. Pour se localiser, l'utilisateur capture une image de l'environnement intérieur à l'aide d'un smartphone équipé d'une caméra, d'un accéléromètre et d'un magnétomètre. L'image capturée est ensuite traitée par notre système composé de plusieurs réseaux neuronaux convolutionnels directionnels pour identifier la pièce spécifique dans laquelle se situe l'utilisateur. Le système proposé nécessite une infrastructure minimale et fournit une localisation précise. Nous soulignons l'importance de la maintenance continue du système de localisation en intérieur par vision. Ce système nécessite une maintenance régulière afin de s'adapter à l'évolution des environnements intérieurs, en particulier lorsque de nouvelles pièces doivent être intégrées dans le système de localisation existant. L'apprentissage incrémental par classe est une approche de vision par ordinateur qui permet aux réseaux neuronaux profonds d'intégrer de nouvelles classes au fil du temps sans oublier les connaissances déjà acquises. Dans le contexte de la localisation en intérieur par vision, ce concept doit être appliqué pour prendre en compte de nouvelles pièces. La sélection d'échantillons représentatifs est essentielle pour contrôler les limites de la mémoire, éviter l'oubli et conserver les connaissances des classes déjà apprises. Nous développons une méthode de sélection d'échantillons basée sur la cohérence pour l'apprentissage incrémental par classe dans le cadre de l'apprentissage profond. La pertinence de la méthodologie et des contributions algorithmiques de cette thèse est rigoureusement testée et validée par des expérimentations et des évaluations complètes sur des données réelles
The need to determine the location of individuals or objects in indoor environments has become an essential requirement. The Global Navigation Satellite System, a predominant outdoor localization solution, encounters limitations when applied indoors due to signal reflections and attenuation caused by obstacles. To address this, various indoor localization solutions have been explored. Wireless-based indoor localization methods exploit wireless signals to determine a device's indoor location. However, signal interference, often caused by physical obstructions, reflections, and competing devices, can lead to inaccuracies in location estimation. Additionally, these methods require access points deployment, incurring associated costs and maintenance efforts. An alternative approach is dead reckoning, which estimates a user's movement using a device's inertial sensors. However, this method faces challenges related to sensor accuracy, user characteristics, and temporal drift. Other indoor localization techniques exploit magnetic fields generated by the Earth and metal structures. These techniques depend on the used devices and sensors as well as the user's surroundings.The goal of this thesis is to provide an indoor localization system designed for professionals, such as firefighters, police officers, and lone workers, who require precise and robust positioning solutions in challenging indoor environments. In this thesis, we propose a vision-based indoor localization system that leverages recent advances in computer vision to determine the location of a person within indoor spaces. We develop a room-level indoor localization system based on Deep Learning (DL) and built-in smartphone sensors combining visual information with smartphone magnetic heading. To achieve localization, the user captures an image of the indoor surroundings using a smartphone, equipped with a camera, an accelerometer, and a magnetometer. The captured image is then processed using our proposed multiple direction-driven Convolutional Neural Networks to accurately predict the specific indoor room. The proposed system requires minimal infrastructure and provides accurate localization. In addition, we highlight the importance of ongoing maintenance of the vision-based indoor localization system. This system necessitates regular maintenance to adapt to changing indoor environments, particularly when new rooms have to be integrated into the existing localization framework. Class-Incremental Learning (Class-IL) is a computer vision approach that allows deep neural networks to incorporate new classes over time without forgetting the knowledge previously learned. In the context of vision-based indoor localization, this concept must be applied to accommodate new rooms. The selection of representative samples is essential to control memory limits, avoid forgetting, and retain knowledge from previous classes. We develop a coherence-based sample selection method for Class-IL, bringing forward the advantages of the coherence measure to a DL framework. The relevance of the methodology and algorithmic contributions of this thesis is rigorously tested and validated through comprehensive experimentation and evaluations on real datasets