Dissertations / Theses on the topic 'Réseaux neuronaux graphiques'

Les graphes sont utilisés partout pour représenter les interactions, qu'elles soient physiques comme entre les atomes, les molécules ou les humains, ou plus abstraites comme les villes, les amitiés, les idées, etc. Parmi toutes les méthodes d'apprentissage automatique qui peuvent être utilisées, les dernières avancées en apprentissage profond font des réseaux de neurones de graphes la référence de l'apprentissage de représentation des graphes. Cette thèse se divise en deux parties. Dans un premier temps, nous faisons un état de l'art des fondations mathématiques des réseaux de neurones de graphes les plus puissants. Dans un second temps, nous explorons les défis auxquels sont confrontés ces modèles quand ils sont entraînés sur des jeux de données réels. La puissance d'un réseau de neurones est définie par rapport à son expressivité, c'est-à-dire sa capacité à distinguer deux graphes non isomorphes ; ou, de manière équivalente, sa capacité à approximer les fonctions qui sont invariantes ou équivariantes par rapport aux permutations. Nous discernons deux grandes familles de modèles expressifs. Nous présentons leurs propriétés mathématiques ainsi que les avantages et les inconvénients de ces modèles lors d'applications pratiques. En parallèle du choix de l'architecture, la qualité de la donnée joue un rôle crucial dans la capacité d'un modèle à apprendre des représentations utiles. Les réseaux de neurones de graphes sont confrontés à des problèmes spécifiques aux graphes. À l'inverse des modèles développés pour les données tabulaires, les réseaux de neurones de graphes doivent prendre en compte aussi bien les attributs des nœuds que leur interdépendance. À cause de ces liens, l'apprentissage d'un réseau de neurones sur des graphes peut se faire de deux manières : en apprentissage transductif, où le modèle a accès aux attributs des données de test pendant l'entraînement ; en apprentissage inductif, où les données de test restent cachées. Nous étudions les différences en termes de performance entre l'apprentissage transductif et inductif pour la classification de nœuds. De plus, les attributs des nœuds peuvent être bruités ou manquants. Dans cette thèse, nous évaluons ces défis sur des jeux de données réels, et nous proposons une nouvelle architecture de réseau de neurones de graphes pour imputer les attributs manquants des nœuds d'un graphe. Enfin, si les graphes sont le moyen privilégié de décrire les interactions, d'autres types de données peuvent aussi bénéficier d'une conversion sous forme de graphes. Dans cette thèse, nous effectuons un travail préliminaire sur l'extraction des parties les plus importantes d'images de lésions de la peau. Ces patches pourraient être utilisés pour créer des graphes et découvrir des relations latentes dans la donnée
Graphs are used everywhere to represent interactions between entities, whether physical such as atoms, molecules or people, or more abstract such as cities, friendships, ideas, etc. Amongst all the methods of machine learning that can be used, the recent advances in deep learning have made graph neural networks the de facto standard for graph representation learning. This thesis can be divided in two parts. First, we review the theoretical underpinnings of the most powerful graph neural networks. Second, we explore the challenges faced by the existing models when training on real world graph data. The powerfulness of a graph neural network is defined in terms of its expressiveness, i.e., its ability to distinguish non isomorphic graphs; or, in an equivalent manner, its ability to approximate permutation invariant and equivariant functions. We distinguish two broad families of the most powerful models. We summarise the mathematical properties as well as the advantages and disadvantages of these models in practical situations. Apart from the choice of the architecture, the quality of the graph data plays a crucial role in the ability to learn useful representations. Several challenges are faced by graph neural networks given the intrinsic nature of graph data. In contrast to typical machine learning methods that deal with tabular data, graph neural networks need to consider not only the features of the nodes but also the interconnectedness between them. Due to the connections between nodes, training neural networks on graphs can be done in two settings: in transductive learning, the model can have access to the test features in the training phase; in the inductive setting, the test data remains unseen. We study the differences in terms of performance between inductive and transductive learning for the node classification task. Additionally, the features that are fed to a model can be noisy or even missing. In this thesis we evaluate these challenges on real world datasets, and we propose a novel architecture to perform missing data imputation on graphs. Finally, while graphs can be the natural way to describe interactions, other types of data can benefit from being converted into graphs. In this thesis, we perform preliminary work on how to extract the most important parts of skin lesion images that could be used to create graphs and learn hidden relations in the data

L'émergence de la technologie blockchain et des cryptomonnaies a ouvert la possibilité de créer de nouveaux modèles de gestion, de partage et de monétisation de ressources en pair-à-pair (P2P). Étant donné que ces modèles P2P sont sans confiance (trustless), des mécanismes de confiance et de réputation fiables et efficaces sont nécessaires pour minimiser le risque d'accès ou d'interaction avec des pairs malveillants. Plusieurs systèmes de gestion de confiance basés sur la réputation (RTMS) ont été proposés pour garantir la confiance dans les réseaux P2P, aider à choisir des ressources fiables et empêcher les comportements malveillants des pairs. Ces RTMS établissent la confiance en s'appuyant sur des réputations basées sur la communauté. Ils aident les pairs à évaluer la fiabilité des autres et à évaluer la qualité de service (QoS) en fonction de leur réputation et de leurs expériences passées mutuelles. Dans ces schémas, un réseau de confiance en surcouche pair-à-pair est établi.Cette thèse présente BTrust, un nouveau système de gestion de confiance décentralisé et modulaire pour les réseaux P2P à grande échelle, exploitant la technologie blockchain et les GNN (Graph Neural Network) pour l'évaluation de la confiance. BTrust introduit un modèle de confiance et de réputation multidimensionnel pour évaluer la fiabilité des pairs, dérivant dynamiquement une valeur unique à partir de plusieurs paramètres. La blockchain garantit un calcul, une diffusion et un stockage fiables de la confiance sans gestionnaire de confiance centralisé, tandis que les GNN capturent efficacement les relations complexes entre les pairs, conduisant à des évaluations de confiance précises et robustes.Une avancée importante dans notre protocole est la résolution du "problème de démarrage à froid" ou du "problème du score de confiance initial". Pour y parvenir, le pair d'amorçage adopte des marches aléatoires pour sélectionner des pairs fiables parmi ses voisins, garantissant une approche décentralisée sans dépendre d'une entité centralisée ou de pairs prédéfinis. Contrairement aux solutions existantes, cette méthode évite de submerger les pairs les plus dignes de confiance du réseau.Un autre défi abordé dans les systèmes de réputation est la réticence des pairs à fournir des rétroactions négatives, souvent par peur de représailles ou simplement en ne fournissant pas de rétroaction du tout. Pour résoudre ces problèmes, nous introduisons un mécanisme d'incitation qui encourage les rétroactions sincères et nous mettons en œuvre des mécanismes spécialisés pour sanctionner les comportements mauvais ou paresseux. Ces innovations favorisent un processus d'évaluation de confiance plus fiable et équilibré au sein du système.De plus, nous proposons une variante de BTrust appelée GBTrust, qui améliore le protocole original en incorporant des Graph Neural Networks (GNN) et un nouveau mécanisme basé sur l'attention spécifiquement conçu pour la gestion de la confiance. Cette variante permet d'améliorer la détection des pairs malveillants dynamiques et renforce la robustesse et la précision globale de l'évaluation de la confiance. En utilisant les GNN, GBTrust capture efficacement les relations complexes et les comportements dynamiques des pairs dans le réseau, permettant ainsi une identification plus précise des activités malveillantes et une meilleure adaptabilité aux dynamiques de confiance changeantes. Le mécanisme basé sur l'attention renforce également la capacité du modèle à prioriser et à pondérer différents facteurs de confiance, conduisant à des évaluations de confiance plus fiables et précises.Nous démontrons l'efficacité du système GBTrust proposé dans des réseaux P2P à grande échelle en utilisant des simulations d'un réseau P2P, et nous montrons que BTrust est hautement résilient aux pannes et robuste contre les nœuds malveillants
The emergence of blockchain technology and cryptocurrencies has enabled the development of innovative peer-to-peer (P2P) models for resource allocation, sharing, and monetization. As these P2P models operate without inherent trust, the need for reliable trust and reputation mechanisms becomes crucial to minimize potential risks associated with engaging with malicious peers. Several trust management systems (TMS) have been proposed to establish trust in traditional P2P networks, aiming to facilitate the selection of dependable resources and deter peer misbehavior, with a significant focus on utilizing reputation as a guiding factor.Reputation-based trust systems (RTMS) play a fundamental role by leveraging community-based reputations to establish trust. They enable peers to assess the trustworthiness of others and evaluate the Quality of Service (QoS) based on shared reputations and past interactions. While these systems establish a peer-to-peer overlay trust network, the majority of these protocols are not tailored to suit Blockchain-based networks, resulting in various shortcomings due to their outdated design.This thesis presents our protocol BTrust, a novel decentralized and modular trust management system for large-scale P2P networks, leveraging blockchain technology and (Graph Neural Network) GNN for trust evaluation. BTrust introduces a multi-dimensional trust and reputation model to assess peer trustworthiness, dynamically deriving a single value from multiple parameters. The blockchain ensures reliable trust computation, dissemination, and storage without a central trust manager.An important breakthrough in our protocol is the resolution of the "cold start" or "initial trust score problem". To achieve this, the bootstrapping peer adopts random walks to select trustworthy peers among its neighbors, ensuring a decentralized approach without relying on any centralized entity or predefined peers. Unlike existing solutions, this method prevents overwhelming the most trusted peers in the network.Another challenge addressed in reputation systems is the reluctance of peers to provide negative feedback, often due to fear of retaliation or simply not providing feedback at all. To tackle these issues, we introduce an incentive mechanism that encourages truthful feedback and implement specialized mechanisms to penalize bad or lazy behavior. These innovations promote a more reliable and balanced trust evaluation process within the system.Furthermore, we propose a variant of BTrust called GBTrust, which improves upon the original protocol by incorporating Graph Neural Networks (GNNs) and a novel attention-based mechanism specifically designed for trust management. This variant enhances the detection of dynamic malicious peers and strengthens the overall robustness and accuracy of trust evaluation. By leveraging GNNs, GBTrust effectively captures the complex relationships and dynamic behavior of peers in the network, enabling more accurate identification of malicious activities and better adaptability to changing trust dynamics. The attention-based mechanism further enhances the model's ability to prioritize and weigh different trust factors, leading to more reliable and precise trust assessments.We demonstrate the efficiency of the proposed protocol in large-scale P2P networks using simulations of a P2P network and show that BTrust and its variant (GBTrust) are highly resilient to failures and robust against malicious nodes

Cette thèse aborde les progrès de l’apprentissage des représentation des nœuds d’ungraphe, en se concentrant sur les défis et les opportunités présentées par les réseaux de neuronespour graphe (GNN). Elle met en évidence l’importance des graphes dans la représentation dessystèmes complexes et la nécessité d’apprendre des représentations de nœuds qui capturent à la fois les caractéristiques des nœuds et la structure des graphes. L’ étude identifie les problèmes clés des réseaux de neurones pour graphe, tels que leur dépendance à l’ ´égard de données étiquetées de haute qualité, l’incohérence des performances dansdivers ensembles de données et la vulnérabilité auxattaques adverses.Pour relever ces défis, la thèse introduit plusieursapproches innovantes. Tout d’abord, elle utilise l’apprentissage contrastif pour la représentation des nœuds, permettant un apprentissage auto-supervisé qui réduit la dépendance aux données étiquetées.Deuxièmement, un classificateur bayésien est proposé pour la classification des nœuds, qui prenden compte la structure du graphe pour améliorer la précision. Enfin, la thèse aborde la vulnérabilité des GNN aux attaques adversariaux en évaluant la robustesse du classificateur proposé et en introduisant des mécanismes de défense efficaces. Ces contributionsvisent à améliorer à la fois la performance et la résilience des GNN dans l’apprentissage de lareprésentation des nœuds
This thesis addresses advancements in graph representation learning, focusing on the challengesand opportunities presented by Graph Neural Networks (GNNs). It highlights the significanceof graphs in representing complex systems and the necessity of learning node embeddings that capture both node features and graph structure. The study identifies key issues in GNNs, such as their dependence on high-quality labeled data, inconsistent performanceacross various datasets, and susceptibility to adversarial attacks.To tackle these challenges, the thesis introduces several innovative approaches. Firstly, it employs contrastive learning for node representation, enabling self-supervised learning that reduces reliance on labeled data. Secondly, a Bayesian-based classifier isproposed for node classification, which considers the graph’s structure to enhance accuracy. Lastly, the thesis addresses the vulnerability of GNNs to adversarialattacks by assessing the robustness of the proposed classifier and introducing effective defense mechanisms.These contributions aim to improve both the performance and resilience of GNNs in graph representation learning

Dans la quête de concevoir des machines incarnées qui explorent leurs environnements en autonomie, découvrent des nouveaux comportements et apprennent des répertoires non-bornés de compétences, l'intelligence artificielle s'est longuement inspirée des domaines de psychologie du développement et des sciences cognitives qui étudient la capacité remarquable des humains à apprendre tout au long de leur vie. Ceci a donné naissance au domaine de la robotique du développement qui a pour but de concevoir des agents artificiels autonomes capables d'auto-organiser leurs trajectoires d'apprentissage en se basant sur leurs motivations intrinsèques. Ce domaine combine les processus d'exploration de but intrinsèquement motivés (IMGEPs) et l'apprentissage par renforcement (RL). Cette combinaison est connue sous le nom d'apprentissage par renforcement autotélique, où des agents autotéliques sont intrinsèquement motivés pour représenter, organiser et apprendre leurs propres buts. Naturellement, ces agents doivent démontrer de bonnes capacités d'exploration puisqu'ils ont besoin de découvrir physiquement les buts pour pouvoir les apprendre. Malheureusement, découvrir des comportements intéressants peut être compliqué, surtout dans les environnements d'exploration difficile où les signaux de récompenses sont parcimonieux, déceptifs ou contradictoires. Dans ces scénarios, la situation physique des agents semble insuffisante. Heureusement, la recherche en psychologie du développement et les sciences de l'éducation soulignent le rôle important des signaux socio-culturels dans le développement des enfants humains. Cette situation sociale améliore les capacités d'exploration des enfants, leur créativité et leur développement. Cependant, l'apprentissage par renforcement profond considère l'apprentissage social comme une imposition d'instructions aux agents, ce qui les prive de leur autonomie. Dans ce document, nous introduisons les agents autotéliques enseignables, une nouvelle famille de machines autonomes qui peuvent apprendre à la fois toutes seules et à travers des signaux sociaux externes. Nous formalisons cette famille en tant que processus d'exploration de but hybride (HGEPs), où les agents autotéliques sont augmentés d'un mécanisme d'internalisation leur permettant de rejouer les signaux sociaux et d'un sélecteur de source de buts pour demander activement de l'aide sociale. Ce document est organisé en deux parties. Dans la première partie, nous nous concentrons sur la conception d'agents autotéliques enseignables et nous essayons d'implémenter des propriétés qui faciliteraient l'interaction sociale. Notamment, nous introduisons les agents autotéliques basés sur les prédicats, une nouvelle famille d'agents autotéliques qui représentent leurs buts en utilisant des prédicats binaires spatiaux. Nous montrons que l'espace de représentation sémantique sous-jacent joue le rôle de pivot entre la représentation sensorimotrice et le langage, permettant un découplage entre l'apprentissage sensorimoteur et l'ancrage du langage. Nous étudions également la conception des politiques et des fonctions valeurs état-action et nous soutenons que la combinaison des réseaux de neurones graphiques (GNNs) et des buts en prédicats relationnels permet l'utilisation de schémas computationnels légers qui transfèrent bien entre les tâches. Dans la deuxième partie, nous formalisons les interactions sociales en tant que processus d'exploration de buts. Nous introduisons Help Me Explore (HME), un nouveau protocole d'interaction sociale où un partenaire social expert guide progressivement l'agent au-delà de sa zone de développement proximale (ZPD). L'agent choisit activement de lancer des requêtes à son partenaire social dès qu'il estime qu'il ne progresse plus sur les buts qu'il connait déjà. Il finit éventuellement par internaliser ces signaux sociaux, devient moins dépendant envers son partenaire social et arrive à maximiser son contrôle de son espace de buts
As part of the quest for designing embodied machines that autonomously explore their environments, discover new behaviors and acquire open-ended repertoire of skills, artificial intelligence has been taking long looks at the inspiring fields of developmental psychology and cognitive sciences which investigate the remarkable continuous and unbounded learning of humans. This gave birth to the field of developmental robotics which aims at designing autonomous artificial agents capable of self-organizing their own learning trajectories based on their intrinsic motivations. It bakes the developmental framework of intrinsically motivated goal exploration processes (IMGEPs) into reinforcement learning (RL). This combination has been recently introduced as autotelic reinforcement learning, where autotelic agents are intrinsically motivated to self-represent, self-organize and autonomously learn about their own goals. Naturally, such agents need to be endowed with good exploration capabilities as they need to first physically encounter a certain goal in order to take ownership of and learn about it. Unfortunately, discovering interesting behavior is usually tricky, especially in hard exploration setups where the rewarding signals are parsimonious, deceptive or adversarial. In such scenarios, the agents’ physical situatedness-in the Piagetian sense of the term-seems insufficient. Luckily, research in developmental psychology and education sciences have been praising the remarkable role of socio-cultural signals in the development of human children. This social situatedness-in the Vygotskyan sense of the term-enhances the toddlers’ exploration capabilities, creativity and development. However, deep \rl considers social interactions as dictating instructions to the agents, depriving them from their autonomy. This research introduces \textit{teachable autotelic agents}, a novel family of autonomous machines that can learn both alone and from external social signals. We formalize such a family as a hybrid goal exploration process (HGEPs), where autotelic agents are endowed with an internalization mechanism to rehearse social signals and with a goal source selector to actively query for social guidance. The present manuscript is organized in two parts. In the first part, we focus on the design of teachable autotelic agents and attempt to leverage the most important properties that would later serve the social interaction. Namely, we introduce predicate-based autotelic agents, a novel family of autotelic agents that represent their goals using spatial binary predicates. These insights were based on the Mandlerian view on the prelinguistic concept acquisition suggesting that toddlers are endowed with some innate mechanisms enabling them to translate spatio-temporal information into an iconic static form. We show that the underlying semantic representation plays a pivotal role between raw sensory inputs and language inputs, enabling the decoupling of sensorimotor learning and language grounding. We also investigate the design of such agents' policies and state-action value functions, and argue that combining Graph Neural Networks (GNNs) with relational predicates provides a light computational scheme to transfer efficiently between skills. In the second part, we formalize social interactions as a goal exploration process. We introduce Help Me Explore (HME), a novel social interaction protocol where an expert social partner progressively guides the learning agent beyond its zone of proximal development (ZPD). The agent actively selects to query its social partner whenever it estimates that it is not progressing enough alone. It eventually internalizes the social signals, becomes less dependent on its social partner and maximizes its control over its goal space

Les équations aux dérivées partielles (EDP) sont un outil essentiel de la simulation numérique pour modéliser des systèmes complexes. Cependant, la résolution de ces équations avec une grande précision nécessite généralement un coût de calcul élevé. Ces dernières années, les algorithmes d'apprentissage profond ont reçu un intérêt croissant pour l'apprentissage à partir d'exemples, et pourraient être utilisés comme substituts des méthodes d'analyse numérique, en appliquant directement les techniques d'apprentissage supervisé à des bases de données de solutions connues, car une fois le modèle neuronal appris, l'inférence des solutions a un coût marginal. De nombreux problèmes subsistent cependant, que cette thèse de doctorat tente de résoudre. La thèse se concentre en particulier sur trois défis majeurs dans l'application des méthodes d'apprentissage profond aux EDP : la gestion des maillages non structurés, qui peut difficilement se faire en utilisant les techniques de traitement d'images, sources d'immenses succès en apprentissage profond ; les problèmes de généralisation, en particulier pour des données hors-distribution par rapport aux données d'apprentissage ; et les coûts de calcul élevés pour générer ces données d'apprentissage. Nos trois contributions sont fondées sur les Réseaux de Neurones sur Graphes (GNNs) : un modèle hiérarchique inspirées des méthodes multi-grilles de l'analyse numérique ; le méta-apprentissage pour améliorer les performances sur les données hors distribution ; et l'apprentissage par transfert entre des ensembles de données multifidélité pour réduire le temps de génération des données d'apprentissage. Ces approches sont validées expérimentalement sur différents systèmes physiques
Partial differential equations (PDEs) are an essential modeling tool for the numerical simulation of complex systems. However, their accurate numerical resolution usually requires a high computational cost. In recent years, deep Learning algorithms have demonstrated impressive successes in learning from examples, and their direct application to databases of existing solutions of a PDE could be a way to tackle the excessive computational cost of classical numerical approaches: Once a neural model has been learned, the computational cost of inference of the solution on new example is very low. However, many issues remain that this Ph.D. thesis investigates, focusing on three major hurdles: handling unstructured meshes, which can hardly be done accurately by simply porting the neural successes on image processing tasks; generalization issues, in particular for Out-of-Distribution examples; and the too high computational costs for generating the training data. We propose three contributions, based on Graph Neural Networks, to tackle these problems: A hierarchical model inspired by the multi-grid techniques of Numerical Analysis; The use of Meta-Learning to improve the performance of Out-of-Distribution data; and Transfer Learning between multi-fidelity datasets to reduce the computational cost of data generation. The proposed approaches are experimentally validated on different physical systems

Le traitement du langage naturel (NLP) est un domaine en pleine expansion axé sur le développement d'algorithmes et de systèmes permettant de comprendre et de manipuler les données du langage naturel. La capacité à traiter et à analyser efficacement les données du langage naturel est devenue de plus en plus importante ces dernières années, car le volume de données textuelles générées par les individus, les organisations et la société dans son ensemble continue de croître de façon significative. Les graphes de connaissances sont des structures qui encodent des informations sur les entités et les relations entre elles. Ils constituent un outil puissant qui permet de représenter les connaissances de manière structurée et formalisée, et de fournir une compréhension globale des concepts sous-jacents et de leurs relations. La capacité d'apprendre des représentations de graphes de connaissances a le potentiel de transformer le traitement automatique du langage et d'autres domaines qui reposent sur de grandes quantités de données structurées. Les travaux menés dans cette thèse visent à explorer le concept de distillation des connaissances et, plus particulièrement, l'apprentissage mutuel pour l'apprentissage de représentations d'espace distincts et complémentaires. Notre première contribution est de proposer un nouveau cadre pour l'apprentissage d'entités et de relations sur des bases de connaissances multiples appelé KD-MKB. L'objectif clé de l'apprentissage de représentations multigraphes est d'améliorer les modèles d'entités et de relations avec différents contextes de graphes qui peuvent potentiellement faire le lien entre des contextes sémantiques distincts. Notre approche est basée sur le cadre théorique de la distillation des connaissances et de l'apprentissage mutuel. Elle permet un transfert de connaissances efficace entre les KBs tout en préservant la structure relationnelle de chaque graphe de connaissances. Nous formalisons l'inférence d'entités et de relations entre les bases de connaissances comme un objectif de distillation sur les distributions de probabilité postérieures à partir des connaissances alignées. Sur la base de ces résultats, nous proposons et formalisons un cadre de distillation coopératif dans lequel un ensemble de modèles de KB sont appris conjointement en utilisant les connaissances de leur propre contexte et les softs labels fournies par leurs pairs. Notre deuxième contribution est une méthode permettant d'incorporer des informations riches sur les entités provenant de bases de connaissances dans des modèles de langage pré-entraînés (PLM). Nous proposons un cadre original de distillation coopératif des connaissances pour aligner la tâche de pré-entraînement de modèles de langage masqués et l'objectif de prédiction de liens des modèles de représentation de KB. En exploitant les informations encodées dans les bases de connaissances et les modèles de langage pré-entraînés, notre approche offre une nouvelle direction de recherche pour améliorer la capacité à traiter les entités des systèmes de slot filling basés sur les PLMs
Natural language processing (NLP) is a rapidly growing field focusing on developing algorithms and systems to understand and manipulate natural language data. The ability to effectively process and analyze natural language data has become increasingly important in recent years as the volume of textual data generated by individuals, organizations, and society as a whole continues to grow significantly. One of the main challenges in NLP is the ability to represent and process knowledge about the world. Knowledge graphs are structures that encode information about entities and the relationships between them, they are a powerful tool that allows to represent knowledge in a structured and formalized way, and provide a holistic understanding of the underlying concepts and their relationships. The ability to learn knowledge graph representations has the potential to transform NLP and other domains that rely on large amounts of structured data. The work conducted in this thesis aims to explore the concept of knowledge distillation and, more specifically, mutual learning for learning distinct and complementary space representations. Our first contribution is proposing a new framework for learning entities and relations on multiple knowledge bases called KD-MKB. The key objective of multi-graph representation learning is to empower the entity and relation models with different graph contexts that potentially bridge distinct semantic contexts. Our approach is based on the theoretical framework of knowledge distillation and mutual learning. It allows for efficient knowledge transfer between KBs while preserving the relational structure of each knowledge graph. We formalize entity and relation inference between KBs as a distillation loss over posterior probability distributions on aligned knowledge. Grounded on this finding, we propose and formalize a cooperative distillation framework where a set of KB models are jointly learned by using hard labels from their own context and soft labels provided by peers. Our second contribution is a method for incorporating rich entity information from knowledge bases into pre-trained language models (PLM). We propose an original cooperative knowledge distillation framework to align the masked language modeling pre-training task of language models and the link prediction objective of KB embedding models. By leveraging the information encoded in knowledge bases, our proposed approach provides a new direction to improve the ability of PLM-based slot-filling systems to handle entities

Cette dernière décennie a donné lieu à la réémergence des méthodes d'apprentissage machine basées sur les réseaux de neurones formels sous le nom d'apprentissage profond. Bien que ces méthodes aient permis des avancées majeures dans le domaine de l'apprentissage machine, plusieurs obstacles à la possibilité d'industrialiser ces méthodes persistent, notamment la nécessité de collecter et d'étiqueter une très grande quantité de données ainsi que la puissance de calcul nécessaire pour effectuer l'apprentissage et l'inférence avec ce type de réseau neuronal. Dans cette thèse, nous proposons d'étudier l'adéquation entre des algorithmes d'inférence et d'apprentissage issus des réseaux de neurones biologiques pour des architectures matérielles massivement parallèles. Nous montrons avec trois contributions que de telles adéquations permettent d'accélérer drastiquement les temps de calculs inhérents au réseaux de neurones. Dans notre premier axe, nous réalisons l'étude d'adéquation du moteur BCVision de Brainchip SAS pour les plate-formes GPU. Nous proposons également l'introduction d'une architecture hiérarchique basée sur des cellules complexes. Nous montrons que l'adéquation pour GPU accélère les traitements par un facteur sept, tandis que l'architecture hiérarchique atteint un facteur mille. La deuxième contribution présente trois algorithmes de propagation de décharges neuronales adaptés aux architectures parallèles. Nous réalisons une étude complète des modèles computationels de ces algorithmes, permettant de sélectionner ou de concevoir un système matériel adapté aux paramètres du réseau souhaité. Dans notre troisième axe nous présentons une méthode pour appliquer la règle Spike-Timing-Dependent-Plasticity à des données images afin d'apprendre de manière non-supervisée des représentations visuelles. Nous montrons que notre approche permet l'apprentissage d'une hiérarchie de représentations pertinente pour des problématiques de classification d'images, tout en nécessitant dix fois moins de données que les autres approches de la littérature
The last decade has seen the re-emergence of machine learning methods based on formal neural networks under the name of deep learning. Although these methods have enabled a major breakthrough in machine learning, several obstacles to the possibility of industrializing these methods persist, notably the need to collect and label a very large amount of data as well as the computing power necessary to perform learning and inference with this type of neural network. In this thesis, we propose to study the adequacy between inference and learning algorithms derived from biological neural networks and massively parallel hardware architectures. We show with three contribution that such adequacy drastically accelerates computation times inherent to neural networks. In our first axis, we study the adequacy of the BCVision software engine developed by Brainchip SAS for GPU platforms. We also propose the introduction of a coarse-to-fine architecture based on complex cells. We show that GPU portage accelerates processing by a factor of seven, while the coarse-to-fine architecture reaches a factor of one thousand. The second contribution presents three algorithms for spike propagation adapted to parallel architectures. We study exhaustively the computational models of these algorithms, allowing the selection or design of the hardware system adapted to the parameters of the desired network. In our third axis we present a method to apply the Spike-Timing-Dependent-Plasticity rule to image data in order to learn visual representations in an unsupervised manner. We show that our approach allows the effective learning a hierarchy of representations relevant to image classification issues, while requiring ten times less data than other approaches in the literature

L'apprentissage de la représentation graphique et ses applications ont suscité une attention considérable ces dernières années. En particulier, les Réseaux Neuronaux Graphiques (RNG) et le Traitement du Signal Graphique (TSG) ont été largement étudiés. Les RNGs étendent les concepts des réseaux neuronaux convolutionnels aux données non euclidiennes modélisées sous forme de graphes. De même, le TSG étend les concepts du traitement classique des signaux numériques aux signaux supportés par des graphes. Les RNGs et TSG ont de nombreuses applications telles que l'apprentissage semi-supervisé, la segmentation sémantique de nuages de points, la prédiction de relations individuelles dans les réseaux sociaux, la modélisation de protéines pour la découverte de médicaments, le traitement d'images et de vidéos. Dans cette thèse, nous proposons de nouvelles approches pour le traitement des images et des vidéos, les RNGs, et la récupération des signaux de graphes variant dans le temps. Notre principale motivation est d'utiliser l'information géométrique que nous pouvons capturer à partir des données pour éviter les méthodes avides de données, c'est-à-dire l'apprentissage avec une supervision minimale. Toutes nos contributions s'appuient fortement sur les développements de la TSG et de la théorie spectrale des graphes. En particulier, la théorie de l'échantillonnage et de la reconstruction des signaux de graphes joue un rôle central dans cette thèse. Les principales contributions de cette thèse sont résumées comme suit : 1) nous proposons de nouveaux algorithmes pour la segmentation d'objets en mouvement en utilisant les concepts de la TSG et des RNGs, 2) nous proposons un nouvel algorithme pour la segmentation sémantique faiblement supervisée en utilisant des réseaux de neurones hypergraphiques, 3) nous proposons et analysons les RNGs en utilisant les concepts de la TSG et de la théorie des graphes spectraux, et 4) nous introduisons un nouvel algorithme basé sur l'extension d'une fonction de lissage de Sobolev pour la reconstruction de signaux graphiques variant dans le temps à partir d'échantillons discrets
Graph representation learning and its applications have gained significant attention in recent years. Notably, Graph Neural Networks (GNNs) and Graph Signal Processing (GSP) have been extensively studied. GNNs extend the concepts of convolutional neural networks to non-Euclidean data modeled as graphs. Similarly, GSP extends the concepts of classical digital signal processing to signals supported on graphs. GNNs and GSP have numerous applications such as semi-supervised learning, point cloud semantic segmentation, prediction of individual relations in social networks, modeling proteins for drug discovery, image, and video processing. In this thesis, we propose novel approaches in video and image processing, GNNs, and recovery of time-varying graph signals. Our main motivation is to use the geometrical information that we can capture from the data to avoid data hungry methods, i.e., learning with minimal supervision. All our contributions rely heavily on the developments of GSP and spectral graph theory. In particular, the sampling and reconstruction theory of graph signals play a central role in this thesis. The main contributions of this thesis are summarized as follows: 1) we propose new algorithms for moving object segmentation using concepts of GSP and GNNs, 2) we propose a new algorithm for weakly-supervised semantic segmentation using hypergraph neural networks, 3) we propose and analyze GNNs using concepts from GSP and spectral graph theory, and 4) we introduce a novel algorithm based on the extension of a Sobolev smoothness function for the reconstruction of time-varying graph signals from discrete samples

Les séries temporelles sont des collections de données obtenues par des mesures dans le temps. Cette données vise à fournir des éléments de réflexion pour l'extraction d'événements et à les représenter dans une configuration compréhensible pour une utilisation ultérieure. L'ensemble du processus de découverte et d'extraction de modèles à partir de l'ensemble de données s'effectue avec plusieurs techniques d'extraction, notamment l'apprentissage automatique, les statistiques et les clusters. Ce domaine est ensuite divisé par le nombre de sources adoptées pour surveiller un phénomène. Les séries temporelles univariées lorsque la source de données est unique, et les séries temporelles multivariées lorsque la source de données est multiple. La série chronologique n'est pas une structure simple. Chaque observation de la série a une relation forte avec les autres observations. Cette interrelation est la caractéristique principale des séries temporelles, et toute opération d'extraction de séries temporelles doit y faire face. La solution adoptée pour gérer l'interrelation est liée aux opérations d'extraction. Le principal problème de ces techniques est de ne pas adopter d'opération de prétraitement sur les séries temporelles. Les séries temporelles brutes comportent de nombreux effets indésirables, tels que des points bruyants ou l'énorme espace mémoire requis pour les longues séries. Nous proposons de nouvelles techniques d'exploration de données basées sur l'adoption des caractéristiques plus représentatives des séries temporelles pour obtenir de nouveaux modèles à partir des données. L'adoption des caractéristiques a un impact profond sur la scalabilité des systèmes. En effet, l'extraction d'une caractéristique de la série temporelle permet de réduire une série entière en une seule valeur. Par conséquent, cela permet d'améliorer la gestion des séries temporelles, en réduisant la complexité des solutions en termes de temps et d'espace. FeatTS propose une méthode de clustering pour les séries temporelles univariées qui extrait les caractéristiques les plus représentatives de la série. FeatTS vise à adopter les particularités en les convertissant en réseaux de graphes pour extraire les interrelations entre les signaux. Une matrice de cooccurrence fusionne toutes les communautés détectées. L'intuition est que si deux séries temporelles sont similaires, elles appartiennent souvent à la même communauté, et la matrice de cooccurrence permet de le révéler. Dans Time2Feat, nous créons un nouveau clustering de séries temporelles multivariées. Time2Feat propose deux extractions différentes pour améliorer la qualité des caractéristiques. Le premier type d'extraction est appelé extraction de caractéristiques intra-signal et permet d'obtenir des caractéristiques à partir de chaque signal de la série temporelle multivariée. Inter-Signal Features Extraction permet d'obtenir des caractéristiques en considérant des couples de signaux appartenant à la même série temporelle multivariée. Les deux méthodes fournissent des caractéristiques interprétables, ce qui rend possible une analyse ultérieure. L'ensemble du processus de clustering des séries temporelles est plus léger, ce qui réduit le temps nécessaire pour obtenir le cluster final. Les deux solutions représentent l'état de l'art dans leur domaine. Dans AnomalyFeat, nous proposons un algorithme pour révéler des anomalies à partir de séries temporelles univariées. La caractéristique de cet algorithme est la capacité de travailler parmi des séries temporelles en ligne, c'est-à-dire que chaque valeur de la série est obtenue en streaming. Dans la continuité des solutions précédentes, nous adoptons les fonctionnalités de révélation des anomalies dans les séries. Avec AnomalyFeat, nous unifions les deux algorithmes les plus populaires pour la détection des anomalies : le clustering et le réseau neuronal récurrent. Nous cherchons à découvrir la zone de densité du nouveau point obtenu avec le clustering
Time series are collections of data obtained through measurements over time. The purpose of this data is to provide food for thought for event extraction and to represent them in an understandable pattern for later use. The whole process of discovering and extracting patterns from the dataset is carried out with several extraction techniques, including machine learning, statistics, and clustering. This domain is then divided by the number of sources adopted to monitor a phenomenon. Univariate time series when the data source is single and multivariate time series when the data source is multiple. The time series is not a simple structure. Each observation in the series has a strong relationship with the other observations. This interrelationship is the main characteristic of time series, and any time series extraction operation has to deal with it. The solution adopted to manage the interrelationship is related to the extraction operations. The main problem with these techniques is that they do not adopt any pre-processing operation on the time series. Raw time series have many undesirable effects, such as noisy points or the huge memory space required for long series. We propose new data mining techniques based on the adoption of the most representative features of time series to obtain new models from the data. The adoption of features has a profound impact on the scalability of systems. Indeed, the extraction of a feature from the time series allows for the reduction of an entire series to a single value. Therefore, it allows for improving the management of time series, reducing the complexity of solutions in terms of time and space. FeatTS proposes a clustering method for univariate time series that extracts the most representative features of the series. FeatTS aims to adopt the features by converting them into graph networks to extract interrelationships between signals. A co-occurrence matrix merges all detected communities. The intuition is that if two time series are similar, they often belong to the same community, and the co-occurrence matrix reveals this. In Time2Feat, we create a new multivariate time series clustering. Time2Feat offers two different extractions to improve the quality of the features. The first type of extraction is called Intra-Signal Features Extraction and allows to obtain of features from each signal of the multivariate time series. Inter-Signal Features Extraction is used to obtain features by considering pairs of signals belonging to the same multivariate time series. Both methods provide interpretable features, which makes further analysis possible. The whole time series clustering process is lighter, which reduces the time needed to obtain the final cluster. Both solutions represent the state of the art in their field. In AnomalyFeat, we propose an algorithm to reveal anomalies from univariate time series. The characteristic of this algorithm is the ability to work among online time series, i.e. each value of the series is obtained in streaming. In the continuity of previous solutions, we adopt the functionality of revealing anomalies in the series. With AnomalyFeat, we unify the two most popular algorithms for anomaly detection: clustering and recurrent neural network. We seek to discover the density area of the new point obtained with clustering

Les réseaux neuromorphiques pour le traitement d'informations ont pris une placeimportante aujourd'hui notamment du fait de la montée en complexité des tâches à effectuer : reconnaissance vocale, corrélation d'images dynamiques, prise de décision rapide multidimensionnelle, fusion de données, optimisation comportementale, etc... Il existe plusieurs types de tels réseaux et parmi ceux- ci les réseaux impulsionnels, c'est-à-dire, ceux dont le fonctionnement est calqué sur celui des neurones corticaux. Ce sont ceux qui devraient offrir le meilleur rendement énergétique donc le meilleur passage à l'échelle. Plusieurs démonstrations de neurones artificielles ont été menées avec des circuits électroniques et plus récemment photoniques. La densité d'intégration de la filière photonique sur silicium est un atout pour créer des circuits suffisamment complexes pour espérer réaliser des démonstrations complètes. Le but de la thèse est donc d'exploiter une architecture de réseau neuromorphique impulsionnel à base de lasers à bascule de gain (Q switch) intégrés sur silicium et d'un circuit d'interconnexion ultra-dense et reconfigurable apte à imiter les poids synaptiques. Une modélisation complète ducircuit est attendue avec, à la clé la démonstration pratique d'une application dans la résolution d'un problème mathématique à définir
Today, neuromorphic networks play a crucial role in information processing,particularly as tasks become increasingly complex: voice recognition, dynamic image correlation, rapid multidimensional decision- making, data merging, behavioral optimization, etc... Neuromorphic networks come in several types; spiking networks are one of them. The latter's modus operandi is based on that of cortical neurons. As spiking networks are the most energy-efficient neuromorphic networks, they offer the greatest potential for scaling. Several demonstrations of artificial neurons have been conducted with electronic and more recently photonic circuits. The integration density of silicon photonics is an asset to create circuits that are complex enough to hopefully carry out a complete demonstration. Therefore, this thesis aims to exploit an architecture of a photonic spiking neural network based on Q-switched lasers integrated into silicon and an ultra-dense and reconfigurable interconnection circuit that can simulate synaptic weights. A complete modeling of the circuit is expected with a practical demonstration of an application in solving a mathematical problem to be defined

Un graphe de connaissances est un graphe orienté dont les nœuds sont des entités et les arêtes, typées par une relation, représentent des faits connus liant les entités. Ces graphes sont capables d'encoder une grande variété d'information mais leur construction et leur exploitation peut se révéler complexe. Historiquement, des méthodes symboliques ont permis d'extraire des règles d'interaction entre entités et relations, afin de corriger des anomalies ou de prédire des faits manquants. Plus récemment, des méthodes d'apprentissage de représentations vectorielles, ou plongements, ont tenté de résoudre ces mêmes tâches. Initialement purement algébriques ou géométriques, ces méthodes se sont complexifiées avec les réseaux de neurones profonds et ont parfois été combinées à des techniques symboliques antérieures.Dans cette thèse, on s'intéresse tout d'abord au problème de l'implémentation. En effet, la grande diversité des bibliothèques utilisées rend difficile la comparaison des résultats obtenus par différents modèles. Dans ce contexte, la bibliothèque Python TorchKGE a été développée afin de proposer un environnement unique pour l'implémentation de modèles de plongement et un module hautement efficace d'évaluation par prédiction de liens. Cette bibliothèque repose sur l'accélération graphique de calculs tensoriels proposée par PyTorch, est compatible avec les bibliothèques d'optimisation usuelles et est disponible en source ouverte.Ensuite, les travaux portent sur l'enrichissement automatique de Wikidata par typage des hyperliens liant les articles de Wikipedia. Une étude préliminaire a montré que le graphe des articles de Wikipedia est beaucoup plus dense que le graphe de connaissances correspondant dans Wikidata. Une nouvelle méthode d'entrainement impliquant les relations et une méthode d'inférence utilisant les types des entités ont été proposées et des expériences ont montré la pertinence de l'approche, y compris sur un nouveau jeu de données.Enfin, le typage automatique d'entités est exploré comme une tâche de classification hiérarchique. Ceci a mené à la conception d'une fonction d'erreur hiérarchique, utilisée pour l'entrainement de modèles tensoriels, ainsi qu'un nouveau type d'encodeur. Des expériences ont permis une bonne compréhension de l'impact que peut avoir une connaissance a priori de la taxonomie des classes sur la classification. Elles ont aussi renforcé l'intuition que la hiérarchie peut être apprise à partir des données si le jeu est suffisamment riche
A knowledge graph is a directed graph in which nodes are entities and edges, typed by a relation, represent known facts linking two entities. These graphs can encode a wide variety of information, but their construction and exploitation can be complex. Historically, symbolic methods have been used to extract rules about entities and relations, to correct anomalies or to predict missing facts. More recently, techniques of representation learning, or embeddings, have attempted to solve these same tasks. Initially purely algebraic or geometric, these methods have become more complex with deep neural networks and have sometimes been combined with pre-existing symbolic techniques.In this thesis, we first focus on the problem of implementation. Indeed, the diversity of libraries used makes the comparison of results obtained by different models a complex task. In this context, the Python library TorchKGE was developed to provide a unique setup for the implementation of embedding models and a highly efficient inference evaluation module. This library relies on graphic acceleration of tensor computation provided by PyTorch, is compatible with widespread optimization libraries and is available as open source.We then consider the automatic enrichment of Wikidata by typing the hyperlinks linking Wikipedia pages. A preliminary study showed that the graph of Wikipedia articles is much denser than the corresponding knowledge graph in Wikidata. A new training method involving relations and an inference method using entity types were proposed and experiments showed the relevance of the combined approach, including on a new dataset.Finally, we explore automatic entity typing as a hierarchical classification task. That led to the design of a new hierarchical loss used to train tensor-based models along with a new type of encoder. Experiments on two datasets have allowed a good understanding of the impact a prior knowledge of class taxonomy can have on a classifier but also reinforced the intuition that the hierarchy can be learned from the features if the dataset is large enough

Dans cette thèse, je me concentrerai principalement sur l’inférence variationnelle et les modèles probabilistes. En particulier, je couvrirai plusieurs projets sur lesquels j'ai travaillé pendant ma thèse sur l'amélioration de l'efficacité des systèmes AI / ML avec des techniques variationnelles. La thèse comprend deux parties. Dans la première partie, l’efficacité des modèles probabilistes graphiques est étudiée. Dans la deuxième partie, plusieurs problèmes d’apprentissage des réseaux de neurones profonds sont examinés, qui sont liés à l’efficacité énergétique ou à l’efficacité des échantillons
In this thesis, I will mainly focus on variational inference and probabilistic models. In particular, I will cover several projects I have been working on during my PhD about improving the efficiency of AI/ML systems with variational techniques. The thesis consists of two parts. In the first part, the computational efficiency of probabilistic graphical models is studied. In the second part, several problems of learning deep neural networks are investigated, which are related to either energy efficiency or sample efficiency

La Dynamique des Fluides Numérique (CFD) joue un rôle essentiel dans la prédiction de divers phénomènes physiques, tels que le climat, l'aérodynamique ou la circulation sanguine. Au coeur de la CFD se trouvent les équations de Navier-Stokes régissant le mouvement des fluides. Cependant, résoudre ces équations à grande échelle reste fastidieux, en particulier lorsqu'il s'agit des équations de Navier-Stokes incompressibles, qui nécessitent la résolution intensive d'un problème de Poisson de Pression, garantissant la contrainte d'incompressibilité. De nos jours, les méthodes d'apprentissage profond ont ouvert de nouvelles perspectives pour améliorer les simulations numériques. Parmi ces approches, les Graph Neural Networks (GNNs), conçus pour traiter des données de type graphe tels que les maillages, se sont révélés prometteurs. Cette thèse vise à explorer l'utilisation des GNNs pour améliorer la résolution du problème de Poisson de Pression. Une contribution clé implique l'introduction d'une nouvelle architecture GNN qui respecte intrinsèquement les conditions aux limites tout en exploitant la théorie des couches implicites pour ajuster automatiquement le nombre de couches GNN nécessaires à la convergence : ce nouveau modèle présente des capacités de généralisation améliorées, gérant efficacement des problèmes de Poisson de différentes tailles et formes. Néanmoins, ses limitations actuelles le restreignent aux problèmes à petite échelle, insuffisants pour les applications industrielles qui nécessitent souvent plusieurs milliers de noeuds. Pour mettre à l'échelle ces modèles, cette thèse explore la combinaison des GNNs avec les méthodes de Décomposition de Domaines, tirant parti des calculs en parallèle sur GPU pour produire des solutions d'ingénierie plus efficaces
Computational Fluid Dynamics (CFD) plays an essential role in predicting various physical phenomena, such as climate, aerodynamics, or blood flow. At the core of CFD lie the Navier-Stokes equations governing the motion of fluids. However, solving these equations at scale remains daunting, especially when dealing with Incompressible Navier-Stokes equations. Indeed, the well-known splitting schemes require the costly resolution of a Pressure Poisson problem that guarantees the incompressibility constraint. Nowadays, Deep Learning methods have opened new perspectives for enhancing numerical simulations. Among existing approaches, Graph Neural Networks (GNNs), designed to handle graph data like meshes, have proven to be promising. This thesis is dedicated to exploring the use of GNNs to enhance the resolution of the Pressure Poisson problem. One significant contribution involves introducing a novel physics-informed GNN-based model that inherently respects boundary conditions while leveraging the Implicit Layer theory to automatically adjust the number of GNN layers required for convergence. This results in a model with enhanced generalization capabilities, effectively handling Poisson problems of various sizes and shapes. Nevertheless, its current limitations restrict it to small-scale problems, insufficient for industrial applications that often require thousands of nodes. To scale up these models, this thesis further explores combining GNNs with Domain Decomposition methods, taking advantage of batch parallel computing on GPU to produce more efficient engineering solutions

La vigne est une plante sujette à de très nombreuses maladies. Certaines de ces maladies peuvent entraîner d'importantes pertes de rendement et la mort du pied de vigne infecté. Parmi ces maladies, certaines présentent des symptômes de nature différente, sur plusieurs organes de la même vigne. Leur diagnostic, réalisé en pratique par des experts, est d’autant plus complexe qu’elles présentent de nombreux facteurs confondants. Cette recherche se concentre sur le développement de méthodologies pour l'acquisition, l'annotation et le traitement des données liées aux maladies de la vigne multi-symptômes afin d'étudier leur diagnostic automatique. Deux groupes de maladies sont ciblés : les jaunisses de la vigne telles que la Flavescence dorée (FD) ou le bois noir, et les maladies du bois de la vigne (GTDs) avec l'Eutypiose et le Botryosphaeria comme maladies ciblées.Des acquisitions d'images RGB, directement dans les rangs de vigne, ont été réalisées pour construire des ensembles de données pour chaque type de maladie. Le jeu de données pour la FD couvre cinq cépages différents et tient compte de nombreuses maladies présentant des symptômes similaires à ceux de la FD, appelées maladies confondantes. L'ensemble de données pour les GTDs comprend des images d'une seule variété de vigne et aucune maladie confondante. Trois méthodes de diagnostic automatique de ces maladies sont proposées, comparées et discutées. La première méthode, inspirée de l’état de l’art, utilise un classifieur basé sur un réseau neuronal convolutif appliqué aux images brutes (méthode A). Les résultats montrent que cette méthodologie délivre de bons résultats sur les ensembles de données contenant très peu de maladies confondantes. Une précision (p) et un rappel (r) de (p=0,94 ; r=0,92) sont obtenus pour la classification des images de vigne affectées par les GTDs, tandis qu'ils sont de (p=0,87 ; r=0,84) pour la classification des images de vignes affectées par la FD sur un ensemble de données contenant 16% d'images de maladies confondantes.Dans le but d’améliorer ces résultats, deux méthodes ont été développées, toutes deux comportant deux étapes : (1) la détection individuelle des symptômes à l'aide d'un algorithme de détection constitué de couches de neurones convolutives et d'un algorithme neuronal de segmentation ; (2) le diagnostic basé sur l’association des symptômes détectés, soit à l'aide d'un classificateur de type forêt d’arbres décisionnels ou Random Forest (méthode B), soit à l'aide d'un réseau neuronal sur graphe (méthode C). Les résultats de ces deux méthodologies sur l'ensemble de données contenant 16% d'images de maladies confondantes à la FD sont de (p=0,86 ; r=0,90) pour la méthode B et de (p=0,90 ; r=0,96) pour la méthode C. Ces résultats démontrent une meilleure efficacité des méthodologies en deux étapes pour distinguer les maladies confondantes des maladies ciblées. Ils démontrent également la pertinence de l’imagerie RGB embarquée associée aux approches neuronales d’intelligence artificielle pour le diagnostic de ces maladies.Enfin, ces trois méthodes sont testées sur des acquisitions à l'échelle de parcelles entières afin d’établir leur validité dans des cas d'utilisation concret. Les résultats mettent en évidence les avantages de la méthodologie en deux étapes basée sur l’association des symptômes par graphe, la contribution significative des vignes environnantes et des deux faces des vignes lors de leur diagnostic automatique et soulignent les défis de l’application réelle de ces méthodologies
Grapevine is a plant susceptible to numerous diseases. Some of these diseases can lead to significant yield losses and the death of the infected grapevine. Among these diseases, some present symptoms of different nature on various organs of the same vine. Their diagnosis, typically performed by experts, is even more complex as many confounding factors are present. This research focuses on the development of methodologies for acquiring, annotating, and processing data related to multi-symptom grapevine diseases to study their automated diagnosis. Two groups of diseases are targeted: grapevine yellows such as Flavescence dorée (FD) and grapevine trunk diseases (GTDs) with Eutypa and Botryosphaeria diebacks as specific diseases.RGB image acquisitions were conducted directly in grapevine rows to build datasets for each disease type. The dataset for FD covers five different grape varieties and takes into account many diseases that have symptoms similar to FD, referred to as confounding diseases. The GTDs dataset includes images of a single grape variety and no confounding disease. Three methods for the automatic diagnosis of these diseases are proposed, compared, and discussed. The first method, inspired by state-of-the-art techniques, uses a convolutional neural network-based classifier applied to raw images (method A). The results show that this methodology delivers good results on datasets containing very few confounding diseases. Precision (p) and recall (r) of (p=0.94, r=0.92) are achieved for classifying images of grapevines affected by GTDs, while they are (p=0.87, r=0.84) for classifying images of vines affected by FD in a dataset containing 16% of confounding disease images.To improve these results, two methods were developed, both consisting of two steps: (1) individual symptom detection using a detection algorithm composed of neural convolutional layers and a neural segmentation algorithm; (2) diagnosis based on the association of detected symptoms, either using a Random Forest classifier (method B) or a graph neural network (method C). The results of these two methodologies on the dataset containing 16% of confounding disease images for FD are (p=0.86, r=0.90) for method B and (p=0.90, r=0.96) for method C. These results demonstrate the better effectiveness of two-step methodologies in distinguishing confounding diseases from targeted diseases. They also highlight the relevance of embedded RGB imaging combined with artificial intelligence approaches for diagnosing these diseases.Finally, these three methods are tested on whole-block acquisitions to establish their validity in real-world use cases. The results highlight the advantages of the two-step methodology based on symptom association by graph, the significant contribution of considering the surrounding vines and both sides of the vines during their automated diagnosis, and emphasize the challenges of real-world application of these methodologies

Les algorithmes de traitement numérique actuels nécessitent une puissance de calcul accrue pour obtenir des résultats plus précis et traiter des données plus volumineuses. Dans le même temps, les architectures matérielles se spécialisent, avec des accélérateurs très efficaces pour des tâches spécifiques. Dans ce contexte, le chemin du déploiement de l'algorithme à l'implémentation est de plus en plus complexe. Il est donc crucial de déterminer comment les algorithmes peuvent être modifiés pour tirer parti des capacités du matériel. Dans notre étude, nous nous sommes intéressé aux unités graphiques (GPU), un type de processeur massivement parallèle. Notre travail a consisté à l'adaptation entre l'algorithme et le matériel d'exécution. À l'échelle d'un opérateur mathématique, nous avons modifié un algorithme de convolution d'images pour utiliser les tensor cores et montré qu'on peut en doubler les performances pour de grands noyaux de convolution. Au niveau méthode, nous avons évalué des solveurs de systèmes linéaires pour l'estimation de flux optique afin de trouver le plus adéquat sur GPU. Grâce à ce choix et après de nouvelles optimisations spécifiques, comme la fusion d'itérations ou la réutilisation de zones mémoire, la méthode est deux fois plus rapide que l'implémentation initiale, fonctionnant à 60 images par seconde sur plateforme embarquée (30W). Enfin, nous avons également montré l'intérêt, dans le cadre des réseaux de neurones profonds, de cette méthode de conception d'algorithmes adaptée au matériel. Avec pour exemple l'hybridation entre un réseau conçu pour le flux optique avec une autre architecture préentrainée et conçue pour être efficace sur des cibles à faible puissance de calcul
Current digital processing algorithms require more computing power to achieve more accurate results and process larger data. In the meantime, hardware architectures are becoming more specialized, with highly efficient accelerators designed for specific tasks. In this context, the path of deployment from the algorithm to the implementation becomes increasingly complex. It is, therefore, crucial to determine how algorithms can be modified to take advantage of new hardware capabilities. Our study focused on graphics processing units (GPUs), a massively parallel processor. Our algorithmic work was done in the context of radio-astronomy or optical flow estimation and consisted of finding the best adaptation of the software to the hardware. At the level of a mathematical operator, we modified the traditional image convolution algorithm to use the matrix units and showed that its performance doubles for large convolution kernels. At a broader method level, we evaluated linear solvers for the combined local-global optical flow to find the most suitable one on GPU. With additional optimizations, such as iteration fusion or memory buffer re-utilization, the method is twice as fast as the initial implementation, running at 60 frames per second on an embedded platform (30 W). Finally, we also pointed out the interest of this hardware-aware algorithm design method in the context of deep neural networks. For that, we showed the hybridization of a convolutional neural network for optical flow estimation with a pre-trained image classification network, MobileNet, that was initially designed for efficient image classification on low-power platforms

La recherche concernant les voitures autonomes a fortement progressé ces dernières décennies, en se concentrant particulièrement sur l'analyse de l'environnement extérieur et sur les tâches liées à la conduite. Cela a permis une importante croissance de l'autonomie des véhicules particuliers. Dans ce nouveau contexte, il peut être pertinent de s'intéresser aux passagers de ces véhicules autonomes afin d'étudier le comportement de ces derniers face à cette révolution du moyen de transport. C'est pour approfondir ces thématiques que le projet région AURA AutoBehave a été mis en place. Ce projet réunit plusieurs laboratoires menant des recherches dans différentes disciplines scientifiques liées à cette thématique telles que la vision par ordinateur, la biomécanique, les émotions ou encore l'économie des transports. Cette thèse menée au laboratoire LIRIS s'inscrit donc dans ce projet, dans laquelle nous nous intéressons aux méthodes d'estimation de poses humaines des passagers par apprentissage profond. Nous avons d'abord étudié les solutions de l'état de l'art, et avons développé un jeu de données ainsi qu'une métrique plus adaptée aux contraintes de notre contexte. Nous nous sommes également intéressés à la visibilité des points afin d'aider l'estimation de la pose. Par la suite, nous nous sommes attaqués à la problématique de généralisation de domaine pour l'estimation de poses dans le but de proposer une solution efficace dans des conditions inconnues. Ainsi, nous nous sommes intéressés à la génération de données synthétiques de passagers pour l'estimation de poses afin de combler le manque de jeux de données annotés disponibles dans notre contexte. Nous avons étudié l'application de réseaux génératifs ainsi que de méthodes modélisation 3D à notre problématique. Nous nous sommes appuyés sur ces données pour proposer différentes stratégies d'entraînement et deux nouvelles architectures. L'approche par fusion proposée associée aux stratégies d'entraînement permet de tirer profit de jeux de données génériques et de jeux de données spécifiques, afin d'améliorer les capacités de généralisation des méthodes d'estimation de poses à l'intérieur d'une voiture, en particulier sur le bas du corps
Research into autonomous cars has made great strides in recent decades, focusing particularly on analysis of the external environment and driving-related tasks. This has led to a significant increase in the autonomy of private vehicles. In this new context, it may be relevant to take an interest in the passengers of these autonomous vehicles, to study their behavior in the face of this revolution in the means of transport. The AURA AutoBehave project has been set up to explore these issues in greater depth. This project brings together several laboratories conducting research in different scientific disciplines linked to this theme, such as computer vision, biomechanics, emotions, and transport economics. This thesis carried out at the LIRIS laboratory is part of this project, in which we focus on methods for estimating the human poses of passengers using deep learning. We first looked at state-of-the-art solutions and developed both a dataset and a metric better suited to the constraints of our context. We also studied the visibility of the keypoints to help estimate the pose. We then tackled the problem of domain generalisation for pose estimation to propose an efficient solution under unknown conditions. Thus, we focused on the generation of synthetic passenger data for pose estimation. Among other things, we studied the application of generative networks and 3D modeling methods to our problem. We have used this data to propose different training strategies and two new network architectures. The proposed fusion approach associated with the training strategies makes it possible to take advantage of both generic and specific datasets, to improve the generalisation capabilities of pose estimation methods inside a car, particularly on the lower body

Nombreuses applications d’ingénieries et recherches scientifiques nécessitent la simulation fidèle de phénomènes complexes et dynamiques, transcrits mathématiquement en Équations aux Dérivées Partielles (EDP). Les solutions de ces EDP sont généralement approximées au moyen de solveurs qui effectuent des calculs intenses et génèrent des quantités importantes de données. Les applications requièrent rarement une unique simulation, mais plutôt un ensemble d’exécutions pour différents paramètres afin d’analyser la sensibilité du phénomène ou d’en trouver une configuration optimale. Ces larges ensembles de simulations sont limités par des temps de calcul importants et des capacités de stockage mémoire finies. La problématique du coût de calcul a jusqu’à présent encouragé le développement du calcul haute-performance (HPC) et de techniques de réductions de modèles. Récemment, le succès de l'apprentissage profond a poussé la communauté scientifique à considérer son usage pour accélérer ces ensembles de simulations. Cette thèse s'inscrit dans ce cadre en explorant tout d'abord deux techniques d’apprentissage pour la simulation numérique. La première propose d’utiliser une série de convolutions sur une hiérarchie de graphes pour reproduire le champ de vitesse d’un fluide tel que généré par le solveur à tout pas de temps de la simulation. La seconde hybride des algorithmes de régression avec des techniques classiques de réduction de modèles pour prédire les coefficients de toute nouvelle simulation dans une base réduite obtenue par analyse en composantes principales. Ces deux approches, comme la majorité de celles présentées dans la littérature, sont supervisées. Leur entraînement nécessite de générer a priori de nombreuses simulations. Elles souffrent donc du même problème qui a motivé leur développement : générer un jeu d’entraînement de simulations fidèles à grande échelle est laborieux. Nous proposons un cadre d’apprentissage générique pour l’entraînement de réseaux de neurones artificiels à partir de simulations générées à la volée tirant profit des ressources HPC. Les données sont produites en exécutant simultanément plusieurs instances d’un solveur pour différents paramètres. Le solveur peut lui-même être parallélisé sur plusieurs unités de calcul. Dès qu’un pas de temps est simulé, il est directement transmis pour effectuer l’apprentissage. Aucune donnée générée par le solveur n’est donc sauvegardée sur disque, évitant ainsi les coûteuses opérations d’écriture et de lecture et la nécessité de grands volumes de stockage. L’apprentissage se fait selon une distribution parallèle des données sur plusieurs GPUs. Comme il est désormais en ligne, cela crée un biais dans les données d’entraînement, comparativement à une situation classique où les données sont échantillonnées uniformément sur un ensemble de simulations disponibles a priori. Nous associons alors chaque GPU à une mémoire tampon en charge de mélanger les données produites. Ce formalisme a permis d’améliorer les capacités de généralisation de modèles issus de l’état de l’art, en les exposant à une diversité globale de données simulées plus riches qu’il n’aurait été faisable lors d’un entraînement classique. Des expériences montrent que l’implémentation de la mémoire tampon est cruciale pour garantir un entraînement de qualité à haut débit. Ce cadre d’apprentissage a permis d’entraîner un réseau à reproduire des simulations de diffusion thermique en moins de 2 heures sur 8TB de données générées et traitées in situ, améliorant ainsi les prédictions de 47% par rapport à un entraînement classique
Many engineering applications and scientific discoveries rely on faithful numerical simulations of complex phenomena. These phenomena are transcribed mathematically into Partial Differential Equation (PDE), whose solution is generally approximated by solvers that perform intensive computation and generate tremendous amounts of data. The applications rarely require only one simulation but rather a large ensemble of runs for different parameters to analyze the sensitivity of the phenomenon or to find an optimal configuration. Those large ensemble runs are limited by computation time and finite memory capacity. The high computational cost has led to the development of high-performance computing (HPC) and surrogate models. Recently, pushed by the success of deep learning in computer vision and natural language processing, the scientific community has considered its use to accelerate numerical simulations. The present thesis follows this approach by first presenting two techniques using machine learning for surrogate models. First, we propose to use a series of convolutions on hierarchical graphs to reproduce the velocity of fluids as generated by solvers at any time of the simulation. Second, we hybridize regression algorithms with classical reduced-order modeling techniques to identify the coefficients of any new simulation in a reduced basis computed by proper orthogonal decomposition. These two approaches, as the majority found in the literature, are supervised. Their training needs to generate a large number of simulations. Thus, they suffer the same problem that motivated their development in the first instance: generating many faithful simulations at scale is laborious. We propose a generic training framework for artificial neural networks that generate data simulations on-the-fly by leveraging HPC resources. Data are produced by running simultaneously several instances of the solver for different parameters. The solver itself can be parallelized over several processing units. As soon as a time step is computed by any simulation, it is streamed for training. No data is ever written on disk, thus overcoming slow input-output operations and alleviating the memory footprint. Training is performed by several GPUs with distributed data-parallelism. Because the training is now online, it induces a bias in the data compared to classical training, for which they are sampled uniformly from an ensemble of simulations available a priori. To mitigate this bias, each GPU is associated with a memory buffer in charge of mixing the incoming simulation data. This framework has improved the generalization capabilities of state-of-the-art architectures by exposing them during training to a richer diversity of data than would have been feasible with classical training. Experiments show the importance of the memory buffer implementation in guaranteeing generalization capabilities and high throughput training. The framework has been used to train a deep surrogate for heat diffusion simulation in less than 2 hours on 8TB of data processed in situ, thus increasing the prediction accuracy by 47% compared to a classical setting

Largement poussés par l'industrie vidéoludique, la recherche et le développement d'outils matériels destinés à la génération d'images de synthèse, tels les cartes graphiques (ou GPU, Graphics Processing Units), ont connu un essor formidable ces dernières années. L'augmentation de puissance et de

L'industrie 4.0 est un changement important et un défi de taille pour chaque segment industriel. La recherche utilise d'abord l'analyse de la littérature pour trier la littérature et énumérer la direction du développement et l'état d'application de différents domaines, ce qui se consacre à montrer un rôle de premier plan pour la théorie et la pratique de l'industrie 4.0. La recherche explore ensuite la tendance principale de l'offre à plusieurs niveaux dans l'industrie 4.0 en combinant l'apprentissage automatique et les méthodes traditionnelles. Ensuite, la recherche examine la relation entre l'investissement et l'emploi dans l'industrie 4.0 pour examiner la dépendance interrégionale de l'industrie 4.0 afin de présenter un regroupement raisonnable basé sur différents critères et de faire des suggestions et une analyse de la chaîne d'approvisionnement mondiale pour les entreprises et les organisations.De plus, notre système d'analyse jette un coup d'oeil sur la macroéconomie. La combinaison du traitement du langage naturel dans l'apprentissage automatique pour classer les sujets de recherche et de la revue de la littérature traditionnelle pour enquêter sur la chaîne d'approvisionnement à plusieurs niveaux améliore considérablement l'objectivité de l'étude et jette une base solide pour des recherches ultérieures. L'utilisation de réseaux et d'économétrie complexes pour analyser la chaîne d'approvisionnement mondiale et les problèmes macroéconomiques enrichit la méthodologie de recherche au niveau macro et politique. Cette recherche fournit des analyses et des références aux chercheurs, aux décideurs et aux entreprises pour leur prise de décision stratégique
Industry 4.0 is a significant shift and a tremendous challenge for every industrial segment, especially for the manufacturing industry that gave birth to the new industrial revolution. The research first uses literature analysis to sort out the literature, and focuses on the use of “core literature extension method” to enumerate the development direction and application status of different fields, which devotes to showing a leading role for theory and practice of industry 4.0. The research then explores the main trend of multi-tier supply in Industry 4.0 by combining machine learning and traditional methods. Next, the research investigates the relationship of industry 4.0 investment and employment to look into the inter-regional dependence of industry 4.0 so as to present a reasonable clustering based on different criteria and make suggestions and analysis of the global supply chain for enterprises and organizations. Furthermore, our analysis system takes a glance at the macroeconomy. The combination of natural language processing in machine learning to classify research topics and traditional literature review to investigate the multi-tier supply chain significantly improves the study's objectivity and lays a solid foundation for further research. Using complex networks and econometrics to analyze the global supply chain and macroeconomic issues enriches the research methodology at the macro and policy level. This research provides analysis and references to researchers, decision-makers, and companies for their strategic decision-making