Academic literature on the topic 'Réseaux neuronaux graphiques'

Les graphes sont utilisés partout pour représenter les interactions, qu'elles soient physiques comme entre les atomes, les molécules ou les humains, ou plus abstraites comme les villes, les amitiés, les idées, etc. Parmi toutes les méthodes d'apprentissage automatique qui peuvent être utilisées, les dernières avancées en apprentissage profond font des réseaux de neurones de graphes la référence de l'apprentissage de représentation des graphes. Cette thèse se divise en deux parties. Dans un premier temps, nous faisons un état de l'art des fondations mathématiques des réseaux de neurones de graphes les plus puissants. Dans un second temps, nous explorons les défis auxquels sont confrontés ces modèles quand ils sont entraînés sur des jeux de données réels. La puissance d'un réseau de neurones est définie par rapport à son expressivité, c'est-à-dire sa capacité à distinguer deux graphes non isomorphes ; ou, de manière équivalente, sa capacité à approximer les fonctions qui sont invariantes ou équivariantes par rapport aux permutations. Nous discernons deux grandes familles de modèles expressifs. Nous présentons leurs propriétés mathématiques ainsi que les avantages et les inconvénients de ces modèles lors d'applications pratiques. En parallèle du choix de l'architecture, la qualité de la donnée joue un rôle crucial dans la capacité d'un modèle à apprendre des représentations utiles. Les réseaux de neurones de graphes sont confrontés à des problèmes spécifiques aux graphes. À l'inverse des modèles développés pour les données tabulaires, les réseaux de neurones de graphes doivent prendre en compte aussi bien les attributs des nœuds que leur interdépendance. À cause de ces liens, l'apprentissage d'un réseau de neurones sur des graphes peut se faire de deux manières : en apprentissage transductif, où le modèle a accès aux attributs des données de test pendant l'entraînement ; en apprentissage inductif, où les données de test restent cachées. Nous étudions les différences en termes de performance entre l'apprentissage transductif et inductif pour la classification de nœuds. De plus, les attributs des nœuds peuvent être bruités ou manquants. Dans cette thèse, nous évaluons ces défis sur des jeux de données réels, et nous proposons une nouvelle architecture de réseau de neurones de graphes pour imputer les attributs manquants des nœuds d'un graphe. Enfin, si les graphes sont le moyen privilégié de décrire les interactions, d'autres types de données peuvent aussi bénéficier d'une conversion sous forme de graphes. Dans cette thèse, nous effectuons un travail préliminaire sur l'extraction des parties les plus importantes d'images de lésions de la peau. Ces patches pourraient être utilisés pour créer des graphes et découvrir des relations latentes dans la donnée
Graphs are used everywhere to represent interactions between entities, whether physical such as atoms, molecules or people, or more abstract such as cities, friendships, ideas, etc. Amongst all the methods of machine learning that can be used, the recent advances in deep learning have made graph neural networks the de facto standard for graph representation learning. This thesis can be divided in two parts. First, we review the theoretical underpinnings of the most powerful graph neural networks. Second, we explore the challenges faced by the existing models when training on real world graph data. The powerfulness of a graph neural network is defined in terms of its expressiveness, i.e., its ability to distinguish non isomorphic graphs; or, in an equivalent manner, its ability to approximate permutation invariant and equivariant functions. We distinguish two broad families of the most powerful models. We summarise the mathematical properties as well as the advantages and disadvantages of these models in practical situations. Apart from the choice of the architecture, the quality of the graph data plays a crucial role in the ability to learn useful representations. Several challenges are faced by graph neural networks given the intrinsic nature of graph data. In contrast to typical machine learning methods that deal with tabular data, graph neural networks need to consider not only the features of the nodes but also the interconnectedness between them. Due to the connections between nodes, training neural networks on graphs can be done in two settings: in transductive learning, the model can have access to the test features in the training phase; in the inductive setting, the test data remains unseen. We study the differences in terms of performance between inductive and transductive learning for the node classification task. Additionally, the features that are fed to a model can be noisy or even missing. In this thesis we evaluate these challenges on real world datasets, and we propose a novel architecture to perform missing data imputation on graphs. Finally, while graphs can be the natural way to describe interactions, other types of data can benefit from being converted into graphs. In this thesis, we perform preliminary work on how to extract the most important parts of skin lesion images that could be used to create graphs and learn hidden relations in the data

Cette thèse traite du problème de l'inférence de réseau dans le domaine des réseaux sociaux en ligne. L'hypothèse principale des problèmes d'inférence de réseau est que le réseau que nous observons n'est pas celui dont nous avons réellement be-soin. Cela est particulièrement vrai dans l'espace numérique actuel, où l'abondance d'informations s'accompagne généralement d'un manque crucial de fiabilité, sous la forme de bruit et de points manquants dans les données. Cependant, les approches existantes ignorent ou ne garantissent pas l'inférence de réseaux d'une manière qui puisse expliquer les données dont nous disposons. Il en résulte une ambiguïté sur la signification du réseau inféré, en plus d'un manque d'intuition et de contrôle sur l'inférence elle-même. L'objectif de cette thèse est d'explorer plus avant ce problème. Pour quantifier la capacité d'un réseau inféré à expliquer un ensemble de données, nous introduisons un nouveau critère de qualité, appelé feasibility. Notre intuition est que si un ensemble de données est "feasible" en ce qui concerne le réseau inféré, celui-ci est un meilleur candidat que le cas échéant. Pour le vérifier, nous proposons une nouvelle méthode d'inférence de réseau sous la forme d'un problème d'optimisation contraint, basé sur le maximum de vraisemblance, qui garantit la feasibility à 100%. Cette méthode est adaptée aux données provenant des réseaux sociaux en ligne, qui sont des sources bien connues de données peu fiables et restreintes. Nous présentons des expériences sur un ensemble de données synthétiques et données réelles provenant de la plateforme Twitter/X. Nous montrons que la méthode proposée génère une distribution a posteriori des graphes qui garantit l'explication de l'ensemble de données tout en étant plus proche de la véritable structure sous-jacente. En guise d'exploration finale, nous nous penchons sur le domaine de l'apprentissage profond pour trouver des alternatives plus évolutives et plus flexibles, en fournissant un cadre préliminaire basé sur les réseaux neuronaux graphiques et l'apprentissage contrastif qui donne des résultats prometteurs
This thesis deals with the problem of network inference in the domain of Online So-cial Networks. The main premise of network inference problems is that the networkwe are observing is not the network that we really need. This is especially prevalentin today's digital space, where the abundance of information usually comes withcrucial unreliability, in the form of noise and missing points in the data. However, existing approaches either ignore or do not guarantee to infer networks in a waythat can explain the data we have at hand. As a result, there is an ambiguity around the meaning of the network that we are inferring, while also having little intuition or control over the inference itself. The goal of this thesis is to further explore this problem. To quantify how well an inferred network can explain a dataset, we introduce a novel quality criterion called feasibility. Our intuition is that if a dataset is feasible given an inferred network, we might also be closer to the ground truth. To verify this,we propose a novel network inference method in the form of a constrained, Maximum Likelihood-based optimization problem that guarantees 100% feasibility. It is tailored to inputs from Online Social Networks, which are well-known sources of un-reliable and restricted data. We provide extensive experiments on one synthetic andone real-world dataset coming from Twitter/X. We show that our proposed method generates a posterior distribution of graphs that guarantees to explain the dataset while also being closer to the true underlying structure when compared to other methods. As a final exploration, we look into the field of deep learning for more scalable and flexible alternatives, providing a preliminary framework based on Graph Neural Networks and contrastive learning that gives promising results

L'émergence de la technologie blockchain et des cryptomonnaies a ouvert la possibilité de créer de nouveaux modèles de gestion, de partage et de monétisation de ressources en pair-à-pair (P2P). Étant donné que ces modèles P2P sont sans confiance (trustless), des mécanismes de confiance et de réputation fiables et efficaces sont nécessaires pour minimiser le risque d'accès ou d'interaction avec des pairs malveillants. Plusieurs systèmes de gestion de confiance basés sur la réputation (RTMS) ont été proposés pour garantir la confiance dans les réseaux P2P, aider à choisir des ressources fiables et empêcher les comportements malveillants des pairs. Ces RTMS établissent la confiance en s'appuyant sur des réputations basées sur la communauté. Ils aident les pairs à évaluer la fiabilité des autres et à évaluer la qualité de service (QoS) en fonction de leur réputation et de leurs expériences passées mutuelles. Dans ces schémas, un réseau de confiance en surcouche pair-à-pair est établi.Cette thèse présente BTrust, un nouveau système de gestion de confiance décentralisé et modulaire pour les réseaux P2P à grande échelle, exploitant la technologie blockchain et les GNN (Graph Neural Network) pour l'évaluation de la confiance. BTrust introduit un modèle de confiance et de réputation multidimensionnel pour évaluer la fiabilité des pairs, dérivant dynamiquement une valeur unique à partir de plusieurs paramètres. La blockchain garantit un calcul, une diffusion et un stockage fiables de la confiance sans gestionnaire de confiance centralisé, tandis que les GNN capturent efficacement les relations complexes entre les pairs, conduisant à des évaluations de confiance précises et robustes.Une avancée importante dans notre protocole est la résolution du "problème de démarrage à froid" ou du "problème du score de confiance initial". Pour y parvenir, le pair d'amorçage adopte des marches aléatoires pour sélectionner des pairs fiables parmi ses voisins, garantissant une approche décentralisée sans dépendre d'une entité centralisée ou de pairs prédéfinis. Contrairement aux solutions existantes, cette méthode évite de submerger les pairs les plus dignes de confiance du réseau.Un autre défi abordé dans les systèmes de réputation est la réticence des pairs à fournir des rétroactions négatives, souvent par peur de représailles ou simplement en ne fournissant pas de rétroaction du tout. Pour résoudre ces problèmes, nous introduisons un mécanisme d'incitation qui encourage les rétroactions sincères et nous mettons en œuvre des mécanismes spécialisés pour sanctionner les comportements mauvais ou paresseux. Ces innovations favorisent un processus d'évaluation de confiance plus fiable et équilibré au sein du système.De plus, nous proposons une variante de BTrust appelée GBTrust, qui améliore le protocole original en incorporant des Graph Neural Networks (GNN) et un nouveau mécanisme basé sur l'attention spécifiquement conçu pour la gestion de la confiance. Cette variante permet d'améliorer la détection des pairs malveillants dynamiques et renforce la robustesse et la précision globale de l'évaluation de la confiance. En utilisant les GNN, GBTrust capture efficacement les relations complexes et les comportements dynamiques des pairs dans le réseau, permettant ainsi une identification plus précise des activités malveillantes et une meilleure adaptabilité aux dynamiques de confiance changeantes. Le mécanisme basé sur l'attention renforce également la capacité du modèle à prioriser et à pondérer différents facteurs de confiance, conduisant à des évaluations de confiance plus fiables et précises.Nous démontrons l'efficacité du système GBTrust proposé dans des réseaux P2P à grande échelle en utilisant des simulations d'un réseau P2P, et nous montrons que BTrust est hautement résilient aux pannes et robuste contre les nœuds malveillants
The emergence of blockchain technology and cryptocurrencies has enabled the development of innovative peer-to-peer (P2P) models for resource allocation, sharing, and monetization. As these P2P models operate without inherent trust, the need for reliable trust and reputation mechanisms becomes crucial to minimize potential risks associated with engaging with malicious peers. Several trust management systems (TMS) have been proposed to establish trust in traditional P2P networks, aiming to facilitate the selection of dependable resources and deter peer misbehavior, with a significant focus on utilizing reputation as a guiding factor.Reputation-based trust systems (RTMS) play a fundamental role by leveraging community-based reputations to establish trust. They enable peers to assess the trustworthiness of others and evaluate the Quality of Service (QoS) based on shared reputations and past interactions. While these systems establish a peer-to-peer overlay trust network, the majority of these protocols are not tailored to suit Blockchain-based networks, resulting in various shortcomings due to their outdated design.This thesis presents our protocol BTrust, a novel decentralized and modular trust management system for large-scale P2P networks, leveraging blockchain technology and (Graph Neural Network) GNN for trust evaluation. BTrust introduces a multi-dimensional trust and reputation model to assess peer trustworthiness, dynamically deriving a single value from multiple parameters. The blockchain ensures reliable trust computation, dissemination, and storage without a central trust manager.An important breakthrough in our protocol is the resolution of the "cold start" or "initial trust score problem". To achieve this, the bootstrapping peer adopts random walks to select trustworthy peers among its neighbors, ensuring a decentralized approach without relying on any centralized entity or predefined peers. Unlike existing solutions, this method prevents overwhelming the most trusted peers in the network.Another challenge addressed in reputation systems is the reluctance of peers to provide negative feedback, often due to fear of retaliation or simply not providing feedback at all. To tackle these issues, we introduce an incentive mechanism that encourages truthful feedback and implement specialized mechanisms to penalize bad or lazy behavior. These innovations promote a more reliable and balanced trust evaluation process within the system.Furthermore, we propose a variant of BTrust called GBTrust, which improves upon the original protocol by incorporating Graph Neural Networks (GNNs) and a novel attention-based mechanism specifically designed for trust management. This variant enhances the detection of dynamic malicious peers and strengthens the overall robustness and accuracy of trust evaluation. By leveraging GNNs, GBTrust effectively captures the complex relationships and dynamic behavior of peers in the network, enabling more accurate identification of malicious activities and better adaptability to changing trust dynamics. The attention-based mechanism further enhances the model's ability to prioritize and weigh different trust factors, leading to more reliable and precise trust assessments.We demonstrate the efficiency of the proposed protocol in large-scale P2P networks using simulations of a P2P network and show that BTrust and its variant (GBTrust) are highly resilient to failures and robust against malicious nodes

Cette thèse aborde les progrès de l’apprentissage des représentation des nœuds d’ungraphe, en se concentrant sur les défis et les opportunités présentées par les réseaux de neuronespour graphe (GNN). Elle met en évidence l’importance des graphes dans la représentation dessystèmes complexes et la nécessité d’apprendre des représentations de nœuds qui capturent à la fois les caractéristiques des nœuds et la structure des graphes. L’ étude identifie les problèmes clés des réseaux de neurones pour graphe, tels que leur dépendance à l’ ´égard de données étiquetées de haute qualité, l’incohérence des performances dansdivers ensembles de données et la vulnérabilité auxattaques adverses.Pour relever ces défis, la thèse introduit plusieursapproches innovantes. Tout d’abord, elle utilise l’apprentissage contrastif pour la représentation des nœuds, permettant un apprentissage auto-supervisé qui réduit la dépendance aux données étiquetées.Deuxièmement, un classificateur bayésien est proposé pour la classification des nœuds, qui prenden compte la structure du graphe pour améliorer la précision. Enfin, la thèse aborde la vulnérabilité des GNN aux attaques adversariaux en évaluant la robustesse du classificateur proposé et en introduisant des mécanismes de défense efficaces. Ces contributionsvisent à améliorer à la fois la performance et la résilience des GNN dans l’apprentissage de lareprésentation des nœuds
This thesis addresses advancements in graph representation learning, focusing on the challengesand opportunities presented by Graph Neural Networks (GNNs). It highlights the significanceof graphs in representing complex systems and the necessity of learning node embeddings that capture both node features and graph structure. The study identifies key issues in GNNs, such as their dependence on high-quality labeled data, inconsistent performanceacross various datasets, and susceptibility to adversarial attacks.To tackle these challenges, the thesis introduces several innovative approaches. Firstly, it employs contrastive learning for node representation, enabling self-supervised learning that reduces reliance on labeled data. Secondly, a Bayesian-based classifier isproposed for node classification, which considers the graph’s structure to enhance accuracy. Lastly, the thesis addresses the vulnerability of GNNs to adversarialattacks by assessing the robustness of the proposed classifier and introducing effective defense mechanisms.These contributions aim to improve both the performance and resilience of GNNs in graph representation learning

Dans la quête de concevoir des machines incarnées qui explorent leurs environnements en autonomie, découvrent des nouveaux comportements et apprennent des répertoires non-bornés de compétences, l'intelligence artificielle s'est longuement inspirée des domaines de psychologie du développement et des sciences cognitives qui étudient la capacité remarquable des humains à apprendre tout au long de leur vie. Ceci a donné naissance au domaine de la robotique du développement qui a pour but de concevoir des agents artificiels autonomes capables d'auto-organiser leurs trajectoires d'apprentissage en se basant sur leurs motivations intrinsèques. Ce domaine combine les processus d'exploration de but intrinsèquement motivés (IMGEPs) et l'apprentissage par renforcement (RL). Cette combinaison est connue sous le nom d'apprentissage par renforcement autotélique, où des agents autotéliques sont intrinsèquement motivés pour représenter, organiser et apprendre leurs propres buts. Naturellement, ces agents doivent démontrer de bonnes capacités d'exploration puisqu'ils ont besoin de découvrir physiquement les buts pour pouvoir les apprendre. Malheureusement, découvrir des comportements intéressants peut être compliqué, surtout dans les environnements d'exploration difficile où les signaux de récompenses sont parcimonieux, déceptifs ou contradictoires. Dans ces scénarios, la situation physique des agents semble insuffisante. Heureusement, la recherche en psychologie du développement et les sciences de l'éducation soulignent le rôle important des signaux socio-culturels dans le développement des enfants humains. Cette situation sociale améliore les capacités d'exploration des enfants, leur créativité et leur développement. Cependant, l'apprentissage par renforcement profond considère l'apprentissage social comme une imposition d'instructions aux agents, ce qui les prive de leur autonomie. Dans ce document, nous introduisons les agents autotéliques enseignables, une nouvelle famille de machines autonomes qui peuvent apprendre à la fois toutes seules et à travers des signaux sociaux externes. Nous formalisons cette famille en tant que processus d'exploration de but hybride (HGEPs), où les agents autotéliques sont augmentés d'un mécanisme d'internalisation leur permettant de rejouer les signaux sociaux et d'un sélecteur de source de buts pour demander activement de l'aide sociale. Ce document est organisé en deux parties. Dans la première partie, nous nous concentrons sur la conception d'agents autotéliques enseignables et nous essayons d'implémenter des propriétés qui faciliteraient l'interaction sociale. Notamment, nous introduisons les agents autotéliques basés sur les prédicats, une nouvelle famille d'agents autotéliques qui représentent leurs buts en utilisant des prédicats binaires spatiaux. Nous montrons que l'espace de représentation sémantique sous-jacent joue le rôle de pivot entre la représentation sensorimotrice et le langage, permettant un découplage entre l'apprentissage sensorimoteur et l'ancrage du langage. Nous étudions également la conception des politiques et des fonctions valeurs état-action et nous soutenons que la combinaison des réseaux de neurones graphiques (GNNs) et des buts en prédicats relationnels permet l'utilisation de schémas computationnels légers qui transfèrent bien entre les tâches. Dans la deuxième partie, nous formalisons les interactions sociales en tant que processus d'exploration de buts. Nous introduisons Help Me Explore (HME), un nouveau protocole d'interaction sociale où un partenaire social expert guide progressivement l'agent au-delà de sa zone de développement proximale (ZPD). L'agent choisit activement de lancer des requêtes à son partenaire social dès qu'il estime qu'il ne progresse plus sur les buts qu'il connait déjà. Il finit éventuellement par internaliser ces signaux sociaux, devient moins dépendant envers son partenaire social et arrive à maximiser son contrôle de son espace de buts
As part of the quest for designing embodied machines that autonomously explore their environments, discover new behaviors and acquire open-ended repertoire of skills, artificial intelligence has been taking long looks at the inspiring fields of developmental psychology and cognitive sciences which investigate the remarkable continuous and unbounded learning of humans. This gave birth to the field of developmental robotics which aims at designing autonomous artificial agents capable of self-organizing their own learning trajectories based on their intrinsic motivations. It bakes the developmental framework of intrinsically motivated goal exploration processes (IMGEPs) into reinforcement learning (RL). This combination has been recently introduced as autotelic reinforcement learning, where autotelic agents are intrinsically motivated to self-represent, self-organize and autonomously learn about their own goals. Naturally, such agents need to be endowed with good exploration capabilities as they need to first physically encounter a certain goal in order to take ownership of and learn about it. Unfortunately, discovering interesting behavior is usually tricky, especially in hard exploration setups where the rewarding signals are parsimonious, deceptive or adversarial. In such scenarios, the agents’ physical situatedness-in the Piagetian sense of the term-seems insufficient. Luckily, research in developmental psychology and education sciences have been praising the remarkable role of socio-cultural signals in the development of human children. This social situatedness-in the Vygotskyan sense of the term-enhances the toddlers’ exploration capabilities, creativity and development. However, deep \rl considers social interactions as dictating instructions to the agents, depriving them from their autonomy. This research introduces \textit{teachable autotelic agents}, a novel family of autonomous machines that can learn both alone and from external social signals. We formalize such a family as a hybrid goal exploration process (HGEPs), where autotelic agents are endowed with an internalization mechanism to rehearse social signals and with a goal source selector to actively query for social guidance. The present manuscript is organized in two parts. In the first part, we focus on the design of teachable autotelic agents and attempt to leverage the most important properties that would later serve the social interaction. Namely, we introduce predicate-based autotelic agents, a novel family of autotelic agents that represent their goals using spatial binary predicates. These insights were based on the Mandlerian view on the prelinguistic concept acquisition suggesting that toddlers are endowed with some innate mechanisms enabling them to translate spatio-temporal information into an iconic static form. We show that the underlying semantic representation plays a pivotal role between raw sensory inputs and language inputs, enabling the decoupling of sensorimotor learning and language grounding. We also investigate the design of such agents' policies and state-action value functions, and argue that combining Graph Neural Networks (GNNs) with relational predicates provides a light computational scheme to transfer efficiently between skills. In the second part, we formalize social interactions as a goal exploration process. We introduce Help Me Explore (HME), a novel social interaction protocol where an expert social partner progressively guides the learning agent beyond its zone of proximal development (ZPD). The agent actively selects to query its social partner whenever it estimates that it is not progressing enough alone. It eventually internalizes the social signals, becomes less dependent on its social partner and maximizes its control over its goal space

La dynamique des fluides numérique (CFD) s’est imposée depuis plusieurs années comme un outil indispensable pour l’étude des phénomènes d’écoulement complexes en recherche et en industrie. La précision des simulations CFD dépend de plusieurs paramètres – géométrie, maillage, schémas, solveurs, etc. – ainsi que de connaissances phénoménologiques que seul un ingénieur expert en CFD peut configurer et optimiser. L’objectif de ce travail de thèse est de proposer un assistant IA pour aider les utilisateurs, qu’ils soient experts ou non, à mieux choisir les options de simulation et à garantir la fiabilité des résultats pour un phénomène d’écoulement cible. Dans ce cadre, des algorithmes d’apprentissage profond sont explorés pour identifier les caractéristiques des écoulements calculés sur des maillages structurés et non structurés de géométries complexes. Dans un premier temps, des réseaux de neurones convolutifs (CNN), réputés pour leur capacité à extraire des motifs sur des images, sont utilisés pour identifier des phénomènes d’écoulement tels que les tourbillons et la stratification thermique sur des maillages structurés en 2D. Bien que les ré-sultats obtenus sur maillages structurés soient satisfaisants, les réseaux CNN ne peuvent être appliqués qu’à ce type de maillage. Pour surmonter cette limitation, un cadre de réseau neuronal basé sur les graphes (GNN) est proposé. Ce cadre utilise l’architecture U-Net et une hiérarchie de graphes successivement déraffinés grâce à la mise en oeuvre d’une méthode multigrille (AMG) inspirée de celle utilisée dans le code de simulation Code_Saturne. Par la suite, une étude ap-profondie des fonctions à noyau a été menée selon des critères de précision d’identification et d’efficacité d’entraînement pour mieux filtrer les différents phénomènes sur maillages non structurés. Après avoir comparé des fonctions à noyau disponibles dans la littérature, une nouvelle fonction à noyau basée sur le modèle de mélange gaussien a été proposée. Cette fonction est mieux adaptée à l’identification de phénomènes d’écoulement sur des maillages non structurés. La supériorité de l’architecture et de la fonction à noyau proposées est démontrée par plusieurs expériences numériques d’identification des tourbillons en 2D, ainsi que par son adaptabilité à l’identification des caractéristiques d’un écoulement en 3D
Computational Fluid Dynamics (CFD) has become an indispensable tool for studying complex flow phenomena in both research and industry over the years. The accuracy of CFD simulations depends on various parameters – geometry, mesh, schemes, solvers, etc. – as well as phenomenological knowledge that only an expert CFD engineer can configure and optimize. The objective of this thesis is to propose an AI assistant to help users, whether they are experts or not, to better choose simulation options and ensure the reliability of results for a target flow phenomenon. In this context, deep learning algorithms are explored to identify the characteristics of flows computed on structured and unstructured meshes of complex geometries. Initially, convolutional neural networks (CNNs), known for their ability to extract patterns from im-ages, are used to identify flow phenomena such as vortices and thermal stratification on structured 2D meshes. Although the results obtained on structured meshes are satisfactory, CNNs can only be applied to structured meshes. To overcome this limitation, a graph-based neural network (GNN) framework is proposed. This framework uses the U-Net architecture and a hierarchy of successively refined graphs through the implementation of a multigrid method (AMG) inspired by the one used in the Code_Saturne CFD code. Subsequently, an in-depth study of kernel functions was conducted according to identification accuracy and training efficiency criteria to better filter the different phenomena on unstructured meshes. After comparing available kernel functions in the literature, a new kernel function based on the Gaussian mixture model was proposed. This function is better suited to identifying flow phenomena on unstructured meshes. The superiority of the proposed architecture and kernel function is demonstrated by several numerical experiments identifying 2D vortices and its adaptability to identifying the characteristics of a 3D flow

Cette thèse est axée sur l'optimisation des hyperparamètres des réseaux de neurones à convolution (CNN) dans le domaine médical, proposant une approche innovante visant à améliorer la performance des modèles décisionnels dans le domaine biomédical. Grâce à l'utilisation d'une approche hybride, GS-TPE, pour ajuster efficacement les hyperparamètres des modèles de réseaux de neurones complexes , cette recherche a démontré des améliorations significatives dans la classification des signaux biomédicaux temporels, à savoir les états de vigilance, à partir de signaux physiologiques tels que l'électroencéphalogramme (EEG). De plus, grâce à l'introduction d'une nouvelle architecture de DNN, STGCN, pour la classification de gestes associés à des pathologies telles que l'arthrose du genou et la maladie de Parkinson à partir d'analyses vidéo de la marche, ces travaux offrent de nouvelles perspectives pour l'amélioration du diagnostic et de la prise en charge médicale grâce aux progrès dans le domaine de l'IA
This thesis focuses on optimizing the hyperparameters of convolutional neural networks (CNNs) in the medical domain, proposing an innovative approach to improve the performance of decision-making models in the biomedical field. Through the use of a hybrid approach, GS-TPE, to effectively adjust the hyperparameters of complex neural network models, this research has demonstrated significant improvements in the classification of temporal biomedical signals, such as vigilance states, from physiological signals such as electroencephalogram (EEG). Furthermore, by introducing a new DNN architecture, STGCN, for the classification of gestures associated with pathologies such as knee osteoarthritis and Parkinson's disease from video gait analysis, these works offer new perspectives for enhancing medical diagnosis and management through advancements in artificial intelligence

L'apprentissage de représentations au travers des méthodes de plongements de mots (word embedding) et de graphes (graph embedding) permet des représentations distribuées de l'information. Ces représentations peuvent à leur tour être utilisées en entrée d'algorithmes d'apprentissage automatique. Au cours des deux dernières décennies, les tâches de plongement de nœuds et de mots sont passées d'approches par factorisation matricielle qui pouvaient être réalisées en quelques minutes à de grands modèles nécessitant des quantités toujours plus importantes de données d’apprentissage et parfois des semaines sur de grandes architectures matérielles. Toutefois, dans un contexte de réchauffement climatique où la durabilité est une préoccupation essentielle, il peut être souhaitable de revenir à des méthodes plus frugales comme elles pouvaient l’être par le passé. En outre, avec l'implication croissante des plongements dans des applications sensibles de l’apprentissage automatique (système judiciaire, santé), le besoin de représentations plus interprétables et explicables s'est manifesté. Pour favoriser l'apprentissage de représentations efficaces et l'interprétabilité, cette thèse présente Lower Dimension Bipartite Graph Framework (LDBGF), un framework de plongements de nœuds capable d’extraire une représentation vectorielle avec le même pipeline de traitement, à condition que les données proviennent d’un graphe ou de texte issu de grands corpus représentés sous forme de réseaux de cooccurrence. Dans ce cadre, nous présentons deux implémentations (SINr- NR, SINr-MF) qui tirent parti de la détection des communautés dans les réseaux pour découvrir un espace latent dans lequel les éléments (nœuds/mots) sont représentés en fonction de leurs liens avec les communautés. Nous montrons que SINr-NR et SINr-MF peuvent rivaliser avec des approches de plongements concurrentes sur des tâches telles que la prédiction des liens manquants dans les réseaux (link prediction) ou certaines caractéristiques des nœuds (centralité de degré, score PageRank). En ce qui concerne les plongements de mots, nous montrons que SINr-NR est un bon candidat pour représenter les mots en utilisant les réseaux de cooccurrences de mots. Enfin, nous démontrons l'interprétabilité de SINr-NR sur plusieurs aspects. Tout d'abord, une évaluation humaine montre que les dimensions de SINr-NR sont dans une certaine mesure interprétables. Ensuite, nous étudions la parcimonie des vecteurs. Notamment, combien un nombre réduit de dimensions peut permettre d'interpréter comment ces dernières se combinent et permettent de dégager un sens
Representation learning with word and graph embedding models allows distributed representations of information that can in turn be used in input of machine learning algorithms. Through the last two decades, the tasks of embedding graphs’ nodes and words have shifted from matrix factorization approaches that could be trained in a matter of minutes to large models requiring ever larger quantities of training data and sometimes weeks on large hardware architectures. However, in a context of global warming where sustainability is a critical concern, we ought to look back to previous approaches and consider their performances with regard to resources consumption. Furthermore, with the growing involvement of embeddings in sensitive machine learning applications (judiciary system, health), the need for more interpretable and explainable representations has manifested. To foster efficient representation learning and interpretability, this thesis introduces Lower Dimension Bipartite Graph Framework (LDBGF), a node embedding framework able to embed with the same pipeline graph data and text from large corpora represented as co-occurrence networks. Within this framework, we introduce two implementations (SINr-NR, SINr-MF) that leverage community detection in networks to uncover a latent embedding space where items (nodes/words) are represented according to their links to communities. We show that SINr-NR and SINr-MF can compete with similar embedding approaches on tasks such as predicting missing links in networks (link prediction) or node features (degree centrality, PageRank score). Regarding word embeddings, we show that SINr-NR is a good contender to represent words via word co-occurrence networks. Finally, we demonstrate the interpretability of SINr-NR on multiple aspects. First with a human evaluation that shows that SINr-NR’s dimensions are to some extent interpretable. Secondly, by investigating sparsity of vectors, and how having fewer dimensions may allow interpreting how the dimensions combine and allow sense to emerge

Les équations aux dérivées partielles (EDP) sont un outil essentiel de la simulation numérique pour modéliser des systèmes complexes. Cependant, la résolution de ces équations avec une grande précision nécessite généralement un coût de calcul élevé. Ces dernières années, les algorithmes d'apprentissage profond ont reçu un intérêt croissant pour l'apprentissage à partir d'exemples, et pourraient être utilisés comme substituts des méthodes d'analyse numérique, en appliquant directement les techniques d'apprentissage supervisé à des bases de données de solutions connues, car une fois le modèle neuronal appris, l'inférence des solutions a un coût marginal. De nombreux problèmes subsistent cependant, que cette thèse de doctorat tente de résoudre. La thèse se concentre en particulier sur trois défis majeurs dans l'application des méthodes d'apprentissage profond aux EDP : la gestion des maillages non structurés, qui peut difficilement se faire en utilisant les techniques de traitement d'images, sources d'immenses succès en apprentissage profond ; les problèmes de généralisation, en particulier pour des données hors-distribution par rapport aux données d'apprentissage ; et les coûts de calcul élevés pour générer ces données d'apprentissage. Nos trois contributions sont fondées sur les Réseaux de Neurones sur Graphes (GNNs) : un modèle hiérarchique inspirées des méthodes multi-grilles de l'analyse numérique ; le méta-apprentissage pour améliorer les performances sur les données hors distribution ; et l'apprentissage par transfert entre des ensembles de données multifidélité pour réduire le temps de génération des données d'apprentissage. Ces approches sont validées expérimentalement sur différents systèmes physiques
Partial differential equations (PDEs) are an essential modeling tool for the numerical simulation of complex systems. However, their accurate numerical resolution usually requires a high computational cost. In recent years, deep Learning algorithms have demonstrated impressive successes in learning from examples, and their direct application to databases of existing solutions of a PDE could be a way to tackle the excessive computational cost of classical numerical approaches: Once a neural model has been learned, the computational cost of inference of the solution on new example is very low. However, many issues remain that this Ph.D. thesis investigates, focusing on three major hurdles: handling unstructured meshes, which can hardly be done accurately by simply porting the neural successes on image processing tasks; generalization issues, in particular for Out-of-Distribution examples; and the too high computational costs for generating the training data. We propose three contributions, based on Graph Neural Networks, to tackle these problems: A hierarchical model inspired by the multi-grid techniques of Numerical Analysis; The use of Meta-Learning to improve the performance of Out-of-Distribution data; and Transfer Learning between multi-fidelity datasets to reduce the computational cost of data generation. The proposed approaches are experimentally validated on different physical systems

Les graphes, structures de données fondamentales, sont utilisés pour représenter des schémas complexes dans divers domaines. Les réseaux de neurones graphiques (GNN), un paradigme d'apprentissage profond conçu pour les données structurées en graphes, offrent une solution d'apprentissage profond efficace pour extraire des informations de ces relations complexes. Cette thèse explore l'application des GNNs pour relever deux défis clés : maximiser l'influence dans les réseaux sociaux et prédire les liens manquants dans les graphes de connaissances avec des données limitées. Avec des applications allant de l'optimisation des campagnes de santé publique et de la lutte contre la désinformation à la complétion des bases de connaissances, cette recherche répond au besoin de méthodes efficaces et robustes dans ces domaines. La maximisation de l'influence (IM) se concentre sur l'identification des nœuds les plus influents au sein d'un réseau social pour maximiser la diffusion d'informations ou d'idées. Cette thèse explore des méthodes pour résoudre le problème de l'IM, en particulier dans des scénarios réels avec des réseaux massifs et divers thèmes d'information. Nous construisons nos modèles en nous basant sur S2V-DQN, une approche qui combine les réseaux Deep Q-Networks (DQN) pour l'apprentissage par renforcement avec Structure2Vec (S2V) pour l'intégration de graphes. Nous développons d'abord notre modèle IM-GNN qui intègre des fonctionnalités GNN avancées telles que les mécanismes d'attention graphique et le codage positionnel, démontrant des performances concurrentielles par rapport aux méthodes existantes pour la maximisation de l'influence. Nous étendons ensuite nos recherches pour aborder la maximisation de l'influence sensible au sujet (TIM) où la diffusion de l'information est influencée par son contenu thématique, exigeant que les modèles considèrent non seulement la structure du réseau mais aussi les sujets des messages partagés. C'est là que les limites des méthodes traditionnelles d'IM deviennent apparentes. Notre modèle TIM-GNN gère efficacement cette complexité en incorporant un entraînement sensible au sujet et des méthodes probabilistes pour construire des graphes de diffusion sensibles au sujet. Pour résoudre les problèmes de latence des requêtes, nous introduisons TIM-GNNx, qui intègre des mécanismes d'attention croisée et une matrice Q précalculée. Nos expériences sur des ensembles de données réels démontrent que notre modèle atteint des performances concurrentielles en termes de diffusion d'influence par rapport aux méthodes de l'état de l'art tout en offrant des améliorations significatives en termes de latence et de robustesse. Notre modèle TIM-GNNx trouve un équilibre entre l'efficacité des requêtes et la maximisation de l'influence, ce qui le rend particulièrement adapté aux applications en temps réel. Dans le domaine des graphes de connaissances, nous explorons la prédiction de liens à peu d'exemples (FSLP), où l'objectif est de prédire les relations manquantes avec des exemples d'entraînement limités. Notre étude se concentre sur la possibilité d'intégrer une méthode de complétion de graphe de connaissances basée sur les chemins, PathCon, avec un cadre de méta-apprentissage MetaR pour résoudre les limites de ce dernier. Bien que nos recherches initiales n'aient pas apporté d'améliorations significatives ou de contributions scientifiques notables, elles ont fourni des informations pertinentes sur les défis de cette tâche et ont éclairé le développement d'un prototype pour le projet AIDA. Ce prototype démontre la valeur pratique de nos recherches et ouvre la voie à de futures explorations dans ce domaine. Dans l'ensemble, cette thèse apporte des solutions nouvelles et efficaces basées sur GNN pour la maximisation de l'influence et explore des pistes prometteuses pour la prédiction de liens à peu d'exemples dans les graphes de connaissances, repoussant les limites de ces domaines de recherche
Graphs are a fundamental data structure used to represent complex patterns in various domains. Graph Neural Networks (GNNs), a deep learning paradigm specifically designed for graph-structured data, offer a powerful deep learning solution for extracting insights from these intricate relationships. This thesis explores the application of GNNs to address two key challenges: maximizing influence in social networks and predicting missing links in knowledge graphs with limited data. With applications ranging from optimizing public health campaigns and combating misinformation to knowledge base completion, this research addresses the need for computationally efficient and robust methods in these domains. Influence maximization (IM) focuses on identifying the most influential nodes within a social network to maximize the spread of information or ideas. This thesis explores methods for tackling the IM problem, particularly in real-world scenarios with massive networks and diverse information themes. We build our models upon the S2V-DQN framework, a powerful approach that combines Deep Q-Networks (DQNs) for reinforcement learning with Structure2Vec (S2V) for graph embedding. We first develop our IM-GNN model that incorporates advanced GNN features such as graph attention mechanisms and positional encoding, demonstrating competitive performance against existing learning-based and non-learning based methods for influence maximization. We further extend our research to tackle Topic-aware Influence Maximization (TIM) where the spread of information is influenced by its thematic content, requiring models to consider not only network structure but also the topics of the messages being shared. This is where the limitations of traditional IM methods become apparent. Our TIM-GNN model effectively handles this complexity by incorporating topic-aware training and probabilistic methods for constructing topic-aware diffusion graphs. To address query latency concerns, we introduce TIM-GNNx, which integrates cross-attention mechanisms and a pre-computed Q-matrix. Our experiments on real-world datasets demonstrate that our proposed model achieves competitive performance in terms of influence spread compared to state-of-the-art methods while also offering significant improvements in query time latency and robustness to changes in the diffusion graph. Notably, our TIM-GNNx model strikes a balance between query efficiency and maximizing influence, making it particularly well-suited for real-time applications. In the realm of knowledge graphs, we explore Few-Shot Link Prediction (FSLP), where the goal is to predict missing relationships with limited training examples, which is crucial for addressing the long-tail phenomenon. In knowledge graphs, the long-tail phenomenon refers to the fact that a large number of entities (nodes) and relations (edges) have very few connections or occurrences. This results in a distribution where a small number of popular entities or relations have many connections, while the vast majority have very few. Our investigation focuses on the feasibility of integrating a path-based knowledge graph completion method PathCon with a meta-learning framework MetaR to address the limitations of the latter. While our initial investigations did not yield significant improvements or notable scientific contributions, they provided valuable insights into the challenges of this task and informed the development of a prototype, deployed as an API, for the AIDA project. This prototype demonstrates the practical value of our research and paves the way for future explorations in this area. Overall, this thesis contributes novel and efficient GNN-based solutions for influence maximization and explores promising directions for few-shot link prediction in knowledge graphs, pushing the boundaries of these research areas