Добірка наукової літератури з теми "Réseaux neuronaux pour les graphs"

Le présent Cortica Journal Club permet d’explorer les fondements sous-jacents de l’apprentissage et de la mémoire, éclairant comment ces processus se reflètent et interagissent avec la topologie des réseaux sociaux élargis. En effet, les cerveaux humains évaluent instinctivement la position des individus au sein de leur réseau social. Les similitudes dans les réponses cérébrales sont corrélées à la force des liens d’amitié, tandis que la compréhension de la structure globale du réseau reflète l'assimilation de topologies à la fois sociales et cognitives. A l’avenir, la combinaison de méthodes expérimentales et informatiques pourrait permettre d'explorer l'évolution des réseaux neuronaux en parallèle de la capacité de comprendre des groupes étendus, afin d’éclairer leurs rôles divers et leurs effets collectifs. L'identification des réseaux neuronaux partagés, agissant comme des guides pour la compréhension des structures tant sociales que non sociales, pourrait grandement enrichir notre compréhension de la cognition collective et de l'évolution culturelle

Cet article présente le projet E-MIMIC, une application qui vise à éliminer les préjugés et la non-inclusion dans les textes administratifs rédigés dans les pays européens, à commencer par ceux qui sont rédigés dans les langues romanes. Il présente une méthodologie conçue à partir de critères discursifs inspirés de l’analyse du discours française et utilisés pour étiqueter un corpus de documents institutionnels, qui sont utilisés pour l’apprentissage profond des réseaux neuronaux. Des architectures de modélisation profonde du langage sont exploitées pour identifier automatiquement les extraits de texte non inclusifs, suggérer des formes alternatives et produire des reformulations inclusives. Une évaluation préliminaire menée sur un ensemble de données de référence pour la langue italienne montre des résultats prometteurs, qui poussent à finaliser l’application et à la réaliser également pour d’autres langues, tel le français.

Le sommeil est crucial pour le renforcement sélectif des souvenirs et la régulation des réseaux neuronaux impliqués dans la formation de la mémoire. Ces fonctions sont sous-tendues par des motifs neuraux spécifiques associés aux différentes phases du sommeil. Dans l’hippocampe, les complexes onde aiguë-ondulation du sommeil à ondes lentes sont associés à des réactivations de l’activité neuronale de l’éveil. En se coordonnant avec les ondes lentes et les fuseaux corticaux, ces réactivations contribuent à la consolidation de la mémoire spatiale. Les ondes lentes sont également un marqueur de l’homéostasie synaptique. La physiologie du sommeil paradoxal et des ondes thêta associées reste à explorer.

Les traumas spinaux induisent des déficits moteurs et sensoriels. La mise au point de thérapies visant à rétablir les fonctions altérées à la suite d’une lésion de la moelle épinière est donc nécessaire. La stimulation magnétique répétée (SMr) est une thérapie innovante et non invasive utilisée pour moduler l’activité de réseaux neuronaux dans diverses maladies neurologiques, telles que la maladie de Parkinson, ou psychiatriques, telles que le trouble bipolaire. Son utilisation chez les personnes atteintes de traumas spinaux pourrait avoir des effets fonctionnels bénéfiques. Des études réalisées in vitro, in vivo et ex vivo ont permis de comprendre en partie les mécanismes sous-jacents à la modulation de l’activité neuronale induite par les protocoles de SMr. Son utilisation dans des modèles précliniques de lésion médullaire a de plus montré des effets bénéfiques fonctionnels. Ainsi, la SMr pourrait potentialiser la récupération des fonctions perdues après un trauma spinal.

Identifier tous les processus physiques élémentaires du cycle hydrologique qui peuvent avoir lieu dans un bassin versant et attribuer à chacun d'eux une description analytique permettant la prévision conduisent à des structures complexes employant un nombre élevé de paramètres difficilement accessibles. En outre, ces processus, même simplifiés, sont généralement non linéaires. Le recours à des modèles à faible nombre de variables, capables de traiter la non-linéarité, s'avère nécessaire. C'est dans cette optique que nous proposons une méthode de modélisation de la relation pluie et débit basée sur l'utilisation de réseaux neuronaux. Les performances de ces derniers dans la modélisation non linéaire ont été déjà prouvées dans plusieurs domaines scientifiques (biologie, géologie, chimie, physique). Dans ce travail, nous utilisons l'algorithme de la rétropropagation des erreurs avec un réseau à 3 couches de neurones. La fonction de transfert appliquée est de type sigmoïde. Pour prédire le débit à un moment donné, on présente à l'entrée du réseau des valeurs de pluies et de débits observés à des instants précédents. La structure du réseau est optimisée pour obtenir une bonne capacité prévisionnelle sur des données n'ayant pas participé au calage. L'application du réseau à des données pluviométriques et débimétriques du bassin de l'oued Beth permet d'obtenir de bonnes prévisions d'un ou plusieurs pas de temps, aussi bien journalières qu'hebdomadaires. Pour les données n'ayant pas participé au calage, les coefficients de corrélation entre les valeurs observées et les valeurs estimées par les différents modèles sont élevés. Ils varient de 0.72 à 0.91 pour les coefficients de corrélation de Pearson et de 0.73 à 0.95 pour les coefficients de Spearman.

Cette thèse aborde les progrès de l’apprentissage des représentation des nœuds d’ungraphe, en se concentrant sur les défis et les opportunités présentées par les réseaux de neuronespour graphe (GNN). Elle met en évidence l’importance des graphes dans la représentation dessystèmes complexes et la nécessité d’apprendre des représentations de nœuds qui capturent à la fois les caractéristiques des nœuds et la structure des graphes. L’ étude identifie les problèmes clés des réseaux de neurones pour graphe, tels que leur dépendance à l’ ´égard de données étiquetées de haute qualité, l’incohérence des performances dansdivers ensembles de données et la vulnérabilité auxattaques adverses.Pour relever ces défis, la thèse introduit plusieursapproches innovantes. Tout d’abord, elle utilise l’apprentissage contrastif pour la représentation des nœuds, permettant un apprentissage auto-supervisé qui réduit la dépendance aux données étiquetées.Deuxièmement, un classificateur bayésien est proposé pour la classification des nœuds, qui prenden compte la structure du graphe pour améliorer la précision. Enfin, la thèse aborde la vulnérabilité des GNN aux attaques adversariaux en évaluant la robustesse du classificateur proposé et en introduisant des mécanismes de défense efficaces. Ces contributionsvisent à améliorer à la fois la performance et la résilience des GNN dans l’apprentissage de lareprésentation des nœuds
This thesis addresses advancements in graph representation learning, focusing on the challengesand opportunities presented by Graph Neural Networks (GNNs). It highlights the significanceof graphs in representing complex systems and the necessity of learning node embeddings that capture both node features and graph structure. The study identifies key issues in GNNs, such as their dependence on high-quality labeled data, inconsistent performanceacross various datasets, and susceptibility to adversarial attacks.To tackle these challenges, the thesis introduces several innovative approaches. Firstly, it employs contrastive learning for node representation, enabling self-supervised learning that reduces reliance on labeled data. Secondly, a Bayesian-based classifier isproposed for node classification, which considers the graph’s structure to enhance accuracy. Lastly, the thesis addresses the vulnerability of GNNs to adversarialattacks by assessing the robustness of the proposed classifier and introducing effective defense mechanisms.These contributions aim to improve both the performance and resilience of GNNs in graph representation learning

L'objectif principal de cette thèse est d'explorer la connectivité cérébrale et celle des réseaux de neurones artificiels d'un point de vue de leur connectivité. Un modèle par graphes pour l'analyse de la connectivité structurelle et fonctionnelle a été largement étudié dans le contexte du cerveau humain mais, un tel cadre d'analyse manque encore pour l'analyse des systèmes artificiels. Avec l'objectif d'intégrer l'analyse de la connectivité dans les système artificiels, cette recherche se concentre sur deux axes principaux. Dans le premier axe, l'objectif principal est de déterminer une caractérisation de la signature saine de la connectivité fonctionnelle de repos du cerveau humain. Pour atteindre cet objectif, une nouvelle méthode est proposée, intégrant des statistiques de graphe traditionnelles et des outils de réduction de réseau, pour déterminer des modèles de connectivité sains. Ainsi, nous construisons une comparaison en paires de graphes et un classifieur pour identifier les états pathologiques et identifier les régions cérébrales perturbées par une pathologie. De plus, la généralisation et la robustesse de la méthode proposée ont été étudiées sur plusieurs bases de données et variations de la qualité des données. Le deuxième axe de recherche explore les avantages de l'intégration des études de la connectivité inspirée du cerveau aux réseaux de neurones artificiels (ANNs) dans la perspective du développement de systèmes artificiels plus robustes. Un problème majeur de robustesse dans les modèles d'ANN est représenté par l'oubli catastrophique qui apparaît lorsque le réseau oublie dramatiquement les tâches précédemment apprises lors de l'adaptation à de nouvelles tâches. Notre travail démontre que la modélisation par graphes offre un cadre simple et élégant pour étudier les ANNs, comparer différentes stratégies d'apprentissage et détecter des comportements nuisibles tels que l'oubli catastrophique. De plus, nous soulignons le potentiel d'une adaptation à de nouvelles tâches en contrôlant les graphes afin d'atténuer efficacement l'oubli catastrophique et jetant ainsi les bases de futures recherches et explorations dans ce domaine
The main objective of this thesis is to explore brain and artificial neural network connectivity from agraph-based perspective. While structural and functional connectivity analysis has been extensivelystudied in the context of the human brain, there is a lack of a similar analysis framework in artificialsystems.To address this gap, this research focuses on two main axes.In the first axis, the main objective is to determine a healthy signature characterization of the humanbrain resting state functional connectivity. To achieve this objective, a novel framework is proposed,integrating traditional graph statistics and network reduction tools, to determine healthy connectivitypatterns. Hence, we build a graph pair-wise comparison and a classifier to identify pathological statesand rank associated perturbed brain regions. Additionally, the generalization and robustness of theproposed framework were investigated across multiple datasets and variations in data quality.The second research axis explores the benefits of brain-inspired connectivity exploration of artificialneural networks (ANNs) in the future perspective of more robust artificial systems development. Amajor robustness issue in ANN models is represented by catastrophic forgetting when the networkdramatically forgets previously learned tasks when adapting to new ones. Our work demonstrates thatgraph modeling offers a simple and elegant framework for investigating ANNs, comparing differentlearning strategies, and detecting deleterious behaviors such as catastrophic forgetting.Moreover, we explore the potential of leveraging graph-based insights to effectively mitigatecatastrophic forgetting, laying a foundation for future research and explorations in this area

Le traitement informatique des objets qui nous entourent, naturels ou créés par l'homme, demande toujours de passer par une phase de traduction en entités traitables par des programmes. Le choix de ces représentations abstraites est toujours crucial pour l'efficacité des traitements et est le terrain d'améliorations constantes. Mais il est un autre aspect émergeant : le lien entre l'objet à représenter et "sa" représentation n'est pas forcément bijectif ! Ainsi la nature ambiguë de certaines structures discrètes pose problème pour la modélisation ainsi que le traitement et l'analyse à l'aide d'un programme informatique. Le langage dit ``naturel'', et sous sa forme en particulier de représentation textuelle, en est un exemple. Le sujet de cette thèse consiste à explorer cette question, que nous étudions à l'aide de méthodes combinatoires et géométriques. Ces méthodes nous permettent de formaliser le problème d'extraction d'information dans des grands réseaux d'entités ainsi que de construire des représentations géométriques utiles pour le traitement du langage naturel. Dans un premier temps, nous commençons par démontrer des propriétés combinatoires des graphes de séquences intervenant de manière implicite dans les modèles séquentiels. Ces propriétés concernent essentiellement le problème inverse de trouver une séquence représentant un graphe donné. Les algorithmes qui en découlent nous permettent d'effectuer une comparaison expérimentale de différents modèles séquentiels utilisés en modélisation du langage. Dans un second temps, nous considérons une application pour le problème d'identification d'entités nommées. A la suite d'une revue de solutions récentes, nous proposons une méthode compétitive basée sur la comparaison de structures de graphes de connaissances et moins coûteuse en annotations d'exemples dédiés au problème. Nous établissons également une analyse expérimentale d'influence d'entités à partir de relations capitalistiques. Cette analyse suggère l'élargissement du cadre d'application de l'identification d'entités à des bases de connaissances de natures différentes. Ces solutions sont aujourd'hui utilisées au sein d'une librairie logicielle dans le secteur bancaire. Ensuite, nous développons une étude géométrique de représentations de mots récemment proposées, au cours de laquelle nous discutons une conjecture géométrique théoriquement et expérimentalement. Cette étude suggère que les analogies du langage sont difficilement transposables en propriétés géométriques, et nous amène a considérer le paradigme de la géométrie des distances afin de construire de nouvelles représentations. Enfin, nous proposons une méthodologie basée sur le paradigme de la géométrie des distances afin de construire de nouvelles représentations de mots ou d'entités. Nous proposons des algorithmes de résolution de ce problème à grande échelle, qui nous permettent de construire des représentations interprétables et compétitives en performance pour des tâches extrinsèques. Plus généralement, nous proposons à travers ce paradigme un nouveau cadre et piste d'explorations pour la construction de représentations en apprentissage machine
The automated treatment of familiar objects, either natural or artifacts, always relies on a translation into entities manageable by computer programs. The choice of these abstract representations is always crucial for the efficiency of the treatments and receives the utmost attention from computer scientists and developers. However, another problem rises: the correspondence between the object to be treated and "its" representation is not necessarily one-to-one! Therefore, the ambiguous nature of certain discrete structures is problematic for their modeling as well as their processing and analysis with a program. Natural language, and in particular its textual representation, is an example. The subject of this thesis is to explore this question, which we approach using combinatorial and geometric methods. These methods allow us to address the problem of extracting information from large networks of entities and to construct representations useful for natural language processing.Firstly, we start by showing combinatorial properties of a family of graphs implicitly involved in sequential models. These properties essentially concern the inverse problem of finding a sequence representing a given graph. The resulting algorithms allow us to carry out an experimental comparison of different sequential models used in language modeling.Secondly, we consider an application for the problem of identifying named entities. Following a review of recent solutions, we propose a competitive method based on the comparison of knowledge graph structures which is less costly in annotating examples dedicated to the problem. We also establish an experimental analysis of the influence of entities from capital relations. This analysis suggests to broaden the framework for applying the identification of entities to knowledge bases of different natures. These solutions are used today in a software library in the banking sector.Then, we perform a geometric study of recently proposed representations of words, during which we discuss a geometric conjecture theoretically and experimentally. This study suggests that language analogies are difficult to transpose into geometric properties, and leads us to consider the paradigm of distance geometry in order to construct new representations.Finally, we propose a methodology based on the paradigm of distance geometry in order to build new representations of words or entities. We propose algorithms for solving this problem on some large scale instances, which allow us to build interpretable and competitive representations in performance for extrinsic tasks. More generally, we propose through this paradigm a new framework and research leadsfor the construction of representations in machine learning

Les modèles d'embeddings à base de graphes de connaissances ont considérablement gagné en popularité ces dernières années. Ces modèles apprennent une représentation vectorielle des entités et des relations des graphes de connaissances (GCs). Cette thèse explore spécifiquement le progrès de tels modèles pour la tâche de prédiction de lien (PL), qui est d'une importance capitale car elle se retrouve dans plusieurs applications telles que les systèmes de recommandation. Dans cette thèse, divers défis liés à l'utilisation des modèles d'embeddings de GCs pour la PL sont identifiés : la rareté des ressources sémantiquement riches, la nature unidimensionnelle des cadres d'évaluation, et le manque de considérations sémantiques dans les approches d'apprentissage automatique. Cette thèse propose des solutions novatrices à ces défis. Premièrement, elle contribue au développement de ressources sémantiquement riches : les jeux de données principaux pour la prédiction de lien sont enrichis en utilisant des informations basées sur des schémas, EducOnto et EduKG sont proposés pour surmonter la pénurie de ressources dans le domaine éducatif, et PyGraft est introduit comme un outil innovant pour générer des ontologies synthétiques et des graphes de connaissances. Deuxièmement, la thèse propose une nouvelle métrique d'évaluation orientée sémantique, Sem@K, offrant une perspective multidimensionnelle sur la performance des modèles. Il est important de souligner que les modèles populaires sont réévalués en utilisant Sem@K, ce qui révèle des aspects essentiels et jusqu'alors inexplorés de leurs capacités respectives et souligne le besoin de cadres d'évaluation multidimensionnels. Troisièmement, la thèse se penche sur le développement d'approches neuro-symboliques, transcendant les paradigmes traditionnels de l'apprentissage automatique. Ces approches ne démontrent pas seulement une meilleure capacité sémantique dans leurs prédictions, mais étendent également leur utilité à diverses applications telles que les systèmes de recommandation. En résumé, le présent travail ne redéfinit pas seulement l'évaluation et la fonctionnalité des modèles d'embeddings de GCs, mais prépare également le terrain pour des systèmes d'intelligence artificielle plus polyvalents et interprétables, soutenant les explorations futures à l'intersection de l'apprentissage automatique et du raisonnement symbolique
Knowledge graph embedding models (KGEMs) have gained considerable traction in recent years. These models learn a vector representation of knowledge graph entities and relations, a.k.a. knowledge graph embeddings (KGEs). This thesis specifically explores the advancement of KGEMs for the link prediction (LP) task, which is of utmost importance as it underpins several downstream applications such as recommender systems. In this thesis, various challenges around the use of KGEMs for LP are identified: the scarcity of semantically rich resources, the unidimensional nature of evaluation frameworks, and the lack of semantic considerations in prevailing machine learning-based approaches. Central to this thesis is the proposition of novel solutions to these challenges. Firstly, the thesis contributes to the development of semantically rich resources: mainstream datasets for link prediction are enriched using schema-based information, EducOnto and EduKG are proposed to overcome the paucity of resources in the educational domain, and PyGraft is introduced as an innovative open-source tool for generating synthetic ontologies and knowledge graphs. Secondly, the thesis proposes a new semantic-oriented evaluation metric, Sem@K, offering a multi-dimensional perspective on model performance. Importantly, popular models are reassessed using Sem@K, which reveals essential insights into their respective capabilities and highlights the need for multi-faceted evaluation frameworks. Thirdly, the thesis delves into the development of neuro-symbolic approaches, transcending traditional machine learning paradigms. These approaches do not only demonstrate improved semantic awareness but also extend their utility to diverse applications such as recommender systems. In summary, the present work not only redefines the evaluation and functionality of knowledge graph embedding models but also sets the stage for more versatile, interpretable AI systems, underpinning future explorations at the intersection of machine learning and symbolic reasoning

Cette thèse se situe à l'intersection de la musicologie et de l'intelligence artificielle, et vise à exploiter l'IA pour aider les musicologues dans leur travail répétitif, comme la recherche d'objets dans les manuscrits du musée. Nous avons annoté quatre nouveaux ensembles de données pour l'étude des manuscrits médiévaux : AMIMO, AnnMusiconis, AnnVihuelas et MMSD. Dans la deuxième partie, nous améliorons les performances des détecteurs d'objets en utilisant des techniques de Transfer learning et de Few Shot Object Detection.Dans la troisième partie, nous discutons d'une approche puissante de Domain Adaptation, qui est auxiliary learning, où nous formons le modèle sur la tâche cible et une tâche supplémentaire qui permet une meilleure stabilisation du modèle et réduit le over-fitting.Enfin, nous abordons l'apprentissage auto-supervisé, qui n'utilise pas de méta-données supplémentaires en tirant parti de l'approche de adversarial learning, forçant le modèle à extraire des caractéristiques indépendantes du domaine
This thesis is at the intersection of musicology and artificial intelligence, aiming to leverage AI to help musicologists with repetitive work, such as object searching in the museum's manuscripts. We annotated four new datasets for medieval manuscript studies: AMIMO, AnnMusiconis, AnnVihuelas, and MMSD. In the second part, we improve object detectors' performances using Transfer learning techniques and Few Shot Object Detection.In the third part, we discuss a powerful approach to Domain Adaptation, which is auxiliary learning, where we train the model on the target task and an extra task that allows for better stabilization of the model and reduces over-fitting.Finally, we discuss self-supervised learning, which does not use extra meta-data by leveraging the adversarial learning approach, forcing the model to extract domain-independent features

De nos jours, les contenus vidéos sont omniprésents grâce à Internet et les smartphones, ainsi que les médias sociaux. De nombreuses applications de la vie quotidienne, telles que la vidéo surveillance et la description de contenus vidéos, ainsi que la compréhension de scènes visuelles, nécessitent des technologies sophistiquées pour traiter les données vidéos. Il devient nécessaire de développer des moyens automatiques pour analyser et interpréter la grande quantité de données vidéo disponibles. Dans cette thèse, nous nous intéressons à la reconnaissance d'actions dans les vidéos, c.a.d au problème de l'attribution de catégories d'actions aux séquences vidéos. Cela peut être considéré comme un ingrédient clé pour construire la prochaine génération de systèmes visuels. Nous l'abordons avec des méthodes d'intelligence artificielle, sous le paradigme de l'apprentissage automatique et de l'apprentissage profond, notamment les réseaux de neurones convolutifs. Les réseaux de neurones convolutifs actuels sont de plus en plus profonds, plus gourmands en données et leur succès est donc tributaire de l'abondance de données d'entraînement étiquetées. Les réseaux de neurones convolutifs s'appuient également sur le pooling qui réduit la dimensionnalité des couches de sortie (et donc atténue leur sensibilité à la disponibilité de données étiquetées)
Nowadays, video contents are ubiquitous through the popular use of internet and smartphones, as well as social media. Many daily life applications such as video surveillance and video captioning, as well as scene understanding require sophisticated technologies to process video data. It becomes of crucial importance to develop automatic means to analyze and to interpret the large amount of available video data. In this thesis, we are interested in video action recognition, i.e. the problem of assigning action categories to sequences of videos. This can be seen as a key ingredient to build the next generation of vision systems. It is tackled with AI frameworks, mainly with ML and Deep ConvNets. Current ConvNets are increasingly deeper, data-hungrier and this makes their success tributary of the abundance of labeled training data. ConvNets also rely on (max or average) pooling which reduces dimensionality of output layers (and hence attenuates their sensitivity to the availability of labeled data); however, this process may dilute the information of upstream convolutional layers and thereby affect the discrimination power of the trained video representations, especially when the learned action categories are fine-grained

Cette thèse de doctorat porte sur le raisonnement visuel compositionnel. Lorsqu'on présente une paire image-question à un modèle de réseau de neurones, notre objectif est que le modèle réponde à la question en suivant une chaîne de raisonnement définie par un programme. Nous évaluons la capacité de raisonnement du modèle dans le cadre de la Question Réponse Visuelle (QRV). La QRV compositionnelle décompose les questions complexes en sous-problèmes modulaires plus simples. Ces sous-problèmes incluent des compétences de raisonnement telles que la détection d'objets et d'attributs, la détection de relations, les opérations logiques, le dénombrement et les comparaisons. Chaque sous-problème est attribué à un module différent. Cette approche décourage les raccourcis, exigeant une compréhension explicite du problème. Elle favorise également la transparence et l'explicabilité.Les réseaux de modules neuronaux (NMN) sont utilisés pour permettre un raisonnement compositionnel. Il sont basés sur un cadre de générateur-exécuteur, le générateur apprend la traduction de la question vers son programme de fonctions. L'exécuteur instancie un NMN où chaque fonction est attribuée à un module spécifique. Nous développons également un catalogue de modules neuronaux et définissons leurs fonctions et leurs structures. Les entraînements et les évaluations sont effectués sur l'ensemble de données GQA [3], qui comprend des questions, des programmes fonctionnels, des images et des réponses.L'une des principales contributions implique l'intégration de représentations pré-entraînées multi-modales dans la QRV modulaire. Cette intégration sert à initialiser le processus de raisonnement. Les expériences démontrent que les représentations multimodales surpassent les unimodales. Ceci permet de capturer des relations complexes intra-modales tout en facilitant l'alignement entre les différentes modalités, améliorant ainsi la précision globale de notre NMN.De plus, nous explorons différentes techniques d'entraînement pour améliorer le processus d'apprentissage et l'efficacité du coût de calcul. En plus d'optimiser les modules au sein de la chaîne de raisonnement pour produire collectivement des réponses précises, nous introduisons une approche d'apprentissage guidé pour optimiser les modules intermédiaires de la chaîne de raisonnement. Cela garantit que ces modules effectuent leurs sous-tâches de raisonnement spécifiques sans prendre de raccourcis ou compromettre l'intégrité du processus de raisonnement. L'une des techniques proposées s'inspire de la méthode d'apprentissage guidé couramment utilisée dans les modèles séquentiels. Des analyses comparatives démontrent les avantages de notre approche pour les NMN, comme détaillé dans notre article [1].Nous introduisons également une nouvelle stratégie d'apprentissage par Curriculum (CL) adaptée aux NMN pour réorganiser les exemples d'entraînement et définir une stratégie d'apprentissage progressif. Nous commençons par apprendre des programmes plus simples et augmentons progressivement la complexité des programmes d'entraînement. Nous utilisons plusieurs critères de difficulté pour définir l'approche du CL. Nos résultats montrent qu'en sélectionnant la méthode de CL appropriée, nous pouvons réduire considérablement le coût de l'entraînement et la quantité de données d'entraînement requise, avec un impact limité sur la précision finale de la QRV. Cette contribution importante constitue le cœur de notre article [2].[1] W. Aissa, M. Ferecatu, and M. Crucianu. Curriculum learning for compositional visual reasoning. In Proceedings of VISIGRAPP 2023, Volume 5: VISAPP, 2023.[2] W. Aissa, M. Ferecatu, and M. Crucianu. Multimodal representations for teacher-guidedcompositional visual reasoning. In Proceedings of ACIVS 2023. Springer International Publishing, 2023.[3] D. A. Hudson and C. D. Manning. GQA: A new dataset for real-world visual reasoning and compositional question answering. 2019
The context of this PhD thesis is compositional visual reasoning. When presented with an image and a question pair, our objective is to have neural networks models answer the question by following a reasoning chain defined by a program. We assess the model's reasoning ability through a Visual Question Answering (VQA) setup.Compositional VQA breaks down complex questions into modular easier sub-problems.These sub-problems include reasoning skills such as object and attribute detection, relation detection, logical operations, counting, and comparisons. Each sub-problem is assigned to a different module. This approach discourages shortcuts, demanding an explicit understanding of the problem. It also promotes transparency and explainability.Neural module networks (NMN) are used to enable compositional reasoning. The framework is based on a generator-executor framework, the generator learns the translation of the question to its function program. The executor instantiates a neural module network where each function is assigned to a specific module. We also design a neural modules catalog and define the function and the structure of each module. The training and evaluations are conducted using the pre-processed GQA dataset cite{gqa}, which includes natural language questions, functional programs representing the reasoning chain, images, and corresponding answers.The research contributions revolve around the establishment of an NMN framework for the VQA task.One primary contribution involves the integration of vision and language pre-trained (VLP) representations into modular VQA. This integration serves as a ``warm-start" mechanism for initializing the reasoning process.The experiments demonstrate that cross-modal vision and language representations outperform uni-modal ones. This utilization enables the capture of intricate relationships within each individual modality while also facilitating alignment between different modalities, consequently enhancing overall accuracy of our NMN.Moreover, we explore various training techniques to enhance the learning process and improve cost-efficiency. In addition to optimizing the modules within the reasoning chain to collaboratively produce accurate answers, we introduce a teacher-guidance approach to optimize the intermediate modules in the reasoning chain. This ensures that these modules perform their specific reasoning sub-tasks without taking shortcuts or compromising the reasoning process's integrity. We propose and implement several teacher-guidance techniques, one of which draws inspiration from the teacher-forcing method commonly used in sequential models. Comparative analyses demonstrate the advantages of our teacher-guidance approach for NMNs, as detailed in our paper [1].We also introduce a novel Curriculum Learning (CL) strategy tailored for NMNs to reorganize the training examples and define a start-small training strategy. We begin by learning simpler programs and progressively increase the complexity of the training programs. We use several difficulty criteria to define the CL approach. Our findings demonstrate that by selecting the appropriate CL method, we can significantly reduce the training cost and required training data, with only a limited impact on the final VQA accuracy. This significant contribution forms the core of our paper [2].[1] W. Aissa, M. Ferecatu, and M. Crucianu. Curriculum learning for compositional visual reasoning. In Proceedings of VISIGRAPP 2023, Volume 5: VISAPP, 2023.[2] W. Aissa, M. Ferecatu, and M. Crucianu. Multimodal representations for teacher-guidedcompositional visual reasoning. In Advanced Concepts for Intelligent Vision Systems, 21st International Conference (ACIVS 2023). Springer International Publishing, 2023.[3] D. A. Hudson and C. D. Manning. GQA: A new dataset for real-world visual reasoning and compositional question answering. 2019

Dans le contexte de l'imagerie satellite, nous avons travaillé sur la quantification vectorielle (QV) qui permet un meilleur compromis qualité/compression avec un codage à longueur fixe, plus robuste. Pour guider le choix d'un algorithme, nous avons en analysé plusieurs selon leurs caractéristiques de fonctionnement et leurs performances. Certains ont été simulés sur des images réelles. Un point faible de la QV est la complexité algorithmique du codage. Les évaluations ont confirmé l'intérêt des techniques de QV avec contrainte pour la réduire mais au détriment de la qualité. C'est pourquoi nous avons proposé deux techniques d'accélération sans contrainte. La première utilise les corrélations intra-blocs pour accélérer la recherche par distorsion partielle grâce à une concentration préalable de la variance. La seconde utilise les corrélations inter-blocs grâce à l'organisation topologique d'un dictionnaire construit par carte auto-organisée.

Dans ce mémoire, nous avons étudié les divers comportements d'un type de réseau de neurones en particulier, soit le réseau fuzzy ARTMAP (FAM), dans le but de développer une stratégie d'apprentissage spécialisée pour ce type de réseau. Pour ce faire, nous avons observé les effets de plusieurs caractéristiques sur ce type de réseau, soit: la taille de la base de données d'entraînement, les stratégies d'apprentissage standard, la technique de normalisation, la structure du chevauchement, la polarité du MatchTracking ainsi que l'influence des paramètres internes du réseau fuzzy ARTMAP. Ces effets sont mesurés au niveau de la qualité et des ressources utilisées par le réseau FAM à travers des bases de données synthétiques et réelles. Nous avons remarqué que le réseau FAM présente une dégradation de performances due à un effet de sur-apprentissage créé par le nombre de patrons d'entraînement et le nombre d'époques d'apprentissage, et ce, avec les bases de données possédant un degré de chevauchement. Pour éviter ce problème, nous avons développé une stratégie d'apprentissage spécialisée pour les réseaux FAM. Celle-ci permet d'améliorer les performances en généralisation en utilisant l'optimisation par essaims particulaires ou PSO (anglais pour "Particle Swarm Optimization") pour optimiser la valeur des quatre paramètres internes FAM (α, β, є et ρ). Cette stratégie spécialisée obtient lors de toutes nos simulations, tant avec les bases de données synthétiques que réelles, de meilleures performances en généralisation que lors de l'utilisation des stratégies d'apprentissage standard utilisant les paramètres standard des réseaux FAM (MT+, MT-). De plus, elle permet d'éliminer la majorité de l'erreur de sur-apprentissage due à la taille de la base d'entraînement et au nombre d'époques d'apprentissage. Ainsi, cette stratégie spécialisée pour FAM a démontré que la valeur des paramètres internes du réseau FAM a un impact considérable sur les performances du réseau. De plus, pour toutes les bases testées, les valeurs optimisées des paramètres sont généralement toutes éloignées de leurs valeurs standard (MT-et MT+), lesquelles sont majoritairement utilisées lors de l'emploi du réseau FAM. Cependant, cette stratégie d'apprentissage spécialisée n'est pas consistante avec la philosophie « on-line » de la famille ART, car la valeur des paramètres n'est pas optimisée séquentiellement. Malgré tout, elle permet d'indiquer les zones de performances optimales pouvant être atteintes par le réseau fuzzy ARTMAP. À notre connaissance, c'est la première fois qu'une stratégie d'apprentissage pour FAM utilise l'optimisation des valeurs des quatre paramètres internes de ce réseau.

Le probleme de la reconnaissance automatique des signaux transitoires en acoustique sous-marine est tres delicat : on ne connait pas les parametres pertinents, encore moins les regles de decision des experts humains qui ne sont pas infaillibles ! Les reseaux neuromimetiques sont capables de realiser en partie cette tache complexe, mais ils souffrent d'une image de boite noire qui rend l'utilisateur mefiant : quelles sont les regles de decision simulees ? Correspondent-elles a ce que nous attendons ? Pour repondre a ces questions, nous nous sommes interesses a l'etude de l'apprentissage et des structures des reseaux de neurones multicouches afin d'en extraire cette information manquante. Dans ce but, il nous a fallu aborder cinq etapes chronologiques dans l'apprentissage. Nous utilisons un pretraitement des donnees adapte aux reseaux de neurones, attenuant la saturation des noeuds, et augmentant le potentiel discriminant des parametres. En outre, une fois les entrees ramenees a la meme amplitude de variation, seuls les poids vont traduire l'importance des parametres. Nous reglons ensuite le probleme de la pollution des corpus par les erreurs d'etiquetage en pratiquant un apprentissage selectif, adaptation de la retropropagation du gradient. Cette technique isole automatiquement les exemples incoherents et evite de surcroit le sur-apprentissage. L'etape suivante est la selection des parametres pertinents pour une classification. Nous proposons un critere hierarchique issu de l'analyse des poids des reseaux, qui se montre plus precis que ceux proposes auparavant. Il mesure les capacites activatrice et inhibitrice de chaque entree. La hierarchie obtenue nous permet de detecter les biais reduisant la robustesse du systeme, et de les corriger en generant automatiquement des exemples types qui viendront completer le corpus. Cette phase est primordiale pour l'interpretation ulterieure des regles de decision apprises. La methode nous donne aussi un moyen de fabriquer artificiellement des corpus d'apprentissage performants et de taille reduite. Enfin, apres avoir construit un echantillon optimal d'apprentissage, nous pouvons determiner a partir d'un reseau les hyperplans correspondant aux regles de decision simulees. Nous obtenons alors un systeme equivalent d'inequations avec des performances comparables en reconnaissance. Ces techniques, appliquees a differents cas d'ecole ou au difficile probleme des signaux transitoires, conduisent a des gains significatifs en vitesse d'apprentissage et en qualite de la generalisation. Outre une meilleure maitrise des reseaux de neurones, elles ouvrent des perspectives interessantes d'application dans de nombreux domaines ou notre connaissance reste insuffisante

L’apprentissage automatique utilisant des réseaux neuronaux profonds appliqués à la reconnaissance d’images fonctionne extrêmement bien. Néanmoins, il est possible de modifier intentionnellement et très légèrement les images, modifications quasi invisibles à nos yeux, pour leurrer le système de classification et lui faire classer dans une catégorie visuelle erronée tel ou tel contenu. Ce chapitre dresse un panorama de ces attaques intentionnelles, mais aussi des mécanismes de défense visant à les déjouer.

Ce chapitre décrit les solutions actuelles en matière de modélisation spatio-temporelle. Il passe en revue les caractéristiques artisanales et les approches reposant sur l'apprentissage profond. Il décrit également les architectures développées pour étendre la connectivité des détecteurs de points de repère basés sur les réseaux neuronaux convolutionnels afin d'inclure le mouvement local par le biais d'une connectivité précoce. Il analyse les performances de chaque modèle en termes de vitesse, de taille et de nombre de paramètres. La complémentarité entre le mouvement local et le mouvement global a également fait l'objet d’expérimentations. Le protocole expérimental, les détails d'implémentation et les résultats sont présentés avec leur analyse. Des expérimentations sur deux ensembles de données, 300VW et SNaP-2DFe sont fournies afin d'évaluer les résultats obtenus et de les comparer avec les approches de l'état de l'art.