Dissertations / Theses: 'Réseaux de neurones à graphes'

1

Carboni, Lucrezia. "Graphes pour l’exploration des réseaux de neurones artificiels et de la connectivité cérébrale humaine." Electronic Thesis or Diss., Université Grenoble Alpes, 2023. http://www.theses.fr/2023GRALM060.

Full text

Abstract:

L'objectif principal de cette thèse est d'explorer la connectivité cérébrale et celle des réseaux de neurones artificiels d'un point de vue de leur connectivité. Un modèle par graphes pour l'analyse de la connectivité structurelle et fonctionnelle a été largement étudié dans le contexte du cerveau humain mais, un tel cadre d'analyse manque encore pour l'analyse des systèmes artificiels. Avec l'objectif d'intégrer l'analyse de la connectivité dans les système artificiels, cette recherche se concentre sur deux axes principaux. Dans le premier axe, l'objectif principal est de déterminer une caractérisation de la signature saine de la connectivité fonctionnelle de repos du cerveau humain. Pour atteindre cet objectif, une nouvelle méthode est proposée, intégrant des statistiques de graphe traditionnelles et des outils de réduction de réseau, pour déterminer des modèles de connectivité sains. Ainsi, nous construisons une comparaison en paires de graphes et un classifieur pour identifier les états pathologiques et identifier les régions cérébrales perturbées par une pathologie. De plus, la généralisation et la robustesse de la méthode proposée ont été étudiées sur plusieurs bases de données et variations de la qualité des données. Le deuxième axe de recherche explore les avantages de l'intégration des études de la connectivité inspirée du cerveau aux réseaux de neurones artificiels (ANNs) dans la perspective du développement de systèmes artificiels plus robustes. Un problème majeur de robustesse dans les modèles d'ANN est représenté par l'oubli catastrophique qui apparaît lorsque le réseau oublie dramatiquement les tâches précédemment apprises lors de l'adaptation à de nouvelles tâches. Notre travail démontre que la modélisation par graphes offre un cadre simple et élégant pour étudier les ANNs, comparer différentes stratégies d'apprentissage et détecter des comportements nuisibles tels que l'oubli catastrophique. De plus, nous soulignons le potentiel d'une adaptation à de nouvelles tâches en contrôlant les graphes afin d'atténuer efficacement l'oubli catastrophique et jetant ainsi les bases de futures recherches et explorations dans ce domaine
The main objective of this thesis is to explore brain and artificial neural network connectivity from agraph-based perspective. While structural and functional connectivity analysis has been extensivelystudied in the context of the human brain, there is a lack of a similar analysis framework in artificialsystems.To address this gap, this research focuses on two main axes.In the first axis, the main objective is to determine a healthy signature characterization of the humanbrain resting state functional connectivity. To achieve this objective, a novel framework is proposed,integrating traditional graph statistics and network reduction tools, to determine healthy connectivitypatterns. Hence, we build a graph pair-wise comparison and a classifier to identify pathological statesand rank associated perturbed brain regions. Additionally, the generalization and robustness of theproposed framework were investigated across multiple datasets and variations in data quality.The second research axis explores the benefits of brain-inspired connectivity exploration of artificialneural networks (ANNs) in the future perspective of more robust artificial systems development. Amajor robustness issue in ANN models is represented by catastrophic forgetting when the networkdramatically forgets previously learned tasks when adapting to new ones. Our work demonstrates thatgraph modeling offers a simple and elegant framework for investigating ANNs, comparing differentlearning strategies, and detecting deleterious behaviors such as catastrophic forgetting.Moreover, we explore the potential of leveraging graph-based insights to effectively mitigatecatastrophic forgetting, laying a foundation for future research and explorations in this area

APA, Harvard, Vancouver, ISO, and other styles

2

Albano, Alice. "Dynamique des graphes de terrain : analyse en temps intrinsèque." Thesis, Paris 6, 2014. http://www.theses.fr/2014PA066260/document.

Full text

Abstract:

Nous sommes entourés par une multitude de réseaux d'interactions, issus de contextes très différents. Ces réseaux peuvent être modélisés par des graphes, appelés graphes de terrain. Ils possèdent une structure en communautés, c'est-à-dire en groupes de nœuds très liés entre eux, et peu liés avec les autres. Un phénomène que l'on étudie sur les graphes dans de nombreux contextes est la diffusion. La propagation d'une maladie en est un exemple. Ces phénomènes dépendent d'un paramètre important, mais souvent peu étudié : l'échelle de temps selon laquelle on les observe. Selon l'échelle choisie, la dynamique du graphe peut varier de manière très importante.Dans cette thèse, nous proposons d'étudier des processus dynamiques en utilisant une échelle de temps adaptée. Nous considérons une notion de temps relatif, que nous appelons le temps intrinsèque, par opposition au temps "classique", que nous appelons temps extrinsèque. Nous étudions en premier lieu des phénomènes de diffusion selon une échelle de temps intrinsèque, et nous comparons les résultats obtenus avec une échelle extrinsèque. Ceci nous permet de mettre en évidence le fait qu'un même phénomène observé dans deux échelles de temps différentes puisse présenter un comportement très différent. Nous analysons ensuite la pertinence de l'utilisation du temps intrinsèque pour la détection de communautés dynamiques. Les communautés obtenues selon les échelles de temps extrinsèques et intrinsèques nous montrent qu'une échelle intrinsèque permet la détection de communautés beaucoup plus significatives et détaillées que l'échelle extrinsèque
We are surrounded by a multitude of interaction networks from different contexts. These networks can be modeled as graphs, called complex networks. They have a community structure, i.e. groups of nodes closely related to each other and less connected with the rest of the graph. An other phenomenon studied in complex networks in many contexts is diffusion. The spread of a disease is an example of diffusion. These phenomena are dynamic and depend on an important parameter, which is often little studied: the time scale in which they are observed. According to the chosen scale, the graph dynamics can vary significantly. In this thesis, we propose to study dynamic processes using a suitable time scale. We consider a notion of relative time which we call intrinsic time, opposed to "traditional" time, which we call extrinsic time. We first study diffusion phenomena using intrinsic time, and we compare our results with an extrinsic time scale. This allows us to highlight the fact that the same phenomenon observed at two different time scales can have a very different behavior. We then analyze the relevance of the use of intrinsic time scale for detecting dynamic communities. Comparing communities obtained according extrinsic and intrinsic scales shows that the intrinsic time scale allows a more significant detection than extrinsic time scale

APA, Harvard, Vancouver, ISO, and other styles

3

Albano, Alice. "Dynamique des graphes de terrain : analyse en temps intrinsèque." Electronic Thesis or Diss., Paris 6, 2014. http://www.theses.fr/2014PA066260.

Full text

Abstract:

Nous sommes entourés par une multitude de réseaux d'interactions, issus de contextes très différents. Ces réseaux peuvent être modélisés par des graphes, appelés graphes de terrain. Ils possèdent une structure en communautés, c'est-à-dire en groupes de nœuds très liés entre eux, et peu liés avec les autres. Un phénomène que l'on étudie sur les graphes dans de nombreux contextes est la diffusion. La propagation d'une maladie en est un exemple. Ces phénomènes dépendent d'un paramètre important, mais souvent peu étudié : l'échelle de temps selon laquelle on les observe. Selon l'échelle choisie, la dynamique du graphe peut varier de manière très importante.Dans cette thèse, nous proposons d'étudier des processus dynamiques en utilisant une échelle de temps adaptée. Nous considérons une notion de temps relatif, que nous appelons le temps intrinsèque, par opposition au temps "classique", que nous appelons temps extrinsèque. Nous étudions en premier lieu des phénomènes de diffusion selon une échelle de temps intrinsèque, et nous comparons les résultats obtenus avec une échelle extrinsèque. Ceci nous permet de mettre en évidence le fait qu'un même phénomène observé dans deux échelles de temps différentes puisse présenter un comportement très différent. Nous analysons ensuite la pertinence de l'utilisation du temps intrinsèque pour la détection de communautés dynamiques. Les communautés obtenues selon les échelles de temps extrinsèques et intrinsèques nous montrent qu'une échelle intrinsèque permet la détection de communautés beaucoup plus significatives et détaillées que l'échelle extrinsèque
We are surrounded by a multitude of interaction networks from different contexts. These networks can be modeled as graphs, called complex networks. They have a community structure, i.e. groups of nodes closely related to each other and less connected with the rest of the graph. An other phenomenon studied in complex networks in many contexts is diffusion. The spread of a disease is an example of diffusion. These phenomena are dynamic and depend on an important parameter, which is often little studied: the time scale in which they are observed. According to the chosen scale, the graph dynamics can vary significantly. In this thesis, we propose to study dynamic processes using a suitable time scale. We consider a notion of relative time which we call intrinsic time, opposed to "traditional" time, which we call extrinsic time. We first study diffusion phenomena using intrinsic time, and we compare our results with an extrinsic time scale. This allows us to highlight the fact that the same phenomenon observed at two different time scales can have a very different behavior. We then analyze the relevance of the use of intrinsic time scale for detecting dynamic communities. Comparing communities obtained according extrinsic and intrinsic scales shows that the intrinsic time scale allows a more significant detection than extrinsic time scale

APA, Harvard, Vancouver, ISO, and other styles

4

Limnios, Stratis. "Graph Degeneracy Studies for Advanced Learning Methods on Graphs and Theoretical Results Edge degeneracy: Algorithmic and structural results Degeneracy Hierarchy Generator and Efficient Connectivity Degeneracy Algorithm A Degeneracy Framework for Graph Similarity Hcore-Init: Neural Network Initialization based on Graph Degeneracy." Thesis, Institut polytechnique de Paris, 2020. http://www.theses.fr/2020IPPAX038.

Full text

Abstract:

L'extraction de sous-structures significatives a toujours été un élément clé de l’étude des graphes. Dans le cadre de l'apprentissage automatique, supervisé ou non, ainsi que dans l'analyse théorique des graphes, trouver des décompositions spécifiques et des sous-graphes denses est primordial dans de nombreuses applications comme entre autres la biologie ou les réseaux sociaux.Dans cette thèse, nous cherchons à étudier la dégénérescence de graphe, en partant d'un point de vue théorique, et en nous appuyant sur nos résultats pour trouver les décompositions les plus adaptées aux tâches à accomplir. C'est pourquoi, dans la première partie de la thèse, nous travaillons sur des résultats structurels des graphes à arête-admissibilité bornée, prouvant que de tels graphes peuvent être reconstruits en agrégeant des graphes à degré d’arête quasi-borné. Nous fournissons également des garanties de complexité de calcul pour les différentes décompositions de la dégénérescence, c'est-à-dire si elles sont NP-complètes ou polynomiales, selon la longueur des chemins sur lesquels la dégénérescence donnée est définie.Dans la deuxième partie, nous unifions les cadres de dégénérescence et d'admissibilité en fonction du degré et de la connectivité. Dans ces cadres, nous choisissons les plus expressifs, d'une part, et les plus efficaces en termes de calcul d'autre part, à savoir la dégénérescence 1-arête-connectivité pour expérimenter des tâches de dégénérescence standard, telle que la recherche d’influenceurs.Suite aux résultats précédents qui se sont avérés peu performants, nous revenons à l'utilisation du k-core mais en l’intégrant dans un cadre supervisé, i.e. les noyaux de graphes. Ainsi, en fournissant un cadre général appelé core-kernel, nous utilisons la décomposition k-core comme étape de prétraitement pour le noyau et appliquons ce dernier sur chaque sous-graphe obtenu par la décomposition pour comparaison. Nous sommes en mesure d'obtenir des performances à l’état de l’art sur la classification des graphes au prix d’une légère augmentation du coût de calcul.Enfin, nous concevons un nouveau cadre de dégénérescence de degré s’appliquant simultanément pour les hypergraphes et les graphes biparties, dans la mesure où ces derniers sont les graphes d’incidence des hypergraphes. Cette décomposition est ensuite appliquée directement à des architectures de réseaux de neurones pré-entrainés étant donné qu'elles induisent des graphes biparties et utilisent le core d'appartenance des neurones pour réinitialiser les poids du réseaux. Cette méthode est non seulement plus performant que les techniques d'initialisation de l’état de l’art, mais il est également applicable à toute paire de couches de convolution et linéaires, et donc adaptable à tout type d'architecture
Extracting Meaningful substructures from graphs has always been a key part in graph studies. In machine learning frameworks, supervised or unsupervised, as well as in theoretical graph analysis, finding dense subgraphs and specific decompositions is primordial in many social and biological applications among many others.In this thesis we aim at studying graph degeneracy, starting from a theoretical point of view, and building upon our results to find the most suited decompositions for the tasks at hand.Hence the first part of the thesis we work on structural results in graphs with bounded edge admissibility, proving that such graphs can be reconstructed by aggregating graphs with almost-bounded-edge-degree. We also provide computational complexity guarantees for the different degeneracy decompositions, i.e. if they are NP-complete or polynomial, depending on the length of the paths on which the given degeneracy is defined.In the second part we unify the degeneracy and admissibility frameworks based on degree and connectivity. Within those frameworks we pick the most expressive, on the one hand, and computationally efficient on the other hand, namely the 1-edge-connectivity degeneracy, to experiment on standard degeneracy tasks, such as finding influential spreaders.Following the previous results that proved to perform poorly we go back to using the k-core but plugging it in a supervised framework, i.e. graph kernels. Thus providing a general framework named core-kernel, we use the k-core decomposition as a preprocessing step for the kernel and apply the latter on every subgraph obtained by the decomposition for comparison. We are able to achieve state-of-the-art performance on graph classification for a small computational cost trade-off.Finally we design a novel degree degeneracy framework for hypergraphs and simultaneously on bipartite graphs as they are hypergraphs incidence graph. This decomposition is then applied directly to pretrained neural network architectures as they induce bipartite graphs and use the coreness of the neurons to re-initialize the neural network weights. This framework not only outperforms state-of-the-art initialization techniques but is also applicable to any pair of layers convolutional and linear thus being applicable however needed to any type of architecture

APA, Harvard, Vancouver, ISO, and other styles

5

Hafidi, Hakim. "Robust machine learning for Graphs/Networks." Electronic Thesis or Diss., Institut polytechnique de Paris, 2023. http://www.theses.fr/2023IPPAT004.

Full text

Abstract:

Cette thèse aborde les progrès de l’apprentissage des représentation des nœuds d’ungraphe, en se concentrant sur les défis et les opportunités présentées par les réseaux de neuronespour graphe (GNN). Elle met en évidence l’importance des graphes dans la représentation dessystèmes complexes et la nécessité d’apprendre des représentations de nœuds qui capturent à la fois les caractéristiques des nœuds et la structure des graphes. L’ étude identifie les problèmes clés des réseaux de neurones pour graphe, tels que leur dépendance à l’ ´égard de données étiquetées de haute qualité, l’incohérence des performances dansdivers ensembles de données et la vulnérabilité auxattaques adverses.Pour relever ces défis, la thèse introduit plusieursapproches innovantes. Tout d’abord, elle utilise l’apprentissage contrastif pour la représentation des nœuds, permettant un apprentissage auto-supervisé qui réduit la dépendance aux données étiquetées.Deuxièmement, un classificateur bayésien est proposé pour la classification des nœuds, qui prenden compte la structure du graphe pour améliorer la précision. Enfin, la thèse aborde la vulnérabilité des GNN aux attaques adversariaux en évaluant la robustesse du classificateur proposé et en introduisant des mécanismes de défense efficaces. Ces contributionsvisent à améliorer à la fois la performance et la résilience des GNN dans l’apprentissage de lareprésentation des nœuds
This thesis addresses advancements in graph representation learning, focusing on the challengesand opportunities presented by Graph Neural Networks (GNNs). It highlights the significanceof graphs in representing complex systems and the necessity of learning node embeddings that capture both node features and graph structure. The study identifies key issues in GNNs, such as their dependence on high-quality labeled data, inconsistent performanceacross various datasets, and susceptibility to adversarial attacks.To tackle these challenges, the thesis introduces several innovative approaches. Firstly, it employs contrastive learning for node representation, enabling self-supervised learning that reduces reliance on labeled data. Secondly, a Bayesian-based classifier isproposed for node classification, which considers the graph’s structure to enhance accuracy. Lastly, the thesis addresses the vulnerability of GNNs to adversarialattacks by assessing the robustness of the proposed classifier and introducing effective defense mechanisms.These contributions aim to improve both the performance and resilience of GNNs in graph representation learning

APA, Harvard, Vancouver, ISO, and other styles

6

Hérault, Laurent. "Réseaux de neurones récursifs pour l'optimisation combinatoire : application à la théorie des graphes et à la vision par ordinateur." Grenoble INPG, 1991. http://www.theses.fr/1991INPG0019.

Full text

Abstract:

Cette these traite de la resolution de problemes d'optimisation tres complexes (np. Complets) par le biais de l'etude des systemes complexes artificiels qui imitent les systemes physiques et qui sont simules avec des reseaux neuromimetiques. La solution optimale est identifiee a un etat fondamental d'un systeme physique. Plusieurs techniques neuronales sont presentees pour approcher la solution optimale. Elles utilisent soit l'analyse canonique, soit l'analyse microcanonique, definies en mecanique statistique. Parmi ces methodes, nous presentons l'utilisation des reseaux de hopfield analogiques, le recuit simule, l'approximation du champ moyen, le recuit en champ moyen et le recuit microcanonique. Elles sont particulierement bien adaptees aux problemes de graphes qui traitent de coupure et de connectivite, de morphisme et d'extraction de sous-graphes possedant des proprietes extremales. Dans ce cadre, les problemes de k-partitionnement de graphe, de mise en correspondance de graphes, et d'extraction de la plus grande clique sont traites. Dans la derniere partie, nous abordons le probleme de groupement perceptif en vision par ordinateur. On montre que ce probleme se ramene, par le biais de la theorie de la gestalt definie en psychologie experimentale, a un probleme d'optimisation combinatoire soluble par reseaux de neurones

APA, Harvard, Vancouver, ISO, and other styles

7

Lachaud, Guillaume. "Extensions and Applications of Graph Neural Networks." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS434.

Full text

Abstract:

Les graphes sont utilisés partout pour représenter les interactions, qu'elles soient physiques comme entre les atomes, les molécules ou les humains, ou plus abstraites comme les villes, les amitiés, les idées, etc. Parmi toutes les méthodes d'apprentissage automatique qui peuvent être utilisées, les dernières avancées en apprentissage profond font des réseaux de neurones de graphes la référence de l'apprentissage de représentation des graphes. Cette thèse se divise en deux parties. Dans un premier temps, nous faisons un état de l'art des fondations mathématiques des réseaux de neurones de graphes les plus puissants. Dans un second temps, nous explorons les défis auxquels sont confrontés ces modèles quand ils sont entraînés sur des jeux de données réels. La puissance d'un réseau de neurones est définie par rapport à son expressivité, c'est-à-dire sa capacité à distinguer deux graphes non isomorphes ; ou, de manière équivalente, sa capacité à approximer les fonctions qui sont invariantes ou équivariantes par rapport aux permutations. Nous discernons deux grandes familles de modèles expressifs. Nous présentons leurs propriétés mathématiques ainsi que les avantages et les inconvénients de ces modèles lors d'applications pratiques. En parallèle du choix de l'architecture, la qualité de la donnée joue un rôle crucial dans la capacité d'un modèle à apprendre des représentations utiles. Les réseaux de neurones de graphes sont confrontés à des problèmes spécifiques aux graphes. À l'inverse des modèles développés pour les données tabulaires, les réseaux de neurones de graphes doivent prendre en compte aussi bien les attributs des nœuds que leur interdépendance. À cause de ces liens, l'apprentissage d'un réseau de neurones sur des graphes peut se faire de deux manières : en apprentissage transductif, où le modèle a accès aux attributs des données de test pendant l'entraînement ; en apprentissage inductif, où les données de test restent cachées. Nous étudions les différences en termes de performance entre l'apprentissage transductif et inductif pour la classification de nœuds. De plus, les attributs des nœuds peuvent être bruités ou manquants. Dans cette thèse, nous évaluons ces défis sur des jeux de données réels, et nous proposons une nouvelle architecture de réseau de neurones de graphes pour imputer les attributs manquants des nœuds d'un graphe. Enfin, si les graphes sont le moyen privilégié de décrire les interactions, d'autres types de données peuvent aussi bénéficier d'une conversion sous forme de graphes. Dans cette thèse, nous effectuons un travail préliminaire sur l'extraction des parties les plus importantes d'images de lésions de la peau. Ces patches pourraient être utilisés pour créer des graphes et découvrir des relations latentes dans la donnée
Graphs are used everywhere to represent interactions between entities, whether physical such as atoms, molecules or people, or more abstract such as cities, friendships, ideas, etc. Amongst all the methods of machine learning that can be used, the recent advances in deep learning have made graph neural networks the de facto standard for graph representation learning. This thesis can be divided in two parts. First, we review the theoretical underpinnings of the most powerful graph neural networks. Second, we explore the challenges faced by the existing models when training on real world graph data. The powerfulness of a graph neural network is defined in terms of its expressiveness, i.e., its ability to distinguish non isomorphic graphs; or, in an equivalent manner, its ability to approximate permutation invariant and equivariant functions. We distinguish two broad families of the most powerful models. We summarise the mathematical properties as well as the advantages and disadvantages of these models in practical situations. Apart from the choice of the architecture, the quality of the graph data plays a crucial role in the ability to learn useful representations. Several challenges are faced by graph neural networks given the intrinsic nature of graph data. In contrast to typical machine learning methods that deal with tabular data, graph neural networks need to consider not only the features of the nodes but also the interconnectedness between them. Due to the connections between nodes, training neural networks on graphs can be done in two settings: in transductive learning, the model can have access to the test features in the training phase; in the inductive setting, the test data remains unseen. We study the differences in terms of performance between inductive and transductive learning for the node classification task. Additionally, the features that are fed to a model can be noisy or even missing. In this thesis we evaluate these challenges on real world datasets, and we propose a novel architecture to perform missing data imputation on graphs. Finally, while graphs can be the natural way to describe interactions, other types of data can benefit from being converted into graphs. In this thesis, we perform preliminary work on how to extract the most important parts of skin lesion images that could be used to create graphs and learn hidden relations in the data

APA, Harvard, Vancouver, ISO, and other styles

8

Pineau, Edouard. "Contributions to representation learning of multivariate time series and graphs." Electronic Thesis or Diss., Institut polytechnique de Paris, 2020. http://www.theses.fr/2020IPPAT037.

Full text

Abstract:

Les algorithmes de machine learning sont construits pour apprendre, à partir de données, des modèles statistiques de décision ou de prédiction, sur un large panel de tâches. En général, les modèles appris sont des approximations d'un "vrai" modèle de décision, dont la pertinence dépend d'un équilibre entre la richesse du modèle appris, la complexité de la distribution des données et la complexité de la tâche à résoudre à partir des données. Cependant, il est souvent nécessaire d'adopter des hypothèses simplificatrices sur la donnée (e.g. séparabilité linéaire, indépendance des observations, etc.). Quand la distribution des donnée est complexe (e.g. grande dimension avec des interactions non-linéaires entre les variables observées), les hypothèses simplificatrices peuvent être contre-productives. Il est alors nécessaire de trouver une représentation alternatives des données avant d'apprendre le modèle de décision. L'objectif de la représentation des données est de séparer l'information pertinente du bruit, en particulier quand l'information est latente (i.e. cachée dans la donnée), pour aider le modèle statistique de décision. Jusqu'à récemment, beaucoup de représentations standards étaient construites à la main par des experts. Avec l'essor des techniques nouvelles de machine learning, et en particulier l'utilisation de réseaux de neurones, des techniques d'apprentissage de représentation ont surpassées les représentations manuelles dans de nombreux domaines. Dans cette thèse, nous nous sommes intéressés à l'apprentissage de représentation de séries temporelles multivariées (STM) et de graphes. STM et graphes sont des objets complexes qui ont des caractéristiques les rendant difficilement traitables par des algorithmes standards de machine learning. Par exemple, ils peuvent avoir des tailles variables et ont des alignements non-triviaux, qui empêchent l'utilisation de métriques standards pour les comparer entre eux. Il est alors nécessaire de trouver pour les échantillons observés (STM ou graphes) une représentation alternatives qui les rend comparables. Les contributions de ma thèses sont un ensemble d'analyses, d'approches pratiques et de résultats théoriques présentant des nouvelles manières d'apprendre une représentation de STM et de graphes. Deux méthodes de représentation de STM ont dédiées au suivi d'état caché de systèmes mécaniques. La première propose une représentation basée "model-based" appelée Sequence-to-graph (Seq2Graph). Seq2Graph se base sur l'hypothèse que les données observées ont été généré par un modèle causal simple, dont l'espace des paramètres sert d'espace de représentation. La second méthode propose une méthode générique de détection de tendances dans des séries temporelles, appelée Contrastive Trend Estimation (CTE), qui fait l'hypothèse que le vieillissement d'un système mécanique est monotone. Une preuve d'identifiabilité et une extension à des problèmes d'analyse de survie rendent cette approche puissante pour le suivi d'état de système mécaniques. Deux méthodes de représentation de graphes pour la classification sont aussi proposées. Une première propose de voir les graphes comme des séquences de nœuds et donc de les traiter avec un outil standard de représentation de séquences : un réseau de neurones récurrents. Une second méthode propose une analyse théorique et pratique du spectre du Laplacien pour la classification de graphes
Machine learning (ML) algorithms are designed to learn models that have the ability to take decisions or make predictions from data, in a large panel of tasks. In general, the learned models are statistical approximations of the true/optimal unknown decision models. The efficiency of a learning algorithm depends on an equilibrium between model richness, complexity of the data distribution and complexity of the task to solve from data. Nevertheless, for computational convenience, the statistical decision models often adopt simplifying assumptions about the data (e.g. linear separability, independence of the observed variables, etc.). However, when data distribution is complex (e.g. high-dimensional with nonlinear interactions between observed variables), the simplifying assumptions can be counterproductive. In this situation, a solution is to feed the model with an alternative representation of the data. The objective of data representation is to separate the relevant information with respect to the task to solve from the noise, in particular if the relevant information is hidden (latent), in order to help the statistical model. Until recently and the rise of modern ML, many standard representations consisted in an expert-based handcrafted preprocessing of data. Recently, a branch of ML called deep learning (DL) completely shifted the paradigm. DL uses neural networks (NNs), a family of powerful parametric functions, as learning data representation pipelines. These recent advances outperformed most of the handcrafted data in many domains.In this thesis, we are interested in learning representations of multivariate time series (MTS) and graphs. MTS and graphs are particular objects that do not directly match standard requirements of ML algorithms. They can have variable size and non-trivial alignment, such that comparing two MTS or two graphs with standard metrics is generally not relevant. Hence, particular representations are required for their analysis using ML approaches. The contributions of this thesis consist of practical and theoretical results presenting new MTS and graphs representation learning frameworks.Two MTS representation learning frameworks are dedicated to the ageing detection of mechanical systems. First, we propose a model-based MTS representation learning framework called Sequence-to-graph (Seq2Graph). Seq2Graph assumes that the data we observe has been generated by a model whose graphical representation is a causality graph. It then represents, using an appropriate neural network, the sample on this graph. From this representation, when it is appropriate, we can find interesting information about the state of the studied mechanical system. Second, we propose a generic trend detection method called Contrastive Trend Estimation (CTE). CTE learns to classify pairs of samples with respect to the monotony of the trend between them. We show that using this method, under few assumptions, we identify the true state underlying the studied mechanical system, up-to monotone scalar transform.Two graph representation learning frameworks are dedicated to the classification of graphs. First, we propose to see graphs as sequences of nodes and create a framework based on recurrent neural networks to represent and classify them. Second, we analyze a simple baseline feature for graph classification: the Laplacian spectrum. We show that this feature matches minimal requirements to classify graphs when all the meaningful information is contained in the structure of the graphs

APA, Harvard, Vancouver, ISO, and other styles

9

Kalainathan, Diviyan. "Generative Neural Networks to infer Causal Mechanisms : algorithms and applications." Thesis, Université Paris-Saclay (ComUE), 2019. http://www.theses.fr/2019SACLS516.

Full text

Abstract:

La découverte de relations causales est primordiale pour la planification, le raisonnement et la décision basée sur des données d'observations ; confondre corrélation et causalité ici peut mener à des conséquences indésirables. La référence pour la découverte de relations causales est d'effectuer des expériences contrôlées. Mais dans la majorité des cas, ces expériences sont coûteuses, immorales ou même impossible à réaliser. Dans ces cas, il est nécessaire d'effectuer la découverte causale seulement sur des données d'observations. Dans ce contexte de causalité observationnelle, retrouver des relations causales introduit traditionellement des hypothèses considérables sur les données et sur le modèle causal sous-jacent. Cette thèse vise à relaxer certaines de ces hypothèses en exploitant à la fois la modularité et l'expressivité des réseaux de neurones pour la causalité, en exploitant à la fois et indépendences conditionnelles et la simplicité des méchanismes causaux, à travers deux algorithmes. Des expériences extensives sur des données simulées et sur des données réelles ainsi qu'une analyse théorique approfondie prouvent la cohérence et bonne performance des approches proposées
Causal discovery is of utmost importance for agents who must plan, reason and decide based on observations; where mistaking correlation with causation might lead to unwanted consequences. The gold standard to discover causal relations is to perform experiments.However, experiments are in many cases expensive, unethical, or impossible to realize. In these situations, there is a need for observational causal discovery, that is, the estimation of causal relations from observations alone.Causal discovery in the observational data setting traditionally involves making significant assumptions on the data and on the underlying causal model.This thesis aims to alleviate some of the assumptions made on the causal models by exploiting the modularity and expressiveness of neural networks for causal discovery, leveraging both conditional independences and simplicity of the causal mechanisms through two algorithms.Extensive experiments on both simulated and real-world data and a throughout theoretical anaylsis prove the good performance and the soundness of the proposed approaches

APA, Harvard, Vancouver, ISO, and other styles

10

Boulnois, Philippe. "Contribution à l'étude de différentes architectures de réseaux de neurones artificiels réalisant une transcription graphèmes-phonèmes pour le français." Compiègne, 1994. http://www.theses.fr/1994COMPD675.

Full text

Abstract:

Cette thèse présente un système connexionniste de transcription graphèmes-phonèmes. Le système est conçu suivant un schéma client-serveur entre l'application de transcription et le réseau. Le premier réseau étudie est à initialisation aléatoire. Le second est initialisé à l'aide de prototypes. Dans les deux cas une partie de la couche cachée est analysée. Les résultats des deux réseaux sont comparés. Un système utilisant la coopération des deux est proposé et permet une amélioration des performances globales.

APA, Harvard, Vancouver, ISO, and other styles

11

Faucheux, Cyrille. "Segmentation supervisée d'images texturées par régularisation de graphes." Thesis, Tours, 2013. http://www.theses.fr/2013TOUR4050/document.

Full text

Abstract:

Dans cette thèse, nous nous intéressons à un récent algorithme de segmentation d’images basé sur un processus de régularisation de graphes. L’objectif d’un tel algorithme est de calculer une fonction indicatrice de la segmentation qui satisfait un critère de régularité ainsi qu’un critère d’attache aux données. La particularité de cette approche est de représenter les images à l’aide de graphes de similarité. Ceux-ci permettent d’établir des relations entre des pixels non-adjacents, et ainsi de procéder à un traitement non-local des images. Afin d’en améliorer la précision, nous combinons cet algorithme à une seconde approche non-locale : des caractéristiques de textures. Un nouveau terme d’attache aux données est dans un premier temps développé. Inspiré des travaux de Chan et Vese, celui-ci permet d’évaluer l’homogénéité d’un ensemble de caractéristiques de textures. Dans un second temps, nous déléguons le calcul de l’attache aux données à un classificateur supervisé. Entrainé à reconnaitre certaines classes de textures, ce classificateur permet d’identifier les caractéristiques les plus pertinentes, et ainsi de fournir une modélisation plus aboutie du problème. Cette seconde approche permet par ailleurs une segmentation multiclasse. Ces deux méthodes ont été appliquées à la segmentation d’images texturées 2D et 3D
In this thesis, we improve a recent image segmentation algorithm based on a graph regularization process. The goal of this method is to compute an indicator function that satisfies a regularity and a fidelity criteria. Its particularity is to represent images with similarity graphs. This data structure allows relations to be established between similar pixels, leading to non-local processing of the data. In order to improve this approach, combine it with another non-local one: the texture features. Two solutions are developped, both based on Haralick features. In the first one, we propose a new fidelity term which is based on the work of Chan and Vese and is able to evaluate the homogeneity of texture features. In the second method, we propose to replace the fidelity criteria by the output of a supervised classifier. Trained to recognize several textures, the classifier is able to produce a better modelization of the problem by identifying the most relevant texture features. This method is also extended to multiclass segmentation problems. Both are applied to 2D and 3D textured images

APA, Harvard, Vancouver, ISO, and other styles

12

Hubert, Nicolas. "Mesure et enrichissement sémantiques des modèles à base d'embeddings pour la prédiction de liens dans les graphes de connaissances." Electronic Thesis or Diss., Université de Lorraine, 2024. http://www.theses.fr/2024LORR0059.

Full text

Abstract:

Les modèles d'embeddings à base de graphes de connaissances ont considérablement gagné en popularité ces dernières années. Ces modèles apprennent une représentation vectorielle des entités et des relations des graphes de connaissances (GCs). Cette thèse explore spécifiquement le progrès de tels modèles pour la tâche de prédiction de lien (PL), qui est d'une importance capitale car elle se retrouve dans plusieurs applications telles que les systèmes de recommandation. Dans cette thèse, divers défis liés à l'utilisation des modèles d'embeddings de GCs pour la PL sont identifiés : la rareté des ressources sémantiquement riches, la nature unidimensionnelle des cadres d'évaluation, et le manque de considérations sémantiques dans les approches d'apprentissage automatique. Cette thèse propose des solutions novatrices à ces défis. Premièrement, elle contribue au développement de ressources sémantiquement riches : les jeux de données principaux pour la prédiction de lien sont enrichis en utilisant des informations basées sur des schémas, EducOnto et EduKG sont proposés pour surmonter la pénurie de ressources dans le domaine éducatif, et PyGraft est introduit comme un outil innovant pour générer des ontologies synthétiques et des graphes de connaissances. Deuxièmement, la thèse propose une nouvelle métrique d'évaluation orientée sémantique, Sem@K, offrant une perspective multidimensionnelle sur la performance des modèles. Il est important de souligner que les modèles populaires sont réévalués en utilisant Sem@K, ce qui révèle des aspects essentiels et jusqu'alors inexplorés de leurs capacités respectives et souligne le besoin de cadres d'évaluation multidimensionnels. Troisièmement, la thèse se penche sur le développement d'approches neuro-symboliques, transcendant les paradigmes traditionnels de l'apprentissage automatique. Ces approches ne démontrent pas seulement une meilleure capacité sémantique dans leurs prédictions, mais étendent également leur utilité à diverses applications telles que les systèmes de recommandation. En résumé, le présent travail ne redéfinit pas seulement l'évaluation et la fonctionnalité des modèles d'embeddings de GCs, mais prépare également le terrain pour des systèmes d'intelligence artificielle plus polyvalents et interprétables, soutenant les explorations futures à l'intersection de l'apprentissage automatique et du raisonnement symbolique
Knowledge graph embedding models (KGEMs) have gained considerable traction in recent years. These models learn a vector representation of knowledge graph entities and relations, a.k.a. knowledge graph embeddings (KGEs). This thesis specifically explores the advancement of KGEMs for the link prediction (LP) task, which is of utmost importance as it underpins several downstream applications such as recommender systems. In this thesis, various challenges around the use of KGEMs for LP are identified: the scarcity of semantically rich resources, the unidimensional nature of evaluation frameworks, and the lack of semantic considerations in prevailing machine learning-based approaches. Central to this thesis is the proposition of novel solutions to these challenges. Firstly, the thesis contributes to the development of semantically rich resources: mainstream datasets for link prediction are enriched using schema-based information, EducOnto and EduKG are proposed to overcome the paucity of resources in the educational domain, and PyGraft is introduced as an innovative open-source tool for generating synthetic ontologies and knowledge graphs. Secondly, the thesis proposes a new semantic-oriented evaluation metric, Sem@K, offering a multi-dimensional perspective on model performance. Importantly, popular models are reassessed using Sem@K, which reveals essential insights into their respective capabilities and highlights the need for multi-faceted evaluation frameworks. Thirdly, the thesis delves into the development of neuro-symbolic approaches, transcending traditional machine learning paradigms. These approaches do not only demonstrate improved semantic awareness but also extend their utility to diverse applications such as recommender systems. In summary, the present work not only redefines the evaluation and functionality of knowledge graph embedding models but also sets the stage for more versatile, interpretable AI systems, underpinning future explorations at the intersection of machine learning and symbolic reasoning

APA, Harvard, Vancouver, ISO, and other styles

13

Pasdeloup, Bastien. "Extending convolutional neural networks to irregular domains through graph inference." Thesis, Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire, 2017. http://www.theses.fr/2017IMTA0048/document.

Full text

Abstract:

Tout d'abord, nous présentons des méthodes permettant d'inférer un graphe à partir de signaux, afin de modéliser le support des données à classifier. Ensuite, des translations préservant les voisinages des sommets sont identifiées sur le graphe inféré. Enfin, ces translations sont utilisées pour déplacer un noyau convolutif sur le graphe, afin dedéfinir un réseau de neurones convolutif adapté aux données d'entrée.Nous avons illustré notre méthodologie sur une base de données d'images. Sans utiliser de connaissances sur les signaux, nous avons pu inférer un graphe proche d'une grille. Les translations sur ce graphe sont proches des translations Euclidiennes, ce qui nous a permis de définir un réseau de neurones convolutif très similaire à ce que l'on aurait pu obtenir en utilisant l'information que les signaux sont des images. Ce réseau, entraîné sur les données initiales, a dépassé lesperformances des méthodes de l'état de l'art de plus de 13 points, tout en étant simple et facilement améliorable.La méthode que nous avons introduite est une généralisation des réseaux de neurones convolutifs, car ceux-ci sont des cas particuliers de notre approche quand le graphe est une grille. Nos travaux ouvrent donc de nombreuses perspectives, car ils fournissent une méthode efficace pour construire des réseaux adaptés aux données
This manuscript sums up our work on extending convolutional neuralnetworks to irregular domains through graph inference. It consists of three main chapters, each giving the details of a part of a methodology allowing the definition of such networks to process signals evolving on graphs with unknown structures.First, graph inference from data is explored, in order to provide a graph modeling the support of the signals to classify. Second, translation operators that preserve neighborhood properties of the vertices are identified on the inferred graph. Third, these translations are used to shift a convolutional kernel on the graph in order to define a convolutional neural network that is adapted to the input data.We have illustrated our methodology on a dataset of images. While not using any particular knowledge on the signals, we have been able to infer a graph that is close to a grid. Translations on this graph resemble Euclidean translations. Therefore, this has allowed us to define an adapted convolutional neural network that is very close what one would obtain when using the information that signals are images. This network, trained on the initial data, has out performed state of the art methods by more than 13 points, while using a very simple and easily improvable architecture.The method we have introduced is a generalization of convolutional neural networks. As a matter of fact, they can be seen as aparticularization of our approach in the case where the graph is a grid. Our work thus opens the way to numerous perspectives, as it provides an efficient way to build networks that are adapted to the data

APA, Harvard, Vancouver, ISO, and other styles

14

Rosar, Kós Lassance Carlos Eduardo. "Graphs for deep learning representations." Thesis, Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire, 2020. http://www.theses.fr/2020IMTA0204.

Full text

Abstract:

Ces dernières années, les méthodes d'apprentissage profond ont atteint l'état de l'art dans une vaste gamme de tâches d'apprentissage automatique, y compris la classification d'images et la traduction automatique. Ces architectures sont assemblées pour résoudre des tâches d'apprentissage automatique de bout en bout. Afin d'atteindre des performances de haut niveau, ces architectures nécessitent souvent d'un très grand nombre de paramètres. Les conséquences indésirables sont multiples, et pour y remédier, il est souhaitable de pouvoir comprendre ce qui se passe à l'intérieur des architectures d'apprentissage profond. Il est difficile de le faire en raison de: i) la dimension élevée des représentations ; et ii) la stochasticité du processus de formation. Dans cette thèse, nous étudions ces architectures en introduisant un formalisme à base de graphes, s'appuyant notamment sur les récents progrès du traitement de signaux sur graphe (TSG). À savoir, nous utilisons des graphes pour représenter les espaces latents des réseaux neuronaux profonds. Nous montrons que ce formalisme des graphes nous permet de répondre à diverses questions, notamment: i) mesurer des capacités de généralisation ;ii) réduire la quantité de des choix arbitraires dans la conception du processus d'apprentissage ; iii)améliorer la robustesse aux petites perturbations ajoutées sur les entrées ; et iv) réduire la complexité des calculs
In recent years, Deep Learning methods have achieved state of the art performance in a vast range of machine learning tasks, including image classification and multilingual automatic text translation. These architectures are trained to solve machine learning tasks in an end-to-end fashion. In order to reach top-tier performance, these architectures often require a very large number of trainable parameters. There are multiple undesirable consequences, and in order to tackle these issues, it is desired to be able to open the black boxes of deep learning architectures. Problematically, doing so is difficult due to the high dimensionality of representations and the stochasticity of the training process. In this thesis, we investigate these architectures by introducing a graph formalism based on the recent advances in Graph Signal Processing (GSP). Namely, we use graphs to represent the latent spaces of deep neural networks. We showcase that this graph formalism allows us to answer various questions including: ensuring generalization abilities, reducing the amount of arbitrary choices in the design of the learning process, improving robustness to small perturbations added to the inputs, and reducing computational complexity

APA, Harvard, Vancouver, ISO, and other styles

15

Bekkouch, Imad Eddine Ibrahim. "Auxiliary learning & Adversarial training pour les études des manuscrits médiévaux." Electronic Thesis or Diss., Sorbonne université, 2024. http://www.theses.fr/2024SORUL014.

Full text

Abstract:

Cette thèse se situe à l'intersection de la musicologie et de l'intelligence artificielle, et vise à exploiter l'IA pour aider les musicologues dans leur travail répétitif, comme la recherche d'objets dans les manuscrits du musée. Nous avons annoté quatre nouveaux ensembles de données pour l'étude des manuscrits médiévaux : AMIMO, AnnMusiconis, AnnVihuelas et MMSD. Dans la deuxième partie, nous améliorons les performances des détecteurs d'objets en utilisant des techniques de Transfer learning et de Few Shot Object Detection.Dans la troisième partie, nous discutons d'une approche puissante de Domain Adaptation, qui est auxiliary learning, où nous formons le modèle sur la tâche cible et une tâche supplémentaire qui permet une meilleure stabilisation du modèle et réduit le over-fitting.Enfin, nous abordons l'apprentissage auto-supervisé, qui n'utilise pas de méta-données supplémentaires en tirant parti de l'approche de adversarial learning, forçant le modèle à extraire des caractéristiques indépendantes du domaine
This thesis is at the intersection of musicology and artificial intelligence, aiming to leverage AI to help musicologists with repetitive work, such as object searching in the museum's manuscripts. We annotated four new datasets for medieval manuscript studies: AMIMO, AnnMusiconis, AnnVihuelas, and MMSD. In the second part, we improve object detectors' performances using Transfer learning techniques and Few Shot Object Detection.In the third part, we discuss a powerful approach to Domain Adaptation, which is auxiliary learning, where we train the model on the target task and an extra task that allows for better stabilization of the model and reduces over-fitting.Finally, we discuss self-supervised learning, which does not use extra meta-data by leveraging the adversarial learning approach, forcing the model to extract domain-independent features

APA, Harvard, Vancouver, ISO, and other styles

16

Osman, Ousama. "Méthodes de diagnostic en ligne, embarqué et distribué dans les réseaux filaires complexes." Thesis, Université Clermont Auvergne‎ (2017-2020), 2020. http://www.theses.fr/2020CLFAC038.

Full text

Abstract:

Les recherches menées dans cette thèse portent sur le diagnostic de réseaux filaires complexes à l’aide de la réflectométrie distribuée. L’objectif est de développer de nouvelles technologies de diagnostic en ligne, distribuées des réseaux complexes permettant la fusion de données ainsi que la communication entre les réflectomètres pour détecter, localiser et caractériser les défauts électriques (francs et non francs). Cette collaboration entre les réflectomètres permet de résoudre le problème d’ambiguïté de localisation des défauts et d’améliorer la qualité du diagnostic. La première contribution concerne la proposition d’une méthode basée sur la théorie des graphes permettant la combinaison de données entre les réflectomètres distribués afin de faciliter la localisation d’un défaut. L’amplitude du signal réfléchi est ensuite utilisée pour identifier le type du défaut et estimer son impédance. Cette estimation est basée sur la régénération du signal en compensant la dégradation subie par le signal de diagnostic au cours de sa propagation à travers le réseau. La deuxième contribution permet la fusion des données de réflectomètres distribués dans des réseaux complexes affectés par de multiples défauts. Pour atteindre cet objectif, deux méthodes ont été proposées et développées : la première est basée sur les algorithmes génétiques (AG) et la deuxième est basée sur les réseaux de neurones (RN). Ces outils combinés avec la réflectométrie distribuée permettent la détection automatique, la localisation et la caractérisation de plusieurs défauts dans différents types et topologies des réseaux filaires. La troisième contribution propose d’intégrer la communication entre les réflectomètres via le signal de diagnostic porteur d’informations. Elle utilise adéquatement les phases du signal multiporteuses MCTDR pour transmettre des données. Cette communication assure l’échange d’informations utiles entre les réflectomètres sur l’état des câbles, permettant ainsi la fusion de données et la localisation des défauts sans ambiguïtés. Les problèmes d’interférence entre les réflectomètres sont également abordés lorsqu’ils injectent simultanément leurs signaux de test dans le réseau. Ces travaux de thèse ont montré l’efficacité des méthodes proposées pour améliorer les performances des systèmes de diagnostic filaire actuels en termes de diagnostic de certains défauts encore difficiles à détecter aujourd’hui, et d’assurer la sécurité de fonctionnement des systèmes électriques
The research conducted in this thesis focuses on the diagnosis of complex wired networks using distributed reflectometry. It aims to develop new distributed diagnostic techniques for complex networks that allow data fusion as well as communication between reflectometers to detect, locate and characterize electrical faults (soft and hard faults). This collaboration between reflectometers solves the problem of fault location ambiguity and improves the quality of diagnosis. The first contribution is the development of a graph theory-based method for combining data between distributed reflectometers, thus facilitating the location of the fault. Then, the amplitude of the reflected signal is used to identify the type of fault and estimate its impedance. The latter is based on the regeneration of the signal by compensating for the degradation suffered by the diagnosis signal during its propagation through the network. The second contribution enables data fusion between distributed reflectometers in complex networks affected by multiple faults. To achieve this objective, two methods have been proposed and developed: the first is based on genetic algorithms (GA) and the second is based on neural networks (RN). These tools combined with distributed reflectometryallow automatic detection, location, and characterization of several faults in different types and topologies of wired networks. The third contribution proposes the use of information-carrying diagnosis signal to integrate communication between distributed reflectometers. It properly uses the phases of the MCTDR multi-carrier signal to transmit data. This communication ensures the exchange of useful information (such as fault location and amplitude) between reflectometers on the state of the cables, thus enabling data fusion and unambiguous fault location. Interference problems between the reflectometers are also addressed when they simultaneously inject their test signals into the network. These studies illustrate the efficiency and applicability of the proposed methods. They also demonstrate their potential to improve the performance of the current wired diagnosis systems to meet the need and the problem of detecting and locating faults that manufacturers and users face today in electrical systems to improve their operational safety

APA, Harvard, Vancouver, ISO, and other styles

17

Chen, Dexiong. "Modélisation de données structurées avec des machines profondes à noyaux et des applications en biologie computationnelle." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM070.

Full text

Abstract:

Le développement d'algorithmes efficaces pour apprendre des représentations appropriées des données structurées, telles des sequences ou des graphes, est un défi majeur et central de l'apprentissage automatique. Pour atteindre cet objectif, l'apprentissage profond est devenu populaire pour modéliser des données structurées. Les réseaux de neurones profonds ont attiré une attention particulière dans divers domaines scientifiques tels que la vision par ordinateur, la compréhension du langage naturel ou la biologie. Par exemple, ils fournissent aux biologistes des outils de calcul qui leur permettent de comprendre et de découvrir les propriétés biologiques ou les relations entre les macromolécules des organismes vivants. Toutefois, leur succès dans ces domaines repose essentiellement sur des connaissances empiriques ainsi que d'énormes quantités de données annotées. Exploiter des modèles plus efficaces est nécessaire car les données annotées sont souvent rares.Un autre axe de recherche est celui des méthodes à noyaux, qui fournissent une approche systématique et fondée sur des principes théoriquement solides pour l'apprentissage de modèles non linéaires à partir de données de structure arbitraire. Outre leur simplicité, elles présentent une manière naturelle de contrôler la régularisation et ainsi d'éviter le surapprentissage.Cependant, les représentations de données fournies par les méthodes à noyaux ne sont définies que par des caractéristiques artisanales simplement conçues, ce qui les rend moins performantes que les réseaux de neurones lorsque suffisamment de données étiquetées sont disponibles. Des noyaux plus complexes, inspirés des connaissances préalables utilisées dans les réseaux de neurones, ont ainsi été développés pour construire des représentations plus riches et ainsi combler cette lacune. Pourtant, ils sont moins adaptatifs. Par comparaison, les réseaux de neurones sont capables d'apprendre une représentation compacte pour une tâche d'apprentissage spécifique, ce qui leur permet de conserver l'expressivité de la représentation tout en s'adaptant à une grande taille d'échantillon.Il est donc utile d'intégrer les vues complémentaires des méthodes à noyaux et des réseaux de neurones profonds pour construire de nouveaux cadres afin de bénéficier du meilleur des deux mondes.Dans cette thèse, nous construisons un cadre général basé sur les noyaux pour la modélisation des données structurées en tirant parti des connaissances préalables des méthodes à noyaux classiques et des réseaux profonds. Notre cadre fournit des outils algorithmiques efficaces pour l'apprentissage de représentations sans annotations ainsi que pour l'apprentissage de représentations plus compactes de manière supervisée par les tâches. Notre cadre peut être utilisé pour modéliser efficacement des séquences et des graphes avec une interprétation simple. Il offre également de nouvelles perspectives sur la construction des noyaux et de réseaux de neurones plus expressifs pour les séquences et les graphes
Developing efficient algorithms to learn appropriate representations of structured data, including sequences or graphs, is a major and central challenge in machine learning. To this end, deep learning has become popular in structured data modeling. Deep neural networks have drawn particular attention in various scientific fields such as computer vision, natural language understanding or biology. For instance, they provide computational tools for biologists to possibly understand and uncover biological properties or relationships among macromolecules within living organisms. However, most of the success of deep learning methods in these fields essentially relies on the guidance of empirical insights as well as huge amounts of annotated data. Exploiting more data-efficient models is necessary as labeled data is often scarce.Another line of research is kernel methods, which provide a systematic and principled approach for learning non-linear models from data of arbitrary structure. In addition to their simplicity, they exhibit a natural way to control regularization and thus to avoid overfitting.However, the data representations provided by traditional kernel methods are only defined by simply designed hand-crafted features, which makes them perform worse than neural networks when enough labeled data are available. More complex kernels inspired by prior knowledge used in neural networks have thus been developed to build richer representations and thus bridge this gap. Yet, they are less scalable. By contrast, neural networks are able to learn a compact representation for a specific learning task, which allows them to retain the expressivity of the representation while scaling to large sample size.Incorporating complementary views of kernel methods and deep neural networks to build new frameworks is therefore useful to benefit from both worlds.In this thesis, we build a general kernel-based framework for modeling structured data by leveraging prior knowledge from classical kernel methods and deep networks. Our framework provides efficient algorithmic tools for learning representations without annotations as well as for learning more compact representations in a task-driven way. Our framework can be used to efficiently model sequences and graphs with simple interpretation of predictions. It also offers new insights about designing more expressive kernels and neural networks for sequences and graphs

APA, Harvard, Vancouver, ISO, and other styles

18

Tiano, Donato. "Learning models on healthcare data with quality indicators." Electronic Thesis or Diss., Lyon 1, 2022. http://www.theses.fr/2022LYO10182.

Full text

Abstract:

Les séries temporelles sont des collections de données obtenues par des mesures dans le temps. Cette données vise à fournir des éléments de réflexion pour l'extraction d'événements et à les représenter dans une configuration compréhensible pour une utilisation ultérieure. L'ensemble du processus de découverte et d'extraction de modèles à partir de l'ensemble de données s'effectue avec plusieurs techniques d'extraction, notamment l'apprentissage automatique, les statistiques et les clusters. Ce domaine est ensuite divisé par le nombre de sources adoptées pour surveiller un phénomène. Les séries temporelles univariées lorsque la source de données est unique, et les séries temporelles multivariées lorsque la source de données est multiple. La série chronologique n'est pas une structure simple. Chaque observation de la série a une relation forte avec les autres observations. Cette interrelation est la caractéristique principale des séries temporelles, et toute opération d'extraction de séries temporelles doit y faire face. La solution adoptée pour gérer l'interrelation est liée aux opérations d'extraction. Le principal problème de ces techniques est de ne pas adopter d'opération de prétraitement sur les séries temporelles. Les séries temporelles brutes comportent de nombreux effets indésirables, tels que des points bruyants ou l'énorme espace mémoire requis pour les longues séries. Nous proposons de nouvelles techniques d'exploration de données basées sur l'adoption des caractéristiques plus représentatives des séries temporelles pour obtenir de nouveaux modèles à partir des données. L'adoption des caractéristiques a un impact profond sur la scalabilité des systèmes. En effet, l'extraction d'une caractéristique de la série temporelle permet de réduire une série entière en une seule valeur. Par conséquent, cela permet d'améliorer la gestion des séries temporelles, en réduisant la complexité des solutions en termes de temps et d'espace. FeatTS propose une méthode de clustering pour les séries temporelles univariées qui extrait les caractéristiques les plus représentatives de la série. FeatTS vise à adopter les particularités en les convertissant en réseaux de graphes pour extraire les interrelations entre les signaux. Une matrice de cooccurrence fusionne toutes les communautés détectées. L'intuition est que si deux séries temporelles sont similaires, elles appartiennent souvent à la même communauté, et la matrice de cooccurrence permet de le révéler. Dans Time2Feat, nous créons un nouveau clustering de séries temporelles multivariées. Time2Feat propose deux extractions différentes pour améliorer la qualité des caractéristiques. Le premier type d'extraction est appelé extraction de caractéristiques intra-signal et permet d'obtenir des caractéristiques à partir de chaque signal de la série temporelle multivariée. Inter-Signal Features Extraction permet d'obtenir des caractéristiques en considérant des couples de signaux appartenant à la même série temporelle multivariée. Les deux méthodes fournissent des caractéristiques interprétables, ce qui rend possible une analyse ultérieure. L'ensemble du processus de clustering des séries temporelles est plus léger, ce qui réduit le temps nécessaire pour obtenir le cluster final. Les deux solutions représentent l'état de l'art dans leur domaine. Dans AnomalyFeat, nous proposons un algorithme pour révéler des anomalies à partir de séries temporelles univariées. La caractéristique de cet algorithme est la capacité de travailler parmi des séries temporelles en ligne, c'est-à-dire que chaque valeur de la série est obtenue en streaming. Dans la continuité des solutions précédentes, nous adoptons les fonctionnalités de révélation des anomalies dans les séries. Avec AnomalyFeat, nous unifions les deux algorithmes les plus populaires pour la détection des anomalies : le clustering et le réseau neuronal récurrent. Nous cherchons à découvrir la zone de densité du nouveau point obtenu avec le clustering
Time series are collections of data obtained through measurements over time. The purpose of this data is to provide food for thought for event extraction and to represent them in an understandable pattern for later use. The whole process of discovering and extracting patterns from the dataset is carried out with several extraction techniques, including machine learning, statistics, and clustering. This domain is then divided by the number of sources adopted to monitor a phenomenon. Univariate time series when the data source is single and multivariate time series when the data source is multiple. The time series is not a simple structure. Each observation in the series has a strong relationship with the other observations. This interrelationship is the main characteristic of time series, and any time series extraction operation has to deal with it. The solution adopted to manage the interrelationship is related to the extraction operations. The main problem with these techniques is that they do not adopt any pre-processing operation on the time series. Raw time series have many undesirable effects, such as noisy points or the huge memory space required for long series. We propose new data mining techniques based on the adoption of the most representative features of time series to obtain new models from the data. The adoption of features has a profound impact on the scalability of systems. Indeed, the extraction of a feature from the time series allows for the reduction of an entire series to a single value. Therefore, it allows for improving the management of time series, reducing the complexity of solutions in terms of time and space. FeatTS proposes a clustering method for univariate time series that extracts the most representative features of the series. FeatTS aims to adopt the features by converting them into graph networks to extract interrelationships between signals. A co-occurrence matrix merges all detected communities. The intuition is that if two time series are similar, they often belong to the same community, and the co-occurrence matrix reveals this. In Time2Feat, we create a new multivariate time series clustering. Time2Feat offers two different extractions to improve the quality of the features. The first type of extraction is called Intra-Signal Features Extraction and allows to obtain of features from each signal of the multivariate time series. Inter-Signal Features Extraction is used to obtain features by considering pairs of signals belonging to the same multivariate time series. Both methods provide interpretable features, which makes further analysis possible. The whole time series clustering process is lighter, which reduces the time needed to obtain the final cluster. Both solutions represent the state of the art in their field. In AnomalyFeat, we propose an algorithm to reveal anomalies from univariate time series. The characteristic of this algorithm is the ability to work among online time series, i.e. each value of the series is obtained in streaming. In the continuity of previous solutions, we adopt the functionality of revealing anomalies in the series. With AnomalyFeat, we unify the two most popular algorithms for anomaly detection: clustering and recurrent neural network. We seek to discover the density area of the new point obtained with clustering

APA, Harvard, Vancouver, ISO, and other styles

19

Elagouni, Khaoula. "Combining neural-based approaches and linguistic knowledge for text recognition in multimedia documents." Thesis, Rennes, INSA, 2013. http://www.theses.fr/2013ISAR0013/document.

Full text

Abstract:

Les travaux de cette thèse portent sur la reconnaissance des indices textuels dans les images et les vidéos. Dans ce cadre, nous avons conçu des prototypes d'OCR (optical character recognition) capables de reconnaître tant des textes incrustés que des textes de scène acquis n'importe où au sein d'images ou de vidéos. Nous nous sommes intéressée à la définition d'approches robustes à la variabilité des textes et aux conditions d'acquisition. Plus précisément, nous avons proposé deux types de méthodes dédiées à la reconnaissance de texte : - une approche fondée sur une segmentation en caractères qui recherche des séparations non linéaires entre les caractères adaptées à la morphologie de ces derniers ; - deux approches se passant de la segmentation en intégrant un processus de scanning multi-échelles ; la première utilise un modèle de graphe pour reconnaître les textes tandis que la seconde intègre un modèle connexionniste récurrent spécifiquement développé pour gérer les contraintes spatiales entre les caractères.Outre les originalités de chacune des approches, deux contributions supplémentaires de ce travail résident dans la définition d'une reconnaissance de caractères fondée sur un modèle de classification neuronale et l'intégration de certaines connaissances linguistiques permettant de tirer profit du contexte lexical. Les différentes méthodes conçues ont été évaluées sur deux bases de documents : une base de textes incrustés dans des vidéos et une base publique de textes de scène. Les expérimentations ont permis de montrer la robustesse des approches et de comparer leurs performances à celles de l'état de l'art, mettant en évidence leurs avantages et leurs limites
This thesis focuses on the recognition of textual clues in images and videos. In this context, OCR (optical character recognition) systems, able to recognize caption texts as well as natural scene texts captured anywhere in the environment have been designed. Novel approaches, robust to text variability (differentfonts, colors, sizes, etc.) and acquisition conditions (complex background, non uniform lighting, low resolution, etc.) have been proposed. In particular, two kinds of methods dedicated to text recognition are provided:- A segmentation-based approach that computes nonlinear separations between characters well adapted to the localmorphology of images;- Two segmentation-free approaches that integrate a multi-scale scanning scheme. The first one relies on a graph model, while the second one uses a particular connectionist recurrent model able to handle spatial constraints between characters.In addition to the originalities of each approach, two extra contributions of this work lie in the design of a character recognition method based on a neural classification model and the incorporation of some linguistic knowledge that enables to take into account the lexical context.The proposed OCR systems were tested and evaluated on two datasets: a caption texts video dataset and a natural scene texts dataset (namely the public database ICDAR 2003). Experiments have demonstrated the efficiency of our approaches and have permitted to compare their performances to those of state-of-the-art methods, highlighting their advantages and limits

APA, Harvard, Vancouver, ISO, and other styles

20

Wang, Lianfa. "Improving the confidence of CFD results by deep learning." Electronic Thesis or Diss., Université Paris sciences et lettres, 2024. http://www.theses.fr/2024UPSLM008.

Full text

Abstract:

La dynamique des fluides numérique (CFD) s’est imposée depuis plusieurs années comme un outil indispensable pour l’étude des phénomènes d’écoulement complexes en recherche et en industrie. La précision des simulations CFD dépend de plusieurs paramètres – géométrie, maillage, schémas, solveurs, etc. – ainsi que de connaissances phénoménologiques que seul un ingénieur expert en CFD peut configurer et optimiser. L’objectif de ce travail de thèse est de proposer un assistant IA pour aider les utilisateurs, qu’ils soient experts ou non, à mieux choisir les options de simulation et à garantir la fiabilité des résultats pour un phénomène d’écoulement cible. Dans ce cadre, des algorithmes d’apprentissage profond sont explorés pour identifier les caractéristiques des écoulements calculés sur des maillages structurés et non structurés de géométries complexes. Dans un premier temps, des réseaux de neurones convolutifs (CNN), réputés pour leur capacité à extraire des motifs sur des images, sont utilisés pour identifier des phénomènes d’écoulement tels que les tourbillons et la stratification thermique sur des maillages structurés en 2D. Bien que les ré-sultats obtenus sur maillages structurés soient satisfaisants, les réseaux CNN ne peuvent être appliqués qu’à ce type de maillage. Pour surmonter cette limitation, un cadre de réseau neuronal basé sur les graphes (GNN) est proposé. Ce cadre utilise l’architecture U-Net et une hiérarchie de graphes successivement déraffinés grâce à la mise en oeuvre d’une méthode multigrille (AMG) inspirée de celle utilisée dans le code de simulation Code_Saturne. Par la suite, une étude ap-profondie des fonctions à noyau a été menée selon des critères de précision d’identification et d’efficacité d’entraînement pour mieux filtrer les différents phénomènes sur maillages non structurés. Après avoir comparé des fonctions à noyau disponibles dans la littérature, une nouvelle fonction à noyau basée sur le modèle de mélange gaussien a été proposée. Cette fonction est mieux adaptée à l’identification de phénomènes d’écoulement sur des maillages non structurés. La supériorité de l’architecture et de la fonction à noyau proposées est démontrée par plusieurs expériences numériques d’identification des tourbillons en 2D, ainsi que par son adaptabilité à l’identification des caractéristiques d’un écoulement en 3D
Computational Fluid Dynamics (CFD) has become an indispensable tool for studying complex flow phenomena in both research and industry over the years. The accuracy of CFD simulations depends on various parameters – geometry, mesh, schemes, solvers, etc. – as well as phenomenological knowledge that only an expert CFD engineer can configure and optimize. The objective of this thesis is to propose an AI assistant to help users, whether they are experts or not, to better choose simulation options and ensure the reliability of results for a target flow phenomenon. In this context, deep learning algorithms are explored to identify the characteristics of flows computed on structured and unstructured meshes of complex geometries. Initially, convolutional neural networks (CNNs), known for their ability to extract patterns from im-ages, are used to identify flow phenomena such as vortices and thermal stratification on structured 2D meshes. Although the results obtained on structured meshes are satisfactory, CNNs can only be applied to structured meshes. To overcome this limitation, a graph-based neural network (GNN) framework is proposed. This framework uses the U-Net architecture and a hierarchy of successively refined graphs through the implementation of a multigrid method (AMG) inspired by the one used in the Code_Saturne CFD code. Subsequently, an in-depth study of kernel functions was conducted according to identification accuracy and training efficiency criteria to better filter the different phenomena on unstructured meshes. After comparing available kernel functions in the literature, a new kernel function based on the Gaussian mixture model was proposed. This function is better suited to identifying flow phenomena on unstructured meshes. The superiority of the proposed architecture and kernel function is demonstrated by several numerical experiments identifying 2D vortices and its adaptability to identifying the characteristics of a 3D flow

APA, Harvard, Vancouver, ISO, and other styles

21

Tardif, Malo. "Proximal sensing and neural network processes to assist in diagnosis of multi-symptom grapevine diseases." Electronic Thesis or Diss., Bordeaux, 2023. http://www.theses.fr/2023BORD0369.

Full text

Abstract:

La vigne est une plante sujette à de très nombreuses maladies. Certaines de ces maladies peuvent entraîner d'importantes pertes de rendement et la mort du pied de vigne infecté. Parmi ces maladies, certaines présentent des symptômes de nature différente, sur plusieurs organes de la même vigne. Leur diagnostic, réalisé en pratique par des experts, est d’autant plus complexe qu’elles présentent de nombreux facteurs confondants. Cette recherche se concentre sur le développement de méthodologies pour l'acquisition, l'annotation et le traitement des données liées aux maladies de la vigne multi-symptômes afin d'étudier leur diagnostic automatique. Deux groupes de maladies sont ciblés : les jaunisses de la vigne telles que la Flavescence dorée (FD) ou le bois noir, et les maladies du bois de la vigne (GTDs) avec l'Eutypiose et le Botryosphaeria comme maladies ciblées.Des acquisitions d'images RGB, directement dans les rangs de vigne, ont été réalisées pour construire des ensembles de données pour chaque type de maladie. Le jeu de données pour la FD couvre cinq cépages différents et tient compte de nombreuses maladies présentant des symptômes similaires à ceux de la FD, appelées maladies confondantes. L'ensemble de données pour les GTDs comprend des images d'une seule variété de vigne et aucune maladie confondante. Trois méthodes de diagnostic automatique de ces maladies sont proposées, comparées et discutées. La première méthode, inspirée de l’état de l’art, utilise un classifieur basé sur un réseau neuronal convolutif appliqué aux images brutes (méthode A). Les résultats montrent que cette méthodologie délivre de bons résultats sur les ensembles de données contenant très peu de maladies confondantes. Une précision (p) et un rappel (r) de (p=0,94 ; r=0,92) sont obtenus pour la classification des images de vigne affectées par les GTDs, tandis qu'ils sont de (p=0,87 ; r=0,84) pour la classification des images de vignes affectées par la FD sur un ensemble de données contenant 16% d'images de maladies confondantes.Dans le but d’améliorer ces résultats, deux méthodes ont été développées, toutes deux comportant deux étapes : (1) la détection individuelle des symptômes à l'aide d'un algorithme de détection constitué de couches de neurones convolutives et d'un algorithme neuronal de segmentation ; (2) le diagnostic basé sur l’association des symptômes détectés, soit à l'aide d'un classificateur de type forêt d’arbres décisionnels ou Random Forest (méthode B), soit à l'aide d'un réseau neuronal sur graphe (méthode C). Les résultats de ces deux méthodologies sur l'ensemble de données contenant 16% d'images de maladies confondantes à la FD sont de (p=0,86 ; r=0,90) pour la méthode B et de (p=0,90 ; r=0,96) pour la méthode C. Ces résultats démontrent une meilleure efficacité des méthodologies en deux étapes pour distinguer les maladies confondantes des maladies ciblées. Ils démontrent également la pertinence de l’imagerie RGB embarquée associée aux approches neuronales d’intelligence artificielle pour le diagnostic de ces maladies.Enfin, ces trois méthodes sont testées sur des acquisitions à l'échelle de parcelles entières afin d’établir leur validité dans des cas d'utilisation concret. Les résultats mettent en évidence les avantages de la méthodologie en deux étapes basée sur l’association des symptômes par graphe, la contribution significative des vignes environnantes et des deux faces des vignes lors de leur diagnostic automatique et soulignent les défis de l’application réelle de ces méthodologies
Grapevine is a plant susceptible to numerous diseases. Some of these diseases can lead to significant yield losses and the death of the infected grapevine. Among these diseases, some present symptoms of different nature on various organs of the same vine. Their diagnosis, typically performed by experts, is even more complex as many confounding factors are present. This research focuses on the development of methodologies for acquiring, annotating, and processing data related to multi-symptom grapevine diseases to study their automated diagnosis. Two groups of diseases are targeted: grapevine yellows such as Flavescence dorée (FD) and grapevine trunk diseases (GTDs) with Eutypa and Botryosphaeria diebacks as specific diseases.RGB image acquisitions were conducted directly in grapevine rows to build datasets for each disease type. The dataset for FD covers five different grape varieties and takes into account many diseases that have symptoms similar to FD, referred to as confounding diseases. The GTDs dataset includes images of a single grape variety and no confounding disease. Three methods for the automatic diagnosis of these diseases are proposed, compared, and discussed. The first method, inspired by state-of-the-art techniques, uses a convolutional neural network-based classifier applied to raw images (method A). The results show that this methodology delivers good results on datasets containing very few confounding diseases. Precision (p) and recall (r) of (p=0.94, r=0.92) are achieved for classifying images of grapevines affected by GTDs, while they are (p=0.87, r=0.84) for classifying images of vines affected by FD in a dataset containing 16% of confounding disease images.To improve these results, two methods were developed, both consisting of two steps: (1) individual symptom detection using a detection algorithm composed of neural convolutional layers and a neural segmentation algorithm; (2) diagnosis based on the association of detected symptoms, either using a Random Forest classifier (method B) or a graph neural network (method C). The results of these two methodologies on the dataset containing 16% of confounding disease images for FD are (p=0.86, r=0.90) for method B and (p=0.90, r=0.96) for method C. These results demonstrate the better effectiveness of two-step methodologies in distinguishing confounding diseases from targeted diseases. They also highlight the relevance of embedded RGB imaging combined with artificial intelligence approaches for diagnosing these diseases.Finally, these three methods are tested on whole-block acquisitions to establish their validity in real-world use cases. The results highlight the advantages of the two-step methodology based on symptom association by graph, the significant contribution of considering the surrounding vines and both sides of the vines during their automated diagnosis, and emphasize the challenges of real-world application of these methodologies

APA, Harvard, Vancouver, ISO, and other styles

22

Riva, Mateus. "Spatial Relational Reasoning in Machine Learning : Deep Learning and Graph Clustering." Electronic Thesis or Diss., Institut polytechnique de Paris, 2022. http://www.theses.fr/2022IPPAT043.

Full text

Abstract:

Cette thèse étudie les capacités des méthodes d'apprentissage automatique à raisonner sur des relations spatiales, en particulier sur les relations directionnelles, et l'utilisation de connaissances relationnelles, connues a priori, par ces méthodes. Il existe de nombreux travaux dans le domaine de l'exploitation de connaissances sur les relations dans des méthodes d'apprentissage automatique. Cependant, ce corpus de travaux laisse encore plusieurs questions ouvertes. Tout au long de cette thèse, nous explorons, étudions et tentons d'expliquer différentes questions de recherche liées à ces questions.Nous proposons une amélioration de l'apprentissage des réseaux de neurones convolutionnels (CNN) via une fonction de coût de régularisation intégrant l'information relationnelle. Pour cela, nous proposons deux nouvelles fonctions de coût qui favorisent la satisfaction des relations pendant l'entraînement des CNN, et nous concevons des expériences synthétiques pour montrer leur impact. Alors que les fonctions proposées montrent des améliorations par rapport à un modèle de base non modifié dans des scénarios synthétiques spécifiques et stricts, l'impact sur des scénarios plus généraux est moins significatif. Ce résultat n'est pas facile à expliquer, car l'entrainement des réseaux neuronaux est un processus opaque, et une exploration plus approfondie est nécessaire pour comprendre comment un CNN apprend (ou n'apprend pas) à raisonner en utilisant des informations relationnelles.Pour mieux comprendre comment un CNN peut apprendre à raisonner en utilisant des informations relationnelles, nous proposons un large éventail d'expériences synthétiques. Nous explorons les processus qui permettent, facilitent ou entravent le raisonnement "standard" des CNN sur les relations. Nous proposons une expérience fondamentale pour démontrer qu'un CNN de base, non modifié, est capable de raisonner sur les relations dans certains scénarios. Ensuite, nous explorons quelles relations sont apprises par le CNN, en effectuant l'inférence sur des scènes où les relations a priori sont perturbées, en comparant les résultats, et en entraînant et testant les CNN sur des données synthétiques avec plus ou moins de relations disponibles. Nous étudions ensuite les limites posées au raisonnement relationnel par le champ réceptif du réseau, et approfondissons notre analyse sur des situations où la quantité de données d'entraînement est insuffisante. Enfin, nous examinons à quel moment de la formation les relations sont satisfaites, ce qui permet de comprendre à quel moment les relations elles-mêmes sont apprises.En suivant une approche de groupement de noeuds dans des graphes pour l'utilisation des informations relationnelles, nous utilisons les relations dans un contexte d'apprentissage automatique différent, celui de la découverte de communautés dans des graphes. Nous formulons le groupement dans des graphes comme un problème de correspondance inexacte entre le graphe à analyser et un graphe modèle qui encode les connaissances a priori sur la façon dont les communautés ou les clusters sont liés les uns aux autres. Nous comparons cette approche avec les approches traditionnelles de groupement dans des graphes sur un ensemble de graphes synthétiques, pour mettre en évidence les avantages d'une approche relationnelle, ainsi que sur des graphes réels
This thesis studies the capabilities of machine learning methods for reasoning on spatial relationships, with a particular focus on directional relationships, and the use of prior relational information by these methods. There are many works in the field of applying knowledge on relationships to machine learning methods. However, this body of work still leaves several open questions. Throughout this thesis, we explore, investigate and attempt to explain different research questions linked to this field.We propose an improvement to the training of CNNs via a regularisation loss function based on relational information. To this end, we propose two novel loss functions which reward relationship satisfaction during CNN training, and design synthetic experiments to showcase their impact. While the proposed loss functions show improvements over an unmodified baseline in specific, strict synthetic scenarios, the impact on more ``generic'' training scenarios is less significant. This result is not easily explainable, as neural network training is a significantly opaque process, and as such, a deeper exploration is required to understand how a CNN learns (or fails to learn) to reason using relational information.To further understanding of how a CNN can learn to reason using relational information, we propose a wide array of distinct synthetic experiments. We explore the processes which enable, facilitate, or hinder ``standard'' CNN reasoning on relationships. We propose a fundamental experience to demonstrate that a basic, unmodified CNN is capable of relational reasoning in some scenarios. Next, we explore which relationships are learned by the CNN, by performing inference on scenes where the prior relationships are disturbed, by recording the difference in the results, and by training and testing CNNs on synthetic data with more or less relationships available. We then investigate the limits placed on relational reasoning by the network receptive field, as well as deepen our analysis on situations where the amount of training data is insufficient. Finally, we explore at which moment during training relationships are satisfied, as a proxy for understanding at which moment the relationships themselves are learned.Following a graph-clustering approach to the usage of relational information, we explore prior relationships in a different machine learning context, that of community discovery on graphs. We formulate graph clustering as an inexact matching problem between the graph to be clustered and a model graph which encodes prior knowledge on how the communities or clusters relate to each other. We compare this approach with traditional graph clustering approaches on a set of synthetic graphs, to showcase the advantages of a relational-aware approach, as well as on real graphs

APA, Harvard, Vancouver, ISO, and other styles

23

Ambroise, Corentin. "Structure-aware neural networks in the study of multi-modal population cohorts : an application to mental health." Electronic Thesis or Diss., université Paris-Saclay, 2024. http://www.theses.fr/2024UPAST065.

Full text

Abstract:

Il est actuellement reconnu que le fait de s'appuyer uniquement sur des stratégies de classification conventionnelles à partir d'une seule source de données n'est pas efficace pour comprendre, diagnostiquer ou pronostiquer les syndromes psychiatriques. Les objectifs de classification reposent simplement sur les étiquettes des cliniciens qui, à elles seules, n'expriment pas une très grande variabilité. En 2009, le Research Domain Criteria (RDoC) a recommandé une approche plus complète pour étudier les troubles psychiatriques en incorporant divers types de données qui couvrent différents niveaux d'organisation de la vie (par exemple, l'imagerie, la génétique, les symptômes). La proposition suggère qu'une description complète d'une pathologie nécessite la prise en compte de dimensions multiples, qui peuvent être partagées entre différents syndromes psychiatriques et même contribuer à la variabilité non pathologique. Des cadres efficaces pour l'apprentissage non supervisé, spécifiquement conçus pour des approches multivariées et multimodales, devraient offrir des méthodologies pour traiter et intégrer le type d'ensembles de données préconisé par le RDoC. L'apprentissage profond nous permet d'apprendre dans des environnements multimodaux avec une structure spécifique à la modalité et une structure de corrélation intermodale.Pour modéliser la structure intra-modalité, nous utilisons des réseaux de neurones convolutionels spécifiques, qui permettent d'apprendre à partir de mesures cérébrales corticales réparties sur un maillage sphérique et ainsi de révéler des biomarqueurs originaux. Dans ce contexte, nous proposons 5 augmentations de données et les appliquons dans l'un des nombreux nouveaux schémas d'apprentissage auto-supervisé reposant principalement sur l'augmentation de données. Ce travail permet à l'apprentissage par représentation profonde d'initialiser correctement le réseau sur d'énormes cohortes de patients sains, puis de le transférer pour étudier la pathologie clinique d'intérêt dans des cohortes plus petites.D'autre part, nous avons identifié les auto-encodeurs variationnels multi-vues comme de bons candidats pour intégrer des modalités multiples. En outre, nous remettons en question l'hypothèse courante selon laquelle les réseaux neuronaux ne sont pas interprétables. Nous utilisons une procédure d'avatar numérique comme module d'interprétabilité capable de rendre compte des relations inter-vues apprises au sein d'un auto-encodeur multi-vues. En particulier, nous intégrons cette procédure dans une nouvelle méthode qui combine plusieurs de ces modèles et interprétations, encapsulée dans une procédure de sélection par stabilité pour identifier des associations significatives et reproductibles entre les modalités d'imagerie cérébrale et le comportement. Nous appliquons cette méthode pour mettre en évidence des associations cerveau-comportement spécifiques présentes dans la cohorte transdiagnostique Healthy Brain Network (HBN). Les associations cerveau-comportement identifiées établissent des connexions entre les caractéristiques corticales régionales issues de l'imagerie par résonance magnétique structurelle et les dossiers cliniques électroniques évaluant les symptômes psychiatriques. Nous montrons que cette méthode est capable de trouver des associations pertinentes et stables
It is currently acknowledged that relying solely on conventional classification strategies from a single data source is not effective to understand, diagnose or prognose psychiatric syndromes. The classification targets simply rely on clinician labels that alone do not express a very large variability. In 2009, the Research Domain Criteria (RDoC) recommended a more comprehensive approach to study psychiatric disorders by incorporating diverse data types that cover various levels of life organization (e.g., imaging, genetic, symptoms). The proposal suggests that a thorough description of a pathology requires consideration of multiple dimensions, which may be shared across different psychiatric syndromes and even contribute to non-pathological variability. Efficient frameworks for unsupervised learning, specifically designed for multivariate and multimodal approaches, are anticipated to offer methodologies for handling and integrating the kind of datasets advocated by the RDoC. Deep learning allows us to learn in multimodal settings with modality-specific structure and intermodality correlation structure.To model intra-modality structure, we use specific convolutional neural networks that enable to learn from cortical brain measures distributed across a spherical mesh and thus reveal original biomarkers. In this context, we propose 5 data augmentations and apply them in one of the many novel self-supervised learning schemes relying moslty on data augmentation. This work allows deep representation learning to properly initialize network on huge healthy patient cohorts and then transfer them to study clinical pathology of interest in smaller cohorts.On the other hand, we have identified multi-view variational auto encoders as good candidates to integrate multiple modalities. Moreover, we challenge the common assumption that neural networks are not interpretable. We use a digital avatar procedure as an interpretability module capable of reporting the inter-view relationships learned within a multi-view autoencoder. In particular, we integrate this procedure into a novel framework that combines multiple interpretations and utilizes stability selection to identify meaningful and reproducible associations between brain-imaging modalities and behaviour. We apply this framework to exhibit specific brain-behaviour associations present in the transdiagnostic cohort Healthy Brain Network (HBN). The identified brain-behaviour associations establish connections between regional cortical features from structural magnetic resonance imaging and electronic clinical record forms assessing psychiatric symptoms. We show this framework is able to find relevant and stable associations

APA, Harvard, Vancouver, ISO, and other styles

24

Qian, Yang. "Conception et Commande d'un Robot d'Assistance à la Personne." Phd thesis, Ecole Centrale de Lille, 2013. http://tel.archives-ouvertes.fr/tel-00864692.

Full text

Abstract:

Ce travail s'inscrit dans le cadre de la conception et réalisation d'un robot d'assistance à la personne. Dans cette thèse, nous nous intéressons particulièrement à la conception, à la modélisation et à la commande d'un robot manipulateur mobile. La conception mécanique couplée à un outil de simulation dynamique multi-corps nous a permis d'obtenir un modèle virtuel très réaliste. Le modèle cinématique du système a été obtenu en utilisant la méthode D-H modifiée. L'approche Bond graph et la méthode de Lagrange ont permis de construire le modèle dynamique. Un algorithme hybride qui combine la pseudoinverse du jacobien et la méthode RRT a été proposé pour la planification de mouvement d'un manipulateur redondant et rechercher de configurations continues, stables et sans collision. Un contrôleur basé sur les réseaux de neurones a été introduit pour la commande coordonnée d'un manipulateur mobile. Cette méthode ne nécessite pas un modèle précis du robot. Les paramètres inconnus sont identifiés et compensés en utilisant des réseaux de neurones RBF. Un algorithme de contrôle similaire est présenté pour la commande force/position d'un manipulateur mobile qui est soumis à des contraintes holonomes et nonholonomes. L'étude de la main robotique a été effectuée séparément avant d'être couplée au reste du système. Les modèles cinématique et dynamique du système main-objet ont été obtenus en utilisant les approches mathématiques et bond graph. Un algorithme est proposé afin d'assurer une prise ferme, éviter les dérapages et suivre les mouvements désirés. Les validations des modèles et des différentes lois de commande ont été effectuées grâce à la co-simulation Matlab/modèle virtuel

APA, Harvard, Vancouver, ISO, and other styles

25

Qian, Yang. "Conception et Commande d’un Robot d’Assistance à la Personne." Thesis, Ecole centrale de Lille, 2013. http://www.theses.fr/2013ECLI0005/document.

Full text

Abstract:

Ce travail s’inscrit dans le cadre de la conception et réalisation d’un robot d’assistance à la personne. Dans cette thèse, nous nous intéressons particulièrement à la conception, à la modélisation et à la commande d’un robot manipulateur mobile. La conception mécanique couplée à un outil de simulation dynamique multi-corps nous a permis d’obtenir un modèle virtuel très réaliste. Le modèle cinématique du système a été obtenu en utilisant la méthode D-H modifiée. L’approche Bond graph et la méthode de Lagrange ont permis de construire le modèle dynamique. Un algorithme hybride qui combine la pseudoinverse du jacobien et la méthode RRT a été proposé pour la planification de mouvement d’un manipulateur redondant et rechercher de configurations continues, stables et sans collision. Un contrôleur basé sur les réseaux de neurones a été introduit pour la commande coordonnée d’un manipulateur mobile. Cette méthode ne nécessite pas un modèle précis du robot. Les paramètres inconnus sont identifiés et compensés en utilisant des réseaux de neurones RBF. Un algorithme de contrôle similaire est présenté pour la commande force/position d’un manipulateur mobile qui est soumis à des contraintes holonomes et nonholonomes. L’étude de la main robotique a été effectuée séparément avant d’être couplée au reste du système. Les modèles cinématique et dynamique du système main-objet ont été obtenus en utilisant les approches mathématiques et bond graph. Un algorithme est proposé afin d’assurer une prise ferme, éviter les dérapages et suivre les mouvements désirés. Les validations des modèles et des différentes lois de commande ont été effectuées grâce à la co-simulation Matlab/modèle virtuel
The purpose of this thesis is to design, model and control of a personal assistant robot used for domestic tasks. In order to make the robot’s design more efficient, a virtual simulation system is built using dynamic simulation software. The kinematic model is set up based on modified D-H principle. The dynamic model is built using the Lagrange theorem and elaborated in Matlab. We also employ an energy-based approach for modeling and its bond graph notation ensures encapsulation of functionality, extendibility and reusability of each element of the model. A hybrid algorithm of combining the Jacobian pseudoinverse algorithm with Rapidly-Exploring Random Tree method is presented for collision-free path planning of a redundant manipulator. An intelligent robust controller based on neural network is introduced for the coordinated control of a mobile manipulator. This method does not require an accurate model of the robot. Unknown dynamic parameters of the mobile platform and the manipulator are identified and compensated in closed-loop control using RBF neural network. A similar control algorithm is presented for coordinated force/motion control of a mobile manipulator suffering both holonomic and nonholonomic constraints. Kinematics and dynamics of a dexterous hand manipulating an object with known shape by rolling contacts are derived. A computed torque control algorithm is presented to ensure firm grip, avoid slippage and well track a given motion imposed to the object. The validation of models and different control laws were made by the co-simulation Matlab / virtual model

APA, Harvard, Vancouver, ISO, and other styles

26

Cattai, Tiziana. "Leveraging brain connectivity networks to detect mental states during motor imagery." Electronic Thesis or Diss., Sorbonne université, 2021. http://www.theses.fr/2021SORUS081.

Full text

Abstract:

Le cerveau est un réseau complexe et nous savons que les mécanismes de synchronisation et de désynchronisation sont essentiels pour effectuer des taches motrices et cognitives. De nos jours, les interactions fonctionnelles cérébrales sont étudiées dans des applications d'interface cerveau-ordinateur (BCI) avec de plus en plus d'intérêt. Cela pourrait avoir un fort impact sur les systèmes BCI, généralement bases sur des caractéristiques univariées qui caractérisent séparément les activités régionales du cerveau. En effet, les fonctionnalités de connectivité cérébrale peuvent être utilisées pour développer des BCI alternatifs dans le but d'améliorer les performances et d'\'e9tendre leur applicabilité dans la vie r\'e9elle. L'ambition de cette thèse est l'étude des réseaux de connectivité fonctionnelle du cerveau lors de taches BCI basées sur l'imagerie motrice (IM). Il vise à identifier le fonctionnement cérébral complexe, les processus de réorganisation et les dynamiques variant dans le temps à la fois au niveau du groupe et de l'individu. Cette thèse présente différents développements qui enrichissent séquentiellement un modèle initialement simple afin d'obtenir une méthode robuste pour l'étude des réseaux de connectivité fonctionnelle. Les résultats expérimentaux sur des données EEG simulées et réelles enregistrés pendant les taches BCI prouvent que notre méthode proposée explique bien le comportement variegate des données EEG cérébrales. Plus précisément, il fournit une caractérisation des mécanismes fonctionnels du cerveau au niveau du groupe, ainsi qu'une mesure de la séparabilité des conditions mentales au niveau individuel. Nous présentons également une procédure de réduction du bruit de graphe pour filtrer les données qui préservent simultanément la structure de connectivité du graphe et améliorent le rapport signal sur bruit. Puisque l'utilisation d'un système BCI nécessite une interaction dynamique entre l'utilisateur et la machine, nous proposons enfin une méthode pour capturer l'évolution des données variant dans le temps. Essentiellement, cette thèse présente un nouveau cadre pour saisir la complexité de la connectivité fonctionnelle des graphes lors de tâches cognitives
The brain is a complex network and we know that inter-areal synchronization and de-synchronization mechanisms are crucial to perform motor and cognitive tasks. Nowadays, brain functional interactions are studied in brain-computer interface BCI) applications with more and more interest. This might have strong impact on BCI systems, typically based on univariate features which separately characterize brain regional activities. Indeed, brain connectivity features can be used to develop alternative BCIs in an effort to improve performance and to extend their real-life applicability. The ambition of this thesis is the investigation of brain functional connectivity networks during motor imagery (MI)-based BCI tasks. It aims to identify complex brain functioning, re-organization processes and time-varying dynamics, at both group and individual level. This thesis presents different developments that sequentially enrich an initially simple model in order to obtain a robust method for the study of functional connectivity networks. Experimental results on simulated and real EEG data recorded during BCI tasks prove that our proposed method well explains the variegate behaviour of brain EEG data. Specifically, it provides a characterization of brain functional mechanisms at group level, together with a measure of the separability of mental conditions at individual level. We also present a graph denoising procedure to filter data which simultaneously preserve the graph connectivity structure and enhance the signal-to-noise ratio. Since the use of a BCI system requires a dynamic interaction between user and machine, we finally propose a method to capture the evolution of time-varying data. In essence, this thesis presents a novel framework to grasp the complexity of graph functional connectivity during cognitive tasks

APA, Harvard, Vancouver, ISO, and other styles

27

Wenzek, Didier. "Construction de réseaux de neurones." Phd thesis, Grenoble INPG, 1993. http://tel.archives-ouvertes.fr/tel-00343569.

Full text

Abstract:

La dénomination de réseaux de neurones recouvre tout un ensemble de méthodes de calcul dont le point commun est de décrire le calcul d'une solution a un probleme comme la recherche d'un état d'équilibre par un ensemble de cellules simples inter-agissant entre elles via un réseau de connections paramétrées. L'approche usuelle, pour obtenir un réseau de neurones ayant un comportement souhaite, consiste a tester sur des exemples un réseau choisi a priori et a modifier ses paramètres de contrôle jusqu'à ce que l'on obtienne un comportement satisfaisant. La difficulté de ces méthodes est que leur succès ou leur échec reposent sur le choix d'un premier réseau et que l'on ne dispose pas de règles permettant de déduire ce choix de la structure du probleme. La motivation de cette thèse a donc été de décrire des méthodes de synthèse permettant une construction modulaire de réseaux de neurones. Aussi, cette thèse propose une classe de réseaux de neurones parmi lesquels toute spécification de la forme chercher un élément de e (fini) vérifiant la propriété p admet au moins une réalisation. En outre, les réseaux de cette classe peuvent être combines pour obtenir un réseau réalisant une combinaison des spécifications des réseaux combines

APA, Harvard, Vancouver, ISO, and other styles

28

Tsopze, Norbert. "Treillis de Galois et réseaux de neurones : une approche constructive d'architecture des réseaux de neurones." Thesis, Artois, 2010. http://www.theses.fr/2010ARTO0407/document.

Full text

Abstract:

Les réseaux de neurones artificiels connaissent des succès dans plusieurs domaines. Maisles utilisateurs des réseaux de neurones sont souvent confrontés aux problèmes de définitionde son architecture et d’interprétabilité de ses résultats. Plusieurs travaux ont essayé d’apporterune solution à ces problèmes. Pour les problèmes d’architecture, certains auteurs proposentde déduire cette architecture à partir d’un ensemble de connaissances décrivant le domaine duproblème et d’autres proposent d’ajouter de manière incrémentale les neurones à un réseauayant une taille initiale minimale. Les solutions proposées pour le problème d’interprétabilitédes résultats consistent à extraire un ensemble de règles décrivant le fonctionnement du réseau.Cette thèse contribue à la résolution de ces deux problèmes. Nous nous limitons à l’utilisationdes réseaux de neurones dans la résolution des problèmes de classification.Nous présentons dans cette thèse un état de l’art des méthodes existantes de recherche d’architecturede réseaux de neurones : une étude théorique et expérimentale est aussi faite. Decette étude, nous observons comme limites de ces méthodes la disponibilité absolue des connaissancespour construire un réseau interprétable et la construction des réseaux difficiles à interpréteren absence de connaissances. En alternative, nous proposons une méthode appelée CLANN(Concept Lattice-based Artificial Neural network) basée les treillis de Galois qui construit undemi-treillis à partir des données et déduire de ce demi-treillis l’architacture du réseau. CLANNétant limitée à la résolution des problèmes à deux classes, nous proposons MCLANN permettantd’étendre cette méthodes de recherche d’architecture des réseaux de neurones aux problèmes àplusieurs classes.Nous proposons aussi une méthode appelée ’Approche des MaxSubsets’ pour l’extractiondes règles à partir d’un réseau de neurones. La particularité de cette méthode est la possibilitéd’extraire les deux formats de règles (’si alors’ et ’m parmi N’) à partir d’une structure quenous construisons. Nous proposons aussi une façon d’expliquer le résultat calculé par le réseauconstruit par la méthode MCLANN au sujet d’un exemple
The artificial neural networks are successfully applied in many applications. But theusers are confronted with two problems : defining the architecture of the neural network able tosolve their problems and interpreting the network result. Many research works propose some solutionsabout these problems : to find out the architecture of the network, some authors proposeto use the problem domain theory and deduct the network architecture and some others proposeto dynamically add neurons in the existing networks until satisfaction. For the interpretabilityproblem, solutions consist to extract rules which describe the network behaviour after training.The contributions of this thesis concern these problems. The thesis are limited to the use of theartificial neural networks in solving the classification problem.In this thesis, we present a state of art of the existing methods of finding the neural networkarchitecture : we present a theoritical and experimental study of these methods. From this study,we observe some limits : difficulty to use some method when the knowledges are not available ;and the network is seem as ’black box’ when using other methods. We a new method calledCLANN (Concept Lattice-based Artificial Neural Network) which builds from the training dataa semi concepts lattice and translates this semi lattice into the network architecture. As CLANNis limited to the two classes problems, we propose MCLANN which extends CLANN to manyclasses problems.A new method of rules extraction called ’MaxSubsets Approach’ is also presented in thisthesis. Its particularity is the possibility of extracting the two kind of rules (If then and M-of-N)from an internal structure.We describe how to explain the MCLANN built network result aboutsome inputs

APA, Harvard, Vancouver, ISO, and other styles

29

Zakroum, Mehdi. "Machine Learning for the Automation of Cyber-threat Monitoring and Inference." Electronic Thesis or Diss., Université de Lorraine, 2023. http://www.theses.fr/2023LORR0108.

Full text

Abstract:

Au cours des dernières décennies, les cyber-menaces ont connu une augmentation significative et continuent de croître de façon exponentielle. Les opérateurs de réseau et les praticiens de la sécurité s'efforcent constamment d'automatiser leurs stratégies de défense contre les cyberincidents à grande échelle et les événements particuliers à plus petite échelle ciblant leurs réseaux. Améliorer la surveillance des événements de sécurité et détecter les attaques à un stade précoce sont des éléments clés pour prévenir des éventuels dommages ou au moins atténuer leurs impacts. Le trafic enregistré par les capteurs réseau tels que les télescopes réseau, également connus sous le nom de darknets, constitue une riche source de renseignements sur la cybersécurité. Les données enregistrées par ces capteurs incluent différents types de trafic allant du trafic bénin comme les analyses régulières effectuées par les organisations à des fins statistiques, aux cyber-incidents malveillants tels que la propagation de vers, les analyses de vulnérabilité et les paquets de rétrodiffusion en relation avec les attaques par déni de service. Ces données pourraient être exploitées pour automatiser et améliorer les solutions de surveillance des cyber-menaces ainsi que pour modéliser et prédire les attaques. Pour cela, cette thèse combine des travaux de recherche sur les sujets saillants de la surveillance des cyber-menaces et de la classification et de la prévision des cyber-attaques
Over the past few decades, cyber-threats have known a significant increase and continue to grow exponentially. Network operators and security practitioners are constantly striving to automate their defense strategies against large-scale cyber incidents and smaller-scale peculiar events targeting their networks. Improving the monitoring of security events and detecting attacks at an early stage are key features to prevent against eventual damages or at least alleviate their impact. The traffic captured by network sensors such as network telescopes, also known as darknets, constitute a rich source of cybersecurity intelligence. The data recorded by such sensors include different types of traffic ranging from benign traffic like regular scans performed by organizations for statistical purpose, to malicious cyber incidents like worms spread, vulnerability scans, and backscatter packets that come as a side effect spoofed source of Denial of Service attacks. These data could be leveraged to automate and improve cyber-threat monitoring solutions and attack modeling and prediction. To this end, this thesis combines research works on the salient topics of cyber-threat monitoring and cyber-attack classification and forecasting

APA, Harvard, Vancouver, ISO, and other styles

30

Voegtlin, Thomas. "Réseaux de neurones et auto-référence." Lyon 2, 2002. http://theses.univ-lyon2.fr/documents/lyon2/2002/voegtlin_t.

Full text

Abstract:

Le sujet de cette thèse est l'étude d'une classe d'algorithmes d'apprentissage non supervisés pour réseaux de neurones récurrents. Dans la 1ere partie (chap. 1 à 4), je présente plusieurs algorithmes, basés sur un même principe d'apprentissage : l'auto-référence. L'apprentissage auto-référent n'implique pas l'optimisation d'un critère objectif (comme une fonction d'erreur), mais il fait intervenir une fonction subjective, qui dépend de ce que le réseau a déjà appris. Un exemple de réseau supervisé basé sur ce principe est le Simple Recurrent Netword d'Elman (1990). Dans ce cas, l'auto-référence est appliquée à l'algorithme de rétro-propagation du gradient. Sur ce point, le réseau d'Elman diffère des autres méthodes de rétro-propagation pour réseaux récurrents, qui font intervenir un gradient objectif (Back-propagation Through Time, Real-Time Recurrent learning). Je montr que l'auto-référence peut être utilisée avec les principales techniques d'apprentissage non supervisé : Cartes de Kohonen, Analyse en composantes principales, Analyse en composantes indépendantes. Ces techniques sont classiquement utilisées pour représenter des données statiques. L'auto-référence permet de les généraliser à des séries temporelles, et de définir des algorithmes d'apprentissage nouveaux
The purpose of this thesis is to present a class of unsupervised learning algorithms for recurrent networks. In the first part (chapters 1 to 4), I propose a new approach to this question, based on a simple principle: self-reference. A self-referent algorithm is not based on the minimization of an objective criterion, such as an error function, but on a subjective function, that depends on what the network has previously learned. An example of a supervised recurrent network where learning is self-referent is the Simple Recurrent Network (SRN) by Elman (1990). In the SRN, self-reference is applied to the supervised error back-propagation algorithm. In this aspect, the SRN differs from other generalizations of back-propagation to recurrent networks, that use an objective criterion, such as Back-Propagation Through Time, or Real-Time Recurrent Learning. In this thesis, I show that self-reference can be combined with several well-known unsupervised learning methods: the Self-Organizing Map (SOM), Principal Components Analysis (PCA), and Independent Components Analysis (ICA). These techniques are classically used to represent static data. Self-reference allows one to generalize these techniques to time series, and to define unsupervised learning algorithms for recurrent networks

APA, Harvard, Vancouver, ISO, and other styles

31

Teytaud, Olivier. "Apprentissage, réseaux de neurones et applications." Lyon 2, 2001. http://theses.univ-lyon2.fr/documents/lyon2/2001/teytaud_o.

Full text

Abstract:

Les fondements théoriques de l'apprentissage sont en grande partie posés. Comme la calculabilité est venue à maturité en s'orientant vers la complexité, l'apprentissage mûrit face à des résultats négatifs forts qui rendent sans espoir la quête d'algorithmes universels, efficaces pour toute donnée. Vraisemblablement les grandes avancées à venir seront (a) soit dans des domaines connexes où l'étude théorique a moins été poussée, (b) soit moins philosophiques et plus concrètes (théorique à préoccupations algorithmiques, représentation de données structurées, implémentation physique, modularité), soit enfin (c) dans la modélisation biologique. Cette thèse résume (et essaie modestement de compléter) les avancées théoriques statistiques, des points de vue successifs des cas où l'apprentissage est difficile (i. E. , où l'on sort du cadre iid sans bruit avec a priori de VC-dimension finie), des utilisations non-standards de la VC-théorie (non-supervisé, extraction de règles : c'est le (a) ci-dessus), puis du passage au concret avec le passage aux préoccupations algorithmiques (validité des approximations dans les Supports Vector Machines, efficacité des algorithmes de Gibbs quoique l'étude soit très incomplète, plus proches voisins rapides d'un point de vue expérimental représentation de données structurées images ou textes - tout cela est le (b)) et la modélisation biologique (c)

APA, Harvard, Vancouver, ISO, and other styles

32

Côté, Marc-Alexandre. "Réseaux de neurones génératifs avec structure." Thèse, Université de Sherbrooke, 2017. http://hdl.handle.net/11143/10489.

Full text

Abstract:

Cette thèse porte sur les modèles génératifs en apprentissage automatique. Deux nouveaux modèles basés sur les réseaux de neurones y sont proposés. Le premier modèle possède une représentation interne où une certaine structure a été imposée afin d’ordonner les caractéristiques apprises. Le deuxième modèle parvient à exploiter la structure topologique des données observées, et d’en tenir compte lors de la phase générative. Cette thèse présente également une des premières applications de l’apprentissage automatique au problème de la tractographie du cerveau. Pour ce faire, un réseau de neurones récurrent est appliqué à des données de diffusion afin d’obtenir une représentation des fibres de la matière blanche sous forme de séquences de points en trois dimensions.

APA, Harvard, Vancouver, ISO, and other styles

33

Jodouin, Jean-François. "Réseaux de neurones et traitement du langage naturel : étude des réseaux de neurones récurrents et de leurs représentations." Paris 11, 1993. http://www.theses.fr/1993PA112079.

Full text

Abstract:

Le but de ce travail a été d'évaluer les possibilités d'application des réseaux connexionnistes aux taches de haut niveau comme le traitement du langage naturel (tln). Un travail de réflexion a permis de cerner les types de réseaux et les techniques de représentation propices à ce domaine d'application. Deux réseaux de la classe des réseaux récurrents à couches ont été sélectionnés pour des études approfondies: le simple récurrent network et le time-unfolding network (tun). Le perceptron multicouches a servi d'étalon. Un domaine d'application mettant à l'épreuve la mémoire et les capacités de représentation des réseaux a aussi été choisi: la prédiction de séquences non déterministes. Un outil de simulation graphique, Baptise Simon, a été crée pour l'étude. Le travail empirique a consisté en trois séries d'expériences qui ont pour but d'étudier les capacités de réseaux dans des conditions se rapprochant progressivement du traitement d'énoncés réels. Cette étude a été approfondie par l'analyse des représentations développées par les réseaux durant leur traitement. Cette recherche semble montrer que les réseaux récurrents ont le potentiel de développer des représentations complexes, ce qui leur permet de traiter de façon efficace les taches qui leur ont été données. En particulier, les performances des tuns dépassent, dans le meilleur des cas, celles de nos meilleurs outils de comparaison. En conclusion, les réseaux récurrents à couches ont une utilité immédiate à la frontière entre la parole (ou l'information est généralement bruitée et incomplète) et le langage (ou les représentations symboliques pures supportent mal ce type d'imprécision). De plus, si un important travail de recherche reste encore à faire, les résultats obtenus permettent d'espérer l'application future de ces réseaux à des taches plus évoluées du tln

APA, Harvard, Vancouver, ISO, and other styles

34

Brette, Romain. "Modèles Impulsionnels de Réseaux de Neurones Biologiques." Phd thesis, Université Pierre et Marie Curie - Paris VI, 2003. http://tel.archives-ouvertes.fr/tel-00005340.

Full text

Abstract:

Les neurosciences computationnelles sont traditionnellement dominées par la conception selon laquelle les neurones codent l'information à travers leur fréquence de décharge. Récemment, les observations expérimentales de synchronisation neuronale ont motivé un renouveau du point de vue impulsionnel, selon lequel la structure temporelle des décharges est pertinente. Les modèles impulsionnels étant moins bien compris que leurs homologues fréquentiels, nous commençons par établir des résultats théoriques généraux, qui nous permettent en particulier de montrer que les modèles impulsionnels répondent de manière reproductible aux stimulations variables apériodiques. Cette propriété nous permet de construire un modèle de sélectivité à l'orientation dans le cortex visuel, le perceptron impulsionnel, qui, en détectant une propriété géométrique de l'image plutôt que l'adéquation entre l'image et un patron, permet d'obtenir avec une architecture feedforward une invariance naturelle au contraste.

APA, Harvard, Vancouver, ISO, and other styles

35

Tardif, Patrice. "Autostructuration des réseaux de neurones avec retards." Thesis, Université Laval, 2007. http://www.theses.ulaval.ca/2007/24240/24240.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

36

Maktoobi, Sheler. "Couplage diffractif pour réseaux de neurones optiques." Thesis, Bourgogne Franche-Comté, 2020. http://www.theses.fr/2020UBFCD019.

Full text

Abstract:

Les réseaux photoniques à haute performance peuvent être considérés comme des supports pour les futurs systèmes de calcul. Contrairement à l'électronique, les systèmes photoniques offrent des avantages intéressants, par exemple la possibilité de réaliser des réseaux complètement parallèles. Récemment, les réseaux de neurones ont attiré l'attention de la communauté photonique. L'une des difficultés les plus importantes, en matière de réseaux photoniques parallèles à grande échelle, est la réalisation des connexions. La diffraction est exploitée ici comme méthode pour traiter les connexions entre les nœuds (couplage) dans les réseaux de neurones optiques. Dans cette thèse, nous étudions l'extensibilité d'un couplage diffractif en détails de la façon suivante :Tout d'abord, nous commençons par une introduction générale à propos de l'intelligence artificielle, de l'apprentissage machine, des réseaux de neurones artificiels et des réseaux de neurones photoniques. Lors de la conception d'un réseau neuronal fonctionnel, les règles de l'apprentissage machine sont des éléments essentiels pour optimiser une configuration et ainsi obtenir une faible erreur du système, donc les règles de l'apprentissage sont introduites (chapitre 1). Nous étudions les concepts fondamentaux du couplage diffractif dans notre réservoir spatio-temporel. Dans ce cas, la théorie de la diffraction est expliquée. Nous utilisons un schéma analytique pour fournir les limites en termes de taille des réseaux diffractifs, qui font partie intégrante de notre réseau neuronal photonique (chapitre 2). Les concepts du couplage diffractif sont étudiés expérimentalement dans deux expériences différentes afin de confirmer les limites obtenues analytiquement, et pour déterminer le nombre maximum de nœuds pouvant être couplés dans le réseau photonique (Chapitre 3). Les simulations numériques d'une telle expérience sont basées sur deux schémas différents pour calculer numériquement la taille maximale du réseau, qui approche une surface de 100 mm2 (chapitre 4). Enfin, l'ensemble du réseau neuronal photonique est démontré. Nous concevons un réservoir spatialement étendu sur 900 nœuds. En conséquence, notre système généralise la prédiction pour la séquence chaotique de Mackey-Glass (chapitre 5)
Photonic networks with high performance can be considered as substrates for future computing systems. In comparison with electronics, photonic systems have substantial privileges, for instance the possibility of a fully parallel implementation of networks. Recently, neural networks have moved into the center of attention of the photonic community. One of the most important requirements for parallel large-scale photonic networks is to realize the connectivities. Diffraction is considered as a method to process the connections between the nodes (coupling) in optical neural networks. In the current thesis, we evaluate the scalability of a diffractive coupling in more details as follow:First, we begin with a general introductions for artificial intelligence, machine learning, artificial neural network and photonic neural networks. To establish a working neural network, learning rules are an essential part to optimize a configuration for obtaining a low error from the system, hence learning rules are introduced (Chapter 1). We investigate the fundamental concepts of diffractive coupling in our spatio-temporal reservoir. In that case, theory of diffraction is explained. We use an analytical scheme to provide the limits for the size of diffractive networks which is a part of our photonic neural network (Chapter 2). The concepts of diffractive coupling are investigated experimentally by two different experiments to confirm the analytical limits and to obtain maximum number of nodes which can be coupled in the photonic network (Chapter 3). Numerical simulations for such an experimental setup is modeled in two different schemes to obtain the maximum size of network numerically, which approaches a surface of 100 mm2 (Chapter 4). Finally, the complete photonic neural network is demonstrated. We design a spatially extended reservoir for 900 nodes. Consequently, our system generalizes the prediction for the chaotic Mackey–Glass sequence (Chapter 5)

APA, Harvard, Vancouver, ISO, and other styles

37

Ouali, Jamel. "Architecture intégrée flexible pour réseaux de neurones." Grenoble INPG, 1991. http://www.theses.fr/1991INPG0035.

Full text

Abstract:

Ayant rappelé brièvement quelques réalisations matérielles de réseaux de neurones artificiels dans un premier chapitre cette thèse propose une architecture distribuée, synchrone fondée sur l'existence d'un processeur neurone autonome. Ce processeur pourra être personnalise suivant les caractéristiques du réseaux de neurones a implanter et pourra être connecte a d'autres neurones pour former un réseau de structure et de dimension fixées. Ce neurone se présente comme un circuit dédié fabrique dans un temps court dans un environnement du type compilateur de silicium. Un tel neurone a été conçu et fabrique et s'est avéré complètement opérationnel. Il implémenté sous sa version fabrique uniquement la phase de relaxation. Dans un troisième chapitre, on montre que sans modification de l'architecture, on peut inclure des possibilités d'apprentissage. Pour ceci un algorithme d'apprentissage par la rétropropagation du gradient a été propose et étudié et on montre son implantation sur le réseau de neurones propose en précisant l'adjonction dans la partie de contrôle du neurone a implanter. Enfin, dans un dernier chapitre, nous explorons la possibilité de réaliser de très grands circuits ce qui serait très judicieux pour faire face a la taille des réseaux de neurones requise pour les applications. Pour ceci, nous explorons les possibilités d'intégration tranche entière. En effet, il existe une tolérance aux fautes intrinsèques au calcul neuronal et de plus l'implantation physique régulière doit permettre d'isoler et d'exclure les neurones défaillants. Les possibilités d'implantation physique d'une architecture tranche entière sont donc présentées dans ce chapitre

APA, Harvard, Vancouver, ISO, and other styles

38

Togni, Olivier. "Force des graphes : indice optique des réseaux." Bordeaux 1, 1998. http://www.theses.fr/1998BOR10596.

Full text

Abstract:

Cette these se situe en theorie des graphes et comporte deux parties independantes. Nous definissons tout d'abord deux compositions de graphes que nous utiliserons dans les deux parties de la these : la composition par couplage qui generalise le produit cartesien de graphes et la composition par inflation. La premiere partie est consacree a l'etude d'un parametre appele force d'un graphe simple. Le but est de trouver des valuations minimales rendant le graphe irregulier. On etudie la force des graphes composes par couplage. Nous obtenons des resultats asymptotiquement optimaux pour certains composes de cycles et pour le produit cartesien de deux graphes complets. Nous demontrons egalement une conjecture de cammack schelp et schrag de 1991 sur la force des arbres sans sommet de degre 2. Dans la deuxieme partie, on s'interesse au parametre indice optique, intervenant dans les reseaux de communication tout-optique utilisants le multiplexage en longueurs d'ondes (wdm). Ce parametre mesure le nombre minimum de longueurs d'ondes necessaires pour que tous les noeuds du reseau puissent communiquer en meme temps. Ce probleme se ramene a des problemes de colorations de graphes. Nous etudions l'indice optique des graphes composes par couplage et par inflation. Nous obtenons des resultats exacts pour certains composes de graphes complets. Dans le dernier chapitre, nous montrons un majorant de l'indice optique des graphes circulants 4-reguliers par l'arc-indice de transmission.

APA, Harvard, Vancouver, ISO, and other styles

39

Bigot, Pascal. "Utilisation des réseaux de neurones pour la télégestion des réseaux techniques urbains." Lyon 1, 1995. http://www.theses.fr/1995LYO10036.

Full text

Abstract:

La telegestion des reseaux techniques urbains fait appel a des techniques de reconnaissance de formes: etant donnee une image de l'etat du reseau, determiner si il fonctionne correctement ou non. Une methode employee pour resoudre ce type de probleme fait appel aux reseaux de neurones. Nous definissons une methodologie de construction de l'architecture employee afin d'obtenir des capacites de generalisation satisfaisantes. On s'oriente vers un reseau multicouches et l'algorithme de retropropagation du gradient. Nous precisons aussi une methodologie d'elaboration des bases d'apprentissage qui tienne compte de la nature numerique des donnees utilisees et, en particulier, des sources d'incertitudes qui les caracterisent. Celles-ci sont d'ordre physique (erreurs dues a l'imprecision des mesures et a la presence de bruit) et d'ordre statistique (erreurs dues a des previsions de grandeurs non mesurables). La methode utilisee suppose que l'on peut mesurer tous les parametres necessaires a sa mise en uvre. Ce qui n'est pas le cas dans la pratique. C'est pourquoi nous explorons differentes techniques de selection des parametres mesures et nous etudions les degradations eventuelles des capacites de detection. Nous etudions ensuite un systeme de localisation geographique des anomalies qui utilise les reseaux de neurones. On en montre les limitations. Cette approche est experimentee sur un reseau de distribution d'eau potable. Nous developpons d'autre part une etude theorique sur les relations qui existent entre les fonctions calculables par un reseau de neurones et celles qui sont calculables par un arbre binaire de decision. Ceci nous conduit a des algorithmes d'apprentissage pour des reseaux de neurones dont l'architecture (le nombre de neurones par couches) est variable

APA, Harvard, Vancouver, ISO, and other styles

40

Fraisse, Pierre. "Cycles et facteurs dans les graphes : application de la théorie des graphes aux réseaux de Pétri." Paris 11, 1985. http://www.theses.fr/1985PA112100.

Full text

Abstract:

Cette thèse se compose de plusieurs chapitres/ le premier porte sur l’existence de certains cycles dans des graphes de grand degré. Il donne des résultats de conditions suffisantes d’existence du cycle de longueur supérieure à un nombre m fixé, de cycle dominant, de circuit contenant s sommets et de longueur au plus 2s. Le second porte sur des conditions suffisantes d’existence de f-facteurs de graphes, avec condition de stabilité et connexité, d’une part, nombre d’arcs, d’autre part, existence de f-facteurs dans certains sous-graphes, enfin. Le troisième porte sur les couvertures des arêtes et des sommets d’un graphe par une famille de cycles de longueur totale minimale. Enfin le quatrième traite d’une application de la théorie des graphes à la théorie des réseaux de Petri. Il donne des conditions suffisantes de vivacité pour certains réseaux
This thesis is constituted by several chapters. The first one deals with the existence of certain cycles in graphs of large degree. It gives sufficient conditions for the existence of cycles of length greater than a given number m, of dominating cycles, of circuits containing a set of s vertices and of length at most 2s. The second one gives sufficient conditions for the existence of f-factors in graphs, with conditions of independence number and connectivity, of number of edges, and also by assuming the existence of f-factors in some subgraphs. The third deals with covering of edges and vertices of a graph by cycles, the sum of the length of the cycles being minimal. Finally, the fourth is an application of the graph theory to Petri nets. It gives sufficient conditions for liveness on a class of nets

APA, Harvard, Vancouver, ISO, and other styles

41

Koiran, Pascal. "Puissance de calcul des réseaux de neurones artificiels." Lyon 1, 1993. http://www.theses.fr/1993LYO19003.

Full text

Abstract:

Depuis quelques annees on s'est beaucoup interesse a la resolution de problemes d'ingenierie avec des reseaux de neurones artificiels (par exemple en reconnaissance de formes, robotique, prediction de series temporelles, optimisation. . . ). La plupart de ces travaux sont de nature empirique, et ne comportent que peu ou pas du tout d'analyse mathematique rigoureuse. Cette these se situe dans une perspective tout-a-fait differente: il s'agit d'etudier les relations entre les reseaux de neurones et les modeles de calculs classiques ou moins classiques de l'informatique theorique (automates finis, machines de turing, circuits booleens, machines de turing reelles de blum, shub et smale). Les principaux resultats sont les suivants: 1) simulation d'une machine de turing universelle par des reseaux recurrents; 2) etude generale de la puissance de calcul des systemes dynamiques definis par des iterations de fonctions, notamment en petites dimensions; 3) etude de modeles de calculs sur les nombres reels, avec application aux reseaux recurrents et acycliques. On montre que la classe des fonctions (discretes) calculables en temps polynomial est p/poly

APA, Harvard, Vancouver, ISO, and other styles

42

Graïne, Slimane. "Inférence grammaticale régulière par les réseaux de neurones." Paris 13, 1994. http://www.theses.fr/1994PA132020.

Full text

Abstract:

Dans cette thèse, nous proposons: - une méthode pour la simulation des automates finis par les réseaux de neurones (chapitre 4), - une méthode pour la reconnaissance des grammaires hors contexte et des grammaires stochastiques hors contexte par les réseaux de neurones (chapitre (5), - deux méthodes pour l'apprentissage des langages réguliers par les réseaux de neurones (chapitre 6). Les chapitres 2 et 3 présentent respectivement les réseaux de neurones et le problème de l'inférence grammaticale. Les chapitres 1 et 7 respectivement consacrés à l'introduction et à la conclusion.

APA, Harvard, Vancouver, ISO, and other styles

43

Le, Fablec Yann. "Prévision de trajectoires d'avions par réseaux de neurones." Toulouse, INPT, 1999. http://www.theses.fr/1999INPT034H.

Full text

Abstract:

La prévision de trajectoires d'avions est un problème crucial pour les systèmes de gestion du traffic aérien. Des méthodes de prévision utilisant des modélisations d'avion existent déjà mais nécessitent beaucoup de paramètres en n'offrant qu'une précision moyenne. C'est pourquoi nous développons une nouvelle approche nútilisant que peu d'informations initiales. La méthode choisie est basée sur l'utilisation de réseaux de neurones auxquels on fait apprendre un ensemble de trajectoires avant de les utiliser pour en prédire de nouvelles. Nous développons trois méthodes différentes qui permettent une prédiction à long terme dans le plan vertical et à court et moyen terme dans le plan horizontal. L'une d'elles est capable d'intégrer de nouvelles données au fur et à mesure que l'avion vole, ce qui lui permet de réagir aux éventuels changements de trajectoire et ainsi de parfaire la prévision. Les deux autres réalisent la prédiction même lorsque l'avion ne vole pas. Nous introduisons aussi une structure de type mélange hiérarchique d'experts qui permet de regrouper le savoir emmagaziné dans plusieurs réseaux, ainsi, il est possible de se passer de la connaissance du type d'avion étudié. Les méthodes utilisant des réseaux de neurones sont ensuite comparées aux méthodes à base de modèles avion. Nous montrons alors que les réseaux de neurones donnent de bien meilleurs résultats tout en permettant une prédiction très rapide. De plus, ne nécessitant que très peu de paramètres au départ, ils sont applicables sur un plus grand nombre de cas.

APA, Harvard, Vancouver, ISO, and other styles

44

Corne, Christophe. "Parallélisation de réseaux de neurones sur architecture distribuée." Mulhouse, 1999. http://www.theses.fr/1999MULH0583.

Full text

Abstract:

Notre étude a pour objectif d'établir le rôle prépondérant que peuvent avoir les techniques parallèles dans la résolution de calculs complexes utilisant des réseaux de neurones. Nous présentons les différents modèles de réseaux de neurones afin d'évaluer leur adaptabilité au parallélisme et de retenir la meilleure méthode de parallélisation. La structure choisie est basée sur l'algorithme neuromimétique Self-Organizing Map (SOM). Nous parallélisons cet algorithme sur différents types de plate-formes à architecture distribuée, l'une d'entre elles étant un réseau de stations de travail. Nous présentons un réseau grossissant, auto-organisé dans sa généralité et détaillons la forme séquentielle de son algorithme fondateur. La parallélisation de ce dernier algorithme sur une architecture utilisant la norme SCI (Scalable Coherent Interface) comme moyen de communication nous permet de montrer l'intérêt à la fois d'un réseau d'ordinateurs comme ressources de calcul et de ce nouveau protocole à 1 Gigabit/s. Pour évaluer les performances de nos algorithmes et les faire fonctionner, nous avons dû soutirer la puissance optimale des matériels dont nous disposions. Nous avons constaté à cette occasion, que les ressources informatiques, prises dans leur ensemble, avaient un potentiel et une disponibilité en puissance de calcul largement inexploitée. Ces circonstances nous ont conduit à une réflexion sur l'optimisation des ressources informatiques et à la conception d'un logiciel de répartition des tâches, sur systèmes distribués. Nous détaillons le fonctionnement de ce logiciel nommé «ReTrop» et présentons succinctement ses débouchés industriels. Comme exemple d'utilisation de ce principe, nous présentons les résultats obtenus pour améliorer le choix des paramètres d'un réseau grossissant, auto-organisé.

APA, Harvard, Vancouver, ISO, and other styles

45

Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.

Full text

Abstract:

Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeur
Recently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE

APA, Harvard, Vancouver, ISO, and other styles

46

He, Bing. "Estimation paramétrique du signal par réseaux de neurones." Lille 1, 2002. https://pepite-depot.univ-lille.fr/RESTREINT/Th_Num/2002/50376-2002-75.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

47

Pompougnac, Hugo. "Spécification et compilation de réseaux de neurones embarqués." Electronic Thesis or Diss., Sorbonne université, 2022. http://www.theses.fr/2022SORUS436.

Full text

Abstract:

Dans cette thèse, nous proposons une approche pour spécifier et compiler conjointement les aspects Calcul Haute Performance (HPC) et Temps-Réel Embarqué (RTE) d’un même système. Notre approche est fondée sur une intégration formelle, algorithmique et outillée entre deux formalismes sous-tendant une bonne partie des travaux en HPC et en RTE : le formalisme SSA et le langage flot de données synchrone Lustre. Le formalisme SSA est au cœur de bon nombre de compilateurs HPC, dont ceux employés par les frameworks d'apprentissage machine tels TensorFlow ou PyTorch. Le langage Lustre est au cœur des processus de mise en œuvre de systèmes embarqués critiques dans l’avionique, ou encore le rail
In this thesis, we propose an approach for the joint specification and compilation of both High-Performance Computing (HPC) and Real-Time Embedded (RTE) aspects of a system. Our approach is based on a formal, algorithmic and tooled integration between two formalisms underlying a large part of works in HPC and RTE fields: the SSA formalism and the synchronous dataflow language Lustre. The SSA formalism is a key component of many HPC compilers, including those used by Machine Learning frameworks such as TensorFlow or PyTorch. The Lustre language is a key component of implementation processes of critical embedded systems in avionics or rail transportation

APA, Harvard, Vancouver, ISO, and other styles

48

Aïder, Méziane. "Réseaux d'interconnexion bipartis : colorations généralisées dans les graphes." Phd thesis, Grenoble 1, 1987. http://tel.archives-ouvertes.fr/tel-00325779.

Full text

Abstract:

Étude sur les graphes bipartis orientes de Moore montrant que de tels graphes existent, pour certaines valeurs du diamètre, et servent a la construction d'une classe de graphes bipartis orientes, asymptotiquement optimaux. Dans la deuxième partie du travail, quelques notions de coloration des graphes sont présentées. Celles-ci permettent de généraliser certains résultats déjà connus dans le cadre de la coloration habituelle et d'en obtenir d'autres plutôt spécifiques a ces notions. La généralisation de la notion de perfection en b-perfection est proposée ce qui permet l'obtention des graphes triangules représentant la seule classe de graphes b-parfaits

APA, Harvard, Vancouver, ISO, and other styles

49

Coupechoux, Emilie. "Analyse de grands graphes aléatoires." Paris 7, 2012. http://www.theses.fr/2012PA077184.

Full text

Abstract:

Plusieurs types de réseaux du monde réel peuvent être représentés par des graphes. Comme il s'agit de réseaux de très grande taille, leur topologie détaillée est généralement inconnue, et nous les modélisons par de grands graphes aléatoires ayant les mêmes propriétés statistiques locales que celles des réseaux observés. Un exemple de telle propriété est la présence de regroupements dans les réseaux réels : si deux individus ont un ami en commun, ils ont également tendance à être amis entre eux. Etudier des modèles de graphes aléatoires qui soient à la fois appropriés et faciles à aborder d'un point de vue mathématique représente un challenge, c'est pourquoi nous considérons plusieurs modèles de graphes aléatoires possédant ces propriétés. La propagation d'épidémies dans les graphes aléatoires peut être utilisée pour modéliser plusieurs types de phénomènes présents dans les réseaux réels, comme la propagation de maladies, ou la diffusion d'une nouvelle technologie. Le modèle épidémique que nous considérons dépend du phénomène que nous voulons représenter :. Un individu peut contracter une maladie par un simple contact avec un de ses amis (ces contacts étant indépendants),. Mais une nouvelle technologie est susceptible d'être adoptée par un individu lorsque beaucoup de ses amis ont déjà la technologie en question. Nous étudions essentiellement ces deux différents cas de figure. Dans chaque cas, nous cherchons à savoir si une faible proportion de la population initialement atteinte (ou ayant la technologie en question) peut propager l'épidémie à une grande partie de la population
Several kinds of real-world networks can be represented by graphs. Since such networks are very large, their detailed topology is generally unknown, and we model them by large random graphs having the same local statistical properties as the observed networks. An example of such properties is the fact that real-world networks are often highly clustered : if two individuals have a friend in common, they are likely to also be each other's friends. Studying random graph models that are both appropriate and tractable from a mathematical point of view is challenging, that is why we consider several clustered random graph models. The spread of epidemics in random graphs can be used to model several kinds of phenomena in real-world networks, as the spread of diseases, or the diffusion of a new technology. The epidemic model we consider depends on the phenomenon we wish to represent :. An individual can contract a disease by a single contact with any of his friends (such contacts being independent),. But a new technology is likely to be adopted by an individual if many of his friends already have the technology in question. We essentially study these two cases. In each case, one wants to know if a small proportion of the population initially infected (or having the technology in question) can propagate the epidemic to a large part of the population

APA, Harvard, Vancouver, ISO, and other styles

50

Dhandapani, Yogeshwaran. "Réseaux géométriques aléatoires : connexité et comparaison." Paris 6, 2010. http://www.theses.fr/2010PA06A621.

Full text

Abstract:

Cette thèse porte sur deux thèmes : 1)Percolation et connexité sur les graphes géométriques aléatoires dits "type AB". 2)Comparaison stochastique directionnellement convexe de processus ponctuels et leurs propriétés de percolation et connexité. Dans le premier sujet, nous définissons un graphe biparti, dit "de type AB", sur deux processus ponctuels de Poisson indépendants. Cet graphe est une extension continue de graphe dit "type AB" sur une grille régulière. Nous montrons l'existence de percolation pour toute dimension supérieure à deux et nous établissons des bornes pour l'intensité critique. Dans le cas de dimensions deux, nous caractérisons exactement l'intensité critique. Pour le problème de connexité, nous étudions le modelé sur les processus ponctuels de Poisson indépendant dans le cube de volume un avec des intensités n et c_n pour une constante c > 0. Nous établissons des bornes asymptotiques presque sûres pour le seuil de connexité. 2) Le but du deuxième sujet de travail est de définir l'ordre directionnellement convexe de processus ponctuels est de lier cet ordre aux propriétés de regroupement des points de processus ponctuels et, dans un contexte applicatif, aux caractéristiques de la performance des réseaux de communication sans fil. La dernière partie de cette thèse porte sur la comparaison des intensités critiques de percolation pour les processus ponctuels ordonnés selon cet ordre et les applications de ces résultats de comparaison pour les réseaux sans fils. Nous concluons en montrant que les processus ponctuels inférieurs, selon cet ordre, à un processus ponctuel de Poisson ont une transition de phase non-triviale dans plusieurs modelés des percolation.

APA, Harvard, Vancouver, ISO, and other styles

Dissertations / Theses on the topic 'Réseaux de neurones à graphes'

Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles