Dissertations / Theses: 'Réseaux de neurones pour graphes'

1

Carboni, Lucrezia. "Graphes pour l’exploration des réseaux de neurones artificiels et de la connectivité cérébrale humaine." Electronic Thesis or Diss., Université Grenoble Alpes, 2023. http://www.theses.fr/2023GRALM060.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

L'objectif principal de cette thèse est d'explorer la connectivité cérébrale et celle des réseaux de neurones artificiels d'un point de vue de leur connectivité. Un modèle par graphes pour l'analyse de la connectivité structurelle et fonctionnelle a été largement étudié dans le contexte du cerveau humain mais, un tel cadre d'analyse manque encore pour l'analyse des systèmes artificiels. Avec l'objectif d'intégrer l'analyse de la connectivité dans les système artificiels, cette recherche se concentre sur deux axes principaux. Dans le premier axe, l'objectif principal est de déterminer une caractérisation de la signature saine de la connectivité fonctionnelle de repos du cerveau humain. Pour atteindre cet objectif, une nouvelle méthode est proposée, intégrant des statistiques de graphe traditionnelles et des outils de réduction de réseau, pour déterminer des modèles de connectivité sains. Ainsi, nous construisons une comparaison en paires de graphes et un classifieur pour identifier les états pathologiques et identifier les régions cérébrales perturbées par une pathologie. De plus, la généralisation et la robustesse de la méthode proposée ont été étudiées sur plusieurs bases de données et variations de la qualité des données. Le deuxième axe de recherche explore les avantages de l'intégration des études de la connectivité inspirée du cerveau aux réseaux de neurones artificiels (ANNs) dans la perspective du développement de systèmes artificiels plus robustes. Un problème majeur de robustesse dans les modèles d'ANN est représenté par l'oubli catastrophique qui apparaît lorsque le réseau oublie dramatiquement les tâches précédemment apprises lors de l'adaptation à de nouvelles tâches. Notre travail démontre que la modélisation par graphes offre un cadre simple et élégant pour étudier les ANNs, comparer différentes stratégies d'apprentissage et détecter des comportements nuisibles tels que l'oubli catastrophique. De plus, nous soulignons le potentiel d'une adaptation à de nouvelles tâches en contrôlant les graphes afin d'atténuer efficacement l'oubli catastrophique et jetant ainsi les bases de futures recherches et explorations dans ce domaine
The main objective of this thesis is to explore brain and artificial neural network connectivity from agraph-based perspective. While structural and functional connectivity analysis has been extensivelystudied in the context of the human brain, there is a lack of a similar analysis framework in artificialsystems.To address this gap, this research focuses on two main axes.In the first axis, the main objective is to determine a healthy signature characterization of the humanbrain resting state functional connectivity. To achieve this objective, a novel framework is proposed,integrating traditional graph statistics and network reduction tools, to determine healthy connectivitypatterns. Hence, we build a graph pair-wise comparison and a classifier to identify pathological statesand rank associated perturbed brain regions. Additionally, the generalization and robustness of theproposed framework were investigated across multiple datasets and variations in data quality.The second research axis explores the benefits of brain-inspired connectivity exploration of artificialneural networks (ANNs) in the future perspective of more robust artificial systems development. Amajor robustness issue in ANN models is represented by catastrophic forgetting when the networkdramatically forgets previously learned tasks when adapting to new ones. Our work demonstrates thatgraph modeling offers a simple and elegant framework for investigating ANNs, comparing differentlearning strategies, and detecting deleterious behaviors such as catastrophic forgetting.Moreover, we explore the potential of leveraging graph-based insights to effectively mitigatecatastrophic forgetting, laying a foundation for future research and explorations in this area

2

Hérault, Laurent. "Réseaux de neurones récursifs pour l'optimisation combinatoire : application à la théorie des graphes et à la vision par ordinateur." Grenoble INPG, 1991. http://www.theses.fr/1991INPG0019.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette these traite de la resolution de problemes d'optimisation tres complexes (np. Complets) par le biais de l'etude des systemes complexes artificiels qui imitent les systemes physiques et qui sont simules avec des reseaux neuromimetiques. La solution optimale est identifiee a un etat fondamental d'un systeme physique. Plusieurs techniques neuronales sont presentees pour approcher la solution optimale. Elles utilisent soit l'analyse canonique, soit l'analyse microcanonique, definies en mecanique statistique. Parmi ces methodes, nous presentons l'utilisation des reseaux de hopfield analogiques, le recuit simule, l'approximation du champ moyen, le recuit en champ moyen et le recuit microcanonique. Elles sont particulierement bien adaptees aux problemes de graphes qui traitent de coupure et de connectivite, de morphisme et d'extraction de sous-graphes possedant des proprietes extremales. Dans ce cadre, les problemes de k-partitionnement de graphe, de mise en correspondance de graphes, et d'extraction de la plus grande clique sont traites. Dans la derniere partie, nous abordons le probleme de groupement perceptif en vision par ordinateur. On montre que ce probleme se ramene, par le biais de la theorie de la gestalt definie en psychologie experimentale, a un probleme d'optimisation combinatoire soluble par reseaux de neurones

3

Hafidi, Hakim. "Robust machine learning for Graphs/Networks." Electronic Thesis or Diss., Institut polytechnique de Paris, 2023. http://www.theses.fr/2023IPPAT004.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse aborde les progrès de l’apprentissage des représentation des nœuds d’ungraphe, en se concentrant sur les défis et les opportunités présentées par les réseaux de neuronespour graphe (GNN). Elle met en évidence l’importance des graphes dans la représentation dessystèmes complexes et la nécessité d’apprendre des représentations de nœuds qui capturent à la fois les caractéristiques des nœuds et la structure des graphes. L’ étude identifie les problèmes clés des réseaux de neurones pour graphe, tels que leur dépendance à l’ ´égard de données étiquetées de haute qualité, l’incohérence des performances dansdivers ensembles de données et la vulnérabilité auxattaques adverses.Pour relever ces défis, la thèse introduit plusieursapproches innovantes. Tout d’abord, elle utilise l’apprentissage contrastif pour la représentation des nœuds, permettant un apprentissage auto-supervisé qui réduit la dépendance aux données étiquetées.Deuxièmement, un classificateur bayésien est proposé pour la classification des nœuds, qui prenden compte la structure du graphe pour améliorer la précision. Enfin, la thèse aborde la vulnérabilité des GNN aux attaques adversariaux en évaluant la robustesse du classificateur proposé et en introduisant des mécanismes de défense efficaces. Ces contributionsvisent à améliorer à la fois la performance et la résilience des GNN dans l’apprentissage de lareprésentation des nœuds
This thesis addresses advancements in graph representation learning, focusing on the challengesand opportunities presented by Graph Neural Networks (GNNs). It highlights the significanceof graphs in representing complex systems and the necessity of learning node embeddings that capture both node features and graph structure. The study identifies key issues in GNNs, such as their dependence on high-quality labeled data, inconsistent performanceacross various datasets, and susceptibility to adversarial attacks.To tackle these challenges, the thesis introduces several innovative approaches. Firstly, it employs contrastive learning for node representation, enabling self-supervised learning that reduces reliance on labeled data. Secondly, a Bayesian-based classifier isproposed for node classification, which considers the graph’s structure to enhance accuracy. Lastly, the thesis addresses the vulnerability of GNNs to adversarialattacks by assessing the robustness of the proposed classifier and introducing effective defense mechanisms.These contributions aim to improve both the performance and resilience of GNNs in graph representation learning

4

Boulnois, Philippe. "Contribution à l'étude de différentes architectures de réseaux de neurones artificiels réalisant une transcription graphèmes-phonèmes pour le français." Compiègne, 1994. http://www.theses.fr/1994COMPD675.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse présente un système connexionniste de transcription graphèmes-phonèmes. Le système est conçu suivant un schéma client-serveur entre l'application de transcription et le réseau. Le premier réseau étudie est à initialisation aléatoire. Le second est initialisé à l'aide de prototypes. Dans les deux cas une partie de la couche cachée est analysée. Les résultats des deux réseaux sont comparés. Un système utilisant la coopération des deux est proposé et permet une amélioration des performances globales.

5

Hammadi, Youssef. "Réduction d'un modèle 0D instationnaire et non-linéaire de thermique habitacle pour l’optimisation énergétique des véhicules automobiles." Thesis, Université Paris sciences et lettres, 2020. http://www.theses.fr/2020UPSLM027.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

L’utilisation de la climatisation automobile engendre physiquement une surconsommation de carburant. Pour diminuer cette surconsommation, il existe deux leviers principaux. Le premier consiste à travailler en amont sur la définition technique de l’habitacle et du système de climatisation. Le second levier consiste à optimiser les stratégies de contrôle. Dans les deux cas, il s’avère incontournable de construire des modèles de thermique habitacle précis et rapides à évaluer. Ce qui fait l’objet de cette thèse CIFRE du Groupe Renault. Dans un premier temps, une méthodologie de réduction de modèles est exploitée pour passer d’un modèle éléments finis 3D à un modèle 0D. Ce modèle 0D est basé sur des bilans de masse et d’énergie sur les différentes parois et zones d’air de la cabine. Il prend la forme d’un système d’équations algébro-différentielles non-linéaire qui peut être transcrit en Bond Graph. De plus, le modèle 0D exploite un couplage faible entre la thermique et la mécanique des fluides issue des calculs CFD (aéraulique et aérodynamique externe). Dans un deuxième temps, on applique une méthode d’apprentissage automatique aux données générées par le modèle 0D en vue de construire un modèle 0D réduit. Un plan d’expériences est considéré à cette étape. Du fait de la non-linéarité des échanges thermiques, nous avons développé une approche qui s’inspire des méthodes Gappy POD et EIM. La base réduite utilisée est une base multiphysique qui tient compte de plusieurs contributions (températures, enthalpies, flux thermiques et humidités). Le modèle réduit obtenu est un modèle hybride qui couple quelques équations physiques d’origine à un réseau de neurones artificiel. La méthodologie de réduction a été déployée sur des véhicules Renault. Les modèles réduits ont été intégrés dans la plateforme GREEN de synthèse énergétique qui modélise différentes thermiques (moteur, transmission, circuit de refroidissement, batterie, HVAC, boucle froide, sous-capot) en vue de faire des études de gestion thermique qui revêtent une importance particulière pour les véhicules électriques et hybrides. Les modèles réduits ont été validés sur plusieurs scénarios (boucle de régulation pour le confort thermique, cycle d’homologation, couplage HVAC) et ont permis d’obtenir des gains CPU allant jusqu’à 99% avec des erreurs moyennes de 0,5°C sur les températures et 0,6% sur les humidités relatives
The use of automotive air conditioning leads to a fuel overconsumption. To reduce this overconsumption, we can either work upstream on the technical definitions of the cabin and the HVAC system or optimize control strategies. In both cases, it is essential to build a cabin thermal model that well balances accuracy and complexity. This is the topic of this PhD thesis driven by Renault Group. First, a model reduction methodology is used to build a 0D model starting from a 3D finite element cabin thermal model. This 0D model is based on mass and energy balances on the different cabin walls and air zones. It consists of a nonlinear differential algebraic equations system which can be reinterpreted as a Bond Graph. In addition, the 0D model is based on a weak coupling between the thermal equations and the fluid mechanics ones resulting from CFD calculations (internal airflow and external aerodynamics). Secondly, we apply a machine learning method to the data generated by the 0D model in order to build a reduced 0D model. A design of experiment is considered at this stage. Due to the nonlinearity of the heat exchanges, we have developed an approach which is inspired by the Gappy POD and EIM methods. We use a multiphysics reduced basis that takes several contributions into account (temperatures, enthalpies, heat fluxes and humidities). The resulting reduced model is a hybrid model that couples some of the original physical equations to an artificial neural network. The reduction methodology has been validated on Renault vehicles. The reduced order models have been integrated into a vehicle system-level energetic simulation platform (GREEN) which models different thermics (engine, transmission, cooling system, battery, HVAC, refrigerant circuit, underhood) in order to perform thermal management studies which are of particular importance for electric and hybrid vehicles. The reduced order models have been validated on several scenarios (temperature control for thermal comfort, driving cycles, HVAC coupling) and have achieved CPU gains of up to 99% with average errors of 0.5 °C on temperatures and 0.6% on relative humidities

6

Maktoobi, Sheler. "Couplage diffractif pour réseaux de neurones optiques." Thesis, Bourgogne Franche-Comté, 2020. http://www.theses.fr/2020UBFCD019.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux photoniques à haute performance peuvent être considérés comme des supports pour les futurs systèmes de calcul. Contrairement à l'électronique, les systèmes photoniques offrent des avantages intéressants, par exemple la possibilité de réaliser des réseaux complètement parallèles. Récemment, les réseaux de neurones ont attiré l'attention de la communauté photonique. L'une des difficultés les plus importantes, en matière de réseaux photoniques parallèles à grande échelle, est la réalisation des connexions. La diffraction est exploitée ici comme méthode pour traiter les connexions entre les nœuds (couplage) dans les réseaux de neurones optiques. Dans cette thèse, nous étudions l'extensibilité d'un couplage diffractif en détails de la façon suivante :Tout d'abord, nous commençons par une introduction générale à propos de l'intelligence artificielle, de l'apprentissage machine, des réseaux de neurones artificiels et des réseaux de neurones photoniques. Lors de la conception d'un réseau neuronal fonctionnel, les règles de l'apprentissage machine sont des éléments essentiels pour optimiser une configuration et ainsi obtenir une faible erreur du système, donc les règles de l'apprentissage sont introduites (chapitre 1). Nous étudions les concepts fondamentaux du couplage diffractif dans notre réservoir spatio-temporel. Dans ce cas, la théorie de la diffraction est expliquée. Nous utilisons un schéma analytique pour fournir les limites en termes de taille des réseaux diffractifs, qui font partie intégrante de notre réseau neuronal photonique (chapitre 2). Les concepts du couplage diffractif sont étudiés expérimentalement dans deux expériences différentes afin de confirmer les limites obtenues analytiquement, et pour déterminer le nombre maximum de nœuds pouvant être couplés dans le réseau photonique (Chapitre 3). Les simulations numériques d'une telle expérience sont basées sur deux schémas différents pour calculer numériquement la taille maximale du réseau, qui approche une surface de 100 mm2 (chapitre 4). Enfin, l'ensemble du réseau neuronal photonique est démontré. Nous concevons un réservoir spatialement étendu sur 900 nœuds. En conséquence, notre système généralise la prédiction pour la séquence chaotique de Mackey-Glass (chapitre 5)
Photonic networks with high performance can be considered as substrates for future computing systems. In comparison with electronics, photonic systems have substantial privileges, for instance the possibility of a fully parallel implementation of networks. Recently, neural networks have moved into the center of attention of the photonic community. One of the most important requirements for parallel large-scale photonic networks is to realize the connectivities. Diffraction is considered as a method to process the connections between the nodes (coupling) in optical neural networks. In the current thesis, we evaluate the scalability of a diffractive coupling in more details as follow:First, we begin with a general introductions for artificial intelligence, machine learning, artificial neural network and photonic neural networks. To establish a working neural network, learning rules are an essential part to optimize a configuration for obtaining a low error from the system, hence learning rules are introduced (Chapter 1). We investigate the fundamental concepts of diffractive coupling in our spatio-temporal reservoir. In that case, theory of diffraction is explained. We use an analytical scheme to provide the limits for the size of diffractive networks which is a part of our photonic neural network (Chapter 2). The concepts of diffractive coupling are investigated experimentally by two different experiments to confirm the analytical limits and to obtain maximum number of nodes which can be coupled in the photonic network (Chapter 3). Numerical simulations for such an experimental setup is modeled in two different schemes to obtain the maximum size of network numerically, which approaches a surface of 100 mm2 (Chapter 4). Finally, the complete photonic neural network is demonstrated. We design a spatially extended reservoir for 900 nodes. Consequently, our system generalizes the prediction for the chaotic Mackey–Glass sequence (Chapter 5)

7

Ouali, Jamel. "Architecture intégrée flexible pour réseaux de neurones." Grenoble INPG, 1991. http://www.theses.fr/1991INPG0035.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Ayant rappelé brièvement quelques réalisations matérielles de réseaux de neurones artificiels dans un premier chapitre cette thèse propose une architecture distribuée, synchrone fondée sur l'existence d'un processeur neurone autonome. Ce processeur pourra être personnalise suivant les caractéristiques du réseaux de neurones a implanter et pourra être connecte a d'autres neurones pour former un réseau de structure et de dimension fixées. Ce neurone se présente comme un circuit dédié fabrique dans un temps court dans un environnement du type compilateur de silicium. Un tel neurone a été conçu et fabrique et s'est avéré complètement opérationnel. Il implémenté sous sa version fabrique uniquement la phase de relaxation. Dans un troisième chapitre, on montre que sans modification de l'architecture, on peut inclure des possibilités d'apprentissage. Pour ceci un algorithme d'apprentissage par la rétropropagation du gradient a été propose et étudié et on montre son implantation sur le réseau de neurones propose en précisant l'adjonction dans la partie de contrôle du neurone a implanter. Enfin, dans un dernier chapitre, nous explorons la possibilité de réaliser de très grands circuits ce qui serait très judicieux pour faire face a la taille des réseaux de neurones requise pour les applications. Pour ceci, nous explorons les possibilités d'intégration tranche entière. En effet, il existe une tolérance aux fautes intrinsèques au calcul neuronal et de plus l'implantation physique régulière doit permettre d'isoler et d'exclure les neurones défaillants. Les possibilités d'implantation physique d'une architecture tranche entière sont donc présentées dans ce chapitre

8

Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeur
Recently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE

9

Bigot, Pascal. "Utilisation des réseaux de neurones pour la télégestion des réseaux techniques urbains." Lyon 1, 1995. http://www.theses.fr/1995LYO10036.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

La telegestion des reseaux techniques urbains fait appel a des techniques de reconnaissance de formes: etant donnee une image de l'etat du reseau, determiner si il fonctionne correctement ou non. Une methode employee pour resoudre ce type de probleme fait appel aux reseaux de neurones. Nous definissons une methodologie de construction de l'architecture employee afin d'obtenir des capacites de generalisation satisfaisantes. On s'oriente vers un reseau multicouches et l'algorithme de retropropagation du gradient. Nous precisons aussi une methodologie d'elaboration des bases d'apprentissage qui tienne compte de la nature numerique des donnees utilisees et, en particulier, des sources d'incertitudes qui les caracterisent. Celles-ci sont d'ordre physique (erreurs dues a l'imprecision des mesures et a la presence de bruit) et d'ordre statistique (erreurs dues a des previsions de grandeurs non mesurables). La methode utilisee suppose que l'on peut mesurer tous les parametres necessaires a sa mise en uvre. Ce qui n'est pas le cas dans la pratique. C'est pourquoi nous explorons differentes techniques de selection des parametres mesures et nous etudions les degradations eventuelles des capacites de detection. Nous etudions ensuite un systeme de localisation geographique des anomalies qui utilise les reseaux de neurones. On en montre les limitations. Cette approche est experimentee sur un reseau de distribution d'eau potable. Nous developpons d'autre part une etude theorique sur les relations qui existent entre les fonctions calculables par un reseau de neurones et celles qui sont calculables par un arbre binaire de decision. Ceci nous conduit a des algorithmes d'apprentissage pour des reseaux de neurones dont l'architecture (le nombre de neurones par couches) est variable

10

Bénédic, Yohann. "Approche analytique pour l'optimisation de réseaux de neurones artificiels." Phd thesis, Université de Haute Alsace - Mulhouse, 2007. http://tel.archives-ouvertes.fr/tel-00605216.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux de neurones artiﬁciels sont nés, il y a presque cinquante ans, de la volonté de modéliser les capacités de mémorisation et de traitement du cerveau biologique. Aujourd'hui encore, les nombreux modèles obtenus brillent par leur simplicité de mise en œuvre, leur puissance de traitement, leur polyvalence, mais aussi par la complexité des méthodes de programmation disponibles. En réalité, très peu d'entre-elles sont capables d'aboutir analytiquement à un réseau de neurones correctement conﬁguré. Bien au contraire, la plupart se " contentent " d'ajuster, petit à petit, une ébauche de réseau de neurones, jusqu'à ce qu'il fonctionne avec suffisamment d'exemples de la tâche à accomplir. Au travers de ces méthodes, dites " d'apprentissages ", les réseaux de neurones sont devenus des boîtes noires, que seuls quelques experts sont effectivement capables de programmer. Chaque traitement demande en effet de choisir convenablement une conﬁguration initiale, la nature des exemples, leur nombre, l'ordre d'utilisation, ... Pourtant, la tâche finalement apprise n'en reste pas moins le résultat d'une stratégie algorithmique implémentée par le réseau de neurones. Une stratégie qui peut donc être identiﬁée par le biais de l'analyse, et surtout réutilisée lors de la conception d'un réseau de neurones réalisant une tâche similaire, court-circuitant ainsi les nombreux aléas liés à ces méthodes d'apprentissage. Les bénéﬁces de l'analyse sont encore plus évidents dans le cas de réseaux de neurones à sortie binaire. En effet, le caractère discret des signaux traités simplifie grandement l'identification des mécanismes mis en jeu, ainsi que leur contribution au traitement global. De ce type d'analyse systématique naît un formalisme original, qui décrit la stratégie implémentée par les réseaux de neurones à sortie binaire de façon particulièrement efficace. Schématiquement, ce formalisme tient lieu d'" état intermédiaire " entre la forme boîte noire d'un réseau de neurones et sa description mathématique brute. En étant plus proche des modèles de réseaux de neurones que ne l'est cette dernière, il permet de retrouver, par synthèse analytique, un réseau de neurones effectuant la même opération que celui de départ, mais de façon optimisée selon un ou plusieurs critères : nombre de neurones, nombre de connexions, dynamique de calcul, etc. Cette approche analyse-formalisation-synthèse constitue la contribution de ces travaux de thèse.

11

Gatet, Laurent. "Intégration de Réseaux de Neurones pour la Télémétrie Laser." Phd thesis, Toulouse, INPT, 2007. http://oatao.univ-toulouse.fr/7595/1/gatet.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Grandes lignes : Un réseau de neurones est une architecture paramétrable composée de plusieurs modules appelés neurones. Ils peuvent être utilisés pour compenser des variations non souhaitées de certains phénomènes physiques ou pour effectuer des tâches de discrimination. Un réseau de neurones a été intégré en technologie CMOS basse tension pour être implanté au sein d'un télémètre laser par déphasage. Deux études ont été menées en parallèle. La première consiste à lever l'indétermination sur la mesure de distance déduite de la mesure de déphasage. La seconde étude permet la classification de différents types de surfaces à partir de deux signaux issus du télémètre. Résumé détaillé : Un réseau de neurones a la faculté de pouvoir être entraîné afin d'accomplir une tâche d'approximation de fonction ou de classification à partir d'un nombre limité de données sur un intervalle bien défini. L'objectif de cette thèse est de montrer l'intérêt d'adapter les réseaux de neurones à un type de système optoélectronique de mesure de distance, la télémétrie laser par déphasage. La première partie de ce manuscrit développe de manière succincte leurs diverses propriétés et aptitudes, en particulier leur reconfigurabilité par l'intermédiaire de leurs paramètres et leur capacité à être intégré directement au sein de l'application. La technique de mesure par télémétrie laser par déphasage est développée dans le deuxième chapitre et comparée à d'autres techniques télémétriques. Le troisième chapitre montre qu'un réseau de neurones permet d'améliorer nettement le fonctionnement du télémètre. Une première étude met en valeur sa capacité à accroître la plage de mesure de distance sans modifier la résolution. Elle est réalisée à partir de mesures expérimentales afin de prouver le réel intérêt de la méthode comportementale développée. La deuxième étude ouvre une nouvelle perspective relative à l'utilisation d'un télémètre laser par déphasage, celle d'effectuer la classification de différents types de surfaces sur des plages de distances et d'angles d'incidence variables. Pour valider expérimentalement ces deux études, les cellules de base du neurone de type perceptron multi-couches ont été simulées puis implantées de manière analogique. Les phases de simulation, de conception et de test du neurone analogique sont détaillées dans le quatrième chapitre. Un démonstrateur du réseau de neurones global a été réalisé à partir de neurones élémentaires intégrés mis en parallèle. Une étude de la conception des mêmes cellules en numérique est détaillée succinctement dans le cinquième chapitre afin de justifier les avantages associés à chaque type d'intégration. Le dernier chapitre présente les phases d'entraînement et de validation expérimentales du réseau intégré pour les deux applications souhaitées. Ces phases de calibrage sont effectuées extérieurement à l'ASIC, par l'intermédiaire de l'équation de transfert déterminée après caractérisation expérimentale et qualification du réseau de neurones global. Les résultats expérimentaux issus de la première étude montrent qu'il est possible d'obtenir à partir des signaux de sorties du télémètre et du réseau de neurones, une mesure de distance de précision (50µm) sur un intervalle de mesure 3 fois plus important que celui limité à la mesure du déphasage. Concernant l'application de discrimination de surfaces, le réseau de neurones analogique implanté est capable de classer quatre types de cibles sur l'intervalle [0.5m ; 1.25m] pour un angle d'incidence pouvant varier de - π /6 à + π /6.

12

Chakik, Fadi El. "Maximum d'entropie et réseaux de neurones pour la classification." Grenoble INPG, 1998. http://www.theses.fr/1998INPG0091.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette these s'inscrit dans le cadre de la classification. Elle porte particulierement sur l'etude des methodes basees sur le principe du maximum d'entropie (maxent). Ces approches ont ete utilisees dans le laboratoire leibniz, par exemple, pour apprendre des comportements a un robot autonome. Le but du travail a ete de comparer cette approche a celles basees sur des reseaux de neurones. Une analyse theorique de la classification a permis de montrer qu'il existe une equivalence entre le maxent et l'apprentissage hebbien des reseaux neuronaux. Apprendre les valeurs des poids de ces derniers est equivalent a apprendre les valeurs moyennes de certains observables du maxent. L'inclusion de nouveaux observables permet d'apprendre a apprendre avec des regles d'apprentissage plus performantes dans le cadre des reseaux de neurones. Le maxent a ete applique a deux problemes particuliers : la classification des ondes de breiman (probleme standard en apprentissage), et la reconnaissance de textures d'images spot. Ces applications ont montre que le maxent permet d'atteindre des performances comparables, voire meilleures, que les methodes neuronales. La robustesse du code du maxent mis au point au cours de cette these est en train d'etre etudiee dans le laboratoire tima. Il est prevu qu'il soit telecharge sur un satellite americain (projet mptb), pour l'evaluer en presence de rayonnements ionisants, dans la perspective de faire des traitements d'images en systemes embarques.

13

Boné, Romuald. "Réseaux de neurones récurrents pour la prévision de séries temporelles." Tours, 2000. http://www.theses.fr/2000TOUR4003.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux de neurones à propagation avant sont statiques, leurs sorties ne dépendant que des entrées courantes. Pour contourner cette limitation, la technique la plus répandue repose sur l'utilisation de fenêtres temporelles. Ces techniques sont insuffisantes lorsqu'une mémoire relativement profondes est nécessaire ou lorsque la profondeur de celle-ci est inconnue. Les réseaux de neurones récurrents sont capables de modéliser des dépendances temporelles de durée quelconque entre les entrées et les sorties désirées associées, en utilisant une mémoire implicite, codée grace aux connexions récurrentes et aux sorties des neurones eux-mêmes. Cependant, en pratique les réseaux récurrents sont associés à des algorithmes d'apprentissage bases sur le calcul du gradient, qui présentent des limitations dans la prise en compte des dépendances à moyen ou long terme. La résolution de ce problème peut passer par l'ajout de connexions contenant des retards. Le choix de la localisation de ces connexions et du nombre de retards nécessaires restent à la charge de l'expérimentateur. Nous proposons une nouvelle approche qui repose sur la définition de critères pour l'ajout sélectif de connexions à délais. Il en résulte des algorithmes constructifs, permettant d'adapter l'architecture du réseau au problème temporel à traiter. Le premier critère propose correspond à la variation de l'erreur lors de l'exploration restreinte des différentes alternatives d'implantation de connexions supplémentaires. L'exploration consiste en un apprentissage limite à quelques itérations. Le deuxième critère repose sur un calcul des corrélations entre des quantités générées à l'intérieur du réseau au cours de l'apprentissage, et correspond à une estimation de la variation des poids des connexions à délais candidates. Des expérimentations systématiques ont été menées sur des problèmes de référence de prévision de séries temporelles. Les résultats obtenus montrent l'intérêt de nos contributions.

14

Oussar, Yacine. "Réseaux d'ondelettes et réseaux de neurones pour la modélisation statique et dynamique de processus." Phd thesis, Université Pierre et Marie Curie - Paris VI, 1998. http://pastel.archives-ouvertes.fr/pastel-00000677.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Durant les dix dernières années, les réseaux de neurones à fonctions sigmoïdales ont connu de grands succès dans de nombreux domaines. Associés à des algorithmes d'apprentissage efficaces, ils constituent un puissant outil de modélisation non linéaire de processus, grâce à leur propriété d'approximation universelle parcimonieuse. Ce travail de thèse propose une mise en uvre de réseaux d'ondelettes, alternative possible aux réseaux de neurones, pour la modélisation statique et dynamique. Les ondelettes sont une famille de fonctions issues du traitement du signal et de l'image, dont il a été récemment montré qu'elles possèdent la propriété d'approximateur universel. La mise en uvre des réseaux d'ondelettes est effectuée suivant deux approches : - Approche fondée sur la transformée continue: les paramètres des fonctions sont à valeurs continues dans l'ensemble des nombres réels et peuvent donc être ajustés, comme ceux d'un réseau de neurones classique, à l'aide de méthodes de gradient. Nous proposons des réseaux et des algorithmes d'apprentissage pour la modélisation entrée-sortie et d'état. Les résultats obtenus sur des processus simulés et réel montrent que ces réseaux permettent d'obtenir des modèles de performance et de parcimonie équivalentes à celles des réseaux de neurones si des précautions de mise en uvre sont prises. - Approche fondée sur la transformée discrète: les paramètres des fonctions étant à valeurs discrètes, les apprentissages fondés sur des méthodes de gradient ne sont pas applicables. Nous proposons de construire des réseaux par sélection d'ondelettes dans une bibliothèque pré-établie. Cette procédure est également utilisée pour l'initialisation des paramètres des ondelettes avant leur apprentissage. Les résultats obtenus montrent que la procédure proposée confère à l'apprentissage une meilleure indépendance vis-à-vis de l'initialisation aléatoire des autres paramètres ajustables du réseau.

15

Chams, Ali. "Un environnement logiciel pour un simulateur de réseaux de neurones : smart." Grenoble INPG, 1992. http://www.theses.fr/1992INPG0103.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Smart (sparse matrix adaptive recursive transforms) est une machine parallele adaptee au calcul connexioniste. Elle a ete concue afin d'etre particulierement efficace pour l'algebre lineaire et en particulier pour les matrices creuses qui sont a la base de nombreuses architectures de reseaux de neurones formels. Dans l'environnement logiciel specifie, la partie du compilateur du langage de haut niveau qui manipule les structures de donnees speciales a smart a ete developpee. Ceci a ete realise grace a une methode de traitement de matrices creuses et d'un langage assembleur specifiques. Afin de pouvoir arriver a un langage de programmation de haut niveau, trois types de langages sont proposes: un langage c associe a une bibliotheque, un langage c vectoriel, et un langage c vectoriel et parallele. Un environnement convivial qui permet de decrire facilement et de simuler efficacement les reseaux de neurones sur diverses machines paralleles a ete propose. Une machine abstraite est introduite pour combiner les differents paradigmes de programmation. Au-dessus de cette machine abstraite un langage de programmation de haut niveau mental permet de decrire les reseaux de neurones formels. L'avantage de cette solution est que mental est totalement independant de l'architecture materielle des machines cibles. Le developpement de la machine smart avec son mariage soft & hard a donne la possibilite d'approfondir les principes de neurostation etudies au cours de cette these

16

Stuner, Bruno. "Cohorte de réseaux de neurones récurrents pour la reconnaissance de l'écriture." Thesis, Normandie, 2018. http://www.theses.fr/2018NORMR024.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les méthodes à l’état de l’art de la reconnaissance de l’écriture sont fondées sur des réseaux de neurones récurrents (RNN) à cellules LSTM ayant des performances remarquables. Dans cette thèse, nous proposons deux nouveaux principes la vérification lexicale et la génération de cohorte afin d’attaquer les problèmes de la reconnaissance de l’écriture : i) le problème des grands lexiques et des décodages dirigés par le lexique ii) la problématique de combinaison de modèles optiques pour une meilleure reconnaissance iii) la nécessité de constituer de très grands ensembles de données étiquetées dans un contexte d’apprentissage profond. La vérification lexicale est une alternative aux décodages dirigés par le lexique peu étudiée à cause des faibles performances des modèles optiques historiques (HMM). Nous montrons dans cette thèse qu’elle constitue une alternative intéressante aux approches dirigées par le lexique lorsqu’elles s’appuient sur des modèles optiques très performants comme les RNN LSTM. La génération de cohorte permet de générer facilement et rapidement un grand nombre de réseaux récurrents complémentaires en un seul apprentissage. De ces deux techniques nous construisons et proposons un nouveau schéma de cascade pour la reconnaissance de mots isolés, une nouvelle combinaison au niveau ligne LV-ROVER et une nouvelle stratégie d’auto-apprentissage de RNN LSTM pour la reconnaissance de mots isolés. La cascade proposée permet de combiner avec la vérification lexicale des milliers de réseaux et atteint des résultats à l’état de l’art pour les bases Rimes et IAM. LV-ROVER a une complexité réduite par rapport à l’algorithme original ROVER et permet de combiner des centaines de réseaux sans modèle de langage tout en dépassant l’état de l’art pour la reconnaissance de lignes sur le jeu de donnéesRimes. Notre stratégie d’auto-apprentissage permet d’apprendre à partir d’un seul réseau BLSTM et sans paramètres grâce à la cohorte et la vérification lexicale, elle montre d’excellents résultats sur les bases Rimes et IAM
State-of-the-art methods for handwriting recognition are based on LSTM recurrent neural networks (RNN) which achieve high performance recognition. In this thesis, we propose the lexicon verification and the cohort generation as two new building blocs to tackle the problem of handwriting recognition which are : i) the large vocabulary problem and the use of lexicon driven methods ii) the combination of multiple optical models iii) the need for large labeled dataset for training RNN. The lexicon verification is an alternative to the lexicon driven decoding process and can deal with lexicons of 3 millions words. The cohort generation is a method to get easily and quickly a large number of complementary recurrent neural networks extracted from a single training. From these two new techniques we build and propose a new cascade scheme for isolated word recognition, a new line level combination LV-ROVER and a new self-training strategy to train LSTM RNN for isolated handwritten words recognition. The proposed cascade combines thousands of LSTM RNN with lexicon verification and achieves state-of-the art word recognition performance on the Rimes and IAM datasets. The Lexicon Verified ROVER : LV-ROVER, has a reduce complexity compare to the original ROVER algorithm and combine hundreds of recognizers without language models while achieving state of the art for handwritten line text on the RIMES dataset. Our self-training strategy use both labeled and unlabeled data with the unlabeled data being self-labeled by its own lexicon verified predictions. The strategy enables self-training with a single BLSTM and show excellent results on the Rimes and Iam datasets

17

Weng, Qilong. "Stabilité pour des modèles de réseaux de neurones et de chimiotaxie." Thesis, Paris Sciences et Lettres (ComUE), 2017. http://www.theses.fr/2017PSLED026/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse vise à étudier certains modèles biologiques dans le réseau neuronal et dans la chimiotaxie avec la méthode d’analyse spectrale. Afin de traiter les principaux problèmes, tels que l’existence et l’unicité des solutions et des états stationnaires ainsi que les comportements asymptotiques, le modèle linéaire ou linéarisé associé est considéré par l’aspect du spectre et des semi-groupes dans les espaces appropriés, puis la stabilité de modèle non linéaire suit. Plus précisément, nous commençons par une équation de courses-et-chutes linéaire dans la dimension d≥1 pour établir l’existence d’un état stationnaire unique, positif et normalisé et la stabilité exponentielle asymptotique dans l’espace L¹ pondéré basé sur la théorie de Kerin-Rutman avec quelques estimations du moment de la théorie cinétique. Ensuite, nous considérons le modèle du temps écoulé sous les hypothèses générales sur le taux de tir et nous prouvons l’unicité de l’état stationnaire et sa stabilité exponentielle non linéaire en cas sans ou avec délai au régime de connectivité faible de la théorie de l’analyse spectrale pour les semi-groupes. Enfin, nous étudions le modèle sous une hypothèse de régularité plus faible sur le taux de tir et l’existence de la solution ainsi que la même stabilité exponentielle sont généralement établies n’importe la prise en compte du délai ou non, au régime de connectivité faible ou forte
This thesis is aimed to study some biological models in neuronal network and chemotaxis with the spectral analysis method. In order to deal with the main concerning problems, such as the existence and uniqueness of the solutions and steady states as well as the asymptotic behaviors, the associated linear or linearized model is considered from the aspect of spectrum and semigroups in appropriate spaces then the nonlinear stability follows. More precisely, we start with a linear runs-and-tumbles equation in dimension d≥1 to establish the existence of a unique positive and normalized steady state and the exponential asymptotic stability in weighted L¹ space based on the Krein-Rutman theory together with some moment estimates from kinetic theory. Then, we consider time elapsed model under general assumptions on the firing rate and prove the uniqueness of the steady state and its nonlinear exponential stability in case without or with delay in the weak connectivity regime from the spectral analysis theory for semigroups. Finally, we study the model under weaker regularity assumption on the firing rate and the existence of the solution as well as the same exponential stability are established generally no matter taking delay into account or not and no matter in weak or strong connectivity regime

18

Latouche, Pierre. "Modèles de graphes aléatoires à structure cachée pour l'analyse des réseaux." Phd thesis, Université d'Evry-Val d'Essonne, 2010. http://tel.archives-ouvertes.fr/tel-00623088.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les réseaux sont très largement utilisés dans de nombreux domaines scientifiques afin de représenter les interactions entre objets d'intérêt. Ainsi, en Biologie, les réseaux de régulation s'appliquent à décrire les mécanismes de régulation des gènes, à partir de facteurs de transcription, tandis que les réseaux métaboliques permettent de représenter des voies de réactions biochimiques. En sciences sociales, ils sont couramment utilisés pour représenter les interactions entre individus. Dans le cadre de cette thèse, nous nous intéressons à des méthodes d'apprentissage non supervisé dont l'objectif est de classer les noeuds d'un réseau en fonction de leurs connexions. Il existe une vaste littérature se référant à ce sujet et un nombre important d'algorithmes ont été proposés depuis les premiers travaux de Moreno en 1934. Notre point de départ est le modèle à blocs stochastiques, Stochastic Block Model (SBM) (Nowicki et Snijders, 2001) en anglais, qui permet la recherche de classes topologiques hétérogènes. Nous considérons un contexte Bayésien et proposons un algorithme de type variational Bayes pour approcher la loi a posteriori des paramètres. Cette approche permet d'obtenir un nouveau critère de sélection de modèles afin d'estimer le nombre de composantes dans un réseau. Par ailleurs, il apparaît que SBM ainsi que la plupart des modèles existants de classification sont limités puisqu'ils partitionnent les noeuds dans des classes disjointes. Or, de nombreux objets d'étude dans le cadre d'applications réelles sont connus pour appartenir à plusieurs groupes en même temps. Par exemple, en Biologie, des protéines appelées moonlighting proteins en anglais ont plusieurs fonctions dans les cellules. Nous introduisons donc un nouveau modèle de graphe aléatoire que nous appelons modèle à blocs stochastiques chevauchants, Overlapping Stochastic Block Model (OSBM) en anglais. Il autorise les noeuds d'un réseau à appartenir à plusieurs groupes simultanément et peut prendre en compte des topologies de connexion très différentes. Deux algorithmes d'estimation sont proposés ainsi qu'un critère de sélection de modèles.

19

Khalife, Sammy. "Graphes, géométrie et représentations pour le langage et les réseaux d'entités." Thesis, Institut polytechnique de Paris, 2020. http://www.theses.fr/2020IPPAX055.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Le traitement informatique des objets qui nous entourent, naturels ou créés par l'homme, demande toujours de passer par une phase de traduction en entités traitables par des programmes. Le choix de ces représentations abstraites est toujours crucial pour l'efficacité des traitements et est le terrain d'améliorations constantes. Mais il est un autre aspect émergeant : le lien entre l'objet à représenter et "sa" représentation n'est pas forcément bijectif ! Ainsi la nature ambiguë de certaines structures discrètes pose problème pour la modélisation ainsi que le traitement et l'analyse à l'aide d'un programme informatique. Le langage dit ``naturel'', et sous sa forme en particulier de représentation textuelle, en est un exemple. Le sujet de cette thèse consiste à explorer cette question, que nous étudions à l'aide de méthodes combinatoires et géométriques. Ces méthodes nous permettent de formaliser le problème d'extraction d'information dans des grands réseaux d'entités ainsi que de construire des représentations géométriques utiles pour le traitement du langage naturel. Dans un premier temps, nous commençons par démontrer des propriétés combinatoires des graphes de séquences intervenant de manière implicite dans les modèles séquentiels. Ces propriétés concernent essentiellement le problème inverse de trouver une séquence représentant un graphe donné. Les algorithmes qui en découlent nous permettent d'effectuer une comparaison expérimentale de différents modèles séquentiels utilisés en modélisation du langage. Dans un second temps, nous considérons une application pour le problème d'identification d'entités nommées. A la suite d'une revue de solutions récentes, nous proposons une méthode compétitive basée sur la comparaison de structures de graphes de connaissances et moins coûteuse en annotations d'exemples dédiés au problème. Nous établissons également une analyse expérimentale d'influence d'entités à partir de relations capitalistiques. Cette analyse suggère l'élargissement du cadre d'application de l'identification d'entités à des bases de connaissances de natures différentes. Ces solutions sont aujourd'hui utilisées au sein d'une librairie logicielle dans le secteur bancaire. Ensuite, nous développons une étude géométrique de représentations de mots récemment proposées, au cours de laquelle nous discutons une conjecture géométrique théoriquement et expérimentalement. Cette étude suggère que les analogies du langage sont difficilement transposables en propriétés géométriques, et nous amène a considérer le paradigme de la géométrie des distances afin de construire de nouvelles représentations. Enfin, nous proposons une méthodologie basée sur le paradigme de la géométrie des distances afin de construire de nouvelles représentations de mots ou d'entités. Nous proposons des algorithmes de résolution de ce problème à grande échelle, qui nous permettent de construire des représentations interprétables et compétitives en performance pour des tâches extrinsèques. Plus généralement, nous proposons à travers ce paradigme un nouveau cadre et piste d'explorations pour la construction de représentations en apprentissage machine
The automated treatment of familiar objects, either natural or artifacts, always relies on a translation into entities manageable by computer programs. The choice of these abstract representations is always crucial for the efficiency of the treatments and receives the utmost attention from computer scientists and developers. However, another problem rises: the correspondence between the object to be treated and "its" representation is not necessarily one-to-one! Therefore, the ambiguous nature of certain discrete structures is problematic for their modeling as well as their processing and analysis with a program. Natural language, and in particular its textual representation, is an example. The subject of this thesis is to explore this question, which we approach using combinatorial and geometric methods. These methods allow us to address the problem of extracting information from large networks of entities and to construct representations useful for natural language processing.Firstly, we start by showing combinatorial properties of a family of graphs implicitly involved in sequential models. These properties essentially concern the inverse problem of finding a sequence representing a given graph. The resulting algorithms allow us to carry out an experimental comparison of different sequential models used in language modeling.Secondly, we consider an application for the problem of identifying named entities. Following a review of recent solutions, we propose a competitive method based on the comparison of knowledge graph structures which is less costly in annotating examples dedicated to the problem. We also establish an experimental analysis of the influence of entities from capital relations. This analysis suggests to broaden the framework for applying the identification of entities to knowledge bases of different natures. These solutions are used today in a software library in the banking sector.Then, we perform a geometric study of recently proposed representations of words, during which we discuss a geometric conjecture theoretically and experimentally. This study suggests that language analogies are difficult to transpose into geometric properties, and leads us to consider the paradigm of distance geometry in order to construct new representations.Finally, we propose a methodology based on the paradigm of distance geometry in order to build new representations of words or entities. We propose algorithms for solving this problem on some large scale instances, which allow us to build interpretable and competitive representations in performance for extrinsic tasks. More generally, we propose through this paradigm a new framework and research leadsfor the construction of representations in machine learning

20

Richard, Vincent. "Outils de synthèse pour les réseaux réflecteurs exploitant la cellule Phoenix et les réseaux de neurones." Thesis, Rennes, INSA, 2018. http://www.theses.fr/2018ISAR0004/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Menée en partenariat avec Thales Alenia Space et le Centre National d’Etudes Spatiales (CNES), cette thèse s’inscrit dans un contexte international très actif sur une nouvelle technologie de systèmes antennaires : les réseaux réflecteurs (RA). Combinant les atouts des réflecteurs classiques et ceux des réseaux, les RA pourraient remplacer, à terme, les réflecteurs formés utilisés aujourd’hui. Ils sont constitués d’une source primaire placée en regard d’un réseau de cellules contrôlant les propriétés du champ électromagnétique réfléchi. Si de nombreuses études portent déjà sur la caractérisation des cellules, une des problématiques consiste à les sélectionner judicieusement pour réaliser l’antenne finale : c’est l’étape de synthèse.Un tour d’horizon consacré aux différentes méthodes de synthèse a révélé toute la complexité d’obtenir rapidement de bonnes performances simultanément sur les polarisations directes et croisées, pour une large bande de fréquences et pour la réalisation de diagrammes formés. La cellule Phoenix est sélectionnée dans ce travail pour ses bonnes propriétés puisqu’elle fournit l’ensemble de la gamme de phase suivant un cycle continu de géométries.Parce qu’une des contraintes dans la conception de RA est de maintenir des variations de géométries continues entre deux cellules juxtaposées à la surface du RA, un outil de représentation sphérique permettant de classer l’ensemble des cellules d’étude est proposé. Il répertorie judicieusement toutes les cellules sur une surface continue, fermée et périodique.Une nouvelle étape est franchie avec la conception de modèles comportementaux à l’aide de réseaux de neurones (ANN). Ces modèles permettent une caractérisation électromagnétique très rapide des cellules en termes de phase et d’amplitude des coefficients directs et croisées de la matrice de réflexion.L’originalité de l’algorithme de synthèse proposé dans ce travail se base sur l’utilisation combinée de la représentation sphérique et de la caractérisation rapide par ANN. Un outil d’optimisation de type min / max est utilisé pour améliorer les performances globales du panneau RA. Il est ensuite appliqué à un cas concret dans le cadre d’une mission de télécommunication
In collaboration with Thales Alenia Space and the French Space Agency (CNES), this PHD takes part in a very active international context on a new antenna: the reflectarrays (RA).Combining the advantages of conventional reflectors and those of networks, RA could eventually replace the currently used shaped reflectors. They consist of a primary source placed in front of a network of cells controlling the properties of the reflected electromagnetic field. Although many studies already focus on the characterization of cells, one of the issues is to carefully select them to achieve the final antenna: this is the synthesis step.An overview of different synthesis methods revealed the complexity to quickly obtain good performance simultaneously on the co- and cross-polarizations, for a wide frequency band and for the realization of shaped radiation pattern. The Phoenix cell is selected in this work for its good properties since it provides the entire phase range following a continuous cycle of geometries.Because one of the constraints in the design of RA is to maintain continuous geometry variations between two juxtaposed cells on the layout, a spherical representation tool made it possible to classify all the studied cells. It judiciously lists all the cells on a continuous, closed and periodic surface.A new step is reached with the design of behavioral models using Artificial Neural Networks (ANN). These models enable to a fast electromagnetic characterization of cells in terms of phase and amplitude of the direct and cross coefficients of the reflection matrix.The originality of the synthesis algorithm proposed in this work is the combined use of the spherical representation and a rapid cell characterization by ANN. A min / max optimization tool is used to improve the overall performance of the RA panel. It is then applied to a concrete case as part of a telecommunication mission

21

Albano, Alice. "Dynamique des graphes de terrain : analyse en temps intrinsèque." Thesis, Paris 6, 2014. http://www.theses.fr/2014PA066260/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Nous sommes entourés par une multitude de réseaux d'interactions, issus de contextes très différents. Ces réseaux peuvent être modélisés par des graphes, appelés graphes de terrain. Ils possèdent une structure en communautés, c'est-à-dire en groupes de nœuds très liés entre eux, et peu liés avec les autres. Un phénomène que l'on étudie sur les graphes dans de nombreux contextes est la diffusion. La propagation d'une maladie en est un exemple. Ces phénomènes dépendent d'un paramètre important, mais souvent peu étudié : l'échelle de temps selon laquelle on les observe. Selon l'échelle choisie, la dynamique du graphe peut varier de manière très importante.Dans cette thèse, nous proposons d'étudier des processus dynamiques en utilisant une échelle de temps adaptée. Nous considérons une notion de temps relatif, que nous appelons le temps intrinsèque, par opposition au temps "classique", que nous appelons temps extrinsèque. Nous étudions en premier lieu des phénomènes de diffusion selon une échelle de temps intrinsèque, et nous comparons les résultats obtenus avec une échelle extrinsèque. Ceci nous permet de mettre en évidence le fait qu'un même phénomène observé dans deux échelles de temps différentes puisse présenter un comportement très différent. Nous analysons ensuite la pertinence de l'utilisation du temps intrinsèque pour la détection de communautés dynamiques. Les communautés obtenues selon les échelles de temps extrinsèques et intrinsèques nous montrent qu'une échelle intrinsèque permet la détection de communautés beaucoup plus significatives et détaillées que l'échelle extrinsèque
We are surrounded by a multitude of interaction networks from different contexts. These networks can be modeled as graphs, called complex networks. They have a community structure, i.e. groups of nodes closely related to each other and less connected with the rest of the graph. An other phenomenon studied in complex networks in many contexts is diffusion. The spread of a disease is an example of diffusion. These phenomena are dynamic and depend on an important parameter, which is often little studied: the time scale in which they are observed. According to the chosen scale, the graph dynamics can vary significantly. In this thesis, we propose to study dynamic processes using a suitable time scale. We consider a notion of relative time which we call intrinsic time, opposed to "traditional" time, which we call extrinsic time. We first study diffusion phenomena using intrinsic time, and we compare our results with an extrinsic time scale. This allows us to highlight the fact that the same phenomenon observed at two different time scales can have a very different behavior. We then analyze the relevance of the use of intrinsic time scale for detecting dynamic communities. Comparing communities obtained according extrinsic and intrinsic scales shows that the intrinsic time scale allows a more significant detection than extrinsic time scale

22

Albano, Alice. "Dynamique des graphes de terrain : analyse en temps intrinsèque." Electronic Thesis or Diss., Paris 6, 2014. http://www.theses.fr/2014PA066260.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Nous sommes entourés par une multitude de réseaux d'interactions, issus de contextes très différents. Ces réseaux peuvent être modélisés par des graphes, appelés graphes de terrain. Ils possèdent une structure en communautés, c'est-à-dire en groupes de nœuds très liés entre eux, et peu liés avec les autres. Un phénomène que l'on étudie sur les graphes dans de nombreux contextes est la diffusion. La propagation d'une maladie en est un exemple. Ces phénomènes dépendent d'un paramètre important, mais souvent peu étudié : l'échelle de temps selon laquelle on les observe. Selon l'échelle choisie, la dynamique du graphe peut varier de manière très importante.Dans cette thèse, nous proposons d'étudier des processus dynamiques en utilisant une échelle de temps adaptée. Nous considérons une notion de temps relatif, que nous appelons le temps intrinsèque, par opposition au temps "classique", que nous appelons temps extrinsèque. Nous étudions en premier lieu des phénomènes de diffusion selon une échelle de temps intrinsèque, et nous comparons les résultats obtenus avec une échelle extrinsèque. Ceci nous permet de mettre en évidence le fait qu'un même phénomène observé dans deux échelles de temps différentes puisse présenter un comportement très différent. Nous analysons ensuite la pertinence de l'utilisation du temps intrinsèque pour la détection de communautés dynamiques. Les communautés obtenues selon les échelles de temps extrinsèques et intrinsèques nous montrent qu'une échelle intrinsèque permet la détection de communautés beaucoup plus significatives et détaillées que l'échelle extrinsèque
We are surrounded by a multitude of interaction networks from different contexts. These networks can be modeled as graphs, called complex networks. They have a community structure, i.e. groups of nodes closely related to each other and less connected with the rest of the graph. An other phenomenon studied in complex networks in many contexts is diffusion. The spread of a disease is an example of diffusion. These phenomena are dynamic and depend on an important parameter, which is often little studied: the time scale in which they are observed. According to the chosen scale, the graph dynamics can vary significantly. In this thesis, we propose to study dynamic processes using a suitable time scale. We consider a notion of relative time which we call intrinsic time, opposed to "traditional" time, which we call extrinsic time. We first study diffusion phenomena using intrinsic time, and we compare our results with an extrinsic time scale. This allows us to highlight the fact that the same phenomenon observed at two different time scales can have a very different behavior. We then analyze the relevance of the use of intrinsic time scale for detecting dynamic communities. Comparing communities obtained according extrinsic and intrinsic scales shows that the intrinsic time scale allows a more significant detection than extrinsic time scale

23

Elayyadi, Mohamed. "Equations aux dérivées partielles et réseaux de neurones pour le traitement d'images." Phd thesis, Université Joseph Fourier (Grenoble), 1997. http://tel.archives-ouvertes.fr/tel-00004940.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Ce travail porte sur des techniques à base d'équations aux dérivées partielles et de réseaux de neurones pour le traitement d'images. L'approximation des réseaux de neurones par des systèmes de réaction-diffusion nous a permis de définir un nouveau modèle de diffusion anisotrope de type Volterra pour le filtrage sélectif d'images bruitées. La loi d'évolution régissant le tenseur de diffusion traduit des lois d'apprentissage synaptiques naturelles. L'étude de la dynamique de ces réseaux à synapses adaptatives montre qu'ils possèdent des propriétés d'attractivité et de stabilité asymptotique au sens de Lyapunov. Les images traitées sont donc obtenues sur les asymptotiques en temps du modèle. Les techniques présentées dans cette thèse améliorent de manière importante le pré-traitement d'images car elles ne nécessitent qu'une connaissance (\em a priori) d'un paramètre de contraste sur l'image désirée et permettent la restauration des images ayant subi jusqu'à 90\% de niveau de bruit et la segmentation des images médicales d'echographie

24

Robitaille, Louis-Emile. "Réseaux de neurones pour l'apprentissage de la préférence en microscopie super-résolution." Master's thesis, Université Laval, 2021. http://hdl.handle.net/20.500.11794/68744.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Pendant plusieurs années, la microscopie à fluorescence a été limitée par le phénomène de diffraction. Or, pour étudier des phénomènes dynamiques à l’intérieur des cellules, une résolution nanométrique est souvent nécessaire. Pour ce faire, une avancée importante pour la microscopie super-résolution fut l’invention du microscope à déplétion par émission stimulée(STED pour STimulated-Emission-Depletion) (Hell and Wichmann, 1994). Si la microscopieSTED permet d’atteindre la précision nanométrique, celle-ci consiste en une technique extrêmement sophistiquée et son utilisation requiert des connaissances avancées dans plusieurs domaines, par exemple, la physique, la chimie et la biologie. Dans le but de rendre le microscope plus accessible, Durand et al. (2018) tire profit des dernières avancées en intelligence artificielle pour automatiser le paramétrage du STED à l’aide d’une boucle d’optimisation. L’objectif visé est de produire des images avec la plus haute qualité tout en minimisant le photo blanchiment et le temps d’exposition. L’incapacité de mesurer la qualité des images et de choisir un compromis parmi les objectifs nécessite malheureusement toujours la présence d’un expert derrière le microscope. En automatisant l’évaluation de la qualité des images et la sélection de compromis, ce mémoire vise à montrer le potentiel des réseaux de neurones pour l’apprentissage de la préférence en sciences de la vie.
For many years, fluorescent microscopy has been limited by diffraction. However, to study dynamic phenomena inside cells, a nanometric resolution is often necessary. To cope with this problem, an important development for fluorescent microscopy was the invention ofSTimulated-Emission-Depletion microscopy (STED) (Hell and Wichmann, 1994). If STEDachieves nanometric microscopy, it is also an extremely sophisticated technique that requires advanced knowledge across a wide range of domains, e.g. physics, chemistry and biology. With the goal of democratising the microscope, Durand et al. (2018) use the last development in artificial intelligence to automate STED parameterization with an optimisation loop. The objective aimed is to produce high-quality images while minimising photo bleaching and exposition time. The inability of measuring image quality and of choosing between compromise among objectives still forces an expert to stay behind the microscope. By automating the assessment of image quality and the selection of compromise, this master thesis intends to demonstrate the potential of neural networks for preference learning in life science.

25

Bourgeois, Yoann. "Les réseaux de neurones artificiels pour mesurer les risques économiques et financiers." Paris, EHESS, 2003. http://www.theses.fr/2003EHES0118.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

L'objectif de cette thèse est de fournir des méthodologies complètes pour résoudre des problèmes de prédiction et de classification en économie et en finance en utilisant les réseaux de neurones artificiels. Notre travail contribue à établir une méthodologie statistique des réseaux de neurones à plusieurs niveaux, comme le montre l'organisation de la thèse. Nous avons procédé en quatre chapitres. Le premier chapitre décrit la méthodologie de la modélisation des variables quantitatives ou qualitatives avec des réseaux neuronaux supervisés et non-supervisés. Dans le second chapitre, nous nous intéressons d'abord à l'interprétation bayésienne des réseaux supervisés puis nous construisons un test de spécification sans alternative spécifique pour les modèles de choix binaires. Dans le chapitre 3, nous montrons que les réseaux de neurones multivariés peuvent prendre en compte les changements structurels et permettent d'estimer des probabilités de crises de change. Dans le chapitre 4, nous développons un modèle complet de gestion de portefeuille avec un processus neuronal-GARCH en introduisant les notions de rendement conditionnel et de risque conditionnel. Nous appliquons enfin les réseaux de neurones de Kohonen bayésiens pour estimer la distribution du taux de change DM/USD
The objective of this thesis is to provide complete methodologies to solve prediction and classification problems in economy and finance by using Artificial Neural networks. The plan of work shows that the thesisplays a great part in establishing in several ways a statistic methodology for neural networks. We proceed in four chapters. The first chapter describes supervised and unsupervised neural network methodology to modelize quantitative or qualitative variables. In the second chapter, we are interested by the bayesian approach for supervised neural networks and the developpement of a set of misspecification statistic tests for binary choice models. In chapter three, we show that multivariate supervised neural networks enable to take into account structural changes and the neural networks methodology is able to estimate some probabilities of exchange crisis. In chapter four, we develope a complete based neural network-GARCH model to manage a stocks portfolio. We introduce some terms as conditional returns or conditional risk for a stock or a portfolio. Next, we apply bayesian Self-Organizing Map in order to estimate the univariate probability density function of the DM/USD exchange rate

26

Rondel, Nadine. "Réseaux de neurones pour le traitement d'antenne et la commande référencée capteur." Brest, 1996. http://www.theses.fr/1996BRES2022.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les travaux présentés portent sur l'application de techniques neuronales à la résolution de problèmes de traitement d'antenne et de commande référencée capteur. Nous proposons une méthode neuronale pour l'estimation d'angles d'arrivée, capable d'exploiter simultanément de l'information géométrique et de l'information statistique. Un tel système permet d'estimer les angles d'arrivée d'autant de sources qu'il y a de capteurs sur l'antenne (alors que dans une telle configuration, les méthodes classiques sont inefficaces). Plusieurs applications concrètes sont exposées : estimation de l'inclinaison des lignes d'un texte, réseaux monofrequence, séparation et localisation de voies humaines dans les conditions réelles. Une extension à la localisation d'objets est l'asservissement d'un robot sur l'objet via le capteur : la commande référencée capteur est étudiée, et de nouvelles approches neuronales sont proposées, ainsi que des améliorations des méthodes déjà existantes.

27

Gautier, Eric. "Utilisation des réseaux de neurones artificiels pour la commande d'un véhicule autonome." Grenoble INPG, 1999. http://www.theses.fr/1999INPG0009.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Le sujet de cette thèse se situe à l'intersection des domaines de la robotique mobile et des réseaux de neurones artificiels (RNA). Notre objectif est d'étudier les solutions que peuvent apporter les techniques connexionnistes aux problèmes particuliers posés par la commande automatique d'un robot de type voiture. Ce mémoire se compose de deux parties principales. La première d'entre elles traite des aspects fondamentaux de la commande d'un robot mobile et de l'utilisation des réseaux de neurones artificiels pour la commande de systèmes complexes. Cette première étude nous permet de mettre en évidence les différents points sur lesquels les réseaux de neurones peuvent jouer un rôle dans une architecture de commande conférant une véritable autonomie de mouvements au véhicule, tout en respectant les contraintes de robustesse et de rapidité de réaction induites par l'utilisation d'un robot de la taille et de la vitesse d'une voiture. Nous proposons dans la deuxième partie du mémoire plusieurs contrôleurs permettant d'accroître progressivement l'autonomie du robot. Nous nous intéressons tout d'abord à une tâche simple consistant uniquement à asservir le robot sur une trajectoire de référence issue d'un planificateur. Notre approche autorise une adaptation continue du système face à d'éventuels changements des paramètres du robot ou de son environnement. Afin de permettre la réalisation de manoeuvres sans consignes extérieures, nous proposons également une méthodologie pour la réalisation de contrôleurs basés sur l'utilisation des capteurs externes du véhicule. Notre appoche utilise un modèle alliant des caractéristiques issues de la logique floue et des RNA. Enfin nous montrons comment des tâches complexes peuvent être réalisées à partir de l'enchaînement de plusieurs contrôleurs simples. Notre réalisation du système de sélection de ces contrôleurs, utilisant un RNA récurrent, possède des capacités de robustesse et autorise des réactions très rapides face à l'ensemble des événements extérieurs qui doivent pouvoir être pris en compte
The subject of this thesis covers both mobile robotic and artificial neural networks (ANN) fields. Our aim is to study solutions that connectionist techniques can bring to particular problems raised by the automatic control of a car-like vehicle. This report is composed of two main parts. The first of them processes fundamental aspects of mobile robot control and of the use of artificial neural networks for control of complex systems. This first study allows us to underline the different points where ANN can contribute in a control architecture providing a real autonomy to the vehicle while respecting the robustness and rapidity constraints induced by the utilisation of a robot of the size and the speed of a car. We propose in the second part of this report several controllers allowing gradual increase of the robot autonomy. First of all, we are interested in a simple task consisting only in enslaving the robot on a reference path given by a planner. Our approach enables a continuous adaptation of the system facing possible changes of the parameters of the robot or its environment. So as to allow the execution of manoeuvres without external orders, we also propose a methodology for the realisation of controllers based on external sensors of the vehicle. Our approach uses a model allying characteristics from both fuzzy logic and ANN. Finally we show how complex tasks can be realised using a sequence of several simple controllers. Our realisation of the selection system for these controllers, which uses a recurrent ANN, exhibits some characteristics of robustness and very fast reactions when faced to the external events that must be taken into account

28

Maghrebi, Fatine. "Modèles de réseaux de neurones pour la commande des carrefours à feux." Paris 1, 1994. http://www.theses.fr/1994PA010082.

Full text

APA, Harvard, Vancouver, ISO, and other styles

29

Vidal, Martin. "Architecture systolique pour un algorithme basé sur les réseaux de neurones pour l'égalisation de canaux." Thèse, Université du Québec à Trois-Rivières, 1999. http://depot-e.uqtr.ca/3409/1/000662425.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

30

Bernauer, Éric. "Les réseaux de neurones et l'aide au diagnostic : un modèle de neurones bouclés pour l'apprentissage de séquences temporelles." Toulouse 3, 1996. http://www.theses.fr/1996TOU30277.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Apres avoir defini le probleme du diagnostic, les methodes habituellement employees pour le resoudre sont tout d'abord exposees selon l'existence, ou non, d'un modele, plutot mathematique ou plutot symbolique, du systeme a surveiller. Les reseaux de neurones artificiels sont ensuite presentes au travers de leurs proprietes fondamentales et notamment celles utiles au diagnostic. Une attention particuliere est portee sur les modeles proposes pour la detection des fautes dans laquelle le probleme est ramene a une reconnaissance des formes dans le cas de donnees statiques. La presence d'une dimension temporelle dans le probleme du diagnostic, notamment dans le cadre des systemes a evenements discrets, conduit alors a etudier les moyens de representer le temps dans les reseaux de neurones, modeles qui apprehendent habituellement cette grandeur avec difficulte. Le probleme type qui est envisage est celui de l'apprentissage de sequences temporelles. La representation spatiale du temps, dans laquelle ce dernier est introduit par un mecanisme externe, est tout d'abord etudiee. Les difficultes qu'elle pose font qu'il lui est prefere une representation dynamique du temps pour laquelle ce dernier est implicite. Les reseaux de neurones recurrents et les reseaux a delais sur les connexions sont alors etudies. Le modele du neurone boucle comme cas particulier d'un reseau recurrent est ensuite introduit. L'oubli et la memorisation d'informations apparaissent alors comme deux proprietes dynamiques du modele. Nous montrons ensuite comment utiliser ces neurones boucles pour l'apprentissage de sequences simples. Nous proposons alors, dans le cas de l'apprentissage de sequences complexes, plusieurs architectures et regles d'apprentissage. Le modele est evalue sur des problemes classiques d'apprentissage de grammaires. Un exemple d'application au diagnostic d'une cellule flexible est traite

31

Tremblay, Nicolas. "Réseaux et signal : des outils de traitement du signal pour l'analyse des réseaux." Thesis, Lyon, École normale supérieure, 2014. http://www.theses.fr/2014ENSL0938/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse propose de nouveaux outils adaptés à l'analyse des réseaux : sociaux, de transport, de neurones, de protéines, de télécommunications... Ces réseaux, avec l'essor de certaines technologies électroniques, informatiques et mobiles, sont de plus en plus mesurables et mesurés ; la demande d'outils d'analyse assez génériques pour s'appliquer à ces réseaux de natures différentes, assez puissants pour gérer leur grande taille et assez pertinents pour en extraire l'information utile, augmente en conséquence. Pour répondre à cette demande, une grande communauté de chercheurs de différents horizons scientifiques concentre ses efforts sur l'analyse des graphes, des outils mathématiques modélisant la structure relationnelle des objets d'un réseau. Parmi les directions de recherche envisagées, le traitement du signal sur graphe apporte un éclairage prometteur sur la question : le signal n'est plus défini comme en traitement du signal classique sur une topologie régulière à n dimensions, mais sur une topologie particulière définie par le graphe. Appliquer ces idées nouvelles aux problématiques concrètes d'analyse d'un réseau, c'est ouvrir la voie à une analyse solidement fondée sur la théorie du signal. C'est précisément autour de cette frontière entre traitement du signal et science des réseaux que s'articule cette thèse, comme l'illustrent ses deux principales contributions. D'abord, une version multiéchelle de détection de communautés dans un réseau est introduite, basée sur la définition récente des ondelettes sur graphe. Puis, inspirée du concept classique de bootstrap, une méthode de rééchantillonnage de graphes est proposée à des fins d'estimation statistique
This thesis describes new tools specifically designed for the analysis of networks such as social, transportation, neuronal, protein, communication networks... These networks, along with the rapid expansion of electronic, IT and mobile technologies are increasingly monitored and measured. Adapted tools of analysis are therefore very much in demand, which need to be universal, powerful, and precise enough to be able to extract useful information from very different possibly large networks. To this end, a large community of researchers from various disciplines have concentrated their efforts on the analysis of graphs, well define mathematical tools modeling the interconnected structure of networks. Among all the considered directions of research, graph signal processing brings a new and promising vision : a signal is no longer defined on a regular n-dimensional topology, but on a particular topology defined by the graph. To apply these new ideas on the practical problems of network analysis paves the way to an analysis firmly rooted in signal processing theory. It is precisely this frontier between signal processing and network science that we explore throughout this thesis, as shown by two of its major contributions. Firstly, a multiscale version of community detection in networks is proposed, based on the recent definition of graph wavelets. Then, a network-adapted bootstrap method is introduced, that enables statistical estimation based on carefully designed graph resampling schemes

32

Fourure, Damien. "Réseaux de neurones convolutifs pour la segmentation sémantique et l'apprentissage d'invariants de couleur." Thesis, Lyon, 2017. http://www.theses.fr/2017LYSES056/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

La vision par ordinateur est un domaine interdisciplinaire étudiant la manière dont les ordinateurs peuvent acquérir une compréhension de haut niveau à partir d’images ou de vidéos numériques. En intelligence artificielle, et plus précisément en apprentissage automatique, domaine dans lequel se positionne cette thèse, la vision par ordinateur passe par l’extraction de caractéristiques présentes dans les images puis par la généralisation de concepts liés à ces caractéristiques. Ce domaine de recherche est devenu très populaire ces dernières années, notamment grâce aux résultats des réseaux de neurones convolutifs à la base des méthodes dites d’apprentissage profond. Aujourd’hui les réseaux de neurones permettent, entre autres, de reconnaître les différents objets présents dans une image, de générer des images très réalistes ou même de battre les champions au jeu de Go. Leurs performances ne s’arrêtent d’ailleurs pas au domaine de l’image puisqu’ils sont aussi utilisés dans d’autres domaines tels que le traitement du langage naturel (par exemple en traduction automatique) ou la reconnaissance de son. Dans cette thèse, nous étudions les réseaux de neurones convolutifs afin de développer des architectures et des fonctions de coûts spécialisées à des tâches aussi bien de bas niveau (la constance chromatique) que de haut niveau (la segmentation sémantique d’image). Une première contribution s’intéresse à la tâche de constance chromatique. En vision par ordinateur, l’approche principale consiste à estimer la couleur de l’illuminant puis à supprimer son impact sur la couleur perçue des objets. Les expériences que nous avons menées montrent que notre méthode permet d’obtenir des performances compétitives avec l’état de l’art. Néanmoins, notre architecture requiert une grande quantité de données d’entraînement. Afin de corriger en parti ce problème et d’améliorer l’entraînement des réseaux de neurones, nous présentons plusieurs techniques d’augmentation artificielle de données. Nous apportons également deux contributions sur une problématique de haut niveau : la segmentation sémantique d’image. Cette tâche, qui consiste à attribuer une classe sémantique à chacun des pixels d’une image, constitue un défi en vision par ordinateur de par sa complexité. D’une part, elle requiert de nombreux exemples d’entraînement dont les vérités terrains sont coûteuses à obtenir. D’autre part, elle nécessite l’adaptation des réseaux de neurones convolutifs traditionnels afin d’obtenir une prédiction dite dense, c’est-à-dire, une prédiction pour chacun pixel présent dans l’image d’entrée. Pour résoudre la difficulté liée à l’acquisition de données d’entrainements, nous proposons une approche qui exploite simultanément plusieurs bases de données annotées avec différentes étiquettes. Pour cela, nous définissons une fonction de coût sélective. Nous développons aussi une approche dites d’auto-contexte capturant d’avantage les corrélations existantes entre les étiquettes des différentes bases de données. Finalement, nous présentons notre troisième contribution : une nouvelle architecture de réseau de neurones convolutifs appelée GridNet spécialisée pour la segmentation sémantique d’image. Contrairement aux réseaux traditionnels, notre architecture est implémentée sous forme de grille 2D permettant à plusieurs flux interconnectés de fonctionner à différentes résolutions. Afin d’exploiter la totalité des chemins de la grille, nous proposons une technique d’entraînement inspirée du dropout. En outre, nous montrons empiriquement que notre architecture généralise de nombreux réseaux bien connus de l’état de l’art. Nous terminons par une analyse des résultats empiriques obtenus avec notre architecture qui, bien qu’entraînée avec une initialisation aléatoire des poids, révèle de très bonnes performances, dépassant les approches populaires souvent pré-entraînés
Computer vision is an interdisciplinary field that investigates how computers can gain a high level of understanding from digital images or videos. In artificial intelligence, and more precisely in machine learning, the field in which this thesis is positioned,computer vision involves extracting characteristics from images and then generalizing concepts related to these characteristics. This field of research has become very popular in recent years, particularly thanks to the results of the convolutional neural networks that form the basis of so-called deep learning methods. Today, neural networks make it possible, among other things, to recognize different objects present in an image, to generate very realistic images or even to beat the champions at the Go game. Their performance is not limited to the image domain, since they are also used in other fields such as natural language processing (e. g. machine translation) or sound recognition. In this thesis, we study convolutional neural networks in order to develop specialized architectures and loss functions for low-level tasks (color constancy) as well as high-level tasks (semantic segmentation). Color constancy, is the ability of the human visual system to perceive constant colours for a surface despite changes in the spectrum of illumination (lighting change). In computer vision, the main approach consists in estimating the color of the illuminant and then suppressing its impact on the perceived color of objects. We approach the task of color constancy with the use of neural networks by developing a new architecture composed of a subsampling operator inspired by traditional methods. Our experience shows that our method makes it possible to obtain competitive performances with the state of the art. Nevertheless, our architecture requires a large amount of training data. In order to partially correct this problem and improve the training of neural networks, we present several techniques for artificial data augmentation. We are also making two contributions on a high-level issue : semantic segmentation. This task, which consists of assigning a semantic class to each pixel of an image, is a challenge in computer vision because of its complexity. On the one hand, it requires many examples of training that are costly to obtain. On the other hand, it requires the adaptation of traditional convolutional neural networks in order to obtain a so-called dense prediction, i. e., a prediction for each pixel present in the input image. To solve the difficulty of acquiring training data, we propose an approach that uses several databases annotated with different labels at the same time. To do this, we define a selective loss function that has the advantage of allowing the training of a convolutional neural network from data from multiple databases. We also developed self-context approach that captures the correlations between labels in different databases. Finally, we present our third contribution : a new convolutional neural network architecture called GridNet specialized for semantic segmentation. Unlike traditional networks, implemented with a single path from the input (image) to the output (prediction), our architecture is implemented as a 2D grid allowing several interconnected streams to operate at different resolutions. In order to exploit all the paths of the grid, we propose a technique inspired by dropout. In addition, we empirically demonstrate that our architecture generalize many of well-known stateof- the-art networks. We conclude with an analysis of the empirical results obtained with our architecture which, although trained from scratch, reveals very good performances, exceeding popular approaches often pre-trained

33

Lecomte, Jérémie. "Sélection de mode par réseaux de neurones pour le codeur audio AMR-WB+." Mémoire, Université de Sherbrooke, 2007. http://savoirs.usherbrooke.ca/handle/11143/1394.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Ce mémoire propose des contributions pour améliorer le standard de codage audio AMR-WB+, développé par l'Université de Sherbrooke, Nokia et Ericsson et standardisé par le 3GPP en 2004. Les solutions présentées, basées sur les réseaux de neurones, permettent d'améliorer la qualité de l'encodeur AMR-WB+ en mode faible complexité, spécialement pour les bas débits. Le codeur audio AMR-WB+ est un codeur multimode travaillant dans le domaine temporel et dans le domaine fréquentiel. Dans le mode faible complexité, l'encodeur détermine les modes de codage à chaque trame en appliquant des seuils à des ensembles de paramètres. Ces paramètres sont extraits du signal audio d'entrée. Les sélecteurs de mode proposés dans ce mémoire demeurent de faible complexité, mais s'approchent beaucoup plus des décisions prises par la version complexe du standard. Ceci donne une amélioration de la qualité mesurable aussi bien du point de vue subjectif qu'objectif.

34

Vasilache, Adriana. "Les réseaux de neurones pour la modélisation et la commande des procédés biotechnologiques." Toulouse, INSA, 2000. http://www.theses.fr/2000ISAT0050.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Dans ce travail nous réalisons une étude sur l'utilisation de réseaux de neurones pour la modélisation, la classification et la prédiction appliquées aux procédés de fermentation. Les modèles de type boîte noire (et nous classifions ici les réseaux de neurones) sont utiles pour la modélisation des procédés ou des phénomènes pour lesquels des modèles analytiques ne peuvent pas être déduits à partir de considérations physiques. Parmi les avantages des modèles neuronaux par rapport aux autres modèles boîte noire, nous mentionnons le fait qu'ils sont des approximateurs universels, leurs fonctions de base sont adaptatives, leur structure répétitive permet une facile implémentation logicielle et matérielle et ils ont la propriété de la régularisation implicite. Ceux-ci, combinés avec les caractéristiques de procédés biologiques (procédés non-linéaires et non-stationnaires dont la dynamique et peu connue), fournissent la raison pour laquelle les réseaux de neurones sont un outil très apprécié pour la modélisation des procédés biologiques, ou des procédés de fermentation, dans notre cas. Nous avons donc utilisé des structures de modèles neuronaux déjà existants et proposé aussi de nouvelles structures pour les cas ciblés de fermentations alcoolique et lactique. Nous présentons deux approches pour la caractérisation de la dynamique d’un procédé de fermentation: la modélisation du taux de croissance en biomasse, le paramètre dynamique principal du procédé et la caractérisation globale du type de la dynamique du procédé à l’aide d’un classifieur neuronal. Les deux approches sont testées en simulation et sur des données expérimentales pour une fermentation lactique et une fermentation alcoolique. La caractérisation globale de la dynamique d’un procédé de fermentation représente un outil potentiel pour la supervision des procédés en détectant les changements dans la dynamique du système où une aide à la modélisation des procédés de fermentation en mode discontinu. Nous avons considéré aussi la prédiction de la biomasse pour une fermentation en mode continu et les modèles neuronaux de prédiction ont été testés dans une stratégie de commande prédictive. Les résultats sont comparés avec la même stratégie prédictive mais utilisant une approche adaptative et l'approche neuronale a un succès incontestable pour les cas ou la dynamique du procédé change dans le temps. Finalement nous nous sommes intéressés à la prédiction du quotient respiratoire, proposant un modèle neuronal de prédiction. Il est réalisé en vue d'une commande prédictive du procédé pour la maintenance d'un certain régime de fonctionnement (oxydatif ou fermentaire)
In this work we realize a study on the use of the neural nets for the modeling, classification and the control of fermentation processes. The black-box models (we consider a neural net like a black box model) are of great help for processes or phenomena modeling when analytical models cannot be deduced from physical considerations. Some of the advantages of the neural nets when compared to other black-box models are: they are universal approximators using a small number of parameters, their basis functions are adaptive, their repetitive structure permits an easy implementation both software and hardware and they have the property of implicit regularization. These, combined with the characteristics of the biological processes (which are non-linear, non-stationary processes whose dynamics isn’t entirely known), are the reason for which the neural nets are used for the modeling of such processes. We have thus used existing neural models and proposed new ones for the cases of lactic and alcoholic fermentations. We have presented two approaches for the characterization of the fermentation process dynamics: the modeling of the specific biomass growth rate, the most important dynamic parameter of a fermentation process and the global characterization of the process dynamics using a neural classifier. The two approaches have been tested in simulation and on real data for lactic or alcoholic fermentation processes. The use of a classifier of the process dynamics represents a potential tool for process supervision by means of detecting the changes in the process dynamics as well as an aid for the process modeling in the case of batch processes. The prediction of the biomass concentration has also been considered for a continuous fermentation process. The neural models have been tested in a predictive control strategy and compared with a similar strategy using adaptive modeling. The neural prediction has been an incontestable winner for the cases where the process dynamics changes in time. The last issue of our study has been the prediction of the respiratory quotient for a alcoholic fermentation for which we proposed a neural model. It has been proposed in view of a predictive control strategy for the maintenance of a certain regime (fermentative or oxidative)

35

Émirian, Frédéric. "Étude et conception d'une machine parallèle multi-modèles pour les réseaux de neurones." Toulouse, INPT, 1996. http://www.theses.fr/1996INPT091H.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les modeles de reseaux de neurones, constitues de cellules interconnectees travaillant simultanement, se pretent tres naturellement a une simulation sur architecture parallele. Cependant, l'obtention de bonnes performances sur les differents types de reseaux neuronaux impose d'avoir une machine suffisamment souple et dotee d'un reseau de communication tres performant. Dans cette etude, nous proposons une architecture parallele mimd dotee d'un reseau de communication en anneau a cordes dont les parametres topologiques sont optimises afin de reduire son diametre tout en le rendant partitionnable. Le modele de communication que nous choisissons est du type statique, point a point entre processeurs directement connectes, et sans aucun mecanisme de routage. Cette derniere restriction ne diminue en rien les performances dans la mesure ou les principales architectures neuronales sont elles-memes statiques ; elle nous permet en outre de simplifier le materiel et d'optimiser l'ordonnancement des travaux des processeurs explicitement par programme. Nous avons introduit une extension parallele du langage c implantant un modele de programmation du type spmd (parallelisme de donnees) avec instructions de communications globales afin de faciliter le developpement des applications. Ce langage permet d'effectuer un controle semantique assurant l'absence de risques d'inter-blocage des processeurs. Nous avons realise un compilateur generant du code pour un environnement de simulation, et nous avons ecrit des programmes pour les principaux algorithmes neuronaux ainsi que pour des algorithmes de traitement d'images afin de confirmer l'interet du couple architecture-langage choisi. Nous proposons des solutions pour une realisation materielle a base de processeurs de signaux et/ou d'asic ; notre etude porte essentiellement sur la realisation des liaisons de communication entre les nuds du reseau

36

Mouret, Jean-Baptiste. "Pressions sélectives multiples pour l'évolution de réseaux de neurones destinés à la robotique." Paris 6, 2008. http://www.theses.fr/2008PA066640.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les méthodes évolutionnistes peinent à mettre au point des artefacts complexes lorsque la fitness est insuffisante pour guider explicitement le processus. Supposant que la complexité des êtres vivants provient en partie de la multiplicité des pressions sélectives, nous proposons la création de telles pressions pour l'évolution de réseaux de neurones à l'aide d'algorithmes évolutionnistes multiobjectifs. Nous commençons par décrire comment des hypothèses sur des étapes intermédiaires peuvent être exploitées à l'aide d'une optimisation multiobjectif. Nous envisageons ensuite plusieurs méthodes multiobjectifs pour maintenir la diversité des comportements des solutions. Enfin, nous montrons que les exaptations peuvent être favorisées via des pressions sélectives sur des modules phénotypiques reliés à des modules génotypiques. Ces méthodes ont été testées sur l'évolution de réseaux de neurones calculant des fonctions logiques et sur celle de neuro-contrôleurs pour un robot phototrope
Evolutionary algoritms have been successfully used to generate controllers for many robots. However, they struggle to design complex artifacts when the fitness is unable to explicitly guide the process. In this thesis, we draw the hypothesis that these problems originate from the use of a single selection pressure, whereas living organisms are subject to many ones. We investigate here th euse of multiobjective evolutionary algorithms to create such multiple gradients in order to evolve neuro-controllers. We first describe how hypotheses about potential intermediate steps can be used by defining a multiobejctive optimization problem in which each objective corresponds to a sub-task. In the lack of any selection pressure, it is also possible to add an objective which encourages an efficient exploration of the neighborhood of current candidate solutions. We consider several possibilities to instantiate this concept for the evolution of neural networks and we conclude that maintaining the diversity of the behaviors, instead of the diversity of the genotype or the ohenotype, is an efficient way to override the deceptiveness of a fitness function. Last, we show that exaptations can be favored by applying a selection pressure on some modules of the generated neural-networks, possibly linked to genotypic modules. We tested these methods on the evolution of neural networks to compute a Boolean function and to control a light-seeking robot. They seem to be applicable to a wide range of evolutionary robotics problems, from complex locomotion to behavior control

37

Rey-Fabret, Isabelle. "Les réseaux de neurones pour la modélisation des écoulements d'effluents dans les pipelines." Paris, CNAM, 2005. http://www.theses.fr/2005CNAM0513.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Le logiciel TACITE développé par l’IFP est un outil de modélisation des écoulements polyphasiques dans les conduites pétrolières, composé de trois principales entités : le module thermodynamique, le module hydrodynamique et le schéma numérique. Ce logiciel rencontre des difficultés dans certains cas de production. A priori, elles ont été attribuées en partie au caractère non dérivable de la fonction hydrodynamique. Dans ce cadre, l’objectif de la présente thèse était de rendre cette fonction continue et dérivable en tout point de son domaine de définition, et de voir dans quelle mesure ceci permettait de résoudre en partie les problèmes de TACITE. On s’est placé pour cela dans le cas d’écoulements diphasiques gaz / liquide. L’outil de modélisation choisi pour atteindre cet objectif était la modélisation par réseaux de neurones. En première approche, un modèle neuronal composé d’un seul réseau de neurones a démontré la faisabilité d’un tel modèle. L’analyse plus fine du problème a permis ensuite de proposer une structure de modèle neuronal multi-experts qui s’inspire de la structure du modèle hydrodynamique de TACITE. La mise en œuvre d’un processus de sélection de variables par la méthode HVS a permis de définir les entrées et les sorties les plus appropriées pour la réalisation du modèle, et d'y introduire des connaissances physiques. . A travers les différents tests d'intégration du modèle neuronal dans TACITE, on a montré que ce modèle peut remplacer le modèle hydrodynamique de référence si nécessaire. Dans un contexte difficile de production où TACITE connaît quelques difficultés à réaliser les calculs, l’introduction de ce modèle permet de réaliser la simulation. écoulements polyphasiques
TACITE software gives a model of gas/liquid flow in the pipelines. It is composed of a thermodynamic module, an hydrodynamic module and a numerical scheme. It sometimes encounters difficulties because of the non derivability of the hydrodynamic function. The aim of the tesis is to assume the derivability of the hydrofynamic function. The aim of the thesis is to assume the derivability of this function by usin neural networks methodology. By analysing the problem, a multi-experts neural network is proposed. Its structure is based on the TACITE hydrodynamic module's one. The use of the HVS selection of varainles increases the model performances. Different integration tests in TACITE show that it is able to replace the TACITE hydrodynamic model, and can improve TACITE robustness. In conclusion, this thesis proposes a derivable model to globally reproduce the complex hydrodynamic phenomena generated by two phase flows

38

Cherif, Aymen. "Réseaux de neurones, SVM et approches locales pour la prévision de séries temporelles." Thesis, Tours, 2013. http://www.theses.fr/2013TOUR4003/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

La prévision des séries temporelles est un problème qui est traité depuis de nombreuses années. On y trouve des applications dans différents domaines tels que : la finance, la médecine, le transport, etc. Dans cette thèse, on s’est intéressé aux méthodes issues de l’apprentissage artificiel : les réseaux de neurones et les SVM. On s’est également intéressé à l’intérêt des méta-méthodes pour améliorer les performances des prédicteurs, notamment l’approche locale. Dans une optique de diviser pour régner, les approches locales effectuent le clustering des données avant d’affecter les prédicteurs aux sous ensembles obtenus. Nous présentons une modification dans l’algorithme d’apprentissage des réseaux de neurones récurrents afin de les adapter à cette approche. Nous proposons également deux nouvelles techniques de clustering, la première basée sur les cartes de Kohonen et la seconde sur les arbres binaires
Time series forecasting is a widely discussed issue for many years. Researchers from various disciplines have addressed it in several application areas : finance, medical, transportation, etc. In this thesis, we focused on machine learning methods : neural networks and SVM. We have also been interested in the meta-methods to push up the predictor performances, and more specifically the local models. In a divide and conquer strategy, the local models perform a clustering over the data sets before different predictors are affected into each obtained subset. We present in this thesis a new algorithm for recurrent neural networks to use them as local predictors. We also propose two novel clustering techniques suitable for local models. The first is based on Kohonen maps, and the second is based on binary trees

39

Ducoffe, Mélanie. "Active learning et visualisation des données d'apprentissage pour les réseaux de neurones profonds." Thesis, Université Côte d'Azur (ComUE), 2018. http://www.theses.fr/2018AZUR4115/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Notre travail est présenté en trois parties indépendantes. Tout d'abord, nous proposons trois heuristiques d'apprentissage actif pour les réseaux de neurones profonds : Nous mettons à l'échelle le `query by committee' , qui agrège la décision de sélectionner ou non une donnée par le vote d'un comité. Pour se faire nous formons le comité à l'aide de différents masques de dropout. Un autre travail se base sur la distance des exemples à la marge. Nous proposons d'utiliser les exemples adversaires comme une approximation de la dite distance. Nous démontrons également des bornes de convergence de notre méthode dans le cas de réseaux linéaires. L’usage des exemples adversaires ouvrent des perspectives de transférabilité d’apprentissage actif d’une architecture à une autre. Puis, nous avons formulé une heuristique d'apprentissage actif qui s'adapte tant au CNNs qu'aux RNNs. Notre méthode sélectionne les données qui minimisent l'énergie libre variationnelle. Dans un second temps, nous nous sommes concentrés sur la distance de Wasserstein. Nous projetons les distributions dans un espace où la distance euclidienne mimique la distance de Wasserstein. Pour se faire nous utilisons une architecture siamoise. Également, nous démontrons les propriétés sous-modulaires des prototypes de Wasserstein et comment les appliquer à l'apprentissage actif. Enfin, nous proposons de nouveaux outils de visualisation pour expliquer les prédictions d'un CNN sur du langage naturel. Premièrement, nous détournons une stratégie d'apprentissage actif pour confronter la pertinence des phrases sélectionnées aux techniques de phraséologie les plus récentes. Deuxièmement, nous profitons des algorithmes de déconvolution des CNNs afin de présenter une nouvelle perspective sur l'analyse d'un texte
Our work is presented in three separate parts which can be read independently. Firstly we propose three active learning heuristics that scale to deep neural networks: We scale query by committee, an ensemble active learning methods. We speed up the computation time by sampling a committee of deep networks by applying dropout on the trained model. Another direction was margin-based active learning. We propose to use an adversarial perturbation to measure the distance to the margin. We also establish theoretical bounds on the convergence of our Adversarial Active Learning strategy for linear classifiers. Some inherent properties of adversarial examples opens up promising opportunity to transfer active learning data from one network to another. We also derive an active learning heuristic that scales to both CNN and RNN by selecting the unlabeled data that minimize the variational free energy. Secondly, we focus our work on how to fasten the computation of Wasserstein distances. We propose to approximate Wasserstein distances using a Siamese architecture. From another point of view, we demonstrate the submodular properties of Wasserstein medoids and how to apply it in active learning. Eventually, we provide new visualization tools for explaining the predictions of CNN on a text. First, we hijack an active learning strategy to confront the relevance of the sentences selected with active learning to state-of-the-art phraseology techniques. These works help to understand the hierarchy of the linguistic knowledge acquired during the training of CNNs on NLP tasks. Secondly, we take advantage of deconvolution networks for image analysis to present a new perspective on text analysis to the linguistic community that we call Text Deconvolution Saliency

40

Sarr, Jean Michel Amath. "Étude de l’augmentation de données pour la robustesse des réseaux de neurones profonds." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS072.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Dans cette thèse, nous avons considéré le problème de robustesse des réseaux de neurones. C’est-à-dire que nous avons considéré le cas où le jeu d’apprentissage et le jeu de déploiement ne sont pas indépendamment et identiquement distribués suivant la même source. On appelle cette hypothèse : l’hypothèse i.i.d. Notre principal outil de travail a été l’augmentation de données. En effet, une revue approfondie de la littérature et des expériences préliminaires nous ont montré le potentiel de régularisation de l’augmentation des données. Ainsi, dans un premier temps, nous avons cherché à utiliser l’augmentation de données pour rendre les réseaux de neurones plus robustes à divers glissements de données synthétiques et naturels. Un glissement de données étant simplement une violation de l’hypothèse i.i.d. Cependant, les résultats de cette approche se sont révélés mitigés. En effet, nous avons observé que dans certains cas l’augmentation de données pouvait donner lieu à des bonds de performance sur le jeu de déploiement. Mais ce phénomène ne se produisait pas à chaque fois. Dans certains cas, augmenter les données pouvait même réduire les performances sur le jeu de déploiement. Nous proposons une explication granulaire à ce phénomène dans nos conclusions. Une meilleure utilisation de l’augmentation des données pour la robustesse des réseaux de neurones consiste à générer des tests de résistance ou "stress test" pour observer le comportement d’un modèle lorsque divers glissements de données surviennent. Ensuite, ces informations sur le comportement du modèle sont utilisées pour estimer l’erreur sur l’ensemble de déploiement même sans étiquettes, nous appelons cela l’estimation de l’erreur de déploiement. Par ailleurs, nous montrons que l’utilisation d’augmentation de données indépendantes peut améliorer l’estimation de l’erreur de déploiement. Nous croyons que cet usage de l’augmentation de données permettra de mieux cerner quantitativement la fiabilité des réseaux de neurones lorsqu’ils seront déployés sur de nouveaux jeux de données inconnus
In this thesis, we considered the problem of the robustness of neural networks. That is, we have considered the case where the learning set and the deployment set are not independently and identically distributed from the same source. This hypothesis is called : the i.i.d hypothesis. Our main research axis has been data augmentation. Indeed, an extensive literature review and preliminary experiments showed us the regularization potential of data augmentation. Thus, as a first step, we sought to use data augmentation to make neural networks more robust to various synthetic and natural dataset shifts. A dataset shift being simply a violation of the i.i.d assumption. However, the results of this approach have been mixed. Indeed, we observed that in some cases the augmented data could lead to performance jumps on the deployment set. But this phenomenon did not occur every time. In some cases, the augmented data could even reduce performance on the deployment set. In our conclusion, we offer a granular explanation for this phenomenon. Better use of data augmentation toward neural network robustness is to generate stress tests to observe a model behavior when various shift occurs. Then, to use that information to estimate the error on the deployment set of interest even without labels, we call this deployment error estimation. Furthermore, we show that the use of independent data augmentation can improve deployment error estimation. We believe that this use of data augmentation will allow us to better quantify the reliability of neural networks when deployed on new unknown datasets

41

Quélavoine, Régis. "Etude de l'apprentissage et des structures des réseaux de neurones multicouches pour l'analyse de données." Avignon, 1997. http://www.theses.fr/1997AVIG0002.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Le probleme de la reconnaissance automatique des signaux transitoires en acoustique sous-marine est tres delicat : on ne connait pas les parametres pertinents, encore moins les regles de decision des experts humains qui ne sont pas infaillibles ! Les reseaux neuromimetiques sont capables de realiser en partie cette tache complexe, mais ils souffrent d'une image de boite noire qui rend l'utilisateur mefiant : quelles sont les regles de decision simulees ? Correspondent-elles a ce que nous attendons ? Pour repondre a ces questions, nous nous sommes interesses a l'etude de l'apprentissage et des structures des reseaux de neurones multicouches afin d'en extraire cette information manquante. Dans ce but, il nous a fallu aborder cinq etapes chronologiques dans l'apprentissage. Nous utilisons un pretraitement des donnees adapte aux reseaux de neurones, attenuant la saturation des noeuds, et augmentant le potentiel discriminant des parametres. En outre, une fois les entrees ramenees a la meme amplitude de variation, seuls les poids vont traduire l'importance des parametres. Nous reglons ensuite le probleme de la pollution des corpus par les erreurs d'etiquetage en pratiquant un apprentissage selectif, adaptation de la retropropagation du gradient. Cette technique isole automatiquement les exemples incoherents et evite de surcroit le sur-apprentissage. L'etape suivante est la selection des parametres pertinents pour une classification. Nous proposons un critere hierarchique issu de l'analyse des poids des reseaux, qui se montre plus precis que ceux proposes auparavant. Il mesure les capacites activatrice et inhibitrice de chaque entree. La hierarchie obtenue nous permet de detecter les biais reduisant la robustesse du systeme, et de les corriger en generant automatiquement des exemples types qui viendront completer le corpus. Cette phase est primordiale pour l'interpretation ulterieure des regles de decision apprises. La methode nous donne aussi un moyen de fabriquer artificiellement des corpus d'apprentissage performants et de taille reduite. Enfin, apres avoir construit un echantillon optimal d'apprentissage, nous pouvons determiner a partir d'un reseau les hyperplans correspondant aux regles de decision simulees. Nous obtenons alors un systeme equivalent d'inequations avec des performances comparables en reconnaissance. Ces techniques, appliquees a differents cas d'ecole ou au difficile probleme des signaux transitoires, conduisent a des gains significatifs en vitesse d'apprentissage et en qualite de la generalisation. Outre une meilleure maitrise des reseaux de neurones, elles ouvrent des perspectives interessantes d'application dans de nombreux domaines ou notre connaissance reste insuffisante

42

Bétrouni, Mohamed. "Réseaux de neurones pour la projection plane de données multidimensionnelles et pour le suivi de procédés industriels." Lille 1, 1999. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/1999/50376-1999-21.pdf.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Ce travail présente une synthèse des méthodes de projection plane basées sur des architectures neuronales à apprentissages non supervisés. Selon leurs architectures et leurs techniques d'apprentissages, les réseaux réalisent une analyse en composantes principales linéaire (apprentissage par la règle de Hebb) ou non linéaire (apprentissage par la rétropropagation du gradient). Notre contribution concerne la sélection automatique du nombre de neurones sur les couches cachées par des critères informationnels. Nous avons exploité les réseaux de neurones dans le cadre de deux applications industrielles. La première a porté sur la détection de glaçures sur les goulots de bouteilles en verre. Après la phase d'analyse d'images pour l'extraction des attributs pertinents, différentes architectures ont été exposées pour la décision et leurs performances comparées sur des exemples réels. La seconde application industrielle a consisté à analyser les spectres de signaux provenant d'accéléromètres installés sur certains éléments d'une éolienne pilote en vue de la prédiction d'un dysfonctionnements éventuel. Pour ce faire, un réseau de neurones autoassociateur a été employé pour suivre le fonctionnement normal de l'éolienne.

43

Gelly, Grégory. "Réseaux de neurones récurrents pour le traitement automatique de la parole." Thesis, Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLS295/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Le domaine du traitement automatique de la parole regroupe un très grand nombre de tâches parmi lesquelles on trouve la reconnaissance de la parole, l'identification de la langue ou l'identification du locuteur. Ce domaine de recherche fait l'objet d'études depuis le milieu du vingtième siècle mais la dernière rupture technologique marquante est relativement récente et date du début des années 2010. C'est en effet à ce moment qu'apparaissent des systèmes hybrides utilisant des réseaux de neurones profonds (DNN) qui améliorent très notablement l'état de l'art. Inspirés par le gain de performance apporté par les DNN et par les travaux d'Alex Graves sur les réseaux de neurones récurrents (RNN), nous souhaitions explorer les capacités de ces derniers. En effet, les RNN nous semblaient plus adaptés que les DNN pour traiter au mieux les séquences temporelles du signal de parole. Dans cette thèse, nous nous intéressons tout particulièrement aux RNN à mémoire court-terme persistante (Long Short Term Memory (LSTM) qui permettent de s'affranchir d'un certain nombre de difficultés rencontrées avec des RNN standards. Nous augmentons ce modèle et nous proposons des processus d'optimisation permettant d'améliorer les performances obtenues en segmentation parole/non-parole et en identification de la langue. En particulier, nous introduisons des fonctions de coût dédiées à chacune des deux tâches: un simili-WER pour la segmentation parole/non-parole dans le but de diminuer le taux d'erreur d'un système de reconnaissance de la parole et une fonction de coût dite de proximité angulaire pour les problèmes de classification multi-classes tels que l'identification de la langue parlée
Automatic speech processing is an active field of research since the 1950s. Within this field the main area of research is automatic speech recognition but simpler tasks such as speech activity detection, language identification or speaker identification are also of great interest to the community. The most recent breakthrough in speech processing appeared around 2010 when speech recognition systems using deep neural networks drastically improved the state-of-the-art. Inspired by this gains and the work of Alex Graves on recurrent neural networks (RNN), we decided to explore the possibilities brought by these models on realistic data for two different tasks: speech activity detection and spoken language identification. In this work, we closely look at a specific model for the RNNs: the Long Short Term Memory (LSTM) which mitigates a lot of the difficulties that can arise when training an RNN. We augment this model and introduce optimization methods that lead to significant performance gains for speech activity detection and language identification. More specifically, we introduce a WER-like loss function to train a speech activity detection system so as to minimize the word error rate of a downstream speech recognition system. We also introduce two different methods to successfully train a multiclass classifier based on neural networks for tasks such as LID. The first one is based on a divide-and-conquer approach and the second one is based on an angular proximity loss function. Both yield performance gains but also speed up the training process

44

Borrel, Vincent. "Une approche intégrée pour la mobilité humaine dans les réseaux auto-organisables : causes et conséquences." Paris 6, 2008. http://www.theses.fr/2008PA066551.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse se concentre sur deux aspects de la mobilité dans les réseaux: les modèles synthétiques des déplacements humains, vu sous l'angle de leurs causes sociologiques, et la classification de cette mobilité en fonction de son impact sur les choix de routage des données. La mobilité des individus influence leurs possibilités de communication sans fil, modifiant les conditions et performance des liens de données qui les rattachent aux autres. Dans l'optique de réseaux sans-fil futurs où l'information passe de proche en proche, au gré des rencontres entre humains, la compréhension de cette mobilité joue un rôle crucial. Ainsi, de la connaissance et l'exploration de caractéristiques de cette mobilité, et de l'impact de celle-ci sur le routage et le transport collectif des données en général, pourront découler de nombreuses améliorations à ce problème délicat: s'adapter aux incessants mouvements des hommes. Cette thèse explore deux facettes de ce vaste problème, qui sont les causes sociales de la mobilité, et les conséquences de celle-ci sur le type de routage accessible au réseau évolutif en résultant. L'aspect causal de la mobilité, sous sa forme sociale fait l'objet de la première partie ou deux travaux sont présentés. La seconde partie de ce manuscript traite des conséquences de la mobilité. Elle est l'objet d'un troisième travail, qui est une taxonomie des possibilités de communication offertes par un réseau, associée a une méthode de classification de l'impact de la mobilité sur ces possibilités.

45

Lécuyer, Fabrice. "Ordonner les nœuds pour passer à l'échelle sur les grands réseaux réels." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS172.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse porte sur l'utilisation des outils théoriques de l'informatique pour améliorer les algorithmes dans la pratique, en particulier ceux qui traitent des données sous forme de graphes. Un graphe représente des éléments (nœuds) et leurs interactions (arêtes). L'informatique théorique a conçu des algorithmes pour des graphes arbitraires, tels que la recherche des chemins les plus courts ou l'identification des nœuds interconnectés. Cependant, les réseaux réels ont des propriétés spécifiques qui sont inconnues à l'avance en raison des situations du monde réel dont ils sont issus. Ils peuvent être très volumineux, ce qui pose un problème pour les traiter en un temps raisonnable. Pour aider à concevoir des algorithmes qui passent à l'échelle sur de gros graphes, nous nous concentrons sur la technique qui consiste à réordonner les nœuds selon un ordre spécifique qui dépend des propriétés locales ou globales du graphe. Nous classifions les différents mécanismes et méthodes qui ont été utilisés pour concevoir des ordres dans divers domaines d'application. Ensuite, nous présentons trois contributions qui utilisent l'ordre des nœuds pour rendre les algorithmes plus efficaces. Tout d'abord, nous reproduisons un article qui conçoit un ordre pour rendre les systèmes de cache plus efficaces, ce qui accélère différents algorithmes de graphes. Deuxièmement, nous créons de nouveaux ordres qui réduisent le nombre d'opérations dans un algorithme existant pour lister les triangles. Troisièmement, nous utilisons des algorithmes simples avec des ordres appropriés pour limiter la taille d'une couverture minimale par les sommets sur une instance spécifique de graphe, ce qui nous permet de certifier la qualité des résultats obtenus par des valeurs approchées. Ces résultats insistent sur les questions de passage à l'échelle, les mesures de temps, les fondements mathématiques et la validation par l'expérience. Enfin, nous présentons une collaboration sur l'analyse des réseaux qui consiste à décrire la mobilité des chercheurs et chercheuses dans l'espace de la connaissance
This thesis focuses on using theoretical tools of computer science to improve algorithms in practice, specifically algorithms that process data in the form of graphs. A graph represents elements (nodes) and their interactions (edges). Computer scientists have designed theoretical algorithms for arbitrary graphs, such as finding shortest paths or identifying inter-connected nodes. However, real-world networks have specific properties that are unknown in advance due to the situations from which they arise. They can be very large, which presents a challenge for processing them in reasonable time. To help design scalable algorithms for real-world networks, we focus on the technique of node ordering, which consists in processing the nodes in a specific order that depends on local or global properties of the network. We provide a review on the different mechanisms and methods that have been used to design orderings across various application domains. Then, we present three contributions that use node orderings to make algorithms more efficient. First, we replicate a paper that designs an ordering to make cache systems more effective, which accelerates different graph algorithms. Second, we create new orderings that diminish the number of operations in an existing algorithm for triangle listing. Third, we use greedy algorithms with certain orderings to bound the size of a minimum vertex cover on a specific instance, which allows us to certify the quality of approximate values. These findings insist on scalability issues, time measurements, mathematical grounding and validation by experiments. Finally, we present a collaboration on network analysis that consists in describing the mobility of researchers within the space of knowledge

46

Toko, Worou Bio Mikaila. "Outils algorithmiques pour la détection des communautés dans les réseaux." Nice, 2012. http://www.theses.fr/2012NICE4097.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

L'aspect algorithmique de la détection des communautés dans les grands graphes est le sujet principal abordé dans ce mémoire. Cette problématique est appliquée dans le contexte d'un opérateur de télécommunications dont les graphes proviennent des échanges téléphoniques ou du réseau de télécommunication. Dans ce contexte, la détection des communautés permet la recommandation de contenu, l'analyse des données clients, le classement des recherches Web, la détection des spamming Web, les actions marketing et autres. Cette thèse s'articule autour de deux grandes parties. Dans un premier temps, nous avons présenté le domaine de la détection des communautés. En effet cette problématique est étudiée sous des angles très variées par des communautés scientifiques différentes. Les principales méthodes et applications sont présentées dans cette première partie descriptive. Dans un second temps, nous avons présenté notre contribution pour répondre à cette problématique. Notre contribution se résume en deux principaux points. Tout d'abord, nous avons présenté une nouvelle fonction de qualité, le facteur d'arbre, plus adaptée à la problématique de détection des communautés dans les réseaux sociaux. Ensuite, nous avons présenté un algorithme rapide et à performance garantie pour approximer le facteur d'arbre optimal et l'identification des communautés. Ensuite, nous avons étudié la détection des communautés par l'optimisation de la modularité qui est la fonction de qualité la plus utilisée dans la littérature. Nous avons réécrit cette fonction, ce qui nous a permis d'avoir d'autres interprétations et de trouver des liens entre la modularité et d'autres fonctions de coupe du graphe. Enfin, nous avons proposé deux heuristiques pour approximer le problème d'optimisation de la modularité. Le premier est un algorithme basé sur l'analyse spectrale qui approxime la modularité en utilisant le vecteur de Fiedler de la matrice Laplacien du graphe. Le second algorithme est une heuristique rapide basée sur la représentation de la modularité dans un espace métrique sous forme de forces s'inspirant de la physique. Cette représentation permet de définir un mécanisme d'interaction attraction/répulsion sur les sommets du graphe et d'obtenir des regroupements en communautés. Pour finir, nous construisons un outil de détection des communautés qui allie l'optimisation du facteur d'arbre et de la modularité
This thesis concerns the algorithmic aspects of the communities' detection in large graphs. The work can be used by a telecommunications operator whose graphs are associated to telephone calls and SMS or telecommunication networks. In this context, the detection of communities is used for the content recommendation, the analysis of customer data, the classification of Web pages, the detection of Web spamming, marketing activities and others. This thesis is organized around two major parts. In the first part, we introduce the field of detection of communities. Indeed this problem has been studied with different points of view during the last years. The main methods and applications are presented in this descriptive part. In the second part, we present our contribution to the problema. Our contribution consists of two main topics. First, we introduce a new quality function, the fractional arboricity which is more adapted to the problem of detecting communities in social networks. Then, we present a fast and performance guaranteed algorithm to approximate the optimal fractional arboricity and identifies the communities in question. Second, we study the detection of communities by optimizing the modularity, the most used quality function for communities’ detection. We rewrite this function, and then, find new interpretations of the modularity and also links between the modularity and others cut functions. Finally, we propose two heuristics to approximate the optimization of the modularity. The first is an algorithm that approximates the modularity by using the Fiedler vector of the Laplacian matrix of the graph. The second algorithm is a fast heuristic based on the representation of physical interaction of nodes in a metric space. With this representation, we define an attraction/ repulsion mechanism between the vertices and then we obtain clusters in communities. Finally, we combine the optimization of the fractional arboricity and the optimization of the modularity into one communities’ detection tool

47

Hollocou, Alexandre. "Nouvelles approches pour le partitionnement de grands graphes." Thesis, Paris Sciences et Lettres (ComUE), 2018. http://www.theses.fr/2018PSLEE063.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les graphes sont omniprésents dans de nombreux domaines de recherche, allant de la biologie à la sociologie. Un graphe est une structure mathématique très simple constituée d’un ensemble d’éléments, appelés nœuds, reliés entre eux par des liens, appelés arêtes. Malgré cette simplicité, les graphes sont capables de représenter des systèmes extrêmement complexes, comme les interactions entre protéines ou les collaborations scientifiques. Le partitionnement ou clustering de graphe est un problème central en analyse de graphe dont l’objectif est d’identifier des groupes de nœuds densément interconnectés et peu connectés avec le reste du graphe. Ces groupes de nœuds, appelés clusters, sont fondamentaux pour une compréhension fine de la structure des graphes. Il n’existe pas de définition universelle de ce qu’est un bon cluster, et différentes approches peuvent s’avérer mieux adaptées dans différentes situations. Alors que les méthodes classiques s’attachent à trouver des partitions des nœuds de graphe, c’est-à-dire à colorer ces nœuds de manière à ce qu’un nœud donné n’ait qu’une et une seule couleur, des approches plus élaborées se révèlent nécessaires pour modéliser la structure complexe des graphes que l’on rencontre en situation réelle. En particulier, dans de nombreux cas, il est nécessaire de considérer qu’un nœud donné peut appartenir à plus d’un cluster. Par ailleurs, de nombreux systèmes que l’on rencontre en pratique présentent une structure multi-échelle pour laquelle il est nécessaire de partir à la recherche de hiérarchies de clusters plutôt que d’effectuer un partitionnement à plat. De plus, les graphes que l’on rencontre en pratique évoluent souvent avec le temps et sont trop massifs pour être traités en un seul lot. Pour ces raisons, il est souvent nécessaire d’adopter des approches dites de streaming qui traitent les arêtes au fil de l’eau. Enfin, dans de nombreuses applications, traiter des graphes entiers n’est pas nécessaire ou est trop coûteux, et il est plus approprié de retrouver des clusters locaux dans un voisinage de nœuds d’intérêt plutôt que de colorer tous les nœuds. Dans ce travail, nous étudions des approches alternatives de partitionnement de graphe et mettons au point de nouveaux algorithmes afin de résoudre les différents problèmes évoqués ci-dessus
Graphs are ubiquitous in many fields of research ranging from sociology to biology. A graph is a very simple mathematical structure that consists of a set of elements, called nodes, connected to each other by edges. It is yet able to represent complex systems such as protein-protein interaction or scientific collaborations. Graph clustering is a central problem in the analysis of graphs whose objective is to identify dense groups of nodes that are sparsely connected to the rest of the graph. These groups of nodes, called clusters, are fundamental to an in-depth understanding of graph structures. There is no universal definition of what a good cluster is, and different approaches might be best suited for different applications. Whereas most of classic methods focus on finding node partitions, i.e. on coloring graph nodes so that each node has one and only one color, more elaborate approaches are often necessary to model the complex structure of real-life graphs and to address sophisticated applications. In particular, in many cases, we must consider that a given node can belong to more than one cluster. Besides, many real-world systems exhibit multi-scale structures and one much seek for hierarchies of clusters rather than flat clusterings. Furthermore, graphs often evolve over time and are too massive to be handled in one batch so that one must be able to process stream of edges. Finally, in many applications, processing entire graphs is irrelevant or expensive, and it can be more appropriate to recover local clusters in the neighborhood of nodes of interest rather than color all graph nodes. In this work, we study alternative approaches and design novel algorithms to tackle these different problems. The novel methods that we propose to address these different problems are mostly inspired by variants of modularity, a classic measure that accesses the quality of a node partition, and by random walks, stochastic processes whose properties are closely related to the graph structure. We provide analyses that give theoretical guarantees for the different proposed techniques, and endeavour to evaluate these algorithms on real-world datasets and use cases

48

Kara, Reda. "Une Approche modulaire du réseau de neurones CMAC pour la commande d'un système robot-vision." Mulhouse, 2002. http://www.theses.fr/2002MULH0704.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Ce travail de thèse explore les capacités des réseaux de neurones à estimer les fonctions robotiques pour réaliser des contrôleurs performants. Nous proposons une approche de l'asservissement visuel dite adaptative qui repose sur l'utilisation du réseau de neurones CMAC ("Cerebellar Model Articulation Controller"). En dépit des propriétés attractives, ce réseau présente deux problèmes : une sortie discrète, ainsi qu'une taille liée directement à la précision souhaitée. De ce fait, nous avons formalisé 2 architectures neuronales modulaires : le réseau HCMAC ("Hierarchical CMAC") et le réseau AL_CMAC ("Adaptive Linear CMAC"). Leur principe repose sur une combinaison de plusieurs réseaux de neurones de plus petite taille. Les contrôleurs neuronaux modulaires sont évalués et validés dans des applications d'asservissement visuel d'un robot trois axes (positionnement et la poursuite de cibles. Leurs performances sont comparées à celles du réseau CMAC et du réseau SSOM ("Supervised Self-Organizing Maps")
The work of this thesis investigates artificial neural networks capabilities to estimate robotic functions, and their performances as controllers. We propose an adaptive visual servoing scheme based on the CMAC ("Cerebellar Model Articulation Controller") network. The CMAC network is thus well suited for robot control but in practice there are two drawbacks: its output is "discrete" and its precision depends on its size. Thus, we have developed two modular neural : the HCMAC ("Hierarchical CMAC") and the AL_CMAC ("Adaptive Linear CMAC"). These two networks are a combination of networks of small size. The efficiency of the HCMAC and AL_CMAC neuro-controller is validated through visual servoing experiments with a three degrees of freedom robot arm and with a two camera vision system. Visual servoing experiments consist in positioning tasks and in tracking mobile objects. The performances are compared to other neuro-controllers like CMAC and SSOM ("Supervised Self-Organizing Maps") networks

49

Rochel, Olivier. "Une approche événementielle pour la modélisation et la simulation de réseaux de neurones impulsionnels." Nancy 1, 2004. http://www.theses.fr/2004NAN10004.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Cette thèse est bâtie sur le constat de l'absence d'outils génériques adaptés à la modélisation et la simulation de grands réseaux de neurones impulsionnels. Une première partie de la thèse est consacrée à la présentation des modèles existants. Dans ces modèles, les impulsions se traduisent par des discontinuités dans la dynamique des neurones. Ces discontinuités sont à la source de difficultés de modélisation et de simulation. Nous présentons dans une seconde partie une nouvelle approche, basée sur la notion de système à événements discrets, utilisant le formalisme DEVS. Elle permet de prendre en considération une large classe de modèles de neurones et autorise la construction de réseaux structurés de grande taille. Un outil de simulation utilisant un algorithme de simulation événementiel a été développé et évalué sur machines séquentielles et parallèles. Nous avons également évalué la pertinence de notre approche dans le cadre d'un projet multidisciplinaire sur l'olfaction
At present, there exists no generic modeling and simulation framework that addresses the study of large spiking neural networks. In the existing models, the impulses are generally associated with discontinuities in the otherwise continuous dynamics of the neurons. This raises modeling and practical implementation issues. We propose an novel approach based on the discrete-event system abstraction, grounded on the DEVS formalism, that can be used to represent a large class of spiking neurons and permits the modeling of large networks. A simulation engine has been developed on top of this formalism. It is based on an efficient event-driven algorithm and has been evaluated on sequential as well as parallel machines. We have tested our approach within a multi-disciplinary project on olfactory perception

50

Bouaziz, Mohamed. "Réseaux de neurones récurrents pour la classification de séquences dans des flux audiovisuels parallèles." Thesis, Avignon, 2017. http://www.theses.fr/2017AVIG0224/document.

Full text

APA, Harvard, Vancouver, ISO, and other styles

Abstract:

Les flux de contenus audiovisuels peuvent être représentés sous forme de séquences d’événements (par exemple, des suites d’émissions, de scènes, etc.). Ces données séquentielles se caractérisent par des relations chronologiques pouvant exister entre les événements successifs. Dans le contexte d’une chaîne TV, la programmation des émissions suit une cohérence définie par cette même chaîne, mais peut également être influencée par les programmations des chaînes concurrentes. Dans de telles conditions,les séquences d’événements des flux parallèles pourraient ainsi fournir des connaissances supplémentaires sur les événements d’un flux considéré.La modélisation de séquences est un sujet classique qui a été largement étudié, notamment dans le domaine de l’apprentissage automatique. Les réseaux de neurones récurrents de type Long Short-Term Memory (LSTM) ont notamment fait leur preuve dans de nombreuses applications incluant le traitement de ce type de données. Néanmoins,ces approches sont conçues pour traiter uniquement une seule séquence d’entrée à la fois. Notre contribution dans le cadre de cette thèse consiste à élaborer des approches capables d’intégrer conjointement des données séquentielles provenant de plusieurs flux parallèles.Le contexte applicatif de ce travail de thèse, réalisé en collaboration avec le Laboratoire Informatique d’Avignon et l’entreprise EDD, consiste en une tâche de prédiction du genre d’une émission télévisée. Cette prédiction peut s’appuyer sur les historiques de genres des émissions précédentes de la même chaîne mais également sur les historiques appartenant à des chaînes parallèles. Nous proposons une taxonomie de genres adaptée à de tels traitements automatiques ainsi qu’un corpus de données contenant les historiques parallèles pour 4 chaînes françaises.Deux méthodes originales sont proposées dans ce manuscrit, permettant d’intégrer les séquences des flux parallèles. La première, à savoir, l’architecture des LSTM parallèles(PLSTM) consiste en une extension du modèle LSTM. Les PLSTM traitent simultanément chaque séquence dans une couche récurrente indépendante et somment les sorties de chacune de ces couches pour produire la sortie finale. Pour ce qui est de la seconde proposition, dénommée MSE-SVM, elle permet de tirer profit des avantages des méthodes LSTM et SVM. D’abord, des vecteurs de caractéristiques latentes sont générés indépendamment, pour chaque flux en entrée, en prenant en sortie l’événement à prédire dans le flux principal. Ces nouvelles représentations sont ensuite fusionnées et données en entrée à un algorithme SVM. Les approches PLSTM et MSE-SVM ont prouvé leur efficacité dans l’intégration des séquences parallèles en surpassant respectivement les modèles LSTM et SVM prenant uniquement en compte les séquences du flux principal. Les deux approches proposées parviennent bien à tirer profit des informations contenues dans les longues séquences. En revanche, elles ont des difficultés à traiter des séquences courtes.L’approche MSE-SVM atteint globalement de meilleures performances que celles obtenues par l’approche PLSTM. Cependant, le problème rencontré avec les séquences courtes est plus prononcé pour le cas de l’approche MSE-SVM. Nous proposons enfin d’étendre cette approche en permettant d’intégrer des informations supplémentaires sur les événements des séquences en entrée (par exemple, le jour de la semaine des émissions de l’historique). Cette extension, dénommée AMSE-SVM améliore remarquablement la performance pour les séquences courtes sans les baisser lorsque des séquences longues sont présentées
In the same way as TV channels, data streams are represented as a sequence of successive events that can exhibit chronological relations (e.g. a series of programs, scenes, etc.). For a targeted channel, broadcast programming follows the rules defined by the channel itself, but can also be affected by the programming of competing ones. In such conditions, event sequences of parallel streams could provide additional knowledge about the events of a particular stream. In the sphere of machine learning, various methods that are suited for processing sequential data have been proposed. Long Short-Term Memory (LSTM) Recurrent Neural Networks have proven its worth in many applications dealing with this type of data. Nevertheless, these approaches are designed to handle only a single input sequence at a time. The main contribution of this thesis is about developing approaches that jointly process sequential data derived from multiple parallel streams. The application task of our work, carried out in collaboration with the computer science laboratory of Avignon (LIA) and the EDD company, seeks to predict the genre of a telecast. This prediction can be based on the histories of previous telecast genres in the same channel but also on those belonging to other parallel channels. We propose a telecast genre taxonomy adapted to such automatic processes as well as a dataset containing the parallel history sequences of 4 French TV channels. Two original methods are proposed in this work in order to take into account parallel stream sequences. The first one, namely the Parallel LSTM (PLSTM) architecture, is an extension of the LSTM model. PLSTM simultaneously processes each sequence in a separate recurrent layer and sums the outputs of each of these layers to produce the final output. The second approach, called MSE-SVM, takes advantage of both LSTM and Support Vector Machines (SVM) methods. Firstly, latent feature vectors are independently generated for each input stream, using the output event of the main one. These new representations are then merged and fed to an SVM algorithm. The PLSTM and MSE-SVM approaches proved their ability to integrate parallel sequences by outperforming, respectively, the LSTM and SVM models that only take into account the sequences of the main stream. The two proposed approaches take profit of the information contained in long sequences. However, they have difficulties to deal with short ones. Though MSE-SVM generally outperforms the PLSTM approach, the problem experienced with short sequences is more pronounced for MSE-SVM. Finally, we propose to extend this approach by feeding additional information related to each event in the input sequences (e.g. the weekday of a telecast). This extension, named AMSE-SVM, has a remarkably better behavior with short sequences without affecting the performance when processing long ones

Dissertations / Theses on the topic 'Réseaux de neurones pour graphes'

Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles