Academic literature on the topic 'Réseaux de neurones récurrents convolutifs'

Les algorithmes de classification constituent un outil essentiel pour le calcul de cartes d'occupation des sols. Les récents progrès en apprentissage automatique ont montré les très grandes performances des réseaux de neurones convolutifs pour de nombreuses applications, y compris la classification d'images aériennes et satellites. Ce travail établit une stratégie quant à l'utilisation d'un réseau de neurone convolutif pour la classification d'images satellites à très haute résolution spatiale, couvrant de très larges régions géographiques, avec pour perspective future le calcul de cartes d'occupation des sols à l'échelle d'un pays.

Nous présentons un ensemble de travaux pratiques qui seront dispensés au sein du Master EEA - Électronique Embarquée à l’université de Lorraine dans le cadre des modules Modélisation SystemC et Conception VLSI. Ces TP sont destinés à initier les étudiants à la compréhension, modélisation et conception des réseaux de neurones convolutifs dans des langages de description de matériel au niveau RTL (VHDL, le module Conception VLSI) et dans un langage de haut niveau (C++/SystemC, le module Modélisation SystemC). Ils sont organisés autour d’un ensemble d’outils de modélisation et de synthèse de Mentor Graphics (Modelsim, Catapult HLS) et spécifiques aux plateformes FPGA Xilinx et à l’environnement Pynq pour la simulation, test et vérification.

La fusion d'images multispectrales à très haute résolution spatiale (THR) avec des séries temporelles d'images moins résolues spatialement mais comportant plus de bandes spectrales permet d'améliorer la classification de l'occupation du sol. Elle tire en effet le meilleur parti des points forts géométriques et sémantiques de ces deux sources. Ce travail s'intéresse à un processus d'extraction automatique de la tache urbaine fondé sur la fusion tardive de classifications calculées respectivement à partir d'images satellitaires Sentinel-2 et SPOT-6/7. Ces deux sources sont d'abord classées indépendamment selon 5 classes, respectivement par forêts aléatoires et réseaux de neurones convolutifs. Les résultats sont alors fusionnés afin d'extraire les bâtiments le plus finement possible. Cette étape de fusion inclut une fusion au niveau pixellaire suivie d'une étape de régularisation spatiale intégrant un terme lié au contraste de l'image. Le résultat obtenu connaît ensuite une seconde fusion afin d'en déduire une tache urbaine : une mesure a priori de se trouver en zone urbaine est calculée à partir des objets bâtiments détectés précédemment et est fusionnée avec une classification binaire dérivée de la classification originale des données Sentinel-2.

Le changement climatique a pour conséquence l’apparition de forts événements pluvieux de plus en plus fréquents, occasionnant de fortes variations de débit et de concentrations à l’influent des stations d’épuration. La connaissance des risques d’orage et des débits potentiels plusieurs heures ou plusieurs jours en avance permettrait d’anticiper les adaptations opérationnelles pour préparer la station et protéger les différents ouvrages des risques de défaillance. Dans cette étude, les données météorologiques (pluies, température, vents, humidités, précipitations…) et l’historique des données d’influent de la station sont utilisés pour entraîner un algorithme d’intelligence artificielle, d’apprentissage automatique et d’apprentissage profond pour prédire les débits entrants sur la station jusqu’à une semaine en avance. Trois jeux de données journalières et horaires, de 1 à 3 ans, sont utilisés pour entraîner un modèle de Forêt aléatoire à 30 arbres, un modèle LSTM (long short-term memory) et un modèle GRU (gate recurrent unit) à trois couches de 100 neurones suivis chacun d’un dropout de 20 % et une couche de sortie entièrement connectée. Les données sont préalablement nettoyées pour supprimer les valeurs aberrantes et sont réparties à 80 % pour les données pour l’apprentissage et 20 % pour les données de test afin d’obtenir des modèles avec les meilleures prédictions. Les algorithmes utilisés dans cette étude sont simples et détectent bien les pics. La durée de l’entraînement sur les données de trois ans se fait en moins de deux minutes pour la Forêt aléatoire et en moins d’une demi-heure pour les réseaux de neurones LSTM et GRU. Les résultats montrent que les données horaires et la prise en compte de l’effet de l’historique par l’utilisation des réseaux de neurones récurrents LSTM et GRU permettent d’obtenir une meilleure prédiction des débits d’influent. Les séries de données plus longues permettent également un meilleur apprentissage des algorithmes et une meilleure prédiction du modèle.

La fabrication additive, métallique en particulier, est en plein essor, mais les pièces ainsi produites peuvent présenter des défauts tels que des anomalies d'impression, de la rétention de poudre ou des fissures. Pour contrôler l'intégrité de ces pièces, la tomographie par transmission haute résolution reste la méthode de référence. Cependant, pour inspecter des pièces massives et fortement absorbantes, la tomographie haute énergie avec un accélérateur linéaire d'électrons est nécessaire. Le Laboratoire de Mesures Nucléaires du CEA IRESNE dispose d'un tomographe haute énergie et a souhaité améliorer la qualité des projections acquises en mettant en place des post-traitements numériques. Afin d’essayer de dépasser les performances des méthodes de restauration classiques, basées sur des algorithmes de déconvolution, une approche de post-traitement novatrice a été étudiée : la déconvolution de flou par réseaux de neurones convolutifs. Pour ce faire, un jeu de données d’images a tout d’abord été généré par simulation. Un réseau de neurones convolutifs, basé sur la structure du réseau SRCNN (Super-Resolution Convolutional Neural Network), a ensuite été adapté, entraîné et évalué. Chaque hyperparamètre du réseau a alors été spécialement optimisé. Enfin, ce réseau a été validé sur des tomographies à 9 MeV d’objets réels afin d’évaluer les performances finales obtenues, mais aussi comprendre les limitations de ce type d’approche. Le réseau de neurones convolutifs ainsi optimisé démontre de bonnes performances de défloutage tout en limitant l’amplification du bruit.

Les dégradations dues à la non-linéarité de Kerr dans les fibres optiques limitent les débits d’information des systèmes de communications. Les effets linéaires, tels que la dispersion chromatique et la dispersion modale de polarisation, peuvent être compensés par égalisation linéaire, de mise en oeuvre relativement simple, au niveau du récepteur. A l’inverse, la complexité de calcul des techniques classiques de réduction de la non-linéarité, telles que la rétro-propagation numérique, peut être considérable. Les réseaux neuronaux ont récemment attiré l’attention, dans ce contexte, pour la mise en oeuvre d’égaliseurs non-linéaires à faible complexité. Cette thèse porte sur l’étude des réseaux neuronaux récurrents pour compenser efficacement les dégradations des canaux dans les transmissions à longue distance multiplexés en polarisation. Nous présentons une architecture hybride de réseaux neuronaux récurrents convolutifs (CRNN), comprenant un encodeur basé sur un réseau neuronal convolutif (CNN) suivie d’une couche récurrente travaillant en tandem. L’encodeur basé sur CNN représente efficacement la mémoire de canal à court terme résultant de la dispersion chromatique, tout en faisant passer le signal vers un espace latent avec moins de caractéristiques pertinentes. La couche récurrente suivante est implémentée sous la forme d’un RNN unidirectionnel de type vanille, chargé de capturer les interactions à longue portée négligées par l’encodeur CNN. Nous démontrons que le CRNN proposé atteint la performance des égaliseurs actuels dans la communication par fibre optique, avec une complexité de calcul significativement plus faible selon le modèle du système. Enfin, le compromis performance-complexité est établi pour un certain nombre de modèles, y compris les réseaux neuronaux multicouches entièrement connectés, les CNN, les réseaux neuronaux récurrents bidirectionnels, les réseaux long short-term memory bidirectionnels (bi-LSTM), les réseaux gated recurrent units bidirectionnels, les modèles bi-LSTM convolutifs et le modèle hybride proposé
The impairments arising from the Kerr nonlinearity in optical fibers limit the achievable information rates in fiber-optic communication. Unlike linear effects, such as chromatic dispersion and polarization-mode dispersion, which can be compensated via relatively simple linear equalization at the receiver, the computational complexity of the conventional nonlinearity mitigation techniques, such as the digital backpropagation, can be substantial. Neural networks have recently attracted attention, in this context, for low-complexity nonlinearity mitigation in fiber-optic communications. This Ph.D. dissertation deals with investigating the recurrent neural networks to efficiently compensate for the nonlinear channel impairments in dual-polarization long-haul fiber-optic transmission. We present a hybrid convolutional recurrent neural network (CRNN) architecture, comprising a convolutional neural network (CNN) -based encoder followed by a recurrent layer working in tandem. The CNN-based encoder represents the shortterm channel memory arising from the chromatic dispersion efficiently, while transitioning the signal to a latent space with fewer relevant features. The subsequent recurrent layer is implemented in the form of a unidirectional vanilla RNN, responsible for capturing the long-range interactions neglected by the CNN encoder. We demonstrate that the proposed CRNN achieves the performance of the state-of-theart equalizers in optical fiber communication, with significantly lower computational complexity depending on the system model. Finally, the performance complexity trade-off is established for a number of models, including multi-layer fully-connected neural networks, CNNs, bidirectional recurrent neural networks, bidirectional long short-term memory (bi-LSTM), bidirectional gated recurrent units, convolutional bi-LSTM models, and the suggested hybrid model

Cette thèse s’inscrit dans le cadre de l’analyse d’opinions en arabe. Son objectif consiste à déterminer la polarité globale d’un énoncé textuel donné écrit en Arabe standard moderne (ASM) ou dialectes arabes. Cette thématique est un domaine de recherche en plein essor et a fait l’objet de nombreuses études avec une majorité de travaux actuels traitant des langues indo-européennes, en particulier la langue anglaise. Une des difficultés à laquelle se confronte cette thèse est le traitement de la langue arabe qui est une langue morphologiquement riche avec une grande variabilité des formes de surface observables dans les données d’apprentissage. Nous souhaitons pallier ce problème en produisant, de manière totalement automatique et contrôlée, de nouvelles représentations vectorielles continues (en anglais embeddings) spécifiques à la langue arabe. Notre étude se concentre sur l’utilisation d’une approche neuronale pour améliorer la détection de polarité, en exploitant la puissance des embeddings. En effet, ceux-ci se sont révélés un atout fondamental dans différentes tâches de traitement automatique des langues naturelles (TALN). Notre contribution dans le cadre de cette thèse porte plusieurs axes. Nous commençons, d’abord, par une étude préliminaire des différentes ressources d’embeddings de mots pré-entraînés existants en langue arabe. Ces embeddings considèrent les mots comme étant des unités séparées par des espaces afin de capturer, dans l'espace de projection, des similarités sémantiques et syntaxiques. Ensuite, nous nous focalisons sur les spécificités de la langue arabe en proposant des embeddings spécifiques pour cette langue. Les phénomènes comme l’agglutination et la richesse morphologique de l’arabe sont alors pris en compte. Ces embeddings spécifiques ont été utilisés, seuls et combinés, comme entrée à deux réseaux neuronaux (l’un convolutif et l’autre récurrent) apportant une amélioration des performances dans la détection de polarité sur un corpus de revues. Nous proposons une analyse poussée des embeddings proposées. Dans une évaluation intrinsèque, nous proposons un nouveau protocole introduisant la notion de la stabilité de polarités (sentiment stability) dans l’espace d'embeddings. Puis, nous proposons une analyse qualitative extrinsèque de nos embeddings en utilisant des méthodes de projection et de visualisation
My thesis is part of Arabic sentiment analysis. Its aim is to determine the global polarity of a given textual statement written in MSA or dialectal arabic. This research area has been subject of numerous studies dealing with Indo-European languages, in particular English. One of difficulties confronting this thesis is the processing of Arabic. In fact, Arabic is a morphologically rich language which implies a greater sparsity : we want to overcome this problem by producing, in a completely automatic way, new arabic specific embeddings. Our study focuses on the use of a neural approach to improve polarity detection, using embeddings. These embeddings have revealed fundamental in various natural languages processing tasks (NLP). Our contribution in this thesis concerns several axis. First, we begin with a preliminary study of the various existing pre-trained word embeddings resources in arabic. These embeddings consider words as space separated units in order to capture semantic and syntactic similarities in the embedding space. Second, we focus on the specifity of Arabic language. We propose arabic specific embeddings that take into account agglutination and morphological richness of Arabic. These specific embeddings have been used, alone and in combined way, as input to neural networks providing an improvement in terms of classification performance. Finally, we evaluate embeddings with intrinsic and extrinsic methods specific to sentiment analysis task. For intrinsic embeddings evaluation, we propose a new protocol introducing the notion of sentiment stability in the embeddings space. We propose also a qualitaive extrinsic analysis of our embeddings by using visualisation methods

La représentation concise et efficace de l'information est un problème qui occupe une place centrale dans l'apprentissage machine. Le cerveau, et plus particulièrement le cortex visuel, ont depuis longtemps trouvé des solutions performantes et robustes afin de résoudre un tel problème. A l'échelle locale, le codage épars est l'un des mécanismes les plus prometteurs pour modéliser le traitement de l'information au sein des populations de neurones dans le cortex visuel. A l'échelle structurelle, le codage prédictif suggère que les signaux descendants observés dans le cortex visuel modulent l'activité des neurones pour inclure des détails contextuels au flux d'information ascendant. Cette thèse propose de combiner codage épars et codage prédictif au sein d'un modèle hiérarchique et convolutif. D'un point de vue computationnel, nous démontrons que les connections descendantes, introduites par le codage prédictif, permettent une convergence meilleure et plus rapide du modèle. De plus, nous analysons les effets des connections descendantes sur l'organisation des populations de neurones, ainsi que leurs conséquences sur la manière dont notre algorithme se représente les images. Nous montrons que les connections descendantes réorganisent les champs d'association de neurones dans V1 afin de permettre une meilleure intégration des contours. En outre, nous observons que ces connections permettent une meilleure reconstruction des images bruitées. Nos résultats suggèrent que l'inspiration des neurosciences fournit un cadre prometteur afin de développer des algorithmes de vision artificielles plus performants et plus robustes
Building models to efficiently represent images is a central and difficult problem in the machine learning community. The neuroscientific study of the early visual cortical areas is a great source of inspiration to find economical and robust solutions. For instance, Sparse Coding (SC) is one of the most successful frameworks to model neural computation at the local scale in the visual cortex. At the structural scale of the ventral visual pathways, the Predictive Coding (PC) theory has been proposed to model top-down and bottom-up interaction between cortical regions. The presented thesis introduces a model called the Sparse Deep Predictive Coding (SDPC) that combines Sparse Coding and Predictive Coding in a hierarchical and convolutional architecture. We analyze the SPDC from a computational and a biological perspective. In terms of computation, the recurrent connectivity introduced by the PC framework allows the SDPC to converge to lower prediction errors with a higher convergence rate. In addition, we combine neuroscientific evidence with machine learning methods to analyze the impact of recurrent processing at both the neural organization and representational level. At the neural organization level, the feedback signal of the model accounted for a reorganization of the V1 association fields that promotes contour integration. At the representational level, the SDPC exhibited significant denoising ability which is highly correlated with the strength of the feedback from V2 to V1. These results from the SDPC model demonstrate that neuro-inspiration might be the right methodology to design more powerful and more robust computer vision algorithms

Malgré leurs excellentes performances, les exigences élevées des réseaux de neurones artificiels en terme de volume de données et de puissance de calcul limitent leur adoption dans plusieurs domaines. C'est pourquoi il reste important de développer de nouvelles architectures moins voraces. Ce mémoire cherche à produire une architecture plus flexible et moins vorace en s'appuyant sur la théorie de l'apprentissage par renforcement. En considérant le réseau comme un agent suivant une politique, on réalise que cette politique est beaucoup plus rigide que celle suivie habituellement par les agents d'apprentissage par renforcement. Nous posons l'hypothèse qu'une architecture capable de formuler une politique plus flexible pourrait atteindre des performances similaires tout en limitant son utilisation de ressources. L'architecture que nous proposons s'inspire de la recherche faite en prédiction de paramètres, particulièrement de l'architecture hypernetwork, que nous utilisons comme base de référence. Nos résultats montrent que l'apprentissage d'une politique dynamique aussi performante que les politiques statiques suivies par les réseaux conventionnels n'est pas une tâche triviale. Nos meilleurs résultats indiquent une diminution du nombre de paramètres de 33%, une diminution des calculs de 12% au prix d'une baisse de l'exactitude des prédictions de 2%. Malgré ces résultats, nous croyons que notre architecture est un point de départ pouvant être amélioré de plusieurs manières que nous explorons rapidement en conclusion.
Despite their excellent performances, artificial neural networks high demand of both data and computational power limit their adoption in many domains. Developing less demanding architecture thus remain an important endeavor. This thesis seeks to produce a more flexible and less resource-intensive architecture by using reinforcement learning theory. When considering a network as an agent instead of a function approximator, one realize that the implicit policy followed by popular feed forward networks is extremely simple. We hypothesize that an architecture able to learn a more flexible policy could reach similar performances while reducing its resource footprint. The architecture we propose is inspired by research done in weight prediction, particularly by the hypernetwork architecture, which we use as a baseline model.Our results show that learning a dynamic policy achieving similar results to the static policies of conventional networks is not a trivial task. Our proposed architecture succeeds in limiting its parameter space by 20%, but does so at the cost of a 24% computation increase and loss of5% accuracy. Despite those results, we believe that this architecture provides a baseline that can be improved in multiple ways that we describe in the conclusion.

L’ère numérique change de plus en plus le monde en raison de la quantité de données récoltées chaque jour. Le domaine médical est fortement affecté par cette explosion, car l’exploitation de ces données est un véritable atout pour l’aide à la pratique médicale. Dans cette thèse, nous proposons d’utiliser les vidéos chirurgicales dans le but de créer un système de chirurgie assistée par ordinateur. Nous nous intéressons principalement à reconnaître les gestes chirurgicaux à chaque instant afin de fournir aux chirurgiens des recommandations et des informations pertinentes. Pour ce faire, l’objectif principal de cette thèse est de reconnaître les outils chirurgicaux dans les vidéos de chirurgie de la cataracte. Dans le flux vidéo du microscope, ces outils sont partiellement visibles et certains se ressemblent beaucoup. Pour relever ces défis, nous proposons d'ajouter une caméra supplémentaire filmant la table opératoire. Notre objectif est donc de détecter la présence des outils dans les deux types de flux vidéo : les vidéos du microscope et les vidéos de la table opératoire. Le premier enregistre l'oeil du patient et le second enregistre les activités de la table opératoire. Deux tâches sont proposées pour détecter les outils dans les vidéos de la table : la détection des changements et la détection de présence d'outil. Dans un premier temps, nous proposons un système similaire pour ces deux tâches. Il est basé sur l’extraction des caractéristiques visuelles avec des méthodes de classification classique. Il fournit des résultats satisfaisants pour la détection de changement, cependant, il fonctionne insuffisamment bien pour la tâche de détection de présence des outils sur la table. Dans un second temps, afin de résoudre le problème du choix des caractéristiques, nous utilisons des architectures d’apprentissage profond pour la détection d'outils chirurgicaux sur les deux types de vidéo. Pour surmonter les défis rencontrés dans les vidéos de la table, nous proposons de générer des vidéos artificielles imitant la scène de la table opératoire et d’utiliser un réseau de neurones à convolutions (CNN) à base de patch. Enfin, nous exploitons l'information temporelle en utilisant un réseau de neurones récurrent analysant les résultats de CNNs. Contrairement à notre hypothèse, les expérimentations montrent des résultats insuffisants pour la détection de présence des outils sur la table, mais de très bons résultats dans les vidéos du microscope. Nous obtenons des résultats encore meilleurs dans les vidéos du microscope après avoir fusionné l’information issue de la détection des changements sur la table et la présence des outils dans l’oeil
The digital era is increasingly changing the world due to the sheer volume of data produced every day. The medical domain is highly affected by this revolution, because analysing this data can be a source of education/support for the clinicians. In this thesis, we propose to reuse the surgery videos recorded in the operating rooms for computer-assisted surgery system. We are chiefly interested in recognizing the surgical gesture being performed at each instant in order to provide relevant information. To achieve this goal, this thesis addresses the surgical tool recognition problem, with applications in cataract surgery. The main objective of this thesis is to address the surgical tool recognition problem in cataract surgery videos.In the surgical field, those tools are partially visible in videos and highly similar to one another. To address the visual challenges in the cataract surgical field, we propose to add an additional camera filming the surgical tray. Our goal is to detect the tool presence in the two complementary types of videos: tool-tissue interaction and surgical tray videos. The former records the patient's eye and the latter records the surgical tray activities.Two tasks are proposed to perform the task on the surgical tray videos: tools change detection and tool presence detection.First, we establish a similar pipeline for both tasks. It is based on standard classification methods on top of visual learning features. It yields satisfactory results for the tools change task, howev-lateer, it badly performs the surgical tool presence task on the tray. Second, we design deep learning architectures for the surgical tool detection on both video types in order to address the difficulties in manually designing the visual features.To alleviate the inherent challenges on the surgical tray videos, we propose to generate simulated surgical tray scenes along with a patch-based convolutional neural network (CNN).Ultimately, we study the temporal information using RNN processing the CNN results. Contrary to our primary hypothesis, the experimental results show deficient results for surgical tool presence on the tray but very good results on the tool-tissue interaction videos. We achieve even better results in the surgical field after fusing the tool change information coming from the tray and tool presence signals on the tool-tissue interaction videos

Les réseaux de neurones à propagation avant sont statiques, leurs sorties ne dépendant que des entrées courantes. Pour contourner cette limitation, la technique la plus répandue repose sur l'utilisation de fenêtres temporelles. Ces techniques sont insuffisantes lorsqu'une mémoire relativement profondes est nécessaire ou lorsque la profondeur de celle-ci est inconnue. Les réseaux de neurones récurrents sont capables de modéliser des dépendances temporelles de durée quelconque entre les entrées et les sorties désirées associées, en utilisant une mémoire implicite, codée grace aux connexions récurrentes et aux sorties des neurones eux-mêmes. Cependant, en pratique les réseaux récurrents sont associés à des algorithmes d'apprentissage bases sur le calcul du gradient, qui présentent des limitations dans la prise en compte des dépendances à moyen ou long terme. La résolution de ce problème peut passer par l'ajout de connexions contenant des retards. Le choix de la localisation de ces connexions et du nombre de retards nécessaires restent à la charge de l'expérimentateur. Nous proposons une nouvelle approche qui repose sur la définition de critères pour l'ajout sélectif de connexions à délais. Il en résulte des algorithmes constructifs, permettant d'adapter l'architecture du réseau au problème temporel à traiter. Le premier critère propose correspond à la variation de l'erreur lors de l'exploration restreinte des différentes alternatives d'implantation de connexions supplémentaires. L'exploration consiste en un apprentissage limite à quelques itérations. Le deuxième critère repose sur un calcul des corrélations entre des quantités générées à l'intérieur du réseau au cours de l'apprentissage, et correspond à une estimation de la variation des poids des connexions à délais candidates. Des expérimentations systématiques ont été menées sur des problèmes de référence de prévision de séries temporelles. Les résultats obtenus montrent l'intérêt de nos contributions.

La mémoire de travail peut être définie comme la capacité à stocker temporairement et à manipuler des informations de toute nature.Par exemple, imaginez que l'on vous demande d'additionner mentalement une série de nombres. Afin de réaliser cette tâche, vous devez garder une trace de la somme partielle qui doit être mise à jour à chaque fois qu'un nouveau nombre est donné. La mémoire de travail est précisément ce qui permettrait de maintenir (i.e. stocker temporairement) la somme partielle et de la mettre à jour (i.e. manipuler). Dans cette thèse, nous proposons d'explorer les implémentations neuronales de cette mémoire de travail en utilisant un nombre restreint d'hypothèses.Pour ce faire, nous nous plaçons dans le contexte général des réseaux de neurones récurrents et nous proposons d'utiliser en particulier le paradigme du reservoir computing.Ce type de modèle très simple permet néanmoins de produire des dynamiques dont l'apprentissage peut tirer parti pour résoudre une tâche donnée.Dans ce travail, la tâche à réaliser est une mémoire de travail à porte (gated working memory).Le modèle reçoit en entrée un signal qui contrôle la mise à jour de la mémoire.Lorsque la porte est fermée, le modèle doit maintenir son état de mémoire actuel, alors que lorsqu'elle est ouverte, il doit la mettre à jour en fonction d'une entrée.Dans notre approche, cette entrée supplémentaire est présente à tout instant, même lorsqu'il n'y a pas de mise à jour à faire.En d'autres termes, nous exigeons que notre modèle soit un système ouvert, i.e. un système qui est toujours perturbé par ses entrées mais qui doit néanmoins apprendre à conserver une mémoire stable.Dans la première partie de ce travail, nous présentons l'architecture du modèle et ses propriétés, puis nous montrons sa robustesse au travers d'une étude de sensibilité aux paramètres.Celle-ci montre que le modèle est extrêmement robuste pour une large gamme de paramètres.Peu ou prou, toute population aléatoire de neurones peut être utilisée pour effectuer le gating.Par ailleurs, après apprentissage, nous mettons en évidence une propriété intéressante du modèle, à savoir qu'une information peut être maintenue de manière entièrement distribuée, i.e. sans être corrélée à aucun des neurones mais seulement à la dynamique du groupe.Plus précisément, la mémoire de travail n'est pas corrélée avec l'activité soutenue des neurones ce qui a pourtant longtemps été observé dans la littérature et remis en cause récemment de façon expérimentale.Ce modèle vient confirmer ces résultats au niveau théorique.Dans la deuxième partie de ce travail, nous montrons comment ces modèles obtenus par apprentissage peuvent être étendus afin de manipuler l'information qui se trouve dans l'espace latent.Nous proposons pour cela de considérer les conceptors qui peuvent être conceptualisé comme un jeu de poids synaptiques venant contraindre la dynamique du réservoir et la diriger vers des sous-espaces particuliers; par exemple des sous-espaces correspondants au maintien d'une valeur particulière.Plus généralement, nous montrons que ces conceptors peuvent non seulement maintenir des informations, ils peuvent aussi maintenir des fonctions.Dans le cas du calcul mental évoqué précédemment, ces conceptors permettent alors de se rappeler et d'appliquer l'opération à effectuer sur les différentes entrées données au système.Ces conceptors permettent donc d'instancier une mémoire de type procédural en complément de la mémoire de travail de type déclaratif.Nous concluons ce travail en remettant en perspective ce modèle théorique vis à vis de la biologie et des neurosciences
Working memory can be defined as the ability to temporarily store and manipulate information of any kind.For example, imagine that you are asked to mentally add a series of numbers.In order to accomplish this task, you need to keep track of the partial sum that needs to be updated every time a new number is given.The working memory is precisely what would make it possible to maintain (i.e. temporarily store) the partial sum and to update it (i.e. manipulate).In this thesis, we propose to explore the neuronal implementations of this working memory using a limited number of hypotheses.To do this, we place ourselves in the general context of recurrent neural networks and we propose to use in particular the reservoir computing paradigm.This type of very simple model nevertheless makes it possible to produce dynamics that learning can take advantage of to solve a given task.In this job, the task to be performed is a gated working memory task.The model receives as input a signal which controls the update of the memory.When the door is closed, the model should maintain its current memory state, while when open, it should update it based on an input.In our approach, this additional input is present at all times, even when there is no update to do.In other words, we require our model to be an open system, i.e. a system which is always disturbed by its inputs but which must nevertheless learn to keep a stable memory.In the first part of this work, we present the architecture of the model and its properties, then we show its robustness through a parameter sensitivity study.This shows that the model is extremely robust for a wide range of parameters.More or less, any random population of neurons can be used to perform gating.Furthermore, after learning, we highlight an interesting property of the model, namely that information can be maintained in a fully distributed manner, i.e. without being correlated to any of the neurons but only to the dynamics of the group.More precisely, working memory is not correlated with the sustained activity of neurons, which has nevertheless been observed for a long time in the literature and recently questioned experimentally.This model confirms these results at the theoretical level.In the second part of this work, we show how these models obtained by learning can be extended in order to manipulate the information which is in the latent space.We therefore propose to consider conceptors which can be conceptualized as a set of synaptic weights which constrain the dynamics of the reservoir and direct it towards particular subspaces; for example subspaces corresponding to the maintenance of a particular value.More generally, we show that these conceptors can not only maintain information, they can also maintain functions.In the case of mental arithmetic mentioned previously, these conceptors then make it possible to remember and apply the operation to be carried out on the various inputs given to the system.These conceptors therefore make it possible to instantiate a procedural working memory in addition to the declarative working memory.We conclude this work by putting this theoretical model into perspective with respect to biology and neurosciences

Mes travaux de thèse s'intéressent à l'utilisation de nouvelles technologies d'intelligence artificielle appliquées à la problématique de la classification automatique des séquences audios selon l'état émotionnel du client au cours d'une conversation avec un téléconseiller. En 2016, l'idée est de se démarquer des prétraitements de données et modèles d'apprentissage automatique existant au sein du laboratoire, et de proposer un modèle qui soit le plus performant possible sur la base de données audios IEMOCAP. Nous nous appuyons sur des travaux existants sur les modèles de réseaux de neurones profonds pour la reconnaissance de la parole, et nous étudions leur extension au cas de la reconnaissance des émotions dans la voix. Nous nous intéressons ainsi à l'architecture neuronale bout-en-bout qui permet d'extraire de manière autonome les caractéristiques acoustiques du signal audio en vue de la tâche de classification à réaliser. Pendant longtemps, le signal audio est prétraité avec des indices paralinguistiques dans le cadre d'une approche experte. Nous choisissons une approche naïve pour le prétraitement des données qui ne fait pas appel à des connaissances paralinguistiques spécialisées afin de comparer avec l'approche experte. Ainsi le signal audio brut est transformé en spectrogramme temps-fréquence à l'aide d'une transformée de Fourier à court-terme. Exploiter un réseau neuronal pour une tâche de prédiction précise implique de devoir s'interroger sur plusieurs aspects. D'une part, il convient de choisir les meilleurs hyperparamètres possibles. D'autre part, il faut minimiser les biais présents dans la base de données (non discrimination) en ajoutant des données par exemple et prendre en compte les caractéristiques de la base de données choisie. Le but est d'optimiser le mieux possible l'algorithme de classification. Nous étudions ces aspects pour une architecture neuronale bout-en-bout qui associe des couches convolutives spécialisées dans le traitement de l'information visuelle, et des couches récurrentes spécialisées dans le traitement de l'information temporelle. Nous proposons un modèle d'apprentissage supervisé profond compétitif avec l'état de l'art sur la base de données IEMOCAP et cela justifie son utilisation pour le reste des expérimentations. Ce modèle de classification est constitué de quatre couches de réseaux de neurones à convolution et un réseau de neurones récurrent bidirectionnel à mémoire court-terme et long-terme (BLSTM). Notre modèle est évalué sur deux bases de données audios anglophones proposées par la communauté scientifique : IEMOCAP et MSP-IMPROV. Une première contribution est de montrer qu'avec un réseau neuronal profond, nous obtenons de hautes performances avec IEMOCAP et que les résultats sont prometteurs avec MSP-IMPROV. Une autre contribution de cette thèse est une étude comparative des valeurs de sortie des couches du module convolutif et du module récurrent selon le prétraitement de la voix opéré en amont : spectrogrammes (approche naïve) ou indices paralinguistiques (approche experte). À l'aide de la distance euclidienne, une mesure de proximité déterministe, nous analysons les données selon l'émotion qui leur est associée. Nous tentons de comprendre les caractéristiques de l'information émotionnelle extraite de manière autonome par le réseau. L'idée est de contribuer à une recherche centrée sur la compréhension des réseaux de neurones profonds utilisés en reconnaissance des émotions dans la voix et d'apporter plus de transparence et d'explicabilité à ces systèmes dont le mécanisme décisionnel est encore largement incompris
This thesis deals with the application of artificial intelligence to the automatic classification of audio sequences according to the emotional state of the customer during a commercial phone call. The goal is to improve on existing data preprocessing and machine learning models, and to suggest a model that is as efficient as possible on the reference IEMOCAP audio dataset. We draw from previous work on deep neural networks for automatic speech recognition, and extend it to the speech emotion recognition task. We are therefore interested in End-to-End neural architectures to perform the classification task including an autonomous extraction of acoustic features from the audio signal. Traditionally, the audio signal is preprocessed using paralinguistic features, as part of an expert approach. We choose a naive approach for data preprocessing that does not rely on specialized paralinguistic knowledge, and compare it with the expert approach. In this approach, the raw audio signal is transformed into a time-frequency spectrogram by using a short-term Fourier transform. In order to apply a neural network to a prediction task, a number of aspects need to be considered. On the one hand, the best possible hyperparameters must be identified. On the other hand, biases present in the database should be minimized (non-discrimination), for example by adding data and taking into account the characteristics of the chosen dataset. We study these aspects in order to develop an End-to-End neural architecture that combines convolutional layers specialized in the modeling of visual information with recurrent layers specialized in the modeling of temporal information. We propose a deep supervised learning model, competitive with the current state-of-the-art when trained on the IEMOCAP dataset, justifying its use for the rest of the experiments. This classification model consists of a four-layer convolutional neural networks and a bidirectional long short-term memory recurrent neural network (BLSTM). Our model is evaluated on two English audio databases proposed by the scientific community: IEMOCAP and MSP-IMPROV. A first contribution is to show that, with a deep neural network, we obtain high performances on IEMOCAP, and that the results are promising on MSP-IMPROV. Another contribution of this thesis is a comparative study of the output values ​​of the layers of the convolutional module and the recurrent module according to the data preprocessing method used: spectrograms (naive approach) or paralinguistic indices (expert approach). We analyze the data according to their emotion class using the Euclidean distance, a deterministic proximity measure. We try to understand the characteristics of the emotional information extracted autonomously by the network. The idea is to contribute to research focused on the understanding of deep neural networks used in speech emotion recognition and to bring more transparency and explainability to these systems, whose decision-making mechanism is still largely misunderstood

Dans le domaine du contrôle, la plupart des applications nécessitent une commande continue non-périodique. Ce travail se focalise au contraire sur les contrôleurs à base de réseaux de neurones récurrents (RNR) générant une commande oscillatoire entretenue. L'objectif de ce travail est d'étudier les méthodes d'optimisation stochastiques continues permettant de déterminer les paramètres d'un réseau pour qu'il produise un comportement oscillatoire périodique. Nous dressons tout d'abord un bilan des connaissances sur les oscillateurs biologiques. Nous décrirons ensuite des outils mathématiques qui permettent de garantir la stabilité des oscillateurs. Le potentiel des RNR, particulièrement appliqués aux systèmes dynamiques, n'étant encore que très peu exploité, nous proposerons pour chaque méthode, une formalisation générale matricielle détaillée et préciserons la complexité des algorithmes. Nous validerons chacune de ces méthodes à l'aide d'un simple oscillateur, en démontrant analytiquement la stabilité du système résultant, et en montrant dans quelle mesure il est robuste face aux perturbations de ses paramètres. Nous comparerons les différentes méthodes sur ces critères ainsi que sur la vitesse de convergence. Nous terminerons cette thèse par une illustration, dans laquelle nous réaliserons toutes les étapes de la construction d'un contrôleurs oscillatoire neuronal, pour commander l'axe de direction d'un véhicule original. Ceci nous permettra de discuter de la viabilité des réseaux de neurones récurrents dans le domaine de contrôle oscillatoire, et de soulever des questions intéressantes
In the control field, most of the applications need a non-oscillatory continuous control. This work focuses instead on controllers with recurrent neural networks (RNN) which generate a periodic oscillatory control. The purpose of the present work is to study stochastic optimisation methods which can be used to discover the parameters of a network so that it generates a cyclic input. First we take a look at the knowledge about biological oscillators. Tthen we describe the mathematical tools to be able to guarantee the stability oscillators. The potential of RNN, especially applied to dynamical systems being still poorly used, we propose for each method, a general detailed matrix formalization and we precise the computational complexity of the methods. We validate each method using a simple example of oscillator, and we demonstrate analytically the stability of the resulting oscillator, but also how it is robust to parameters perturbations. We then compare these different methods with these criteria and the speed of convergence. We finish this thesis with an illustration, where we take all the steps of the construction of an oscillatory neural controller, to control the axis of direction of a particular vehicle. This will let us discuss how realistic is the use of recurrent neural networks in the field of control, and propose interesting questions

Le but de ce travail a été d'évaluer les possibilités d'application des réseaux connexionnistes aux taches de haut niveau comme le traitement du langage naturel (tln). Un travail de réflexion a permis de cerner les types de réseaux et les techniques de représentation propices à ce domaine d'application. Deux réseaux de la classe des réseaux récurrents à couches ont été sélectionnés pour des études approfondies: le simple récurrent network et le time-unfolding network (tun). Le perceptron multicouches a servi d'étalon. Un domaine d'application mettant à l'épreuve la mémoire et les capacités de représentation des réseaux a aussi été choisi: la prédiction de séquences non déterministes. Un outil de simulation graphique, Baptise Simon, a été crée pour l'étude. Le travail empirique a consisté en trois séries d'expériences qui ont pour but d'étudier les capacités de réseaux dans des conditions se rapprochant progressivement du traitement d'énoncés réels. Cette étude a été approfondie par l'analyse des représentations développées par les réseaux durant leur traitement. Cette recherche semble montrer que les réseaux récurrents ont le potentiel de développer des représentations complexes, ce qui leur permet de traiter de façon efficace les taches qui leur ont été données. En particulier, les performances des tuns dépassent, dans le meilleur des cas, celles de nos meilleurs outils de comparaison. En conclusion, les réseaux récurrents à couches ont une utilité immédiate à la frontière entre la parole (ou l'information est généralement bruitée et incomplète) et le langage (ou les représentations symboliques pures supportent mal ce type d'imprécision). De plus, si un important travail de recherche reste encore à faire, les résultats obtenus permettent d'espérer l'application future de ces réseaux à des taches plus évoluées du tln

Ce chapitre traite des méthodes d’analyse de séries chronologiques denses en télédétection. Il présente les principales exigences en termes de prétraitements des données, puis un aperçu des quatre principaux axes en détection de changement basée sur l'analyse de séries chronologiques denses : carte de classification, classification de trajectoire, frontières statistiques et approches d'ensemble. Il fournit aussi les détails sur deux des algorithmes les plus largement utilisés dans ce contexte d’analyse. Il aborde également la question de l'apprentissage profond pour la télédétection, en détaillant trois types d'architectures de réseau adaptées à l'analyse de séries chronologiques d'images satellitaires : les réseaux de neurones récurrents, les réseaux de neurones convolutifs et les modèles hybrides combinant ces deux derniers modèles de réseau.

Les réseaux de neurones convolutifs (CNN) utilisés pour l’analyse des signaux vidéo sont très gourmands en calculs. De telles applications embarquées nécessitent des implémentations efficaces en termes de coût et de puissance. Ce chapitre présente une solution basée sur un processeur de jeu d’instructions spécifique à l’application (ASIP) qui représente un bon compromis entre efficacité et programmabilité.

Ce chapitre étudie les capacités de généralisation d’une bibliothèque de réseaux de neurones convolutifs pour la classification d’états de surface terrestre dans le temps, avec une granularité variable sur la nature des états. L’ensemble de données utilisé pour réaliser cette étude est constitué d'images à sémantique descriptible au sens de propriétés géophysiques et des impacts des conditions météorologiques en zone de glaciers.

Ce chapitre traite l'extraction d'attributs à partir d'ondelettes et de filtres ConvNet (réseaux de neurones à convolution) pour l'analyse non supervisée de séries chronologiques d'images. Nous exploitons les capacités des ondelettes et des filtres neuro-convolutifs à capturer des propriétés d'invariance non-triviales, ainsi que les nouvelles solutions de centroïdes proposées dans ce chapitre, pour l'analyse d'attributs de hauts niveaux par entropie relative. La détection d'anomalies et le clustering fonctionnel d'évolution sont développés à partir de ce cadre.

« L’intelligence artificielle connaît un essor fulgurant depuis ces dernières années. Lapprentissage automatique et plus précisément lapprentissage profond grâce aux réseaux de neurones convolutifs ont permis des avancées majeures dans le domaine de la reconnaissance des formes. Cette présentation fait suite à mon travail de thèse. La première partie retrace lhistorique et décrit les principes de fonctionnement de ces réseaux. La seconde présente une revue de la littérature de leurs applications dans la pratique médicale de plusieurs spécialités, pour des tâches diagnostiques nécessitant une démarche visuelle (classification dimages et détection de lésions). Quinze articles, évaluant les performances de ces solutions dautomatisation, ont été analysés. La troisième partie est une discussion à propos des perspectives et des limites présentées par les réseaux de neurones convolutifs, ainsi que leurs possibles applications en chirurgie orale. »