Добірка наукової літератури з теми "Réseaux de neurones non supervisé"

La modélisation pluie-débit au pas de temps mensuel, a été étudiée par le biais de quatre modèles qui appartiennent à deux catégories, les modèles conceptuels (modèles à réservoirs), et les modèles basés sur les réseaux de neurones, et la logique floue Les modèles conceptuels mensuels utilisés sont les modèles de Thornthwaite et Arnell et le modèle GR2M, ainsi que deux modèles représentés par les réseaux de neurones à apprentissage supervisé et le modèle neuro-flou qui combine une méthode d'optimisation neuronale et une logique floue. Une application de ces modèles a été effectuée sur le bassin de la Cheffia (Nord-Est Algérien), et a confirmé les performances du modèle basé sur la logique floue. Par sa robustesse et son pouvoir d'extrapolation non-linéaire, ce modèle a donné d'excellents résultats, et représente donc une nouvelle approche de la modélisation pluie-débit au pas de temps mensuel.

La coagulation est l’une des étapes les plus importantes dans le traitement des eaux. La difficulté principale est de déterminer la dose optimale de coagulant à injecter en fonction des caractéristiques de l’eau brute. Un mauvais contrôle de ce procédé peut entraîner une augmentation importante des coûts de fonctionnement et le non-respect des objectifs de qualité en sortie de la station de traitement. Le sulfate d’aluminium (Al2SO4.18H2O) est le réactif coagulant le plus généralement utilisé. La détermination de la dose de coagulant se fait au moyen de l’essai dit de « Jar Test » conduit en laboratoire. Ce type d’approche a le désavantage d’avoir un temps de retard relativement long et ne permet donc pas un contrôle automatique du procédé de coagulation. Le présent article décrit un modèle neuro flou de type Takagi Sugeno (TK), développé pour la prédiction de la dose de coagulant utilisée lors de la phase de clarification dans la station de traitement des eaux de Boudouaou qui alimente la ville d’Alger en eau potable. Le modèle ANFIS (système d’inférence flou à base de réseaux de neurones adaptatifs), qui combine les techniques floues et neuronales en formant un réseau à apprentissage supervisé, a été appliqué durant la phase de calage et testé en période de validation. Les résultats obtenus par le modèle ANFIS ont été comparés avec ceux obtenus avec un réseau de neurones de type perceptron multicouche (MLP) et un troisième modèle à base de regression linéaire multiple (MLR). Un coefficient de détermination (R2) de l’ordre de 0,92 en période de validation a été obtenu avec le modèle ANFIS, alors que pour le MLP, il est de l’ordre de 0,75, et que pour le modèle MLR, il ne dépasse pas 0,35. Les résultats obtenus sont d’une grande importance pour la gestion de l’installation.

Le principal problème auquel font face les banques lors de la décision de l’octroi de crédit est leur incapacité à déterminer avec certitude si le client va honorer ou non ses engagements. Depuis toujours, cette décision de l’octroi du crédit repose sur l’évaluation préalable de l’agent de crédit. En effet, une détection précoce des difficultés de l’entreprise se fait à l’aide des outils de prévision du risque de défaillance qui s’appuient tous sur l’analyse du passé pour prédire l’avenir de l’entreprise. Cette analyse repose essentiellement sur l’exploitation des états de synthèse de l’entreprise qui restent une source d’informations incontournable pour la détection des difficultés des entreprises. Parmi ces méthodes de prévision, on trouve les réseaux de neurones artificiels. Cette technique est utilisée dans de nombreuses disciplines notamment la médecine, le marketing, la finance et constitue une alternative intéressante aux techniques statistiques traditionnelles pour le traitement des données comme (la régression logistique, analyse discriminante, etc..).

Identifier tous les processus physiques élémentaires du cycle hydrologique qui peuvent avoir lieu dans un bassin versant et attribuer à chacun d'eux une description analytique permettant la prévision conduisent à des structures complexes employant un nombre élevé de paramètres difficilement accessibles. En outre, ces processus, même simplifiés, sont généralement non linéaires. Le recours à des modèles à faible nombre de variables, capables de traiter la non-linéarité, s'avère nécessaire. C'est dans cette optique que nous proposons une méthode de modélisation de la relation pluie et débit basée sur l'utilisation de réseaux neuronaux. Les performances de ces derniers dans la modélisation non linéaire ont été déjà prouvées dans plusieurs domaines scientifiques (biologie, géologie, chimie, physique). Dans ce travail, nous utilisons l'algorithme de la rétropropagation des erreurs avec un réseau à 3 couches de neurones. La fonction de transfert appliquée est de type sigmoïde. Pour prédire le débit à un moment donné, on présente à l'entrée du réseau des valeurs de pluies et de débits observés à des instants précédents. La structure du réseau est optimisée pour obtenir une bonne capacité prévisionnelle sur des données n'ayant pas participé au calage. L'application du réseau à des données pluviométriques et débimétriques du bassin de l'oued Beth permet d'obtenir de bonnes prévisions d'un ou plusieurs pas de temps, aussi bien journalières qu'hebdomadaires. Pour les données n'ayant pas participé au calage, les coefficients de corrélation entre les valeurs observées et les valeurs estimées par les différents modèles sont élevés. Ils varient de 0.72 à 0.91 pour les coefficients de corrélation de Pearson et de 0.73 à 0.95 pour les coefficients de Spearman.

L'application du modèle de Muskingum pour simuler l'écoulement à surface libre dans les canaux d'irrigation a été largement utilisée et validée. Par extension, ce modèle est également employé pour simuler les écoulements en réseau d'assainissement. Or, nous avons pu montrer des erreurs allant jusqu'à 80% du débit de pointe entre le modèle de Muskingum à paramètres fixes et le modèle de référence de Barré de Saint-Venant. Nous proposons une nouvelle paramétrisation du modèle de Muskingum pour l'écoulement en collecteur circulaire en réseau d'assainissement et ceci pour un large domaine de longueurs, pentes et diamètres de collecteurs. Ce nouveau modèle non-linéaire a été calé par minimisation d'une fonction objectif traduisant la proximité du modèle proposé avec les résultats de la résolution des équations de Barré de Saint-Venant pour des hydrogrammes rectangulaires. Un réseau de neurones a été utilisé pour paramétrer le modèle. Cette nouvelle application des équations de Muskingum permet l'obtention d'erreurs relatives moyennes inférieures à 6% sur la valeur et l'instant du débit de pointe, ceci dans le cas de collecteurs ayant jusqu'à 6500 m de longueur, des pentes variant entre 0.5% et 1% et des diamètres entre 150 et 2500 mm et des hydrogrammes de débit de pointe proche de la capacité du collecteur. Le modèle a également été validé sur un hydrogramme de forme quelconque.

Dans le domaine de la prévision des débits, une grande variété de méthodes sont disponibles: des modèles stochastiques et conceptuels mais aussi des approches plus novatrices telles que les réseaux de neurones artificiels, les modèles à base de règles floues, la méthode des k plus proches voisins, la régression floue et les splines de régression. Après avoir effectué une revue détaillée de ces méthodes et de leurs applications récentes, nous proposons une classification qui permet de mettre en lumière les différences mais aussi les ressemblances entre ces approches. Elles sont ensuite comparées pour les problèmes différents de la prévision à court, moyen et long terme. Les recommandations que nous effectuons varient aussi avec le niveau d'information a priori. Par exemple, lorsque l'on dispose de séries chronologiques stationnaires de longue durée, nous recommandons l'emploi de la méthode non paramétrique des k plus proches voisins pour les prévisions à court et moyen terme. Au contraire, pour la prévision à plus long terme à partir d'un nombre restreint d'observations, nous suggérons l'emploi d'un modèle conceptuel couplé à un modèle météorologique basé sur l'historique. Bien que l'emphase soit mise sur le problème de la prévision des débits, une grande partie de cette revue, principalement celle traitant des modèles empiriques, est aussi pertinente pour la prévision d'autres variables.

L'apparition de capteurs d'observation de la terre ayant une haute résolution spatiale a permis la réalisation de beaucoup d'applications liées à l'analyse de la surface terrestre ou de l'environnement comme le suivi de la végétation, la mise à jour de la cartographie et aussi la gestion des risques.Il existe plusieurs approches pour la détection de changement en imagerie : des méthodes qui se sont fondées sur l'analyse par vecteurs de changement, les détecteurs simples et la régression, des méthodes d'analyse de texture, d'analyse en composantes principales, d'analyse de formes, de différence de l'indice de végétation, et des ondelettes et finalement les méthodes de classification multi-dates directes, de comparaison post classification et de comparaison post classification flou, d'intelligence artificielle, de réseaux artificiels de neurones et des systèmes experts.\\ La détection de changement peut se faire entre deux images ayant différentes dates, tandis que le suivi de l'évolution de l'occupation du sol se fait à partir d'une multitude d'images multidates.L'application de l'approche a contrario en traitement d'images, repose sur la détection de structures non attendues. Ainsi, on peut détecter des "évènements" sans faire d'hypothèse sur la forme de ces événements, ce qui justifie le qualitatif de détection a contrario.Au cours de ce travail, nous avons appliqué l'approche a contrario pour faire le suivi de l'évolution de l'occupation du sol en combinant plusieurs indicateurs de changement.

Résumé Fréquemment, les chercheurs ont conceptualisé le conflit travail-famille de façon bidirectionnelle : l’étude des effets de la vie professionnelle à l’endroit de la vie de famille (appelé conflit travail-famille) et celle des effets de la vie de famille à l’égard de la vie d’emploi (appelé conflit famille-travail). Toutefois, les résultats inhérents aux recherches basées sur cette conceptualisation se sont avérés controversés. Autrement dit, très peu d’effort a été déployé afin de différencier entre les effets des différentes formes de ce conflit. Pourtant, Greenhaus et Beutell (1985) en ont proposé une conceptualisation multidimensionnelle, en ajoutant aux deux dimensions directionnelles trois autres supplémentaires liées au conflit de temps, d’effort et de comportement. Ainsi, notre recherche répond à la question générale suivante: la conceptualisation multidimensionnelle du conflit travail-famille est-elle plus efficace pour cerner la réalité de ce phénomène que la conceptualisation bidirectionnelle ? À partir d’un échantillon de 375 sujets provenant du personnel infirmier d’un centre hospitalier, nous avons privilégié une conceptualisation multidimensionnelle dudit conflit (Greenhaus et Beutell, 1985), et ce, afin d’identifier les effets spécifiques aux diverses dimensions de ce conflit. Pour ce faire, nous avons utilisé l’analyse en termes des cartes autoorganisatrices de Kohonen (SOM), cartes qui sont basées sur un réseau de neurones résultant de la méthode d’apprentissage non supervisée (Kohonen, 2001). Les résultats de l’analyse neuronale indiquent qu’il y a six formes de conflit. Deux d’entre elles paraissent générer des effets similaires à ceux obtenus selon la conceptualisation bidirectionnelle (conflit à haute intensité versus conflit à basse intensité), tandis que les quatre autres formes apparaissent engendrer des effets spécifiques, justifiant la nécessité d’appliquer la conceptualisation multidimensionnelle préconisée. En outre, l’analyse de variance appliquée aux données a révélé plusieurs différences significatives entre les six formes de ce conflit et des variables externes liées à des facteurs explicatifs dudit conflit, ainsi qu’à ses conséquences. Cette nouvelle taxonomie, basée sur la conceptualisation multidimensionnelle des conflits travail-famille, contribue à une meilleure compréhension de l’interférence entre la sphère de la vie familiale et celle de la vie professionnelle, en identifiant les formes spécifiques du conflit travail-famille au niveau desquelles une ou plusieurs sources de conflictualité sont en action. Des avenues de recherche et des implications managériales sont déduites à la lumière des résultats enregistrés.

Dans cette thèse nous tentons de donner un sens mathématique à la proposition : le néocortex se construit un modèle de son environnement. Nous considérons que le néocortex est un réseau de neurones spikants dont la connectivité est soumise à une lente évolution appelée apprentissage. Dans le cas où le nombre de neurones est proche de l'infini, nous proposons une nouvelle méthode de champ-moyen afin de trouver une équation décrivant l'évolution du taux de décharge de populations de neurones. Nous étudions donc la dynamique de ce système moyennisé avec apprentissage. Dans le régime où l'apprentissage est beaucoup plus lent que l'activité du réseau nous pouvons utiliser des outils de moyennisation temporelle pour les systèmes lents/rapides. Dans ce cadre mathématique nous montrons que la connectivité du réseau converge toujours vers une unique valeur d'équilibre que nous pouvons calculer explicitement. Cette connectivité regroupe l'ensemble des connaissances du réseau à propos de son environnement. Nous comparons cette connectivité à l'équilibre avec les stimuli du réseau. Considérant que l'environnement est solution d'un système dynamique quelconque, il est possible de montrer que le réseau encode la totalité de l'information nécessaire à la définition de ce système dynamique. En effet nous montrons que la partie symétrique de la connectivité correspond à la variété sur laquelle est définie le système dynamique de l'environnement, alors que la partie anti-symétrique de la connectivité correspond au champ de vecteur définissant le système dynamique de l'environnement. Dans ce contexte il devient clair que le réseau agit comme un prédicteur de son environnement.

Après avoir étudié différents modèles de RNA et les règles d'apprentissage en mode non supervisé, il est proposé une nouvelle règle, l'apprentissage compétitif avec un pas inverse, pour résoudre les problèmes provoqués par les données aberrantes. Il est proposé également une modification du réseau ART1 pour résoudre le problème du mauvais codage d'un prototype sur-ensemble. Après avoir constaté qu'un réseau en deux couches comme ART2 ne peut classifier correctement que les données de structure simple, nous avons développé un réseau NéoART, qui est basé sur une variante du réseau ART2 et combine l'apprentissage non-supervisé et supervisé pour améliorer les performances dans le cas où un ensemble d'apprentissage exhaustif n'est pas disponible, et une méthode de classification non supervisée, l'arbre de relation maximale, pour dépasser la limite intrinsèque des réseaux en deux couches.

La prévision des séries temporelles est un problème qui est traité depuis de nombreuses années. On y trouve des applications dans différents domaines tels que : la finance, la médecine, le transport, etc. Dans cette thèse, on s’est intéressé aux méthodes issues de l’apprentissage artificiel : les réseaux de neurones et les SVM. On s’est également intéressé à l’intérêt des méta-méthodes pour améliorer les performances des prédicteurs, notamment l’approche locale. Dans une optique de diviser pour régner, les approches locales effectuent le clustering des données avant d’affecter les prédicteurs aux sous ensembles obtenus. Nous présentons une modification dans l’algorithme d’apprentissage des réseaux de neurones récurrents afin de les adapter à cette approche. Nous proposons également deux nouvelles techniques de clustering, la première basée sur les cartes de Kohonen et la seconde sur les arbres binaires
Time series forecasting is a widely discussed issue for many years. Researchers from various disciplines have addressed it in several application areas : finance, medical, transportation, etc. In this thesis, we focused on machine learning methods : neural networks and SVM. We have also been interested in the meta-methods to push up the predictor performances, and more specifically the local models. In a divide and conquer strategy, the local models perform a clustering over the data sets before different predictors are affected into each obtained subset. We present in this thesis a new algorithm for recurrent neural networks to use them as local predictors. We also propose two novel clustering techniques suitable for local models. The first is based on Kohonen maps, and the second is based on binary trees

La découverte d'unités linguistiques élémentaires (phonèmes, mots) uniquement à partir d'enregistrements sonores est un problème non-résolu qui suscite un fort intérêt de la communauté du traitement automatique de la parole, comme en témoignent les nombreuses contributions récentes de l'état de l'art. Durant cette thèse, nous nous sommes concentrés sur l'utilisation de réseaux de neurones pour répondre au problème. Nous avons approché le problème en utilisant les réseaux de neurones de manière supervisée, faiblement supervisée et multilingue. Nous avons ainsi développé des outils de segmentation automatique en phonèmes et de classification phonétique fondés sur des réseaux de neurones convolutifs. L'outil de segmentation automatique a obtenu 79% de F-mesure sur le corpus de parole conversationnelle en anglais BUCKEYE. Ce résultat est similaire à un annotateur humain d'après l'accord inter-annotateurs fourni par les créateurs du corpus. De plus, il n'a pas besoin de beaucoup de données (environ une dizaine de minutes par locuteur et 5 locuteurs différents) pour être performant. De plus, il est portable à d'autres langues (notamment pour des langues peu dotées telle que le xitsonga). Le système de classification phonétique permet de fixer les différents paramètres et hyperparamètres utiles pour un scénario non supervisé. Dans le cadre non supervisé, les réseaux de neurones (Auto-Encodeurs) nous ont permis de générer de nouvelles représentations paramétriques, concentrant l'information de la trame d'entrée et ses trames voisines. Nous avons étudié leur utilité pour la compression audio à partir du signal brut, pour laquelle ils se sont montrés efficaces (faible taux de RMS, même avec une compression de 99%). Nous avons également réalisé une pré-étude novatrice sur une utilisation différente des réseaux de neurones, pour générer des vecteurs de paramètres non pas à partir des sorties des couches mais des valeurs des poids des couches. Ces paramètres visent à imiter les coefficients de prédiction linéaire (Linear Predictive Coefficients, LPC). Dans le contexte de la découverte non supervisée d'unités similaires à des phonèmes (dénommées pseudo-phones dans ce mémoire) et la génération de nouvelles représentations paramétriques phonétiquement discriminantes, nous avons couplé un réseau de neurones avec un outil de regroupement (k-means). L'alternance itérative de ces deux outils a permis la génération de paramètres phonétiquement discriminants pour un même locuteur : de faibles taux d'erreur ABx intra-locuteur de 7,3% pour l'anglais, 8,5% pour le français et 8,4% pour le mandarin ont été obtenus. Ces résultats permettent un gain absolu d'environ 4% par rapport à la baseline (paramètres classiques MFCC) et sont proches des meilleures approches actuelles (1% de plus que le vainqueur du Zero Ressource Speech Challenge 2017). Les résultats inter-locuteurs varient entre 12% et 15% suivant la langue, contre 21% à 25% pour les MFCC
The discovery of elementary linguistic units (phonemes, words) only from sound recordings is an unresolved problem that arouses a strong interest from the community of automatic speech processing, as evidenced by the many recent contributions of the state of the art. During this thesis, we focused on using neural networks to answer the problem. We approached the problem using neural networks in a supervised, poorly supervised and multilingual manner. We have developed automatic phoneme segmentation and phonetic classification tools based on convolutional neural networks. The automatic segmentation tool obtained 79% F-measure on the BUCKEYE conversational speech corpus. This result is similar to a human annotator according to the inter-annotator agreement provided by the creators of the corpus. In addition, it does not need a lot of data (about ten minutes per speaker and 5 different speakers) to be effective. In addition, it is portable to other languages (especially for poorly endowed languages such as xitsonga). The phonetic classification system makes it possible to set the various parameters and hyperparameters that are useful for an unsupervised scenario. In the unsupervised context, the neural networks (Auto-Encoders) allowed us to generate new parametric representations, concentrating the information of the input frame and its neighboring frames. We studied their utility for audio compression from the raw signal, for which they were effective (low RMS, even at 99% compression). We also carried out an innovative pre-study on a different use of neural networks, to generate vectors of parameters not from the outputs of the layers but from the values of the weights of the layers. These parameters are designed to mimic Linear Predictive Coefficients (LPC). In the context of the unsupervised discovery of phoneme-like units (called pseudo-phones in this memory) and the generation of new phonetically discriminative parametric representations, we have coupled a neural network with a clustering tool (k-means ). The iterative alternation of these two tools allowed the generation of phonetically discriminating parameters for the same speaker: low rates of intra-speaker ABx error of 7.3% for English, 8.5% for French and 8 , 4% for Mandarin were obtained. These results allow an absolute gain of about 4% compared to the baseline (conventional parameters MFCC) and are close to the best current approaches (1% more than the winner of the Zero Resource Speech Challenge 2017). The inter-speaker results vary between 12% and 15% depending on the language, compared to 21% to 25% for MFCCs

L'idée de base de la classification interactive consiste à fournir à l'opérateur humain une représentation plane des données multidimensionnelles et un ensemble d'outils lui permettant de découvrir des groupements ou classes au sein de la population étudiée. Dans ce mémoire, nous étudions l'apport des réseaux de neurones à apprentissage compétitif dans le cadre de la classification interactive non supervisée. Après avoir abordé de manière succincte les méthodes de classification statistiques et neuronales dans le chapitre 1, nous présentons de manière détaillée les réseaux de neurones à apprentissage compétitif et les améliorations apportées ces dernières années dans le chapitre 2. Le chapitre 3 est consacré à la projection plane non linéaire par la carte de kohonen. Chaque neurone de la carte est représenté sous la forme d'un pixel sur 6'écran d'un ordinateur. Le niveau de gris d'un pixel reflète la position relative du vecteur poids du neurone dans l'espace d'observation. Nous proposons dans le chapitre 4, une méthodologie intégrant différentes méthodes de projection et des outils logiciels pour aider l'analyste dans sa tache de classification. Le dernier chapitre applique la démarche adoptée sur un exemple réel tire de la biométrie des abeilles et sur des exemples artificiels non linéairement séparables

La reconnaissance de motifs est une tâche cruciale pour les êtres vivants, exécutée avec efficacité par le cerveau. Les réseaux de neurones profonds artificiels reproduisent de mieux en mieux ces performances, avec des applications telles que la reconnaissance d’images ou le traitement du langage. Ils nécessitent cependant un apprentissage intensif sur de grands jeux de données et couteux en calculs. Les réseaux de neurones à impulsions, plus proches du fonctionnement du cerveau avec des neurones émettant des impulsions et des lois d’apprentissage dites STDP dépendant du temps entre deux impulsions, constituent une alternative intéressante. Ils permettent un apprentissage non supervisé et ont déjà été utilisés pour la reconnaissance visuelle ou auditive, mais les applications restent limitées par rapport à l’apprentissage profond classique. Il est d’autant plus intéressant de développer de nouvelles applications pour ces réseaux qu’ils peuvent être implémentés sur des circuits neuromorphiques connaissant aujourd’hui des développements importants, notamment avec les composants analogiques « memristifs » qui miment la plasticité synaptique. Ici, nous avons choisi de développer un réseau STDP pour un problème crucial en neuroscience: le spike-sorting. Les implants cérébraux composés de matrices de microélectrode permettent d’enregistrer l’activité individuelle de multiples neurones, prenant la forme de pics de potentiel dans le signal, appelés potentiels d’action. Une même électrode enregistre l’activité de plusieurs neurones. Le spike-sorting a pour but de détecter et trier cette activité, en utilisant le fait que la forme d’un potentiel d’action dépend du neurone qui l’a émis. Il s’agit donc d’un problème de reconnaissance de motifs non supervisée. Les méthodes classiques de spike-sorting consistent en trois étapes : la détection des potentiels d’action, l’extraction de traits caractéristiques de leurs formes, et le tri de ces caractéristiques en groupes correspondant alors aux différentes cellules neurales. Bien que les méthodes onlines existent, les méthodes les plus répandues nécessitent un traitement offline, qui n’est pas compatible avec les applications temps réelles telles que les interfaces cerveau-machine (BCI). De plus, le développement de matrices de microélectrodes toujours plus denses nécessite des méthodes automatiques et efficaces. Utiliser un réseau STDP apporte une nouvelle méthode pour répondre à ces besoins. Le réseau que nous avons conçu prend en entrée le signal de l’électrode et produit en sortie un train d’impulsions qui correspond à l’activité des cellules enregistrées. Il est organisé en différentes couches, connectées en série, chacune effectuant une étape du traitement. La première couche, constituée de neurones senseurs, convertit le signal d’entrée en train d’impulsions. Les couches suivantes apprennent les motifs générés par la couche précédente grâce aux lois STDP. Chaque couche est améliorée par l’implémentation de différents mécanismes, tels que le STDP avec ressources, l’adaptation de seuil, la plasticité déclenchée par l’inhibition, ou un modèle de neurone déchargeant par rebond. Un mécanisme d’attention permet au réseau de ne traiter que les parties du signal contenant des potentiels d’action. Ce réseau a été conçu dans un premier temps pour traiter des données mono-électrode, puis adapté pour traiter des signaux provenant d’électrodes multiples. Il a été testé d’abord sur des données simulées qui permettent de comparer la sortie du réseau à la vérité, puis sur des enregistrements réels de microélectrodes associés à des enregistrements intracellulaires donnant une vérité partielle. Les différentes versions du réseau ont été ainsi évaluées et comparées à d’autres algorithmes, donnant des résultats très satisfaisants. Suite à ces résultats simulés sur ordinateur, nous avons travaillé à une implémentation FPGA, constituant une première étape vers une implémentation embarquée neuromorphique
Pattern recognition is a fundamental task for living beings and is perform very efficiently by the brain. Artificial deep neural networks are making quick progress in reproducing these performance and have many applications such as image recognition or natural language processing. However, they require extensive training on large datasets and heavy computations. A promising alternative are spiking neural networks, which closely mimic what happens in the brain, with spiking neurons and spike-timing dependent plasticity (STDP). They are able to perform unsupervised learning and have been used for visual or auditory pattern recognition. However, for now applications using STDP networks lag far behind classical deep learning. Developing new applications for this kind of networks is all the more at stake that they could be implemented in low power neuromorphic hardware that currently undergoes important developments, in particular with analog miniaturized memristive devices able to mimic synaptic plasticity. In this work, we chose to develop an STDP neural network to perform a specific task: spike-sorting, which is a crucial problem in neuroscience. Brain implants based on microelectrode arrays are able to record the activity of individual neurons, appearing in the recorded signal as peak potential variations called action potentials. However, several neurons can be recorded by the same electrode. The goal of spike-sorting is to extract and separate the activity of different neural cells from a common extracellular recording taking advantage of the fact that the shape of an action potential on an electrode depends on the neuron it stems from. Thus spike-sorting can be seen as an unsupervised pattern recognition task where the goal is to detect and classify different waveforms. Most classical spike-sorting approaches use three separated steps: detecting all action potentials in the signal, extract features characterizing their shapes, and separating these features into clusters that should correspond to different neural cells. Though online methods exists, most widespread spike-sorting methods are offline or require an offline preprocessing step, which is not compatible with online application such as Brain-computer interfaces (BCI). Moreover, the development of always larger microelectrode arrays creates a need for fully automatic and computationally efficient algorithms. Using an STDP network brings a new approach to meet these requirements. We designed a network that take the electrode signal as an input, and output spikes that correspond to the spiking activity of the recorded neural cells. It is organized into several layers, designed to achieve different processing steps, connected in feedforward way. The first layer, composed of neurons acting as sensory neurons, convert the input signal into spike train. The following layers are able to learn patterns from the previous layer thanks to STDP rules. Each layer implement different mechanisms that improve their performance, such as resource-dependent STDP, intrinsic plasticity, plasticity triggered by inhibition, or neuron models having rebound spiking properties. An attention mechanism has been implemented to make the network sensitive only to part of the signal containing action potentials. This network was first designed to process data from a single electrode, and then adapted to process data from multiple electrodes. It has been tested on simulated data, which allowed to compare the network output to the known ground truth, and also on real extracellular recordings associated with intracellular recordings that give an incomplete ground truth. Different versions of the network were evaluated and compared to other spike-sorting algorithms, and found to give very satisfying results. Following these software simulations, we initiated an FPGA implementation of the method, which constitutes a first step toward embedded neuromorphic implementation

L'objet de cette thèse est l'étude de diverses propriétés d'apprentissage à partir d'exemples par des méthodes de Physique Statistique, notamment, par la méthode des répliques. Des tâches supervisées, correspondant à la classification binaire de données, ainsi que des tâches non supervisées, comme l'estimation paramétrique d'une densité de probabilité, sont considérées. Dans la première partie, une approche variationnelle permet de déterminer la performance de l'apprentissage optimal d'une direction d'anisotropie, et de déduire une fonction de coût permettant d'obtenir ces performances optimales. Dans le cas de l'apprentissage supervisé d'une tâche linéairement séparable, des simulations numériques confirmant nos résultats théoriques ont permis de déterminer les effets de taille finie. Dans le cas d'une densité de probabilité constituée de deux gaussiennes, la performance de l'apprentissage optimal présente de nombreuses transitions de phases en fonction du nombre de données. Ces résultats soulèvent une controverse entre la théorie variationnelle et l'approche bayesienne de l'apprentissage optimal. Dans la deuxième partie, nous étudions deux approches différentes de l'apprentissage de tâches de classification complexes. La première approche considérée est celle des machines à exemples supports. Nous avons étudié une famille de ces machines pour laquelle les séparateurs linéaire et quadratique sont deux cas particuliers. La capacité, les valeurs typiques de la marge et du nombre d'exemples supports, sont déterminées. La deuxième approche considérée est celle d'une machine de parité apprenant avec un algorithme incrémental. Cet algorithme construit progressivement un réseau de neurones à une couche cachée. La capacité théorique obtenue pour l'algorithme considéré est proche de celle de la machine de parité.

Cette étude consiste à étudier l'apport de réseaux de neurones
artificiels pour améliorer le contrôle de processus industriels
complexes, caractérisés en particulier par leur aspect temporel.
Les motivations principales pour traiter des séries temporelles
sont la réduction du volume de données, l'indexation pour la
recherche de similarités, la localisation de séquences,
l'extraction de connaissances (data mining) ou encore la
prédiction.

Le processus industriel choisi est un four à arc
électrique pour la production d'acier liquide au Luxembourg. Notre
approche est un concept de contrôle prédictif et se base sur des
méthodes d'apprentissage non-supervisé dans le but d'une
extraction de connaissances.

Notre méthode de codage se base sur
des formes primitives qui composent les signaux. Ces formes,
composant un alphabet de codage, sont extraites par une méthode
non-supervisée, les cartes auto-organisatrices de Kohonen (SOM).
Une méthode de validation des alphabets de codage accompagne
l'approche.

Un sujet important abordé durant ces recherches est
la similarité de séries temporelles. La méthode proposée est
non-supervisée et intègre la capacité de traiter des séquences de
tailles variées.

Cette thèse traite de la problématique de l'unification de différents flux d'informations modales qui peuvent provenir des senseurs d'un agent. Cette unification, inspirée des expériences psychologiques comme l'effet ventriloque, s'appuie sur la détection de corrélations, définies comme des motifs spatiaux qui apparaissent régulièrement dans les flux d'entrée. L'apprentissage de l'espace des corrélations du flux d'entrée échantillonne cet espace et généralise les échantillons appris. Cette thèse propose des principes fonctionnels pour le traitement multimodal de l'information qui ont aboutit à l'architecture connexionniste, générique, modulaire et cortico-inspirée SOMMA (Self-Organizing Maps for Multimodal Association). Dans ce modèle, le traitement de chaque modalité s'effectue au sein d'une carte corticale. L'unification multimodale de l'information est obtenue par la mise en relation réciproque de ces cartes. L'échantillonnage et la généralisation des corrélations reposent sur une auto-organisation contrainte des cartes. Ce modèle est caractérisé par un apprentissage progressif de ces propriétés fonctionnelles: les propriétés monomodales amorcent l'émergence des propriétés multimodales et, dans le même temps, l'apprentissage de certaines corrélations par chaque carte est un préalable à l'auto-organisation de ces cartes. Par ailleurs, l'utilisation d'une architecture connexionniste et d'un apprentissage continu et non supervisé fournit au modèle des propriétés de robustesse et d'adaptabilité qui sont généralement absentes des approches informatiques classiques.

Ce mémoire introduit MADE, un nouveau modèle génératif spécifiquement développé pour l’estimation de distribution de probabilité pour données binaires. Ce modèle se base sur le simple autoencodeur et le modifie de telle sorte que sa sortie puisse être considérée comme des probabilités conditionnelles. Il a été testé sur une multitude d’ensembles de données et atteint des performances comparables à l’état de l’art, tout en étant plus rapide. Pour faciliter la description de ce modèle, plusieurs concepts de base de l’apprentissage automatique seront décrits ainsi que d’autres modèles d’estimation de distribution. Comme son nom l’indique, l’estimation de distribution est simplement la tâche d’estimer une distribution statistique à l’aide d’exemples tirés de cette dernière. Bien que certains considèrent ce problème comme étant le Saint Graal de l’apprentissage automatique, il a longtemps été négligé par le domaine puisqu’il était considéré trop difficile. Une raison pour laquelle cette tâche est tenue en si haute estime est qu’une fois la distribution des données connue, elle peut être utilisée pour réaliser la plupart des autres tâches de l’apprentissage automatique, de la classification en passant par la régression jusqu’à la génération. L’information est divisée en trois chapitres principaux. Le premier donne un survol des connaissances requises pour comprendre le nouveau modèle. Le deuxième présente les précurseurs qui ont tenu le titre de l’état de l’art et finalement le troisième explique en détail le modèle proposé.