Tesis sobre el tema "Réseau de neurone réccurent"

La prédiction de trajectoire des agents avoisinants d'un véhicule autonome est essentielle pour la conduite autonome afin d'effectuer une planification de trajectoire d'une manière efficace. Dans cette thèse, nous abordons la problématique de prédiction de trajectoire d'un véhicule cible dans deux environnements différents ; une autoroute et une zone urbaine (intersection, rond-point, etc.). Dans ce but, nous développons des solutions basées sur l'apprentissage automatique profond en mettant en phase les interactions entre le véhicule cibles et les éléments statiques et dynamiques de la scène. De plus, afin de tenir compte de l'incertitude du futur, nous générons de multiples trajectoires plausibles et la probabilité d'occurrence de chacune. Nous nous assurons également que les trajectoires prédites sont réalistes et conformes à la structure de la scène. Les solutions développées sont évaluées à à l'aide de bases de données de conduite réelles
The trajectory prediction of neighboring agents of an autonomous vehicle is essential for autonomous driving in order to perform trajectory planning in an efficient manner. In this thesis, we tackle the problem of predicting the trajectory of a target vehicle in two different environments; a highway and an urban area (intersection, roundabout, etc.). To this end, we develop solutions based on deep machine learning by phasing the interactions between the target vehicle and the static and dynamic elements of the scene. In addition, in order to take into account the uncertainty of the future, we generate multiple plausible trajectories and the probability of occurrence of each. We also make sure that the predicted trajectories are realistic and conform to the structure of the scene. The solutions developed are evaluated using real driving datasets

Les systèmes non linéaires sont décrits pour la plupart avec des équations aux dérivées partiellesqui les caractérisent, comme la chaine de pendules couplés, la chaine de protéines comportant des molécules avec liaisons hydrogène, les réseaux atomiques ...etc. Ces modèles comportent le plus souvent des interactions inter particulaires anharmoniques et des potentiels de substrat déformables. En effet, aux conséquences importantes dues à la non linéarité et à la dispersion, ces autres phénomènes comme l’anharmonicité et la déformabilité conduisent à d’autres propriétés de propagation des ondes solitaires telles que les compactons, les kinks et les antikinks , les peakons , … ainsi qu’à la capacité du système à transmettre un signal. Nous utilisons ici la méthode de bifurcation pour tracer les différents portraits de phases obtenus par variation des paramètres du système. Nous mettons en évidence l’influence du facteur d’anharmonicité sur la transmissivité et la bistabilité du système: Il en ressort que l’amplitude du signal d’entrée qui produit la bistabilité augmente avec la valeur absolue du coefficient d’anharmonicité et la bistabilité est retardée. En tenant compte des propriétés importantes générées par de tels systèmes, il nous a paru intéressant de construire une ligne électrique caractérisée par les mêmes équations, mais en doublant sur un tronçon de 10 cellules la valeur de la capacité par rapport à celles des 10 condensateurs suivants, et en reproduisant ce motif avec une périodicité de 20 cellules. Nous réalisons ainsi un super réseau qui simule un neurone myélinisé. Les types de solitons obtenus semblent mieux adaptés pour décrire le signal électrique qui caractérise l’influx neuronal localisé dans l’espace avec un support compact
Non-linear systems are almostly described by partial differential equations that characterize them. We have some systems such as the chain of coupled pebdelums, the protein chain comprising molecules with hydrogen bonds, atomic lattice, and so on .These systems are most often characterized by anharmonic inter particulate interactions and and then immersed in deformable potential substrates. In addition to nonlinearity and dispersion, these other phenomena namely anharmonicity and deformability are responsible for certain properties of propagation of solitary waves such as (compactons, kinks and anti-kinks, peackons, ...etc) and also the ability of the systems to transmit a signal . We used the bifurcation method to plot the different phase portraits obtained . For various parameters of such systems , we have highlighted the influence of anharmonicity on transmissivity and bistability of the system: It appears that the amplitude of the input signal which produces bistability increases with anharmonicity and the bistability is delayed.To considering these important properties generated by such systems, it seemed interesting to buildin an electrical line characterized by the same equations of the system. By alternately doubling the capacitance of the capacitors of a section of this line, we have realised a super-lattice that simulates a myelinised neuron. The types of solitons we get from this line are better adapted to describe the electrical signal which characterizes the neuron impulse located in space with a compact support

La mise en place des circuits neuronaux est un processus complexe et précisément régulé. Une atteinte de ce processus est à l'origine de diverses pathologies neurodéveloppementales telles que la schizophrénie ou les troubles du spectre autistique, désordres psychiatriques partageant une altération des fonctions cognitives. Le récepteur 6 de la sérotonine (récepteur 5-HT6), notamment connu pour son implication dans la migration neuronale, s'est révélé être une cible thérapeutique de choix dans le traitement des symptômes cognitifs associés à la schizophrénie mais aussi à des pathologies neurodégénératives comme la maladie d'Alzheimer. Cependant la signalisation déclenchée par le récepteur 5-HT6 n'explique pas entièrement son implication dans les processus neurodéveloppementaux. Mon travail de thèse a donc visé à comprendre les mécanismes de signalisation engagés par le récepteur 5-HT6 au cours du développement neuronal. La réalisation d'un crible protéomique a permis de montrer que le récepteur 5-HT6 interagissait avec plusieurs protéines cruciales dans le développement neuronal comme la protéine Cdk5 et sa cible WAVE-1. J'ai ensuite pu démontrer qu'en plus de son rôle dans la migration, le récepteur 5-HT6 contrôlait de façon agoniste-indépendante l'élongation des neurites par un mécanisme impliquant la phosphorylation de son domaine C-terminal par la kinase Cdk5 et l'activation de la RhoGTPase Cdc42. La seconde partie de mon travail a visé à mettre en évidence le rôle du récepteur 5-HT6 dans la formation des épines dendritiques et à comprendre l'implication de la protéine WAVE-1, cible de Cdk5, dans ce processus. Les résultats obtenus au cours de ma thèse apportent de nouveaux éléments quant au contrôle des processus neurodéveloppementaux par le récepteur 5-HT6. Ce récepteur apparaît donc comme une cible thérapeutique de choix dans les atteintes neurodéveloppementales en contribuant au développement des circuits cognitifs en relation avec la physiopathologie des troubles du spectre autistique ou de la schizophrénie
Brain circuitry patterning is a complex, highly regulated process. Alteration of this process is affected gives rise to various neurodevelopmental disorders such as schizophrenia or Autism Spectrum Disorders (ASD), which are both characterized by a wide spectrum of deficits. Serotonin 6 receptor (5-HT6 receptor), which is known for its implication in neuronal migration process, has been identified as a key therapeutic target for the treatment of cognitive deficits observed in schizophrenia, but also in neurodegenerative pathologies such as Alzheimer's disease. However, the signalling mechanisms knowned to be activated by the 5-HT6 receptor do not explain its involvement in neurodevelopmental processes. My thesis project therefore aimed at characterizing the signalling pathways engaged by 5-HT6 receptor during neural development. A proteomic approach allowed me to show that the 5-HT6 receptor was interacting with several proteins playing crucial roles in neurodevelopmental processes such as Cdk5 or WAVE-1. I then demonstrated that, besides its role in neuronal migration, the 5-HT6 receptor was also involved in neurite growth through constitutive phosphorylation of 5-HT6 receptor at Ser350 by associated Cdk5, a process leading to an increase in Cdc42 activity. The second part of my work aimed at understanding the role of 5-HT6 receptor in dendritic spines morphogenesis, and the involvement of WAVE-1 and Cdk5 in this process. These results provide new insights into the control of neurodevelopemental processes by 5-HT6 receptor. Thus, 5-HT6 receptor appears to be a key therapeutic target for neurodevelopmental disorders by contributing to the development of cognitive circuitry related to the pathophysiology of ASD or schizophrenia

Une preparation simple a permis d'etudier les mecanismes cellulaires via lesquels une activite motrice centralement programmee peut etre remaniee par un unique propiocepteur. Dans un premier temps, par des etudes morphologiques et electrophysiologiques, il a ete montre que le neurone sensoriel etudie est un mecanorecepteur de type tendineux, premier exemple connu chez les invertebres. D'autre part, apres avoir identifie les relations synaptiques existantes entre tous les elements du generateur central ainsi que les deux uniques voies d'acces du neurone sensoriel a ce generateur, il a ete montre en particulier que le reseau central controle ces voies d'acces et que par ses proprietes intrinseques et les proprietes synaptiques de ses cibles, le mecanorecepteur est capable de selectionner ces memes voies et du meme coup de determiner la nature du remaniement impose au generateur central

Dans le premier chapitre, quelques réseaux de neurones capables d'apprendre des mouvements sont présentés. Un modèle du cortex cérébelleux, très impliqué dans la coordination des mouvements, est décrit en détail : c'est un réseau hiérarchique de réseaux de neurones linéaires, appelés unités de Purkinje, qui respectent la connectivité réelle. Les poids synaptiques, en apprentissage, sont modifiés par une règle de covariance. L'étude de ce modèle a permis de définir de nouvelles règles d'apprentissage appelées règles d'apprentissage variationnelles. L'objectif de cette thèse est d'en étudier les conditions de validité pour des unités non linéaires et d'en déduire une explication sur la manière dont la coordination de mouvements est apprise. Dans le deuxième chapitre, une unité de Purkinje linéaire plus générale est analysée. Les notions d'apprentissage et de reconnaissance sont approfondies. Il est montre qu'en phase d'apprentissage, une unité linéaire converge et est stable au sens de Lyapunov, sous certaines conditions. Sous ces mêmes conditions, les règles variationnelles vues dans le chapitre précédent sont confirmées. Dans la première partie du troisième chapitre, il est supposé que les neurones de l'unité sont non linéaires. Sa stabilité au sens de Lyapunov est étudiée par linéarisation autour d'un point équilibre. Dans la seconde partie, des délais sont introduits à l'intérieur de l'unité entre certains neurones. Il en résulte que l'unité possède une dynamique interne. Les conditions de convergence de la sortie de l'unité sont alors déterminées. Finalement, les règles variationnelles sont confirmées sous certaines conditions pour cette unité non linéaire. Dans le quatrième chapitre, l'étude d'un réseau d'unités de Purkinje est entreprise. Après l'étude d'un réseau simple, des délais entre unités sont introduits. Des conditions de stabilité de réseaux d'unités non linéaires sont déterminées et des simulations numériques permettent de vérifier que les règles variationnelles sont bien suivies. Enfin, un exemple de coordination musculaire apprise par un réseau est donné.

De nombreux algorithmes d'Apprentissage automatique ont été proposés afin de résoudre les différentes tâches pouvant être extraites des problèmes de prédiction issus d'un contexte réel. Pour résoudre les différentes tâches pouvant être extraites, la plupart des algorithmes d'Apprentissage automatique se basent d'une manière ou d'une autre sur des relations liant les instances. Les relations entre paires d'instances peuvent être définies en calculant une distance entre les représentations vectorielles des instances. En se basant sur la représentation vectorielle des données, aucune des distances parmi celles communément utilisées n'est assurée d'être représentative de la tâche à résoudre. Dans ce document, nous étudions l'intérêt d'adapter la représentation vectorielle des données à la distance utilisée pour une meilleure résolution de la tâche. Nous nous concentrons plus précisément sur l'algorithme existant résolvant une tâche de classification en se basant sur un graphe. Nous décrivons d'abord un algorithme apprenant une projection des données dans un espace de représentation permettant une résolution, basée sur un graphe, optimale de la classification. En projetant les données dans un espace de représentation dans lequel une distance préalablement définie est représentative de la tâche, nous pouvons surpasser la représentation vectorielle des données lors de la résolution de la tâche. Une analyse théorique de l'algorithme décrit est développée afin de définir les conditions assurant une classification optimale. Un ensemble d'expériences nous permet finalement d'évaluer l'intérêt de l'approche introduite et de nuancer l'analyse théorique
Machine learning proposes numerous algorithms to solve the different tasks that can be extracted from real world prediction problems. To solve the different concerned tasks, most Machine learning algorithms somehow rely on relationships between instances. Pairwise instances relationships can be obtained by computing a distance between the vectorial representations of the instances. Considering the available vectorial representation of the data, none of the commonly used distances is ensured to be representative of the task that aims at being solved. In this work, we investigate the gain of tuning the vectorial representation of the data to the distance to more optimally solve the task. We more particularly focus on an existing graph-based algorithm for classification task. An algorithm to learn a mapping of the data in a representation space which allows an optimal graph-based classification is first introduced. By projecting the data in a representation space in which the predefined distance is representative of the task, we aim at outperforming the initial vectorial representation of the data when solving the task. A theoretical analysis of the introduced algorithm is performed to define the conditions ensuring an optimal classification. A set of empirical experiments allows us to evaluate the gain of the introduced approach and to temper the theoretical analysis

Notre travail porte sur la surveillance industrielle, processus couramment décomposé en deux phases : la détection et le diagnostic. Nous proposons ainsi un système dynamique d'aide à la surveillance, sous la forme de deux outils exploitant les techniques de l'intelligence artificielle. Le premier réalise une détection dynamique intelligente à l'aide des réseaux de neurones récurrents à fonction de base radiale. Le second, basé sur un réseau neuro-flou, effectue une aide au diagnostic.
A partir de l'observation de données capteurs, l'outil de détection détermine l'état du système en associant un degré de possibilité à chacun des modes de fonctionnement. A partir de ces informations, l'outil de diagnostic recherche les causes les plus probables (diagnostic abductif) pondérées par un degré de confiance. En complément et dans une optique à la décision, nous avons veillé à ce que l'opérateur puisse ajouter des informations supplémentaires. Notons que la configuration et l'initialisation des outils implique de connaître l'historique et les données de maintenance du système. Nous exploitons pour cela les AMDEC et Arbres de Défaillance des équipements surveillés. La partie applicative de cette thèse se décompose en deux points : l'intégration logicielle de l'ensemble du travail sur un ordinateur industriel (démarche UML + implémentation) ainsi que l'application sur un système de transfert flexible de production.

La physique des oscillations de neutrinos occupe une place majeure dans les études s'intéressant à cetteparticule. Le mécanisme des oscillations, basé sur un changement d'état de saveur d'un neutrino durant sapropagation, permet d'élucider les déficits observés de neutrinos solaires et atmosphériques et apporte des indicationsintéressantes de physique au delà du Modèle Standard par l'étude des angles de mélanges et du schéma de masse desneutrinos.OPERA est un détecteur hybride combinant à la fois latechnique d'une détection électronique en temps réel et la technique de la chambre à brouillard à émulsion ou ECC(EmulsionCloud Chamber). Le détecteur ECC est un détecteur massif (cible) composé de 150000 briques dontchacune est constituée de feuilles de plombs, utilisées comme cible, alternées avec des émulsions nucléaires dont laprécision de reconstruction des traces est de l'ordre du micron. Le détecteur comprend également deux spectromètresavec des plaques de fer magnétisé de 5 cm d'épaisseur alternées avec les détecteurs RPC (Resistive Plate Chamber)associés à six ensembles de drift tubes (PT) pour la mesure de la charge et de l'impulsion du muon, et un plan de vetoservant à la rejection des particules extérieures à la cible.

La physique des oscillations de neutrinos occupe une place majeure dans les études s’intéressant à cetteparticule. Le mécanisme des oscillations, basé sur un changement d’état de saveur d’un neutrino durant sapropagation, permet d’élucider les déficits observés de neutrinos solaires et atmosphériques et apporte des indicationsintéressantes de physique au delà du Modèle Standard par l'étude des angles de mélanges et du schéma de masse desneutrinos.OPERA est un détecteur hybride combinant à la fois latechnique d'une détection électronique en temps réel et la technique de la chambre à brouillard à émulsion ou ECC(EmulsionCloud Chamber). Le détecteur ECC est un détecteur massif (cible) composé de 150000 briques dontchacune est constituée de feuilles de plombs, utilisées comme cible, alternées avec des émulsions nucléaires dont laprécision de reconstruction des traces est de l'ordre du micron. Le détecteur comprend également deux spectromètresavec des plaques de fer magnétisé de 5 cm d'épaisseur alternées avec les détecteurs RPC (Resistive Plate Chamber)associés à six ensembles de drift tubes (PT) pour la mesure de la charge et de l'impulsion du muon, et un plan de vetoservant à la rejection des particules extérieures à la cible
The physics of neutrino oscillations plays a major role in studies concerned with cetteparticule. The mechanism of oscillations, based on a change of state of a neutrino flavor during sapropagation, elucidates the deficits observed solar and atmospheric neutrinos and provides indicationsintéressantes of physics beyond the Standard Model by studying the angles mixtures and mass desneutrinos.OPERA scheme is a hybrid sensor combining both latechnique an electronic real-time detection technology and the cloud chamber emulsion or ECC (EmulsionCloud chamber). The ECC is a solid detector detector (target) consisting of bricks dontchacune 150000 consists of sheets of lead, used as a target, with alternate nuclear emulsion whose traces laprécision reconstruction is of the order of one micron. The detector also includes two spectromètresavec magnetized iron plates 5 cm alternating with RPC (Resistive Plate Chamber) detectors associated with six sets of drift tubes (PT) to measure the charge and momentum of the muon thickness and plan vetoservant the rejection of foreign particles to the target

Étude des propriétés des champs récepteurs des neurones du toit optique de pigeon, comparaison avec celles des neurones du colliculus des mammifères. Mise en évidence d'un rôle majeur du toit optique des oiseaux dans le traitement de l'information visuelle. Les réseaux neuronaux responsables de ce traitement ont été étudiés par enregistrement et marquage intracellulaire à l'HRP. Un modèle d'organisation de ces réseaux est proposé.

Cette thèse se concentre sur les interactions émotionnelles en robotique autonome. Le robot doit pouvoir agir et réagir dans un environnement naturel et faire face à des perturbations imprédictibles. Il est donc nécessaire que le robot puisse acquérir une autonomie comportementale à savoir la capacité d'apprentissage et d'adaptation en ligne. En particulier, nous nous proposons d'étudier quels mécanismes introduire pour que le robot ait la capacité de se constituer une perception des objets de son environnement qui puisse être partagée par celle d'un partenaire humain. Le problème sera de faire apprendre à notre robot à préférer certains objets et à éviter d'autres objets. La solution peut être trouvée en psychologie dans ce que l'on appelle "référencement social" ("social referencing") qui consiste à attribuer une valeur à un objet grâce à l'interaction avec un partenaire humain. Dans ce contexte, notre problème est de trouver comment un robot peut apprendre de manière autonome à reconnaître les expressions faciales d'un partenaire humain pour ensuite les utiliser pour donner une valence aux objets et permettre leur discrimination. Nous nous intéresserons à comprendre comment des interactions émotionnelles avec un partenaire peuvent amorcer des comportements de complexité croissante tel que le référencement social. Notre idée est que le référencement social aussi bien que la reconnaissance d'expressions faciales peut émerger d'une architecture sensori-motrice. Sans connaissance de ce que l'autre est, le robot devrait réussir à apprendre des tâches "sociales" de plus en plus complexes. Nous soutenons l'idée que le référencement social peut être amorcé par une simple cascade d'architectures sensori-motrices qui à la base ne sont pas dédiées aux interactions sociales. Cette thèse traite de plusieurs sujets qui ont comme dénominateur commun l'interaction sociale. Nous proposons tout d'abord une architecture capable d'apprendre à reconnaître de manière autonome des expressions faciales primaires grâce à un jeu d'imitation entre une tête expressive et un expérimentateur. Les interactions avec le dispositif robotique commençeraient par l'apprentissage de 5 expressions faciales prototypiques. Nous proposons ensuite une architecture capable de reproduire des mimiques faciales ainsi que leurs différents niveaux d'intensité. La tête expressive pourra reproduire des expressions secondaires par exemple une joie mêlée de colère. Nous verrons également que la discrimination de visages peut émerger de cette interaction émotionnelle à l'aide d'une rythmicité implicite qui se crée entre l'homme et le robot. Enfin, nous proposerons un modèle sensori-moteur ayant la capacité de réaliser un référencement social. Trois situations ont pu être testées: 1) un bras robotique capable d'attraper et de fuir des objets selon les interactions émotionnelles venant du partenaire humain. 2) un robot mobile capable de rejoindre ou d'éviter certaines zones de son environnement. 3) une tête expressive capable d'orienter son regard dans la même direction que l'humain tout ! en attribuant des valeurs émotionnelles aux objets via l'interaction expressive de l'expérimentateur. Nous montrons ainsi qu'une séquence développementale peut émerger d'une interaction émotionnelle de très bas niveau et que le référencement social peut s'expliquer d'abord à un niveau sensori-moteur sans nécessiter de faire appel à un modèle de théorie de l'esprit.

Les tumeurs cérébrales sont une cause majeure de décès et d'invalidité dans le monde, ce qui représente 14,1 millions de nouveaux cas de cancer et 8,2 millions de décès en 2012. La radiothérapie et la radiochirurgie sont parmi l'arsenal de techniques disponibles pour les traiter. Ces deux techniques s’appuient sur une irradiation importante nécessitant une définition précise de la tumeur et des tissus sains environnants. Dans la pratique, cette délinéation est principalement réalisée manuellement par des experts avec éventuellement un faible support informatique d’aide à la segmentation. Il en découle que le processus est fastidieux et particulièrement chronophage avec une variabilité inter ou intra observateur significative. Une part importante du temps médical s’avère donc nécessaire à la segmentation de ces images médicales. L’automatisation du processus doit permettre d’obtenir des ensembles de contours plus rapidement, reproductibles et acceptés par la majorité des oncologues en vue d'améliorer la qualité du traitement. En outre, toute méthode permettant de réduire la part médicale nécessaire à la délinéation contribue à optimiser la prise en charge globale par une utilisation plus rationnelle et efficace des compétences de l'oncologue.De nos jours, les techniques de segmentation automatique sont rarement utilisées en routine clinique. Le cas échéant, elles s’appuient sur des étapes préalables de recalages d’images. Ces techniques sont basées sur l’exploitation d’informations anatomiques annotées en amont par des experts sur un « patient type ». Ces données annotées sont communément appelées « Atlas » et sont déformées afin de se conformer à la morphologie du patient en vue de l’extraction des contours par appariement des zones d’intérêt. La qualité des contours obtenus dépend directement de la qualité de l’algorithme de recalage. Néanmoins, ces techniques de recalage intègrent des modèles de régularisation du champ de déformations dont les paramètres restent complexes à régler et la qualité difficile à évaluer. L’intégration d’outils d’assistance à la délinéation reste donc aujourd’hui un enjeu important pour l’amélioration de la pratique clinique.L'objectif principal de cette thèse est de fournir aux spécialistes médicaux (radiothérapeute, neurochirurgien, radiologue) des outils automatiques pour segmenter les organes à risque des patients bénéficiant d’une prise en charge de tumeurs cérébrales par radiochirurgie ou radiothérapie.Pour réaliser cet objectif, les principales contributions de cette thèse sont présentées sur deux axes principaux. Tout d'abord, nous considérons l'utilisation de l'un des derniers sujets d'actualité dans l'intelligence artificielle pour résoudre le problème de la segmentation, à savoir le «deep learning ». Cet ensemble de techniques présente des avantages par rapport aux méthodes d'apprentissage statistiques classiques (Machine Learning en anglais). Le deuxième axe est dédié à l'étude des caractéristiques d’images utilisées pour la segmentation (principalement les textures et informations contextuelles des images IRM). Ces caractéristiques, absentes des méthodes classiques d'apprentissage statistique pour la segmentation des organes à risque, conduisent à des améliorations significatives des performances de segmentation. Nous proposons donc l'inclusion de ces fonctionnalités dans un algorithme de réseau de neurone profond (deep learning en anglais) pour segmenter les organes à risque du cerveau.Nous démontrons dans ce travail la possibilité d'utiliser un tel système de classification basée sur techniques de « deep learning » pour ce problème particulier. Finalement, la méthodologie développée conduit à des performances accrues tant sur le plan de la précision que de l’efficacité
Brain cancer is a leading cause of death and disability worldwide, accounting for 14.1 million of new cancer cases and 8.2 million deaths only in 2012. Radiotherapy and radiosurgery are among the arsenal of available techniques to treat it. Because both techniques involve the delivery of a very high dose of radiation, tumor as well as surrounding healthy tissues must be precisely delineated. In practice, delineation is manually performed by experts, or with very few machine assistance. Thus, it is a highly time consuming process with significant variation between labels produced by different experts. Radiation oncologists, radiology technologists, and other medical specialists spend, therefore, a substantial portion of their time to medical image segmentation. If by automating this process it is possible to achieve a more repeatable set of contours that can be agreed upon by the majority of oncologists, this would improve the quality of treatment. Additionally, any method that can reduce the time taken to perform this step will increase patient throughput and make more effective use of the skills of the oncologist.Nowadays, automatic segmentation techniques are rarely employed in clinical routine. In case they are, they typically rely on registration approaches. In these techniques, anatomical information is exploited by means of images already annotated by experts, referred to as atlases, to be deformed and matched on the patient under examination. The quality of the deformed contours directly depends on the quality of the deformation. Nevertheless, registration techniques encompass regularization models of the deformation field, whose parameters are complex to adjust, and its quality is difficult to evaluate. Integration of tools that assist in the segmentation task is therefore highly expected in clinical practice.The main objective of this thesis is therefore to provide radio-oncology specialists with automatic tools to delineate organs at risk of patients undergoing brain radiotherapy or stereotactic radiosurgery. To achieve this goal, main contributions of this thesis are presented on two major axes. First, we consider the use of one of the latest hot topics in artificial intelligence to tackle the segmentation problem, i.e. deep learning. This set of techniques presents some advantages with respect to classical machine learning methods, which will be exploited throughout this thesis. The second axis is dedicated to the consideration of proposed image features mainly associated with texture and contextual information of MR images. These features, which are not present in classical machine learning based methods to segment brain structures, led to improvements on the segmentation performance. We therefore propose the inclusion of these features into a deep network.We demonstrate in this work the feasibility of using such deep learning based classification scheme for this particular problem. We show that the proposed method leads to high performance, both in accuracy and efficiency. We also show that automatic segmentations provided by our method lie on the variability of the experts. Results demonstrate that our method does not only outperform a state-of-the-art classifier, but also provides results that would be usable in the radiation treatment planning

Le sujet de la thèse est l'extraction et la segmentation des vêtements à partir d'images en utilisant des techniques de la vision par ordinateur, de l'apprentissage par ordinateur et de la description d'image, pour la recommandation de manière non intrusive aux utilisateurs des produits similaires provenant d'une base de données de vente. Nous proposons tout d'abord un extracteur d'objets dédié à la segmentation de la robe en combinant les informations locales avec un apprentissage préalable. Un détecteur de personne localises des sites dans l'image qui est probable de contenir l'objet. Ensuite, un processus d'apprentissage intra-image en deux étapes est est développé pour séparer les pixels de l'objet de fond. L'objet est finalement segmenté en utilisant un algorithme de contour actif qui prend en compte la segmentation précédente et injecte des connaissances spécifiques sur la courbure locale dans la fonction énergie. Nous proposons ensuite un nouveau framework pour l'extraction des vêtements généraux en utilisant une procédure d'ajustement globale et locale à trois étapes. Un ensemble de modèles initialises un processus d'extraction d'objet par un alignement global du modèle, suivi d'une recherche locale en minimisant une mesure de l'inadéquation par rapport aux limites potentielles dans le voisinage. Les résultats fournis par chaque modèle sont agrégés, mesuré par un critère d'ajustement globale, pour choisir la segmentation finale. Dans notre dernier travail, nous étendons la sortie d'un réseau de neurones Fully Convolutional Network pour inférer le contexte à partir d'unités locales (superpixels). Pour ce faire, nous optimisons une fonction énergie, qui combine la structure à grande échelle de l'image avec le local structure superpixels, en recherchant dans l'espace de toutes les possibilité d'étiquetage. De plus, nous introduisons une nouvelle base de données RichPicture, constituée de 1000 images pour l'extraction de vêtements à partir d'images de mode. Les méthodes sont validées sur la base de données publiques et se comparent favorablement aux autres méthodes selon toutes les mesures de performance considérées
The topic of the thesis is the extraction and segmentation of clothing items from still images using techniques from computer vision, machine learning and image description, in view of suggesting non intrusively to the users similar items from a database of retail products. We firstly propose a dedicated object extractor for dress segmentation by combining local information with a prior learning. A person detector is applied to localize sites in the image that are likely to contain the object. Then, an intra-image two-stage learning process is developed to roughly separate foreground pixels from the background. Finally, the object is finely segmented by employing an active contour algorithm that takes into account the previous segmentation and injects specific knowledge about local curvature in the energy function.We then propose a new framework for extracting general deformable clothing items by using a three stage global-local fitting procedure. A set of template initiates an object extraction process by a global alignment of the model, followed by a local search minimizing a measure of the misfit with respect to the potential boundaries in the neighborhood. The results provided by each template are aggregated, with a global fitting criterion, to obtain the final segmentation.In our latest work, we extend the output of a Fully Convolution Neural Network to infer context from local units(superpixels). To achieve this we optimize an energy function,that combines the large scale structure of the image with the locallow-level visual descriptions of superpixels, over the space of all possiblepixel labellings. In addition, we introduce a novel dataset called RichPicture, consisting of 1000 images for clothing extraction from fashion images.The methods are validated on the public database and compares favorably to the other methods according to all the performance measures considered

Le traitement des signaux radars et des images SAR nécessite généralement des représentations et des opérations à valeurs complexes, telles que les transformées de Fourier et d'ondelettes, les filtres de Wiener et les filtres adaptés, etc. Cependant, la grande majorité des architectures d'apprentissage profond sont actuellement basées sur des opérations à valeurs réelles, ce qui limite leur capacité d'apprentissage à partir de données complexes. Malgré l'émergence des réseaux de neurones à valeurs complexes (CVNN), leur application au radar et à l'imagerie SAR manque encore d'études sur leur pertinence et leur efficacité. Et la comparaison avec un réseau de neurones à valeurs réelles (RVNN) équivalent est généralement biaisée.Dans cette thèse, nous proposons d'étudier les mérites des CVNNs pour classifier des données complexes. Nous montrons que les CVNNs atteignent de meilleures performances que leur equivalent réel pour classifier des vecteurs à données gaussiennes non circulaires. Nous définissons également un critère d'équivalence entre les CVNNs et les RVNNs, entièrement connectés ou convolutifs, en termes du nombre de paramètres entraînables, tout en leur conservant une architecture similaire. Nous comparons ainsi statistiquement les performances de perceptrons multicouches (MLPs), de réseaux convolutifs (CNNs) et entièrement convolutifs (FCNNs) utilisés pour la segmentation d'images SAR polarimétriques. Le partitionnement des images SAR et l'équilibrage des classes sont étudiés afin d'éviter des biais d'apprentissage. En parallèle, nous avons également proposé une librairie open-source pour faciliter l'implémentation des CVNNs et la comparaison avec des réseaux équivalents réels
Radar signal and SAR image processing generally require complex-valued representations and operations, e.g., Fourier, wavelet transforms, Wiener, matched filters, etc. However, the vast majority of architectures for deep learning are currently based on real-valued operations, which restrict their ability to learn from complex-valued features. Despite the emergence of Complex-Valued Neural Networks (CVNNs), their application on radar and SAR still lacks study on their relevance and efficiency. And the comparison against an equivalent Real-Valued Neural Network (RVNN) is usually biased.In this thesis, we propose to investigate the merits of CVNNs for classifying complex-valued data. We show that CVNNs achieve better performance than their real-valued counterpart for classifying non-circular Gaussian data. We also define a criterion of equivalence between feed-forward fully connected and convolutional CVNNs and RVNNs in terms of trainable parameters while keeping a similar architecture. We statistically compare the performance of equivalent Multi-Layer Perceptrons (MLPs), Convolutional Neural Networks (CNNs), and Fully Convolutional Neural Networks (FCNNs) for polarimetric SAR image segmentation. SAR image splitting and balancing classes are also studied to avoid learning biases. In parallel, we also proposed an open-source toolbox to facilitate the implementation of CVNNs and the comparison with real-equivalent networks

L’utilisation de réseaux de neurones artificiels pour divers types de traitements d’information bio-inspirés est une technique de plus en plus répandue dans le domaine de l’intelligence artificielle. Leur fonctionnement diffère avantageusement de celui des ordinateurs conventionnels en permettant une plus grande parallélisation des calculs, ce qui explique pourquoi autant d’efforts sont déployés afin de réaliser une plate-forme matérielle dédiée à leur simulation. Pour ce projet, une architecture matérielle flexible simulant efficacement un réseau de neurones à décharges est présentée. Celle-ci se distingue des architectures existantes notamment parce qu’elle utilise une approche de simulation à événements discrets et parce qu’elle permet une détection efficace des événements simultanés. Ces caractéristiques en font une plate-forme de choix pour la simulation de réseaux de neurones à décharges de plus de 100 000 neurones où un niveau important de synchronie des décharges neuronales est atteint. Afin d’en démontrer les performances, une application en traitement d’images utilisant cette architecture a été réalisée sur FPGA. Cette application a permis de démontrer que la structure proposée pouvait simuler jusqu’à 2[indice supérieur 17] neurones et traiter des dizaines de millions d’événements par secondes lorsque cadencé à 100 MHz.

La détection automatique de la structure rythmique au sein de la musique est l'un des défis du domaine de recherche "Music Information Retrieval". L'avènement de la technologie dédiées aux arts a permis l'émergence de nouvelles tendances musicales généralement décrites par le terme d'"Electronic/Dance Music" (EDM) qui englobe une pléthore de sous-genres. Ce type de musique souvent dédiée à la danse se caractérise par sa structure rythmique. Nous proposons une analyse rythmique de ce qui définit certains genres musicaux dont ceux de l'EDM. Pour ce faire, nous souhaitons réaliser une tâche d'estimation automatique du tempo global et une tâche de classification des genres axée sur le rythme. Le tempo et le genre sont deux aspects entremêlés puisque les genres sont souvent associés à des motifs rythmiques qui sont joués dans des plages de tempo spécifiques. Certains systèmes d'estimation du tempo dit "handcrafted" ont montré leur efficacité en se basant sur l'extraction de caractéristiques liées au rythme. Récemment, avec l'apparition de base de données annotées, les systèmes dit "data-driven" et les approches d'apprentissage profond ont montré des progrès dans l'estimation automatique de ces tâches.Dans cette thèse, nous proposons des méthodes à la croisée des chemins entre les systèmes "handcrafted" et "data-driven". Le développement d'une nouvelle représentation du rythme combiné à un apprentissage profond par réseau de neurone convolutif est à la base de tous nos travaux. Nous présentons en détails notre méthode dites Deep Rhythm dans cette thèse et nous présentons également plusieurs extensions basées sur des intuitions musicales qui nous permettent d'améliorer nos résultats
Automatic detection of the rhythmic structure within music is one of the challenges of the "Music Information Retrieval" research area. The advent of technology dedicated to the arts has allowed the emergence of new musical trends generally described by the term "Electronic/Dance Music" (EDM) which encompasses a plethora of sub-genres. This type of music often dedicated to dance is characterized by its rhythmic structure. We propose a rhythmic analysis of what defines certain musical genres including those of EDM. To do so, we want to perform an automatic global tempo estimation task and a genre classification task based on rhythm. Tempo and genre are two intertwined aspects since genres are often associated with rhythmic patterns that are played in specific tempo ranges. Some so-called "handcrafted" tempo estimation systems have been shown to be effective based on the extraction of rhythm-related characteristics. Recently, with the appearance of annotated databases, so-called "data-driven" systems and deep learning approaches have shown progress in the automatic estimation of these tasks. In this thesis, we propose methods at the crossroads between " handcrafted " and " data-driven " systems. The development of a new representation of rhythm combined with deep learning by convolutional neural network is at the basis of all our work. We present in detail our Deep Rhythm method in this thesis and we also present several extensions based on musical intuitions that allow us to improve our results

La classification précoce (CP) de séquences temporelles est un sujet de recherche récent dans le domaine de l'analyse des données séquentielles. Le problème consiste à attribuer une étiquette à des données qui sont collectées séquentiellement avec de nouvelles mesures arrivant au cours du temps. La prédiction d’une étiquette doit être faite en utilisant le moins de mesures possible dans la séquence. Le problème de CP a une importance capitale pour de nombreuses applications, allant du contrôle des processus à la détection de fraude. Il est particulièrement intéressant pour les applications qui cherchent à minimiser les coûts d’acquisition des mesures, ou qui cherchent une prédiction rapide des étiquettes afin de pouvoir entreprendre des actions rapides. C'est par exemple le cas dans le domaine de la santé, où il est nécessaire de fournir dès que possible un diagnostic médical à partir de la séquence d'observations médicales collectées au fil du temps. Un autre exemple est la maintenance prédictive où le but est d’anticiper la panne d’une machine à partir des signaux de ses capteurs. Dans ce travail de doctorat, nous avons développé une nouvelle approche pour ce problème, basée sur la formulation d'un problème de prise de décision séquentielle. Nous considérons qu’un modèle de CP doit décider entre classer une séquence incomplète ou retarder la prédiction afin de collecter des mesures supplémentaires. Plus précisément, nous décrivons ce problème comme un processus de décision de Markov partiellement observable noté EC-POMDP. L'approche consiste à entraîner un agent pour la CP à partir d’apprentissage par renforcement profond dans un environnement caractérisé par le EC-POMDP. La principale motivation de cette approche est de proposer un modèle capable d’effectuer la CP de bout en bout, en étant capable d’apprendre simultanément les caractéristiques optimales dans les séquences pour la classification et les décisions stratégiques optimales pour le moment de la prédiction. En outre, la méthode permet de définir l’importance du temps par rapport à la précision de la prédiction dans la définition des récompenses, et ce en fonction de l’application et de sa volonté de faire un compromis. Afin de résoudre le EC-POMDP et de modéliser la politique de l'agent, nous avons appliqué un algorithme existant, le Double Deep-Q-Network, dont le principe général est de mettre à jour la politique de l'agent pendant des épisodes d'entraînement, à partir d’expériences passées stockées dans une mémoire de rejeu. Nous avons montré que l'application de l'algorithme original au problème de CP entraînait des problèmes de mémoire déséquilibrée, susceptibles de détériorer l’entrainement de l'agent. Par conséquent, pour faire face à ces problèmes et permettre un entrainement plus robuste de l'agent, nous avons adapté l'algorithme aux spécificités du EC-POMDP et nous avons introduit des stratégies de gestion de la mémoire et des épisodes. Expérimentalement, nous avons montré que ces contributions amélioraient les performances de l'agent par rapport à l'algorithme d'origine et que nous étions en mesure de former un agent à faire un compromis entre la vitesse et la précision de la classification, individuellement pour chaque séquence. Nous avons également pu former des agents sur des jeux de données publics pour lesquels nous n’avons aucune expertise, ce qui montre que la méthode est applicable à divers domaines. Enfin, nous avons proposé des stratégies pour interpréter, valider ou rejeter les décisions de l'agent. Lors d'expériences, nous avons montré comment ces solutions peuvent aider à mieux comprendre le choix des actions effectuées par l'agent
Early classification (EC) of time series is a recent research topic in the field of sequential data analysis. It consists in assigning a label to some data that is sequentially collected with new data points arriving over time, and the prediction of a label has to be made using as few data points as possible in the sequence. The EC problem is of paramount importance for supporting decision makers in many real-world applications, ranging from process control to fraud detection. It is particularly interesting for applications concerned with the costs induced by the acquisition of data points, or for applications which seek for rapid label prediction in order to take early actions. This is for example the case in the field of health, where it is necessary to provide a medical diagnosis as soon as possible from the sequence of medical observations collected over time. Another example is predictive maintenance with the objective to anticipate the breakdown of a machine from its sensor signals. In this doctoral work, we developed a new approach for this problem, based on the formulation of a sequential decision making problem, that is the EC model has to decide between classifying an incomplete sequence or delaying the prediction to collect additional data points. Specifically, we described this problem as a Partially Observable Markov Decision Process noted EC-POMDP. The approach consists in training an EC agent with Deep Reinforcement Learning (DRL) in an environment characterized by the EC-POMDP. The main motivation for this approach was to offer an end-to-end model for EC which is able to simultaneously learn optimal patterns in the sequences for classification and optimal strategic decisions for the time of prediction. Also, the method allows to set the importance of time against accuracy of the classification in the definition of rewards, according to the application and its willingness to make this compromise. In order to solve the EC-POMDP and model the policy of the EC agent, we applied an existing DRL algorithm, the Double Deep-Q-Network algorithm, whose general principle is to update the policy of the agent during training episodes, using a replay memory of past experiences. We showed that the application of the original algorithm to the EC problem lead to imbalanced memory issues which can weaken the training of the agent. Consequently, to cope with those issues and offer a more robust training of the agent, we adapted the algorithm to the EC-POMDP specificities and we introduced strategies of memory management and episode management. In experiments, we showed that these contributions improved the performance of the agent over the original algorithm, and that we were able to train an EC agent which compromised between speed and accuracy, on each sequence individually. We were also able to train EC agents on public datasets for which we have no expertise, showing that the method is applicable to various domains. Finally, we proposed some strategies to interpret the decisions of the agent, validate or reject them. In experiments, we showed how these solutions can help gain insight in the choice of action made by the agent

Le sujet de la thèse est l'extraction et la segmentation des vêtements à partir d'images en utilisant des techniques de la vision par ordinateur, de l'apprentissage par ordinateur et de la description d'image, pour la recommandation de manière non intrusive aux utilisateurs des produits similaires provenant d'une base de données de vente. Nous proposons tout d'abord un extracteur d'objets dédié à la segmentation de la robe en combinant les informations locales avec un apprentissage préalable. Un détecteur de personne localises des sites dans l'image qui est probable de contenir l'objet. Ensuite, un processus d'apprentissage intra-image en deux étapes est est développé pour séparer les pixels de l'objet de fond. L'objet est finalement segmenté en utilisant un algorithme de contour actif qui prend en compte la segmentation précédente et injecte des connaissances spécifiques sur la courbure locale dans la fonction énergie. Nous proposons ensuite un nouveau framework pour l'extraction des vêtements généraux en utilisant une procédure d'ajustement globale et locale à trois étapes. Un ensemble de modèles initialises un processus d'extraction d'objet par un alignement global du modèle, suivi d'une recherche locale en minimisant une mesure de l'inadéquation par rapport aux limites potentielles dans le voisinage. Les résultats fournis par chaque modèle sont agrégés, mesuré par un critère d'ajustement globale, pour choisir la segmentation finale. Dans notre dernier travail, nous étendons la sortie d'un réseau de neurones Fully Convolutional Network pour inférer le contexte à partir d'unités locales (superpixels). Pour ce faire, nous optimisons une fonction énergie, qui combine la structure à grande échelle de l'image avec le local structure superpixels, en recherchant dans l'espace de toutes les possibilité d'étiquetage. De plus, nous introduisons une nouvelle base de données RichPicture, constituée de 1000 images pour l'extraction de vêtements à partir d'images de mode. Les méthodes sont validées sur la base de données publiques et se comparent favorablement aux autres méthodes selon toutes les mesures de performance considérées
The topic of the thesis is the extraction and segmentation of clothing items from still images using techniques from computer vision, machine learning and image description, in view of suggesting non intrusively to the users similar items from a database of retail products. We firstly propose a dedicated object extractor for dress segmentation by combining local information with a prior learning. A person detector is applied to localize sites in the image that are likely to contain the object. Then, an intra-image two-stage learning process is developed to roughly separate foreground pixels from the background. Finally, the object is finely segmented by employing an active contour algorithm that takes into account the previous segmentation and injects specific knowledge about local curvature in the energy function.We then propose a new framework for extracting general deformable clothing items by using a three stage global-local fitting procedure. A set of template initiates an object extraction process by a global alignment of the model, followed by a local search minimizing a measure of the misfit with respect to the potential boundaries in the neighborhood. The results provided by each template are aggregated, with a global fitting criterion, to obtain the final segmentation.In our latest work, we extend the output of a Fully Convolution Neural Network to infer context from local units(superpixels). To achieve this we optimize an energy function,that combines the large scale structure of the image with the locallow-level visual descriptions of superpixels, over the space of all possiblepixel labellings. In addition, we introduce a novel dataset called RichPicture, consisting of 1000 images for clothing extraction from fashion images.The methods are validated on the public database and compares favorably to the other methods according to all the performance measures considered

De nos jours, de nombreux systèmes de production sont gérés en flux « tirés » et utilisent des méthodes basées sur des « cartes », comme : Kanban, ConWIP, COBACABANA, etc. Malgré leur simplicité et leur efficacité, ces méthodes ne sont pas adaptées lorsque la production n’est pas stable et que la demande du client varie. Dans de tels cas, les systèmes de production doivent donc adapter la tension de leur flux tout au long du processus de fabrication. Pour ce faire, il faut déterminer comment ajuster dynamiquement le nombre de cartes (ou de ‘e-card’) en fonction du contexte. Malheureusement, ces décisions sont complexes et difficiles à prendre en temps réel. De plus, dans certains cas, changer trop souvent le nombre de cartes kanban peut perturber la production et engendrer un problème de nervosité. Les opportunités offertes par l’industrie 4.0 peuvent être exploitées pour définir des stratégies intelligentes de pilotage de flux permettant d’adapter dynamiquement ce nombre de cartes kanban.Dans cette thèse, nous proposons, dans un premier temps, une approche adaptative basée sur la simulation et l'optimisation multi-objectif, capable de prendre en considération le problème de la nervosité et de décider de manière autonome (ou d'aider les gestionnaires) quand et où ajouter ou retirer des cartes Kanban. Dans un deuxième temps, nous proposons une nouvelle approche adaptative et intelligente basée sur un réseau de neurones dont l’apprentissage est d’abord réalisé hors ligne à l’aide d’un modèle numérique jumeau (simulation), exploité par une optimisation multi-objectif. Après l’apprentissage, le réseau de neurones permet de décider en temps réel, quand et à quelle étape de fabrication il est pertinent de changer le nombre de cartes kanban. Des comparaisons faites avec les meilleures méthodes publiées dans la littérature montrent de meilleurs résultats avec des changements moins fréquents
Today, many production systems are managed in "pull" control system and used "card-based" methods such as: Kanban, ConWIP, COBACABANA, etc. Despite their simplicity and efficiency, these methods are not suitable when production is not stable and customer demand varies. In such cases, the production systems must therefore adapt the “tightness” of their production flow throughout the manufacturing process. To do this, we must determine how to dynamically adjust the number of cards (or e-card) depending on the context. Unfortunately, these decisions are complex and difficult to make in real time. In addition, in some cases, changing too often the number of kanban cards can disrupt production and cause a nervousness problem. The opportunities offered by Industry 4.0 can be exploited to define smart flow control strategies to dynamically adapt this number of kanban cards.In this thesis, we propose, firstly, an adaptive approach based on simulation and multi-objective optimization technique, able to take into account the problem of nervousness and to decide autonomously (or to help managers) when and where adding or removing Kanban cards. Then, we propose a new adaptive and intelligent approach based on a neural network whose learning is first realized offline using a twin digital model (simulation) and exploited by a multi-objective optimization method. Then, the neural network could be able to decide in real time, when and at which manufacturing stage it is relevant to change the number of kanban cards. Comparisons made with the best methods published in the literature show better results with less frequent changes

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.
High-level vision tasks such as generic object recognition remain out of reach for modern Artificial Intelligence systems. A promising approach involves learning algorithms, such as the Arficial Neural Network (ANN), which automatically learn to extract useful features for the task at hand. For ANNs, this represents a difficult optimization problem however. Deep Belief Networks have thus been proposed as a way to guide the discovery of intermediate representations, through a greedy unsupervised training of stacked Restricted Boltzmann Machines (RBM). The articles presented here-in represent contributions to this field of research. The first article introduces the convolutional RBM. By mimicking local receptive fields and tying the parameters of hidden units within the same feature map, we considerably reduce the number of parameters to learn and enforce local, shift-equivariant feature detectors. This translates to better likelihood scores, compared to RBMs trained on small image patches. In the second article, recent discoveries in neuroscience motivate an investigation into the impact of higher-order units on visual classification, along with the evaluation of a novel activation function. We show that ANNs with quadratic units using the softsign activation function offer better generalization error across several tasks. Finally, the third article gives a critical look at recently proposed RBM training algorithms. We show that Contrastive Divergence (CD) and Persistent CD are brittle in that they require the energy landscape to be smooth in order for their negative chain to mix well. PCD with fast-weights addresses the issue by performing small model perturbations, but may result in spurious samples. We propose using simulated tempering to draw negative samples. This leads to better generative models and increased robustness to various hyperparameters.