Tesis sobre el tema "Réseaux neuronaux bayésiens"

Au cours de la dernière décennie, l'apprentissage profond a atteint un niveau de maturité suffisant pour devenir le choix privilégié pour résoudre les problèmes liés à l'apprentissage automatique ou pour aider les processus de prise de décision.En même temps, l'apprentissage profond n'a généralement pas la capacité de quantifier avec précision l'incertitude de ses prédictions, ce qui rend ces modèles moins adaptés aux applications critiques en matière de risque.Une solution possible pour résoudre ce problème est d'utiliser une formulation bayésienne ; cependant, bien que cette solution soit élégante, elle est analytiquement difficile à mettre en œuvre et nécessite des approximations. Malgré les énormes progrès réalisés au cours des dernières années, il reste encore beaucoup de chemin à parcourir pour rendre ces approches largement applicables. Dans cette thèse, nous adressons certains des défis de l'apprentissage profond bayésien moderne, en proposant et en étudiant des solutions pour améliorer la scalabilité et l'inférence de ces modèles.La première partie de la thèse est consacrée aux modèles profonds où l'inférence est effectuée en utilisant l'inférence variationnelle (VI).Plus précisément, nous étudions le rôle de l'initialisation des paramètres variationnels et nous montrons comment des stratégies d'initialisation prudentes peuvent permettre à l'inférence variationnelle de fournir de bonnes performances même dans des modèles à grande échelle.Dans cette partie de la thèse, nous étudions également l'effet de sur-régularisation de l'objectif variationnel sur les modèles sur-paramétrés.Pour résoudre ce problème, nous proposons une nouvelle paramétrisation basée sur la transformée de Walsh-Hadamard ; non seulement cela résout l'effet de sur-régularisation de l'objectif variationnel mais cela nous permet également de modéliser des postérités non factorisées tout en gardant la complexité temporelle et spatiale sous contrôle.La deuxième partie de la thèse est consacrée à une étude sur le rôle des prieurs.Bien qu'étant un élément essentiel de la règle de Bayes, il est généralement difficile de choisir de bonnes prieurs pour les modèles d'apprentissage profond.Pour cette raison, nous proposons deux stratégies différentes basées (i) sur l'interprétation fonctionnelle des réseaux de neurones et (ii) sur une procédure évolutive pour effectuer une sélection de modèle sur les hyper-paramètres antérieurs, semblable à la maximisation de la vraisemblance marginale.Pour conclure cette partie, nous analysons un autre type de modèle bayésien (processus Gaussien) et nous étudions l'effet de l'application d'un a priori sur tous les hyperparamètres de ces modèles, y compris les variables supplémentaires requises par les approximations du inducing points.Nous montrons également comment il est possible d'inférer des a posteriori de forme libre sur ces variables, qui, par convention, auraient été autrement estimées par point
Throughout the last decade, deep learning has reached a sufficient level of maturity to become the preferred choice to solve machine learning-related problems or to aid decision making processes.At the same time, deep learning is generally not equipped with the ability to accurately quantify the uncertainty of its predictions, thus making these models less suitable for risk-critical applications.A possible solution to address this problem is to employ a Bayesian formulation; however, while this offers an elegant treatment, it is analytically intractable and it requires approximations.Despite the huge advancements in the last few years, there is still a long way to make these approaches widely applicable.In this thesis, we address some of the challenges for modern Bayesian deep learning, by proposing and studying solutions to improve scalability and inference of these models.The first part of the thesis is dedicated to deep models where inference is carried out using variational inference (VI).Specifically, we study the role of initialization of the variational parameters and we show how careful initialization strategies can make VI deliver good performance even in large scale models.In this part of the thesis we also study the over-regularization effect of the variational objective on over-parametrized models.To tackle this problem, we propose an novel parameterization based on the Walsh-Hadamard transform; not only this solves the over-regularization effect of VI but it also allows us to model non-factorized posteriors while keeping time and space complexity under control.The second part of the thesis is dedicated to a study on the role of priors.While being an essential building block of Bayes' rule, picking good priors for deep learning models is generally hard.For this reason, we propose two different strategies based (i) on the functional interpretation of neural networks and (ii) on a scalable procedure to perform model selection on the prior hyper-parameters, akin to maximization of the marginal likelihood.To conclude this part, we analyze a different kind of Bayesian model (Gaussian process) and we study the effect of placing a prior on all the hyper-parameters of these models, including the additional variables required by the inducing-point approximations.We also show how it is possible to infer free-form posteriors on these variables, which conventionally would have been otherwise point-estimated

La compréhension du fonctionnement cérébral passe par l'étude des relations entre les structures cérébrales et les fonctions cognitives qu'elles implémentent. Les études en activation, qui permettent d'obtenir, grâce aux techniques de neuroimagerie fonctionnelle, des données sur l'activité cérébrale pendant l'accomplissement d'une tâche cognitive, visent à étudier ces liens. Ces études, ainsi que de nombreux travaux chez l'animal, suggèrent que le support neurologique des fonctions cognitives est constitué de réseaux à grande échelle d'aires corticales et de régions sous-corticales interconnectées. Cependant, la mise en correspondance simple entre réseaux activés et tâche accomplie est insuffisante pour comprendre comment l'activation découle du traitement de l'information par le cerveau. De plus, le traitement cérébral est très complexe, et les mesures fournies par la neuroimagerie sont incomplètes, indirectes, et de natures différentes, ce qui complique grandement l'interprétation des données obtenues. Un outil de modélisation explicite des mécanismes de traitement et de propagation de l'information cérébrale dans les réseaux à grande échelle est nécessaire pour palier ces défauts et permettre l'interprétation des mesures de l'activité cérébrale en termes de traitement de l'information. Nous proposons ici un formalisme original répondant à ces objectifs et aux contraintes imposées par le système à modéliser, le cerveau. Il est basé sur une approche graphique causale et probabiliste, les réseaux bayésiens dynamiques, et sur une représentation duale de l'information. Nous considérons le cerveau comme un ensemble de régions fonctionnelles anatomiquement interconnectées, chaque région étant un centre de traitement de l'information qui peut être modélisé par un noeud du réseau bayésien. L'information manipulée dans le formalisme au niveau d'un noeud est l'abstraction du signal généré par l'activité de la population neuronale correspondante. Ceci nous conduit à représenter l'information cérébrale sous la forme d'un couple numérique/symbolique, permettant de tenir compte respectivement du niveau d'activation et de la configuration des neurones activés. Ce travail se situe dans le prolongement d'un projet visant à développer une approche causale originale pour la modélisation du traitement de l'information dans des réseaux cérébraux à grande échelle et l'interprétation des données de neuroimagerie. L'aspect causal permet d'exprimer explicitement des hypothèses sur le fonctionnement cérébral. Notre contribution est double. Au niveau de l'intelligence artificielle, l'utilisation de variables aléatoires labellisées dans des réseaux bayésiens dynamiques nous permet de définir des mécanismes d'apprentissage non-supervisés originaux. Sur le plan des neurosciences computationnelles, nous proposons un nouveau formalisme causal, plus adapté à la représentation du fonctionnement cérébral au niveau des réseaux d'aires que les réseaux de neurones formels, et présentant plus de plausibilité biologique que les autres approches causales, en particulier les réseaux causaux qualitatifs.

The aim is to study a continuous chemical process, and then analyze the hold process of the reactor and build the models which could be trained to realize the fault diagnosis and localization in the process. An experimental system has been built to be the research base. That includes experiment part and record system. To the diagnosis and localization methods, the work presented the methods with the data-based approach, mainly the Bayesian network and RBF network based on GAAPA (Genetic Algorithm with Auto-adapted of Partial Adjustment). The data collected from the experimental system are used to train and test the models.

L'apprentissage profond a joué un rôle significatif dans l'établissement de l'apprentissage automatique comme un instrument indispensable dans plusieurs domaines. L'utilisation de l'apprentissage profond pose plusieurs défis. L'apprentissage profond nécessite beaucoup de puissance de calcul pour entraîner et appliquer des modèles. Un autre problème de l'apprentissage profond est son incapacité à estimer l'incertitude des prédictions, ce qui crée des obstacles dans les applications sensibles aux risques. Cette thèse présente quatre projets pour résoudre ces problèmes: Nous proposons une approche faisant appel à des unités de traitement optique pour réduire la consommation d'énergie et accélérer l'inférence des modèles profonds. Nous abordons le problème des estimations d'incertitude pour la classification avec l'inférence bayésienne. Nous introduisons des techniques pour les modèles profonds qui réduisent le coût de l'inférence bayésienne. Nous avons développé un nouveau cadre pour accélérer la régression des processus gaussiens. Nous proposons une technique pour imposer des priorités fonctionnelles significatives pour les modèles profonds à travers des processus gaussiens
Deep learning played a significant role in establishing machine learning as a must-have instrument in multiple areas. The use of deep learning poses several challenges. Deep learning requires a lot of computational power for training and applying models. Another problem with deep learning is its inability to estimate the uncertainty of the predictions, which creates obstacles in risk-sensitive applications. This thesis presents four projects to address these problems: We propose an approach making use of Optical Processing Units to reduce energy consumption and speed up the inference of deep models. We address the problem of uncertainty estimates for classification with Bayesian inference. We introduce techniques for deep models that decreases the cost of Bayesian inference. We developed a novel framework to accelerate Gaussian Process regression. We propose a technique to impose meaningful functional priors for deep models through Gaussian Processes

L'intégration des Convolutional Neural Networks (CNNs) et des GPs est une solution prometteuse pour améliorer le pouvoir de représentation des méthodes contemporaines. Dans notre première étude, nous utilisons des diagrammes de fiabilité pour montrer que les combinaisons actuelles de cnns et GPs sont mal calibrées, ce qui donne lieu à des prédictions trop confiantes. En utilisant des Random Feature et la technique d'inférence variationnelle, nous proposons une nouvelle solution correctement calibrée pour combinaisons des CNNs et des GPs. Nous proposons également une extension intuitive de cette solution, utilisant des Structured Random Features afin d'améliorer la précision du modèle et réduire la complexité des calculs. En termes de coût de calcul, la complexité du GPs exact est cubique en la taille de l'ensemble d'entrainement, ce qui le rend inutilisable lorsque celle-ci dépasse quelques milliers d'éléments. Afin de faciliter l'extension des GPs à des quantités massives de données, nous sélectionnons un petit ensemble de points actifs ou points d'induction par une distillation globale à partir de toutes les observations. Nous utilisons ensuite ces points actifs pour faire des prédictions. Plusieurs travaux similaires se basent sur l'étude Titsias et al en 2009 [5] and Hensman et al en 2015 [6]. Cependant, il est encore difficile de traiter le cas général, et il est toujours possible que le nombre de points actifs requis dépasse un budget de calcul donné. Dans notre deuxième étude, nous proposons Sparse-within-Sparse Gaussian Processes (SWSGP) qui permet l'approximation avec un grand nombre de points inducteurs sans cout de calcul prohibitif
Gaussian Processes (GPs) are an attractive specific way of doing non-parametric Bayesian modeling in a supervised learning problem. It is well-known that GPs are able to make inferences as well as predictive uncertainties with a firm mathematical background. However, GPs are often unfavorable by the practitioners due to their kernel's expressiveness and the computational requirements. Integration of (convolutional) neural networks and GPs are a promising solution to enhance the representational power. As our first contribution, we empirically show that these combinations are miscalibrated, which leads to over-confident predictions. We also propose a novel well-calibrated solution to merge neural structures and GPs by using random features and variational inference techniques. In addition, these frameworks can be intuitively extended to reduce the computational cost by using structural random features. In terms of computational cost, the exact Gaussian Processes require the cubic complexity to training size. Inducing point-based Gaussian Processes are a common choice to mitigate the bottleneck by selecting a small set of active points through a global distillation from available observations. However, the general case remains elusive and it is still possible that the required number of active points may exceed a certain computational budget. In our second study, we propose Sparse-within-Sparse Gaussian Processes which enable the approximation with a large number of inducing points without suffering a prohibitive computational cost

Cette thèse propose de nouvelles méthodes d'analyse d'enregistrements cérébraux intra-crâniens (potentiels de champs locaux), qui pallie les lacunes de la méthode temps-fréquence standard d'analyse des perturbations spectrales événementielles : le calcul d'une moyenne sur les enregistrements et l'emploi de l'activité dans la période pré-stimulus. La première méthode proposée repose sur la détection de sous-ensembles d'électrodes dont l'activité présente des synchronisations cooccurrentes en un même point du plan temps-fréquence, à l'aide de modèles bayésiens de mélange gaussiens. Les sous-ensembles d'électrodes pertinents sont validés par une mesure de stabilité calculée entre les résultats obtenus sur les différents enregistrements. Pour la seconde méthode proposée, le constat qu'un bruit blanc dans le domaine temporel se transforme en bruit ricien dans le domaine de l'amplitude d'une transformée temps-fréquence a permis de mettre au point une segmentation du signal de chaque enregistrement dans chaque bande de fréquence en deux niveaux possibles, haut ou bas, à l'aide de modèles bayésiens de mélange ricien à deux composantes. À partir de ces deux niveaux, une analyse statistique permet de détecter des régions temps-fréquence plus ou moins actives. Pour développer le modèle bayésien de mélange ricien, de nouveaux algorithmes d'inférence bayésienne variationnelle ont été créés pour les distributions de Rice et de mélange ricien. Les performances des nouvelles méthodes ont été évaluées sur des données artificielles et sur des données expérimentales enregistrées sur des singes. Il ressort que les nouvelles méthodes génèrent moins de faux-positifs et sont plus robustes à l'absence de données dans la période pré-stimulus.

Les réseaux de neurones artificiels sont un outil statistique utile à la prédiction de la survie en médecine clinique qui connaît un certain succès comme en témoigne le numéro spécial de la revue Cancer du 15 avril 2001. Ce travail propose une généralisation des modèles classiques de survie où les variables prédictives linéaires sont remplacées par des variables prédictives non linéaires modélisées par des perceptrons multicouches non récurrents. Cette modélisation dont l'objectif est de prédire un temps de survie prend en compte les effets dépendant du temps et les interactions entre variables. Le modèle des réseaux de neurones permet de s'affranchir des restrictions du modèle de Cox car il peut estimer les effets dépendant du temps ainsi que des interactions éventuelles. En outre, la présence de données censurées, la particularité de l'analyse de survie, donne envie de prendre en compte toutes les connaissances disponibles sur les données pour l'apprentissage des modèles neuronaux afin d'avoir un meilleur modèle prédictif. L'approche bayésienne est donc une approche appropriée car elle permet une meilleure généralisation des réseaux pendant la phase d' apprentissage en évitant le sur-ajustement qui peut se produire au cours de l'apprentissage avec l'algorithme de rétro-propagation. De plus, un apprentissage bayésien hiérarchise des réseaux de neurones convient parfaitement à une sélection de variables pertinentes qui permet une meilleure explication des effets dépendant du temps et des interactions entre variables. La performance des approches à base d'apprentissage de réseaux de neurones dans l'analyse de survie dépend notamment de la taille de l'ensemble des données d'apprentissage et du taux de censure de données. En particulier, pour les données de génomes pour lesquelles les variables sont beaucoup plus nombreuses que les observations, une sélection des variables importantes peut être effectuée par des réseaux de neurones après une sélection automatique des variables pertinentes pour diminuer la dimension de l'espace des données. Une estimation plus précise du temps de survie permet une meilleure connaissance physiopathologique de la maladie et une meilleure stratégie thérapeutique. Celle-ci est obtenue grâce à la méthode de ré-échantillonnage de données et à l'adaptativité du modèle neuronal. La construction d'un arbre de décision sur des estimations du réseau permet une meilleure définition des groupes pronostiques de survie
This thesis proposes a generalization of the conventional survival models where the linear prdictive variables are replaced by nonlinear multi-layer perceptions of variables. This modelling by neural networks predict the survival times with talking into account the time effects and the interactions between variables. The neural network models will be validated by cross validation technique or the bayesian slection criterion based on the model's posteriori probability. The prediction is refined by a boostrap aggregating (Bagging) and bayesian models average to increase the precision. Moreower, the censoring, the particularity of the survival analysis, needs a survival model which could take into account all available knowledges on the data for estimation to obtain a better prediction. The bayesian approach is thus a proposed approach because it allows a better generalization of the neural networks because of the avoidance of the overlifting. Moreover, the hierarchical models in bayesian learning of the neural networks is appropriate perfectly for a selection of relevant variables which gives a better explanation of the times effects and the interactions between variables

Dans cette thèse on aborde le problème de la localisation en milieux urbains. Inférer un positionnement précis en ville est important dans nombre d’applications comme la réalité augmentée ou la robotique mobile. Or les systèmes basés sur des capteurs inertiels (IMU) sont sujets à des dérives importantes et les données GPS peuvent souffrir d’un effet de vallée qui limite leur précision. Une solution naturelle est de s’appuyer le calcul de pose de caméra en vision par ordinateur. On remarque que les bâtiments sont les repères visuels principaux de l’humain mais aussi des objets d’intérêt pour les applications de réalité augmentée. On cherche donc à partir d’une seule image à calculer la pose de la caméra par rapport à une base de données de bâtiments références connus. On décompose le problème en deux parties : trouver les références visibles dans l’image courante (reconnaissance de lieux) et calculer la pose de la caméra par rapport à eux. Les approches classiques de ces deux sous-problèmes sont mises en difficultés dans les environnements urbains à cause des forts effets perspectives, des répétitions fréquentes et de la similarité visuelle entre façades. Si des approches spécifiques à ces environnements ont été développés qui exploitent la grande régularité structurelle de tels milieux, elles souffrent encore d’un certain nombre de limitations autant pour la détection et la reconnaissance de façades que pour le calcul de pose par recalage de modèle. La méthode originale développée dans cette thèse s’inscrit dans ces approches spécifiques et vise à dépasser ces limitations en terme d’efficacité et de robustesse aux occultations, aux changements de points de vue et d’illumination. Pour cela, l’idée principale est de profiter des progrès récents de l’apprentissage profond par réseaux de neurones convolutionnels pour extraire de l’information de haut-niveau sur laquelle on peut baser des modèles géométriques. Notre approche est donc mixte Bottom-Up/Top-Down et se décompose en trois étapes clés. Nous proposons tout d’abord une méthode d’estimation de la rotation de la pose de caméra. Les 3 points de fuite principaux des images en milieux urbains, dits points de fuite de Manhattan sont détectés grâce à un réseau de neurones convolutionnels (CNN) qui fait à la fois une estimation de ces points de fuite mais aussi une segmentation de l’image relativement à eux. Une second étape de raffinement utilise ces informations et les segments de l’image dans une formulation bayésienne pour estimer efficacement et plus précisément ces points. L’estimation de la rotation de la caméra permet de rectifier les images et ainsi s’affranchir des effets de perspectives pour la recherche de la translation. Dans une seconde contribution, nous visons ainsi à détecter les façades dans ces images rectifiées et à les reconnaître parmi une base de bâtiments connus afin d’estimer une translation grossière. Dans un soucis d’efficacité, on a proposé une série d’indices basés sur des caractéristiques spécifiques aux façades (répétitions, symétrie, sémantique) qui permettent de sélectionner rapidement des candidats façades potentiels. Ensuite ceux-ci sont classifiés en façade ou non selon un nouveau descripteur CNN contextuel. Enfin la mise en correspondance des façades détectées avec les références est opérée par un recherche au plus proche voisin relativement à une métrique apprise sur ces descripteurs [...]
This thesis addresses the problem of localization in urban areas. Inferring accurate positioning in the city is important in many applications such as augmented reality or mobile robotics. However, systems based on inertial sensors (IMUs) are subject to significant drifts and GPS data can suffer from a valley effect that limits their accuracy. A natural solution is to rely on the camera pose estimation in computer vision. We notice that buildings are the main visual landmarks of human beings but also objects of interest for augmented reality applications. We therefore aim to compute the camera pose relatively to a database of known reference buildings from a single image. The problem is twofold : find the visible references in the current image (place recognition) and compute the camera pose relatively to them. Conventional approaches to these two sub-problems are challenged in urban environments due to strong perspective effects, frequent repetitions and visual similarity between facades. While specific approaches to these environments have been developed that exploit the high structural regularity of such environments, they still suffer from a number of limitations in terms of detection and recognition of facades as well as pose computation through model registration. The original method developed in this thesis is part of these specific approaches and aims to overcome these limitations in terms of effectiveness and robustness to clutter and changes of viewpoints and illumination. For do so, the main idea is to take advantage of recent advances in deep learning by convolutional neural networks to extract high-level information on which geometric models can be based. Our approach is thus mixed Bottom- Up/Top-Down and is divided into three key stages. We first propose a method to estimate the rotation of the camera pose. The 3 main vanishing points of the image of urban environnement, known as Manhattan vanishing points, are detected by a convolutional neural network (CNN) that estimates both these vanishing points and the image segmentation relative to them. A second refinement step uses this information and image segmentation in a Bayesian model to estimate these points effectively and more accurately. By estimating the camera’s rotation, the images can be rectified and thus free from perspective effects to find the translation. In a second contribution, we aim to detect the facades in these rectified images to recognize them among a database of known buildings and estimate a rough translation. For the sake of efficiency, a series of cues based on facade specific characteristics (repetitions, symmetry, semantics) have been proposed to enable the fast selection of facade proposals. Then they are classified as facade or non-facade according to a new contextual CNN descriptor. Finally, the matching of the detected facades to the references is done by a nearest neighbor search using a metric learned on these descriptors. Eventually we propose a method to refine the estimation of the translation relying on the semantic segmentation inferred by a CNN for its robustness to changes of illumination ans small deformations. If we can already estimate a rough translation from these detected facades, we choose to refine this result by relying on the se- mantic segmentation of the image inferred from a CNN for its robustness to changes of illuminations and small deformations. Since the facade is identified in the previous step, we adopt a model-based approach by registration. Since the problems of registration and segmentation are linked, a Bayesian model is proposed which enables both problems to be jointly solved. This joint processing improves the results of registration and segmentation while remaining efficient in terms of computation time. These three parts have been validated on consistent community data sets. The results show that our approach is fast and more robust to changes in shooting conditions than previous methods

Au cours de la dernière décennie, l'apprentissage profond a connu un succès remarquable dans de nombreux domaines, révolutionnant divers domaines grâce à ses performances sans précédent. Cependant, une limitation fondamentale des modèles d'apprentissage profond réside dans leur incapacité à quantifier avec précision l'incertitude des prédictions, ce qui pose des défis pour les applications qui nécessitent une évaluation robuste des risques. Heureusement, l'apprentissage profond Bayésien offre une solution prometteuse en adoptant une formulation Bayésienne pour les réseaux neuronaux. Malgré des progrès significatifs ces dernières années, il reste plusieurs défis qui entravent l'adoption généralisée et l'applicabilité de l'apprentissage profond Bayésien. Dans cette thèse, nous abordons certains de ces défis en proposant des solutions pour choisir des priors pertinents et accélérer l'inférence des modèles d'apprentissage profond Bayésien. La première contribution de la thèse est une étude des pathologies associées à de mauvais choix de priors pour les réseaux neuronaux Bayésiens dans des tâches d'apprentissage supervisées, ainsi qu'une proposition pour résoudre ce problème de manière pratique et efficace. Plus précisément, notre approche consiste à raisonner en termes de priors fonctionnels, qui sont plus facilement obtenus, et à ajuster les priors des paramètres du réseau neuronal pour les aligner sur ces priors fonctionnels. La deuxième contribution est un nouveau cadre pour réaliser la sélection de modèle pour les autoencodeurs Bayésiens dans des tâches non supervisées, telles que l'apprentissage de représentation et la modélisation générative. À cette fin, nous raisonnons sur la vraisemblance marginale de ces modèles en termes de priors fonctionnels et proposons une approche entièrement basée sur les échantillons pour son optimisation. La troisième contribution est un nouveau modèle d'autoencodeur entièrement Bayésien qui traite à la fois les variables latentes locales et le décodeur global de manière Bayésienne. Nous proposons un schéma MCMC amorti efficace pour ce modèle et imposons des priors de processus Gaussiens clairsemés sur l'espace latent pour capturer les corrélations entre les encodages latents. La dernière contribution est une approche simple mais efficace pour améliorer les modèles génératifs basés sur la vraisemblance grâce à la mollification des données. Cela accélère l'inférence pour ces modèles en permettant une estimation précise de la densité dans les régions de faible densité tout en résolvant le problème du surajustement de la variété
Over the past decade, deep learning has witnessed remarkable success in a wide range of applications, revolutionizing various fields with its unprecedented performance. However, a fundamental limitation of deep learning models lies in their inability to accurately quantify prediction uncertainty, posing challenges for applications that demand robust risk assessment. Fortunately, Bayesian deep learning provides a promising solution by adopting a Bayesian formulation for neural networks. Despite significant progress in recent years, there remain several challenges that hinder the widespread adoption and applicability of Bayesian deep learning. In this thesis, we address some of these challenges by proposing solutions to choose sensible priors and accelerate inference for Bayesian deep learning models. The first contribution of the thesis is a study of the pathologies associated with poor choices of priors for Bayesian neural networks for supervised learning tasks and a proposal to tackle this problem in a practical and effective way. Specifically, our approach involves reasoning in terms of functional priors, which are more easily elicited, and adjusting the priors of neural network parameters to align with these functional priors. The second contribution is a novel framework for conducting model selection for Bayesian autoencoders for unsupervised tasks, such as representation learning and generative modeling. To this end, we reason about the marginal likelihood of these models in terms of functional priors and propose a fully sample-based approach for its optimization. The third contribution is a novel fully Bayesian autoencoder model that treats both local latent variables and the global decoder in a Bayesian fashion. We propose an efficient amortized MCMC scheme for this model and impose sparse Gaussian process priors over the latent space to capture correlations between latent encodings. The last contribution is a simple yet effective approach to improve likelihood-based generative models through data mollification. This accelerates inference for these models by allowing accurate density-esimation in low-density regions while addressing manifold overfitting

L'objectif de cette thèse est de fournir des méthodologies complètes pour résoudre des problèmes de prédiction et de classification en économie et en finance en utilisant les réseaux de neurones artificiels. Notre travail contribue à établir une méthodologie statistique des réseaux de neurones à plusieurs niveaux, comme le montre l'organisation de la thèse. Nous avons procédé en quatre chapitres. Le premier chapitre décrit la méthodologie de la modélisation des variables quantitatives ou qualitatives avec des réseaux neuronaux supervisés et non-supervisés. Dans le second chapitre, nous nous intéressons d'abord à l'interprétation bayésienne des réseaux supervisés puis nous construisons un test de spécification sans alternative spécifique pour les modèles de choix binaires. Dans le chapitre 3, nous montrons que les réseaux de neurones multivariés peuvent prendre en compte les changements structurels et permettent d'estimer des probabilités de crises de change. Dans le chapitre 4, nous développons un modèle complet de gestion de portefeuille avec un processus neuronal-GARCH en introduisant les notions de rendement conditionnel et de risque conditionnel. Nous appliquons enfin les réseaux de neurones de Kohonen bayésiens pour estimer la distribution du taux de change DM/USD
The objective of this thesis is to provide complete methodologies to solve prediction and classification problems in economy and finance by using Artificial Neural networks. The plan of work shows that the thesisplays a great part in establishing in several ways a statistic methodology for neural networks. We proceed in four chapters. The first chapter describes supervised and unsupervised neural network methodology to modelize quantitative or qualitative variables. In the second chapter, we are interested by the bayesian approach for supervised neural networks and the developpement of a set of misspecification statistic tests for binary choice models. In chapter three, we show that multivariate supervised neural networks enable to take into account structural changes and the neural networks methodology is able to estimate some probabilities of exchange crisis. In chapter four, we develope a complete based neural network-GARCH model to manage a stocks portfolio. We introduce some terms as conditional returns or conditional risk for a stock or a portfolio. Next, we apply bayesian Self-Organizing Map in order to estimate the univariate probability density function of the DM/USD exchange rate

Cette thèse traite le problème d'extraction des règles logiques des réseaux de neurones formels. Les algorithmes développés se basent sur des contraintes dynamiques appliquées au cours de l'apprentissage aux poids synaptiques du réseau de telle façon que le réseau soit forcé d'apprendre des règles logiques. En exprimant les contraintes sur les paramètres du réseau comme des à priori bayesiens nous avons proposé un cadre formel pour concevoir et réaliser un système d'apprentissage des règles logiques à partir des réseaux. Les méthodes préconisées ont été validées sur le problème de la prédiction de la structure secondaire des protéines. Le perceptron multi-chouches prédisant la structure a été converti, en fin d'apprentissage, en un système de votes majoritaires. Ce système de votes englobe de nombreuses informations biologiques

Les exigences d'évaluation en sécurité fonctionnelle nécessitent une quantification du niveau de sûreté d'un matériel par une analyse qualitative et quantitative. Certains industriels n'ayant pas de retour d'expérience (REX) spécifique à leurs activités, ont des difficultés pour fournir des résultats fiables et pertinents. Les concepteurs des bases de données de fiabilité des composants électroniques ont défini des modèles permettant de calculer les taux de défaillance en fonction des paramètres d'utilisation. Il n'existe rien dans le domaine des matériels mécaniques. Cette recherche a donc pour objectif de développer une méthodologie permettant d'améliorer les prédictions de fiabilité des matériels mécaniques et électromécaniques. Ces travaux mettent ainsi en oeuvre des modèles qui permettent d'affiner la prédiction de fiabilité en prenant en compte la spécificité des matériels mécaniques et les facteurs influant la fiabilité. Nous proposons une méthode d'analyse pour différents REX en fonction de la qualité et de la quantité d'informations. Cette étude s'appuie uniquement sur du REX de matériels en exploitation afin de prendre en compte les facteurs d'influence dans la fiabilité, objet de la thèse. Ainsi, afin de traiter de manière optimale le REX issu des bases de données génériques actuelles, nous proposons l'utilisation conjointe de techniques bayésiennes et de pondération des différentes données d'entrées en fonction de facteurs prédéfinis. Le second modèle proposé, entièrement paramétrique, s'appuie sur un modèle à hasard proportionnel qui permet d'obtenir une fonction environnementale traduisant l'impact des facteurs sur la fiabilité. Enfin, une modélisation par des réseaux de neurones pour les REX conséquents en quantité et en qualité est proposée
Functional safety assessment requires a safety level quantification of equipments by a qualitative and quantitative analysis. Some industrials whose have no specific feedback for their activities experience difficulties to provide reliable and relevant results. Designers of reliability databases for electronic components have defined models for calculating failure rates depending on the parameters of use. There is nothing in the field of mechanical equipment. This research aims to develop a methodology to improve the predictions reliability of mechanical and electromechanical equipment. Thus, this work implements models that allow accurate prediction reliability taking into account mechanical equipment specificity and influential factors reliability. We propose an analysis method for different feedback based on the quality and quantity of information. This study is only based on operating feedback equipment to take into account influencing factors reliability, the subject of this thesis. Thus, in order to deal with efficiently operating feedback resulting from generic databases, the use of bayesian techniques and weighting of various input data according to pre-defined factors is proposed. The second approach, fully parametric, is based on proportional hazard model to get an environmental function reflecting the impact of factors on reliability. Finally, a neural networks mode is available for numerous operating feedback in quantity and quality

L'objet de cette thèse est de déterminer les justifications qui peuvent ou pourraient rendre les réseaux de neurones artificiels essentiels pour résoudre les problèmes complexes que l'on rencontre en reconnaissance des formes avec apprentissage supervisé. Pour ce faire, nous nous sommes placés successivement selon quatre points de vue : analogique ou neuromimétique, statistique, informatique et pragmatique. Par rapport aux trois premiers points de vue qui constituent un ensemble de justifications a priori, aucun des principaux modèles connexionnistes n'est apparu complètement satisfaisant. En ce qui a concerne le point de vue pragmatique, nous avons été amené à développer une méthode et des outils permettant d'effectuer des mesures de performances sur des problèmes construits dont on contrôle la complexité. En particulier, nous avons développé un générateur probabiliste pouvant produire des échantillons théoriquement quelconques et dont, en pratique, on peut régler la complexité en termes de non-linéarité des frontières optimales de décision et d'empiètement des différentes classes de décision. On a pu alors étudier expérimentalement l'épineux problème théorique de la généralisation dans les systèmes de reconnaissance de formes connexionnistes tel que le MLP ceci autrement que sur des cas particuliers. Les expériences réalisées ont mis en évidence certaines relations entre la complexité intrinsèque du problème de reconnaissance des formes d'où est issu l'échantillon, la taille de cet échantillon, la capacité intrinsèque d'adaptation du système connexionniste étudié et la stratégie d'apprentissage. L'ensemble des résultats expérimentaux obtenus comblent partiellement le manque de résultats en théorie statistique de l'apprentissage tout en restant cohérents avec ceux qui sont connus. Ils montrent la nécessité d'une théorie de l'apprentissage moins mathématique et statistique et plus cognitive.

Les travaux presentes dans ce memoire s'inscrivent dans le cadre des systemes de recherche documentaire. Notre premiere contribution a permis la definition d'un modele de recherche d'informations textuelles, base sur la theorie connexionniste. Ce modele reutilise des elements interessants des modeles de recherche existants et introduit des aspects dynamiques via l'utilisation de reseaux de neurones formels. Les termes d'indexation et de recherche d'une part, les documents d'autre part sont representes par des neurones. Ces neurones sont interconnectes par des liens types et ponderes. A partir d'une requete exprimee par un utilisateur, la recherche d'informations peut alors etre realisee selon plusieurs mecanismes complementaires: sans modification de la requete, avec expansion dirigee de requetes ou par recherche des documents ressemblants a un document donne. L'ensemble de ces mecanismes est base sur une propagation d'activation issue de la theorie connexionniste. Nous avons defini differentes strategies d'adaptation du reseau. L'apprentissage a court terme permet une adaptation ponctuelle, pour chaque requete. Cet apprentissage est base sur le principe de reinjection dans la requete des jugements fournis par l'utilisateur sur la pertinence des informations restituees. Des apprentissages a long terme prennent en compte les interrogations d'un ensemble d'utilisateurs et leur satisfaction par rapport aux reponses du systeme. Nous resolvons les problemes induits par la mise a jour de la base d'informations par un apprentissage local, supervise par l'administrateur. Notre seconde contribution a ete la validation du modele que nous proposons. Cette validation est realisee au travers de deux prototypes. Le premier (sep) permet l'evaluation des performances du modele de recherche et nous a permis d'etudier differents parametres du modele. Le second (syrene) est un sri gerant des donnees bibliographiques

L'inférence bayésienne répond aux questions clés de la perception, comme par exemple : "Que faut-il que je crois étant donné ce que j'ai perçu ?". Elle est donc par conséquent une riche source de modèles pour les sciences cognitives et les neurosciences (Knill et Richards, 1996). Cette thèse de doctorat explore deux modèles bayésiens. Dans le premier, nous explorons un problème de codage efficace, et répondons à la question de comment représenter au mieux une information probabiliste dans des neurones pas parfaitement fiables. Nous innovons par rapport à l'état de l'art en modélisant une information d'entrée finie dans notre modèle. Nous explorons ensuite un nouveau modèle d'observateur optimal pour la localisation d'une source sonore grâce à l’écart temporel interaural, alors que les modèles actuels sont purement phénoménologiques. Enfin, nous explorons les propriétés de l'algorithme d'inférence approximée "Expectation Propagation", qui est très prometteur à la fois pour des applications en apprentissage automatique et pour la modélisation de populations neuronales, mais qui est aussi actuellement très mal compris
Bayesian inference answers key questions of perception such as: "What should I believe given what I have perceived ?". As such, it is a rich source of models for cognitive science and neuroscience (Knill and Richards, 1996). This PhD manuscript explores two such models. We first investigate an efficient coding problem, asking the question of how to best represent probabilistic information in unrealiable neurons. We innovate compared to older such models by introducing limited input information in our own. We then explore a brand new ideal observer model of localization of sounds using the Interaural Time Difference cue, when current models are purely descriptive models of the electrophysiology. Finally, we explore the properties of the Expectation Propagation approximate-inference algorithm, which offers great potential for both practical machine-learning applications and neuronal population models, but is currently very poorly understood

Les démarches classiques dans le domaine de l’analyse des données médicales utilisent des méthodes statistiques traditionnelles qui ont montré leurs limitations. La fouille de données est de nature exploratoire et traite de gros volumes de données sans a priori alors que les autres domaines sont confirmatoires et exploitent des données structurées et souvent de tailles plus faibles. L’objectif de notre thèse est de proposer une démarche basée sur un algorithme hybride de DataMining pour des fins d’extraction de connaissances appliqué à des bases de données médicales. L’objet de notre étude concerne une maladie qui touche près de 1% de la population française qu’est la Schizophrénie. Si les descriptions classiques, codifiées par les efforts de classifications internationalement reconnues ont permis de définir un découpage nosographique des troubles psychiatriques, ce découpage n’a jamais été validé par de résultats physiopathologiques. Il en découle une masse considérable de données, qu’il faut pouvoir optimiser, tant sur le plan opérationnel que scientifique. Il est indispensable d'utiliser des outils de caractérisation phénotypique précis et d’apporter une appréciation qualitative sur la valeur des variables, afin de choisir les meilleures pour définir d'éventuels sous groupes de la maladie. Nous proposons de mettre en place d’une architecture d’extraction de connaissances fusionnant des algorithmes de DataMining, la première partie de cette architecture utilisera l’algorithme de règles d’association comme outil de sélection de variables les plus pertinents pour décrire une sortie désirée. En se basant sur se sous groupe d’attributs, la deuxième partie aura pour but de fournir des profils probabilistes concernant des caractéristiques phénotypiques de patients soufrant de schizophrénie et de créer un modèle de classification fiable par l’utilisation des algorithmes de Réseaux Bayesiens et de Réseaux de neurones
Current approaches in the field of data analysis applied to Medicine use traditional statistical methods which showed limitations Data Mining consists in exploring and processing large volumes of data while the other methods are confirmatory and use structured data of often smaller sizes The main motivation of our thesis consist on the proposal of a new approach based on a hybrid Data Mining algorithm in order to extract knowledge applied to medical databases. The object of our study concerns a disease which affects about 1 % of the French population that is Schizophrenia. Conventional descriptions, codified by means of internationally recognized classifications, allowed the definition of nosographic categories of psychiatric disorders, which were however never validated by physiopathological data. It results in a considerable amount of data that needs to be optimizing both for operational and scientific purpose. It is thus necessary to use precise tools for phenotypic characterization and provide with an appreciation of the value of those variables to define possible sub-groups of the disease. We suggest setting up knowledge extraction architecture merging DataMining algorithms, the first part of this architecture will use the algorithm of association rules as the most relevant tool of feature selection of variables. Based on this sub-group of attributes, the second part will aim at supplying probabilistic profiles concerning phonotypical characteristics of patients suffering schizophrenia and to create a model of reliable classification by the use of the algorithms of Bayesians Networks and Neuronal Networks

Le sujet principal de notre travail d'habilitation concerne l'extension de l'approche systémique, initialement implantée dans le Système de Recherche d'Information NOMAD, qui a fait l'objet de notre travail de thèse, pour mettre en place un nouveau paradigme général d'analyse de données basé sur les points de vue multiples, paradigme que nous avons baptisé MVDA (Multi-View Data Analysis). Ce paradigme couvre à la fois le domaine de l'analyse de données et celui de la fouille de données. Selon celui-ci, chaque analyse de données est considérée comme une vue différente sur les données. Le croisement entre les vues s'opère par l'intermédiaire d'un réseau bayésien construit, de manière non supervisée, à partir des données ou des propriétés partagées entre ces dernières. Le paradigme MDVA repose également sur l'exploitation de méthodes spécifiques de visualisation, comme la visualisation topographique ou la visualisation hyperbolique. La mise en place de nouveaux estimateurs de qualité de type Rappel/Précision non supervisés basés sur l'analyse de la distribution des propriétés associées aux classes, et qui à la fois sont indépendants des méthodes de classification et des changements relatifs à leur mode opératoire (initialisation, distances utilisées ...), nous a permis de démontrer objectivement la supériorité de ce paradigme par rapport à l'approche globale, classique en analyse de données. Elle nous a également permis de comparer et d'intégrer dans le paradigme MVDA des méthodes de classification non supervisées (clustering) neuronales qui sont plus particulièrement adaptées à la gestion des données ultra-éparses et fortement multidimensionnelles, à l'image des données documentaires, ainsi que d'optimiser le mode opératoire de telles méthodes. Notre démarche a par ailleurs impliqué de développer la cohabitation entre le raisonnement neuronal et le raisonnement symbolique, ou entre des modèles de nature différente, de manière à couvrir l'ensemble des fonctions de la recherche et de l'analyse de l'information et à éliminer, sinon à réduire, les défauts inhérents à chacun des types d'approche. A travers de nombreuses applications, notamment dans le domaine de l'évaluation des sciences, nous montrons comment l'exploitation d'un tel paradigme peut permettre de résoudre des problèmes complexes d'analyse de données, comme ceux liés l'analyse diachronique à grande échelle des données textuelles polythématiques. Nous montrons également comment l'ensemble des outils développés dans le cadre de ce paradigme nous ont permis mettre en place de nouvelles méthodes très robustes et très performantes pour la classification supervisée et pour le clustering incrémental. Nous montrons finalement comment nous envisageons d'étendre leur application à d'autres domaines très porteurs, comme ceux du traitement automatique des langues ou de la bioinformatique.

Le contexte de cette étude est le développement d'un système de mesure de température par imagerie de Peintures Thermo-Sensibles (PTS). La couleur de ce revêtement évolue irréversiblement avec l'élévation de température. Les PTS sont utilisées dans l'industrie aéronautique, mais l'analyse est encore effectuée par l'opérateur. Notre objectif est de mettre en place un procédé de mesure automatique, utilisant une caméra couleur 3CCD reliée à un système d'acquisition et de traitement d'images, qui restitue la température maximale atteinte en tout point d'un objet tridimensionnel. Pour chaque peinture, la correspondance entre la couleur et la température est établie à partir d'une base de données qui sert de référence pour analyser d'autres pièces. Nous avons défini un réseau de neurones qui fournit une approximation de la température à partir des données colorimétriques. Son apprentissage constitue la caractérisation de la peinture et détermine une fonction couleur-température. La classification consiste en l'application de cette fonction sur les images à analyser. Un traitement particulier est mis en œuvre pour pallier à l'influence des variations d'intensité. Avant la reconstitution tridimensionnelle qui établit la correspondance entre l'image et l'objet, il est indispensable d'étalonner géométriquement la prise de vue. De plus, certaines pièces nécessitent d'être observées depuis plusieurs points de vue, à partir desquels les informations sont regroupées. Le résultat final est une cartographie de température reliée au modèle CAO de l'objet.

La structure d'un réseau de neurones détermine dans une large mesure son coût d'entraînement et d'utilisation, ainsi que sa capacité à apprendre. Ces deux aspects sont habituellement en compétition : plus un réseau de neurones est grand, mieux il remplira la tâche qui lui a été assignée, mais plus son entraînement nécessitera des ressources en mémoire et en temps de calcul. L'automatisation de la recherche des structures de réseaux efficaces - de taille raisonnable, mais performantes dans l'accomplissement de la tâche - est donc une question très étudiée dans ce domaine. Dans ce contexte, des réseaux de neurones aux structures variées doivent être entraînés, ce qui nécessite un nouveau jeu d'hyperparamètres d'entraînement à chaque nouvelle structure testée. L'objectif de la thèse est de traiter différents aspects de ce problème. La première contribution est une méthode d'entraînement de réseau qui fonctionne dans un vaste périmètre de structures de réseaux et de tâches à accomplir, sans nécessité de régler le taux d'apprentissage. La deuxième contribution est une technique d'entraînement et d'élagage de réseau, conçue pour être insensible à la largeur initiale de celui-ci. La dernière contribution est principalement un théorème qui permet de traduire une pénalité d'entraînement empirique en a priori bayésien, théoriquement bien fondé. Ce travail résulte d'une recherche des propriétés que doivent théoriquement vérifier les algorithmes d'entraînement et d'élagage pour être valables sur un vaste ensemble de réseaux de neurones et d'objectifs
The structure of a neural network determines to a large extent its cost of training and use, as well as its ability to learn. These two aspects are usually in competition: the larger a neural network is, the better it will perform the task assigned to it, but the more it will require memory and computing time resources for training. Automating the search of efficient network structures -of reasonable size and performing well- is then a very studied question in this area. Within this context, neural networks with various structures are trained, which requires a new set of training hyperparameters for each new structure tested. The aim of the thesis is to address different aspects of this problem. The first contribution is a training method that operates within a large perimeter of network structures and tasks, without needing to adjust the learning rate. The second contribution is a network training and pruning technique, designed to be insensitive to the initial width of the network. The last contribution is mainly a theorem that makes possible to translate an empirical training penalty into a Bayesian prior, theoretically well founded. This work results from a search for properties that theoretically must be verified by training and pruning algorithms to be valid over a wide range of neural networks and objectives

Cette thèse a pour objectif la conception d’une architecture de contrôle bio-inspirée permettant à un robot autonome de naviguer sur de grandes distances. Le modèle développé permet également d’améliorer la compréhension des mécanismes biologiques impliqués. De précédents travaux ont montré qu’un modèle de cellules de lieu, enregistrées chez le rat, permettait à un robot mobile d’apprendre des comportements de navigation robustes, tels qu’une ronde ou un retour au nid, à partir d’associations entre lieu et action. La reconnaissance d’un lieu ne reposait alors que sur des informations visuelles. L’ambiguïté de certaines situations (e.g. un long couloir) ne permettait pas de naviguer dans de grands environnements. L’ajout d’autres modalités constitue une solution efficace pour augmenter la robustesse dans des environnements complexes. Cette solution nous a permis d’identifier les briques minimales nécessaires à la fusion d’informations multimodales, d’abord par le biais d’un conditionnement simple entre 2 modalités sensorielles, puis par la formalisation d’un modèle, plus générique, de prédictions inter-modales. C’est un mécanisme bas niveau qui permet de générer une cohérence perceptive : l’ensemble des modalités sensorielles s’entraident pour ne renvoyer qu’une perception claire et cohérente aux mécanismes décisionnels de plus haut niveau. Les modalités les plus corrélées sont ainsi capables de combler les informations manquantes d’une modalité défaillante (cas pathologique). Ce modèle implique la mise en place d’un système de prédiction et donc une capacité à détecter de la nouveauté dans ses perceptions. Ainsi, le modèle est également capable de détecter une situation inattendue ou anormale et possède donc une capacité d’auto-évaluation : l’évaluation de ses propres perceptions. Nous nous sommes ensuite mis à la recherche des propriétés fondamentales à tout système d'auto-évaluation.La première propriété essentielle a été de constater qu’évaluer un comportement sensorimoteur revient à reconnaître une dynamique entre sensation et action, plutôt que la simple reconnaissance d’une forme sensorielle. La première brique encapsule donc un modèle interne minimaliste des interactions du robot avec son environnement, qui est la base sur laquelle le système fera des prédictions.La seconde propriété essentielle est la capacité à extraire l’information pertinente par le biais de calculs statistiques. Il est nécessaire que le robot apprenne à capturer les invariants statistiques en supprimant l’information incohérente. Nous avons donc montré qu’il était possible d’estimer une densité de probabilité par le biais d’un simple conditionnement. Cet apprentissage permet de réaliser l’équivalent d’une inférence bayésienne. Le système estime la probabilité de reconnaître un comportement à partir de la reconnaissance d’informations statistiques apprises. C’est donc par la mise en cascade de simples conditionnements que le système peut apprendre à estimer les moments statistiques d’une dynamique (moyenne, variance, asymétrie, etc...). La non-reconnaissance de cette dynamique lui permet de détecter qu’une situation est anormale.Mais détecter un comportement inhabituel ne nous renseigne pas pour autant sur son inefficacité. Le système doit également surveiller l’évolution de cette anomalie dans le temps pour pouvoir juger de la pertinence du comportement. Nous montrons comment un contrôleur émotionnel peut faire usage de cette détection de nouveauté pour réguler le comportement et ainsi permettre au robot d’utiliser la stratégie la plus adaptée à la situation rencontrée. Pour finir, nous avons mis en place une procédure de frustration permettant au robot de lancer un appel à l’aide lorsqu’il détecte qu’il se retrouve dans une impasse. Ce réseau de neurones permet au robot d’identifier les situations qu’il ne maîtrise pas dans le but d’affiner son apprentissage, à l’instar de certains processus développementaux
The goal of this thesis is to build a bio-inspired architecture allowing a robot to autonomouslynavigate over large distances. In a cognitive science point of view, the model also aim at improv-ing the understanding of the underlying biological mechanisms. Previous works showed thata computational model of hippocampal place cells, based on neurobiological studies made onrodent, allows a robot to learn robust navigation behaviors. The robot can learn a round or ahoming behavior from a few associations between places and actions. The learning and recog-nition of a place were only defined by visual information and shows limitations for navigatinglarge environments.Adding other sensorial modalities is an effective solution for improving the robustness of placesrecognition in complex environments. This solution led us to the elementary blocks requiredwhen trying to perform multimodal information merging. Such merging has been done, first,by a simple conditioning between 2 modalities and next improved by a more generic model ofinter-modal prediction. In this model, each modality learns to predict the others in usual situa-tions, in order to be able to detect abnormal situations and to compensate missing informationof the others. Such a low level mechanism allows to keep a coherent perception even if onemodality is wrong. Moreover, the model can detect unexpected situations and thus exhibit someself-assessment capabilities: the assessment of its own perception. Following this model of self-assessment, we focus on the fundamental properties of a system for evaluating its behaviors.The first fundamental property that pops out is the statement that evaluating a behavior is anability to recognize a dynamics between sensations and actions, rather than recognizing a sim-ple sensorial pattern. A first step was thus to take into account the sensation/action couplingand build an internal minimalist model of the interaction between the agent and its environment.Such of model defines the basis on which the system will build predictions and expectations.The second fundamental property of self-assessment is the ability to extract relevant informa-tion by the use of statistical processes to perform predictions. We show how a neural networkcan estimate probability density functions through a simple conditioning rule. This probabilis-tic learning allows to achieve bayesian inferences since the system estimates the probability ofobserving a particular behavior from statistical information it recognizes about this behavior.The robot estimates the different statistical momentums (mean, variance, skewness, etc...) of abehavior dynamics by cascading few simple conditioning. Then, the non-recognition of such adynamics is interpreted as an abnormal behavior.But detecting an abnormal behavior is not sufficient to conclude to its inefficiency. The systemmust also monitor the temporal evolution of such an abnormality to judge the relevance of thebehavior. We show how an emotional meta-controller can use this novelty detection to regu-late behaviors and so select the best appropriate strategy in a given context. Finally, we showhow a simple frustration mechanism allows the robot to call for help when it detects potentialdeadlocks. Such a mechanism highlights situations where a skills improvement is possible, soas some developmental processes

L'estimation de l'âge au décès des adultes, paramètre crucial en Paléoanthropologie, constitue un véritable écueil. De façon à proposer une méthodologie fiable, nous avons analysé l'aspect biologique de notre problématique : la variabilité de la sénescence et la validité des indicateurs osseux et dentaires. Cette étude a permis de mettre en évidence des sources d'erreurs : l'absence de relation linéaire entre l'âge chronologique et l'évolution des indicateurs du squelette, le manque de représentativité de la variabilité des indicateurs et la recherche d'un âge précis au détriment de la fiabilité.
Suite à ces analyses, une nouvelle approche méthodologique est proposée. Après avoir sélectionné certains indicateurs osseux (la symphyse pubienne, la surface sacro-pelvienne iliaque et l'extrémité sternale de la quatrième côte), nous avons élaboré un nouveau système de cotation de façon à optimiser la reproductibilité et à prendre en compte la variabilité des indicateurs. Nous avons étudié des échantillons de référence provenant de six contextes géographiques différents, de façon à englober une variabilité de la sénescence la plus large possible. Les données ont ensuite été traitées par l'approche bayésienne dans le but de classer les spécimens dans des intervalles chronologiques. Nous avons également testé le potentiel des réseaux de neurones artificiels, mécanisme calculatoire approprié pour gérer les relations non-linéaires entre variables.
Les résultats ont mis en évidence que la surface sacro-pelvienne iliaque est un indicateur majeur de l'âge au décès, mais que la combinaison de plusieurs indicateurs n'augmente pas la fiabilité de l'estimation. Le nouveau système de cotation et le traitement des données proposés permettent de classer les spécimens avec fiabilité et d'identifier les individus de plus de 60 ans, catégorie dont l'effectif est toujours sous-estimé dans les études paléobiologiques. Les réseaux de neurones artificiels s'avèrent un outil prometteur.

Ce travail se compose de deux parties relevant d'applications industrielles différentes.
La première traite d'une antenne spatiale réseau active.
Il faut d'abord calculer les lois d'alimentation pour satisfaire les contraintes de rayonnement. Nous transformons un problème avec de nombreux minima locaux en un problème d'optimisation convexe, dont l'optimum est le minimum global du problème initial, en utilisant le principe de conservation de l'énergie.
Nous résolvons ensuite un problème d'optimisation topologique: il faut réduire le nombre d'éléments rayonnants (ER). Nous appliquons une décomposition en valeurs singulières à l'ensemble des modules optimaux relaxés, puis un algorithme de type gradient topologique décide les regroupements entre ER élémentaires.

La deuxième partie porte sur une simulation type boîte noire d'un accident chimique.
Nous effectuons une étude de fiabilité et de sensibilité suivant un grand nombre de paramètres (probabilités de défaillance, point de conception, et paramètres influents). Sans disposer du gradient, nous utilisons un modèle réduit.
Dans un premier cas test nous avons comparé les réseaux neuronaux et la méthode d'interpolation sur grille éparse Sparse Grid (SG). Les SG sont une technique émergente: grâce à leur caractère hiérarchique et un algorithme adaptatif, elles deviennent particulièrement efficaces pour les problèmes réels (peu de variables influentes).
Elles sont appliquées à un cas test en plus grande dimension avec des améliorations spécifiques (approximations successives et seuillage des données).
Dans les deux cas, les algorithmes ont donné lieu à des logiciels opérationnels.

La séparation aveugle de sources audio dans le cas sous-déterminé est un problème mathématique complexe dont il est aujourd'hui possible d'obtenir une solution satisfaisante, à condition de sélectionner la méthode la plus adaptée au problème posé et de savoir paramétrer celle-ci soigneusement. Afin d'automatiser cette étape de sélection déterminante, nous proposons dans cette thèse de recourir au principe de fusion. L'idée est simple : il s'agit, pour un problème donné, de sélectionner plusieurs méthodes de résolution plutôt qu'une seule et de les combiner afin d'en améliorer la solution. Pour cela, nous introduisons un cadre général de fusion qui consiste à formuler l'estimée d'une source comme la combinaison de plusieurs estimées de cette même source données par différents algorithmes de séparation, chaque estimée étant pondérée par un coefficient de fusion. Ces coefficients peuvent notamment être appris sur un ensemble d'apprentissage représentatif du problème posé par minimisation d'une fonction de coût liée à l'objectif de séparation. Pour aller plus loin, nous proposons également deux approches permettant d'adapter les coefficients de fusion au signal à séparer. La première formule la fusion dans un cadre bayésien, à la manière du moyennage bayésien de modèles. La deuxième exploite les réseaux de neurones profonds afin de déterminer des coefficients de fusion variant en temps. Toutes ces approches ont été évaluées sur deux corpus distincts : l'un dédié au rehaussement de la parole, l'autre dédié à l'extraction de voix chantée. Quelle que soit l'approche considérée, nos résultats montrent l'intérêt systématique de la fusion par rapport à la simple sélection, la fusion adaptative par réseau de neurones se révélant être la plus performante
Underdetermined blind source separation is a complex mathematical problem that can be satisfyingly resolved for some practical applications, providing that the right separation method has been selected and carefully tuned. In order to automate this selection process, we propose in this thesis to resort to the principle of fusion which has been widely used in the related field of classification yet is still marginally exploited in source separation. Fusion consists in combining several methods to solve a given problem instead of selecting a unique one. To do so, we introduce a general fusion framework in which a source estimate is expressed as a linear combination of estimates of this same source given by different separation algorithms, each source estimate being weighted by a fusion coefficient. For a given task, fusion coefficients can then be learned on a representative training dataset by minimizing a cost function related to the separation objective. To go further, we also propose two ways to adapt the fusion coefficients to the mixture to be separated. The first one expresses the fusion of several non-negative matrix factorization (NMF) models in a Bayesian fashion similar to Bayesian model averaging. The second one aims at learning time-varying fusion coefficients thanks to deep neural networks. All proposed methods have been evaluated on two distinct corpora. The first one is dedicated to speech enhancement while the other deals with singing voice extraction. Experimental results show that fusion always outperform simple selection in all considered cases, best results being obtained by adaptive time-varying fusion with neural networks

Le risque de chute provoqué par le phénomène épisodique de ‘Freeze of Gait’ (FoG) est un symptôme commun de la maladie de Parkinson. Cette étude concerne la détection et le diagnostic des épisodes de FoG à l'aide d'un prototype multi-capteurs. La première contribution est l'introduction de nouveaux capteurs (télémètres et goniomètres) dans le dispositif de mesure pour la détection des épisodes de FoG. Nous montrons que l'information supplémentaire obtenue avec ces capteurs améliore les performances de la détection. La seconde contribution met œuvre un algorithme de détection basé sur des réseaux de neurones gaussiens. Les performance de cet algorithme sont discutées et comparées à l'état de l'art. La troisième contribution est développement d'une approche de modélisation probabiliste basée sur les réseaux bayésiens pour diagnostiquer le changement du comportement de marche des patients avant, pendant et après un épisode de FoG. La dernière contribution est l'utilisation de réseaux bayésiens arborescents pour construire un modèle global qui lie plusieurs symptômes de la maladie de Parkinson : les épisodes de FoG, la déformation de l'écriture et de la parole. Pour tester et valider cette étude, des données cliniques ont été obtenues pour des patients atteints de Parkinson. Les performances en détection, classification et diagnostic sont soigneusement étudiées et évaluées
Freezing of Gait (FoG) is an episodic phenomenon that is a common symptom of Parkinson's disease (PD). This research is headed toward implementing a detection, diagnosis and correction system that prevents FoG episodes using a multi-sensor device. This particular study aims to detect/diagnose FoG using different machine learning approaches. In this study we validate the choice of integrating multiple sensors to detect FoG with better performance. Our first level of contribution is introducing new types of sensors for the detection of FoG (telemeter and goniometer). An advantage in our work is that due to the inconsistency of FoG events, the extracted features from all sensors are combined using the Principal Component Analysis technique. The second level of contribution is implementing a new detection algorithm in the field of FoG detection, which is the Gaussian Neural Network algorithm. The third level of contribution is developing a probabilistic modeling approach based on Bayesian Belief Networks that is able to diagnosis the behavioral walking change of patients before, during and after a freezing event. Our final level of contribution is utilizing tree-structured Bayesian Networks to build a global model that links and diagnoses multiple Parkinson's disease symptoms such as FoG, handwriting, and speech. To achieve our goals, clinical data are acquired from patients diagnosed with PD. The acquired data are subjected to effective time and frequency feature extraction then introduced to the different detection/diagnosis approaches. The used detection methods are able to detect 100% of the present appearances of FoG episodes. The classification performances of our approaches are studied thoroughly and the accuracy of all methodologies is considered carefully and evaluated

Au fur et à mesure que les relevés cosmologiques progressent et deviennent plus sophistiquées, ils fournissent des données de meilleure résolution, et de plus grand volume. La forêt Lyman-α est apparue comme une sonde puissante pour étudier les propriétés du milieu intergalactique (MIG) jusqu’à des redshift très élevés. L’analyse de ces données massives nécessite des simulations hydrodynamiques avancées capables d’atteindre une résolution comparable à celles des observations, ce qui exige des ordinateurs puissants et une quantité considérable de temps de calcul. Les développements récents dans le domaine de l’apprentissage automatique, notamment les réseaux de neurones, offrent de potentielles alternatives. Avec leur capacité à fonctionner comme des mécanismes d’ajustement universels, les réseaux de neurones gagnent du terrain dans diverses disciplines, y compris l’astrophysique et la cosmologie. Dans cette thèse de doctorat, nous explorons un cadre d’apprentissage automatique, plus précisément un réseau de neurones artificiels qui émule des simulations hydrodynamiques à partir de simulations N-corps de matière noire. Le principe fondamental de ce travail est basé sur l’approximation fluctuante de Gunn-Peterson (AFGP), un cadre couramment utilisé pour émuler la forêt Lyman-α à partir de la matière noire. Bien qu’utile pour la compréhension physique, l’AFGP ne parvient pas à prédire correctement l’absorption en négligeant la non-localité dans la construction du MIG. Au lieu de cela, notre méthode prend en compte la diversité du MIG, ce qui ne profite pas exclusivement à la forêt Lyman-α et s’étend à d’autres applications, tout en étant transparente dans son fonctionnement. Elle offre également une solution plus efficace pour générer des simulations, réduisant considérablement le temps de calcul par rapport aux simulations hydrodynamiques standard. Nous testons également la résilience du modèle en l’entraînant sur des données produites avec différentes hypothèses concernant la physique du MIG, via une méthode d’apprentissage par transfert. Nous comparons nos résultats à ceux d’autres méthodes existantes. Enfin, les simulateurs Lyman-α standards construisent généralement le volume d’observation en utilisant une seule époque des simulations cosmologiques. Cela implique un environnement astrophysique identique partout, ce qui ne reflète pas l’univers réel. Nous explorons la possibilité d’aller au-delà de cette limitation en prenant en compte dans notre émulateur des effets baryoniques variables le long de la ligne de visée. Bien que préliminaire, cette méthode pourrait servir à la construction de cônes de lumière cohérents. Afin de fournir des observables simulées plus réalistes, ce qui nous permettrait de mieux comprendre la nature du MIG et de contraindre les paramètres du modèle ΛCDM, nous envisageons d’utiliser des réseaux de neurones pour interpoler la rétroaction astrophysique à travers différentes cellules dans les simulations
As cosmological surveys advance and become more sophisticated, they provide data with increasing resolution and volume. The Lyman-α forest has emerged as a powerful probe to study the intergalactic medium (IGM) properties up to a very high redshift. Analysing this extensive data requires advanced hydrodynamical simulations capable of resolving the observational data, which demands robust hardware and a considerable amount of computational time. Recent developments in machine learning, particularly neural networks, offer potential solutions. With their ability to function as universal fitting mechanisms, neural networks are gaining traction in various disciplines, including astrophysics and cosmology. In this doctoral thesis, we explore a machine learning framework, specifically, an artificial neural network to emulate hydrodynamical simulations from N-body simulations of dark matter. The core principle of this work is based on the fluctuating Gunn-Peterson approximation (FGPA), a framework commonly used to emulate the Lyman-α forest from dark matter. While useful for physical understanding, the FGPA misses to properly predict the absorption by neglecting non-locality in the construction of the IGM. Instead, our method includes the diversity of the IGM while being interpretable, which does not exclusively benefit the Lyman-α forest and extends to other applications. It also provides a more efficient solution to generate simulations, significantly reducing time compared to standard hydrodynamical simulations. We also test its resilience and explore the potential of using this framework to generalise to various astrophysical hypotheses of the IGM physics using a transfer learning method. We discuss how the results relate to other existing methods. Finally, the Lyman-α simulator typically constructs the observational volume using a single timestep of the cosmological simulations. This implies an identical astrophysical environment everywhere, which does not reflect the real universe. We explore and experiment to go beyond this limitation with our emulator, accounting for variable baryonic effects along the line of sight. While this is still preliminary, it could become a framework for constructing consistent light-cones. We apply neural networks to interpolate astrophysical feedback across different cells in simulations to provide mock observables more realistic to the real universe, which would allow us to understand the nature of IGM better and to constrain the ΛCDM model

L'étude probabiliste de sûreté (EPS) parasismique est l'une des méthodologies les plus utiliséespour évaluer et assurer la performance des infrastructures critiques, telles que les centrales nucléaires,sous excitations sismiques. La thèse discute sur les aspects suivants: (i) Construction de méta-modèlesavec les réseaux de neurones pour construire les relations entre les intensités sismiques et les paramètresde demande des structures, afin d'accélérer l'analyse de fragilité. L'incertitude liée à la substitution desmodèles des éléments finis par les réseaux de neurones est étudiée. (ii) Proposition d'une méthodologiebayésienne avec réseaux de neurones adaptatifs, afin de prendre en compte les différentes sourcesd'information, y compris les résultats des simulations numériques, les valeurs de référence fournies dansla littérature et les évaluations post-sismiques, dans le calcul de courbes de fragilité. (iii) Calcul des loisd'atténuation avec les réseaux de neurones. Les incertitudes épistémiques des paramètres d'entrée de loisd'atténuation, tels que la magnitude et la vitesse moyenne des ondes de cisaillement de trente mètres, sontprises en compte dans la méthodologie développée. (iv) Calcul du taux de défaillance annuel en combinantles résultats des analyses de fragilité et de l'aléa sismique. Les courbes de fragilité sont déterminées parle réseau de neurones adaptatif, tandis que les courbes d'aléa sont obtenues à partir des lois d'atténuationconstruites avec les réseaux de neurones. Les méthodologies proposées sont appliquées à plusieurs casindustriels, tels que le benchmark KARISMA et le modèle SMART
Seismic probabilistic risk assessment (SPRA) is one of the most widely used methodologiesto assess and to ensure the performance of critical infrastructures, such as nuclear power plants (NPPs),faced with earthquake events. SPRA adopts a probabilistic approach to estimate the frequency ofoccurrence of severe consequences of NPPs under seismic conditions. The thesis provides discussionson the following aspects: (i) Construction of meta-models with ANNs to build the relations betweenseismic IMs and engineering demand parameters of the structures, for the purpose of accelerating thefragility analysis. The uncertainty related to the substitution of FEMs models by ANNs is investigated.(ii) Proposal of a Bayesian-based framework with adaptive ANNs, to take into account different sourcesof information, including numerical simulation results, reference values provided in the literature anddamage data obtained from post-earthquake observations, in the fragility analysis. (iii) Computation ofGMPEs with ANNs. The epistemic uncertainties of the GMPE input parameters, such as the magnitudeand the averaged thirty-meter shear wave velocity, are taken into account in the developed methodology.(iv) Calculation of the annual failure rate by combining results from the fragility and hazard analyses.The fragility curves are determined by the adaptive ANN, whereas the hazard curves are obtained fromthe GMPEs calibrated with ANNs. The proposed methodologies are applied to various industrial casestudies, such as the KARISMA benchmark and the SMART model

La séparation aveugle de sources audio dans le cas sous-déterminé est un problème mathématique complexe dont il est aujourd'hui possible d'obtenir une solution satisfaisante, à condition de sélectionner la méthode la plus adaptée au problème posé et de savoir paramétrer celle-ci soigneusement. Afin d'automatiser cette étape de sélection déterminante, nous proposons dans cette thèse de recourir au principe de fusion. L'idée est simple : il s'agit, pour un problème donné, de sélectionner plusieurs méthodes de résolution plutôt qu'une seule et de les combiner afin d'en améliorer la solution. Pour cela, nous introduisons un cadre général de fusion qui consiste à formuler l'estimée d'une source comme la combinaison de plusieurs estimées de cette même source données par différents algorithmes de séparation, chaque estimée étant pondérée par un coefficient de fusion. Ces coefficients peuvent notamment être appris sur un ensemble d'apprentissage représentatif du problème posé par minimisation d'une fonction de coût liée à l'objectif de séparation. Pour aller plus loin, nous proposons également deux approches permettant d'adapter les coefficients de fusion au signal à séparer. La première formule la fusion dans un cadre bayésien, à la manière du moyennage bayésien de modèles. La deuxième exploite les réseaux de neurones profonds afin de déterminer des coefficients de fusion variant en temps. Toutes ces approches ont été évaluées sur deux corpus distincts : l'un dédié au rehaussement de la parole, l'autre dédié à l'extraction de voix chantée. Quelle que soit l'approche considérée, nos résultats montrent l'intérêt systématique de la fusion par rapport à la simple sélection, la fusion adaptative par réseau de neurones se révélant être la plus performante
Underdetermined blind source separation is a complex mathematical problem that can be satisfyingly resolved for some practical applications, providing that the right separation method has been selected and carefully tuned. In order to automate this selection process, we propose in this thesis to resort to the principle of fusion which has been widely used in the related field of classification yet is still marginally exploited in source separation. Fusion consists in combining several methods to solve a given problem instead of selecting a unique one. To do so, we introduce a general fusion framework in which a source estimate is expressed as a linear combination of estimates of this same source given by different separation algorithms, each source estimate being weighted by a fusion coefficient. For a given task, fusion coefficients can then be learned on a representative training dataset by minimizing a cost function related to the separation objective. To go further, we also propose two ways to adapt the fusion coefficients to the mixture to be separated. The first one expresses the fusion of several non-negative matrix factorization (NMF) models in a Bayesian fashion similar to Bayesian model averaging. The second one aims at learning time-varying fusion coefficients thanks to deep neural networks. All proposed methods have been evaluated on two distinct corpora. The first one is dedicated to speech enhancement while the other deals with singing voice extraction. Experimental results show that fusion always outperform simple selection in all considered cases, best results being obtained by adaptive time-varying fusion with neural networks

Caractériser la structure tridimensionnelle des protéines avec les structures secondaires classiques est assez pauvre structurellement. Nous avons donc développé une nouvelle méthodologie pour concevoir des séries de petits prototypes moyens nommés Blocs Protéiques (BPs) qui permettent une bonne approximation des structures protéiques. L'analyse de la spécificité des blocs protéiques a montré leur stabilité et leur spécificité sur le plan structural. Le choix final du nombre de BPs est associé a une prédiction locale correcte.
Cette prédiction se base avec une méthode bayésienne qui permet de comprendre l'importance des acides aminés de maniè;re simple. Pour améliorer cette prédiction, nous nous sommes bases sur deux concepts : (i) 1 repliement local -> n séquences et (ii) 1 séquence -> n repliements. Le premier concept signifie que plusieurs types de séquences peuvent être associes a la même structure et le second qu'une séquence peut-être associée a plusieurs type de repliements. Ces deux aspects sont développés en se basant sur la recherche d'un indice de fiabilité lie a la prédiction locale, pour trouver des zones de fortes probabilités. Certains mots, i.e. successions de blocs protéiques apparaissent plus fréquemment que d'autres. Nous avons donc défini au mieux quelle est l'architecture de ces successions, les liens existants entre ces différents mots.
Du fait de cette redondance qui peut apparaìtre dans la structure protéique, une méthode de compactage qui permet d'associer des structures structurellement proches sur le plan local a été mise au point. Cette approche appelée "protéine hybride" de conception simple permet de catégoriser en classes "structurellement dépendantes" l'ensemble des structures de la base de données protéiques. Cette approche, en plus du compactage, peut être utilisée dans une optique différente, celle de la recherche d'homologie structurale et de la caractérisation des dépendances entre structures et séquences.

Le design et le bien aller d’un vêtement joue un rôle majeur pour l’industrie du textile-habillement. Actuellement, il apparait trois inconvénients majeurs dans le processus de création et d’évaluation d’un vêtement : il est très coûteux en temps pour une efficacité moindre, il est subordonné à l’expérience des designers et modélistes, il n’est pas adapté au e-commerce.Afin de résoudre cette problématique, trois concepts à la fois technologiques et mathématiques ont été développées. Le premier s’appuie sur l’outil GFPADT (Garment Flat and Pattern Associated design technology) permettant de créer une correspondance entre le style du vêtement choisi et la morphologie du consommateur. Le second utilise l’interactivité entre deux espaces de conception 2D et 3D intégrée à l’outil 3DIGPMT (3D Interactive Garment Pattern Making Technology). Le dernier appelé MLBGFET (Machine learning-based Garment Fit Evaluation Technology) évalue l’ajustement du vêtement par un apprentissage automatique. Finalement, nous avons fourni des solutions de conception et d'évaluation de vêtements basées sur la connaissance en intégrant ces trois concepts basés sur des technologies clés pour résoudre certains problèmes de conception et de production de vêtements dans les entreprises de mode
Fashion design and fit evaluation play a very important role in the clothing industry. Garment style and fit directly determine whether a customer buys the garment or not. In order to develop a fit garment, designers and pattern makers should adjust style and pattern many times until the satisfaction of their customers. Currently, the traditional fashion design and fit evaluation have three main shortcomings: 1) very time-consuming and low efficiency, 2) requiring experienced designers, and 3) not suitable for garment e-shopping. In my Ph.D. thesis, we propose three key technologies to improve the current design processes in the clothing industry. The first one is the Garment Flat and Pattern Associated design technology (GFPADT). The second one is the 3D interactive garment pattern making technology (3DIGPMT). The last one is the Machine learning-based Garment Fit Evaluation technology (MLBGFET). Finally, we provide a number of knowledge-based garment design and fit evaluation solutions (processes) by combining the proposed three key technologies to deal with garment design and production issues of fashions companies