Academic literature on the topic 'MCMC, Méthode de Monte-Carlo par chaînes de Markov'

Cette thèse a développé des méthodes parcimonieuses pour la localisation de sources en magnétoencéphalographie (MEG) et l'électroencéphalographie (EEG). Pour un champ électromagnétique donné, il y a un nombre infini de sources réparties à l’intérieur du cerveau qui aurait pu le créer. Cela signifie que le problème inverse est mal-posé, ayant de nombreuses possibles solutions. Cela nous contraint à faire des hypothèses ou des apriori sur le problème. Cette thèse a étudié les méthodes parcimonieuses, i.e., seulement quelques sources focales sont activées lors d’une tâche précise. La première contribution est de modéliser le problème comme une régression pénalisée dans le domaine temps-fréquence avec un dictionnaire multi-échelle pour prendre en compte tous les aspects d’un signal cérébral. En ajoutant le terme de régularisation spatio-temporel, le modèle ajoute un hyperparamètre qui reste à optimiser. Ceci a constitué la seconde contribution de cette thèse où une estimation automatique des hyperparamètres a été mise en oeuvre. La troisième contribution est de réduire l’écart entre les deux communautés qui formulent le problème inverse comme étant une régression pénalisée ou comme un modèle Bayésien. Cette thèse montre sous quelles hypothèses et sous quelle paramétrisation, on obtient une équivalence des deux formulations et comment profiter de cette nouvelle formulation Bayésienne pour quantifier l’incertitude de nos solutions. La dernière contribution a eu pour but de valider les solveurs sur des données fantôme, c’est à dire des vraies données avec une réalité terrain pour pouvoir quantifier l’erreur de localisation en position, orientation, et amplitude
Understanding the full complexity of the brain has been a challenging research project for decades, yet there are many mysteries that remain unsolved. Being able to model how the brain represents, analyzes, processes, and transforms information of millions of different tasks in a record time is primordial for both cognitive and clinical studies. These tasks can go from language, perception, memory, attention, emotion, to reasoning and creativity. Magnetoencephalography (MEG) and Electroencephalography (EEG) allow us to non-invasively measure the brain activity with high temporal and good spatial resolution using sensors positioned all over the head, in order to be analyzed. For a given magnetic-electric field outside the head, there are an infinite number of electrical current source distributed inside of the brain that could have created it. This means that the M/EEG inverse problem is ill-posed, having many solutions to the single problem. This constrains us to make assumptions about how the brain might work. This thesis investigated the assumption of having sparse source estimate, i.e. only few sources are activated for each specific task. This is modeled as a penalized regression with a spatio-temporal regularization term. The aim of this thesis was to use outstanding methodologies from machine learning field to solve the three steps of the M/EEG inverse problem. The first step is to model the problem in the time frequency domain with a multi-scale dictionary to take into account the mixture of non-stationary brain sources, i.e. brain regions share information resulting in brain activity alternating from a source to another. This is done by formulating the problem as a penalized regression with a data fit term and a spatio-temporal regularization term, which has an extra hyperparameter. This hyperparameter is mostly tuned by hand, which makes the analysis of source brain activity not objective, but also hard to generalize on big studies. The second contribution is to automatically estimate this hyperparameter under some conditions, which increase the objectivity of the solvers. However, these state-of-the-art solvers have a main problem that their source localization solver gives one solution, and does not allow for any uncertainty quantification. We investigated this question by studying new techniques as done by a Bayesian community involving Markov Chain Monte Carlo (MCMC) methods. It allows us to obtain uncertainty maps over source localization estimation, which is primordial for a clinical study, e.g. epileptic activity. The last main contribution is to have a complete comparison of state-of-the-art solvers on phantom dataset. Phantom is an artificial object that mimics the brain activity based on theoretical description and produces realistic data corresponding to complex spatio-temporal current sources. In other words, all solvers have been tested on an almost real dataset with a known ground truth for a real validation

Acquired in hundreds of contiguous spectral bands, hyperspectral (HS) images have received an increasing interest due to the significant spectral information they convey about the materials present in a given scene. However, the limited spatial resolution of hyperspectral sensors implies that the observations are mixtures of multiple signatures corresponding to distinct materials. Hyperspectral unmixing is aimed at identifying the reference spectral signatures composing the data -- referred to as endmembers -- and their relative proportion in each pixel according to a predefined mixture model. In this context, a given material is commonly assumed to be represented by a single spectral signature. This assumption shows a first limitation, since endmembers may vary locally within a single image, or from an image to another due to varying acquisition conditions, such as declivity and possibly complex interactions between the incident light and the observed materials. Unless properly accounted for, spectral variability can have a significant impact on the shape and the amplitude of the acquired signatures, thus inducing possibly significant estimation errors during the unmixing process. A second limitation results from the significant size of HS data, which may preclude the use of batch estimation procedures commonly used in the literature, i.e., techniques exploiting all the available data at once. Such computational considerations notably become prominent to characterize endmember variability in multi-temporal HS (MTHS) images, i.e., sequences of HS images acquired over the same area at different time instants. The main objective of this thesis consists in introducing new models and unmixing procedures to account for spatial and temporal endmember variability. Endmember variability is addressed by considering an explicit variability model reminiscent of the total least squares problem, and later extended to account for time-varying signatures. The variability is first estimated using an unsupervised deterministic optimization procedure based on the Alternating Direction Method of Multipliers (ADMM). Given the sensitivity of this approach to abrupt spectral variations, a robust model formulated within a Bayesian framework is introduced. This formulation enables smooth spectral variations to be described in terms of spectral variability, and abrupt changes in terms of outliers. Finally, the computational restrictions induced by the size of the data is tackled by an online estimation algorithm. This work further investigates an asynchronous distributed estimation procedure to estimate the parameters of the proposed models.

Nous abordons dans cette thèse, deux aspects distincts : (a) la construction et le test de certaines méthodes de simulation pour l'approximation des intégrales. Nous étudions en particulier les estimateurs de Monte Carlo auxquels il est souvent fait appel dans le traitement de modèles statistiques complexes. Notre apport en ce domaine consiste en l'utilisation des mélanges pour la stabilisation des échantillonnages d'importance. Pour valider l'estimateur pondéré, il est indispensable d'étudier son comportement pour les méthodes MCMC qui permettent la mise en œuvre d'une forme généralisée de l'estimateur pondéré. L'estimateur pondéré obtenu améliore à nouveau l'estimateur standard de Monte Carlo en termes de réduction de la variance et de vitesse de convergence. Cette forme généralisée de l'estimateur pondéré permet d'étendre le domaine d'application de notre estimateur à une grande classe de problèmes d'intégration rencontrés en statistique. (b) l'étude d'un modèle de régression non linéaire généralisée, le modèle Logit, suivant deux méthodes : celle de Damien et Walker (1997) et une technique générique de Hastings-Metropolis. L'ensemble des résultats exposés est illustré par différentes simulations, qui montrent les comportements et les performances de l'algorithme de Hastings-Metropolis en termes de vitesse de convergence vers la loi stationnaire et de rapidité d'exploration de la surface de la loi a posteriori, par rapport à la méthode de Damien et Walker.

Nous avons développé une nouvelle approche basée sur les méthodes Monte Carlo par chaînes de Markov pour déterminer les distributions de Partons et quantifier leurs incertitudes expérimentales. L’intérêt principal d’une telle étude repose sur la possibilité de remplacer la minimisation standard avec MINUIT de la fonction χ 2 par des procédures fondées sur les méthodes Statistiques et sur l’inférence Bayésienne en particulier,offrant ainsi une meilleure compréhension de la détermination des distributions de partons. Après avoir examiné ces techniques Monte Carlo par chaînes de Markov, nous introduisons l’algorithme que nous avons choisi de mettre en œuvre, à savoir le Monte Carlo hybride (ou Hamiltonien). Cet algorithme, développé initialement pour la chromodynamique quantique sur réseau, s’avère très intéressant lorsqu’il est appliqué à la détermination des distributions de partons par des analyses globales. Nous avons montré qu’il permet de contourner les difficultés techniques dues à la grande dimensionnalité du problème, en particulier celle relative au taux d’acceptation. L’étude de faisabilité réalisée et présentée dans cette thèse indique que la méthode Monte Carlo par chaînes de Markov peut être appliquée avec succès à l’extraction des distributions de partons et à leurs in-certitudes expérimentales
We have developed a new approach to determine parton distribution functions and quantify their experimental uncertainties, based on Markov Chain Monte Carlo methods.The main interest devoted to such a study is that we can replace the standard χ 2 MINUIT minimization by procedures grounded on Statistical Methods, and on Bayesian inference in particular, thus offering additional insight into the rich field of PDFs determination.After reviewing these Markov chain Monte Carlo techniques, we introduce the algorithm we have chosen to implement – namely Hybrid (or Hamiltonian) Monte Carlo. This algorithm, initially developed for lattice quantum chromodynamique, turns out to be very interesting when applied to parton distribution functions determination by global analyses ; we have shown that it allows to circumvent the technical difficulties due to the high dimensionality of the problem, in particular concerning the acceptance rate. The feasibility study performed and presented in this thesis, indicates that Markov chain Monte Carlo method can successfully be applied to the extraction of PDFs and of their experimental uncertainties

L’analyse statistique des données corrélées permet l'étude des schémas d'échantillonnage comportan une structure de groupe. Les modèles marginaux et à effets mixtes, qui constituent des extensions des modèles linéaires généralisés, ont été proposés dans ce contexte pour prendre en compte la non indépendance des observations. Nous considérons deux approches : une inférence bayésienne des modèles à effets mixtes par les méthodes de Monte Carlo par chaînes de Markov (MCMC) et une méthode de régression arborescente (CART) pour l'analyse des données censurées corrélées. La première partie est consacrée à l'étude de l’approche bayésienne par les méthodes MCMC. Les principes de l'inférence bayésienne, des méthodes MCMC et leurs apports lors des étapes-clés d'une analyse de régression (estimation, comparaison, adéquation des modèles et étude de prédiction) sont étudiés. Cette méthode d'estimation est utilisée pour l'étude des accidents allergiques survenant au cours d'échanges plasmatiques. Nous proposons dans la seconde partie une nouvelle méthode de type CART pour l'analyse des données censurées corrélées. Cette méthode utilise des tests du log-rank robustes à une spécification inadéquate de la structure de corrélation des données, et un critère BIC corrigé pour le choix de l'arbre final. La méthode développée a été étudiée par simulation et appliquée à des données réelles concernant une maladie génétique, le Syndrome d'Alport.

Pour être réellement exploitables, les données d'enregistrements extracellulaires multiunitaires doivent faire l'objet d'un traitement préalable visant à isoler les activités neuronales individuelles qui les constituent: le spike-sorting. Ce travail de thèse est une contribution au développement et à la réalisation d'une méthode automatique de spike-sorting implémentant un algorithme de Monte Carlo par Chaînes de Markov (MCMC). La méthode proposée permet de tenir compte, en plus de la forme des potentiels d'action (PAs), de l'information fournie par leurs temps d'émission pour réaliser la classification. Cette utilisation de l'information temporelle rend possible l'identification automatique de neurones émettant des PAs de formes non stationnaires. Elle améliore aussi grandement la séparation de neurones aux PAs de formes similaires. Ce travail méthodologique à débouché sur la création d'un logiciel libre accompagné de son manuel d'utilisateur.

Cette méthode de spike-sorting a fait l'objet d'une validation expérimentale sur des populations de cellules de Purkinje (PCs), dans les tranches de cervelet de rat. Par ailleurs, l'étude des trains de PAs de ces cellules fournis par le spike-sorting, n'a pas révélé de corrélations temporelles significatives en régime spontané, en dépit de l'existence d'une inhibition commune par les interneurones de la couche moléculaire et d'une inhibition directe de PC à PC. Des simulations ont montré que l'influence de ces inhibitions sur les relations temporelles entre les trains de PCs était trop faible pour pouvoir être détectée par nos méthodes d'analyse de corrélations. Les codes élaborés pour l'analyse des trains de PAs sont également disponibles sous la forme d'un second logiciel libre.

Le fond diffus cosmologique (CMB), relique du Big-Bang chaud, porte les traces à la fois de la formation des structures des époques récentes et des premières phases énergétiques de l'Univers.Le satellite Planck, en service de 2009 à 2013, a fourni des mesures de haute qualité des anisotropies du CMB. Celles-ci sont utilisés dans cette thèse pour déterminer les paramètres du modèle cosmologique standard et autour du secteur des neutrinos.Ce travail décrit la construction d'un fonction de vraisemblance pour les hauts-l de Planck. Cela implique une stratégie de masquage pour l'émission thermique de la Galaxie ainsi que pour les sources ponctuelles. Les avant-plans résiduels sont traités directement au niveau du spectre de puissance en utilisant des templates physiques bases sur des études de Planck.Les méthodes statistiques nécessaires pour extraire les paramètres cosmologiques dans la comparaison entre les modèles et les données sont décrites, à la fois la méthode bayésienne de Monte-Carlo par chaînes de Markov et la technique fréquentiste du profil de la fonction de vraisemblance.Les résultats sur les paramètres cosmologiques sont présentés en utilisant les données de Planck seul et en combinaison avec les données à petites échelles des expériences de CMB basées au sol (ACT et SPT), avec les contraintes provenant des mesures des oscillations acoustiques des baryons (BAO) et des supernovae. Les contraintes sur l'échelle absolue de la masse des neutrinos et sur le nombre effectif de neutrinos sont également discutées
The cosmic microwave background (CMB), relic of the hot Big-Bang, carries the traces of both the rich structure formation of the late time epochs and the energetic early phases of the universe.The Planck satellite provided, from 2009 to 2013, high-quality measurements of the anisotropies of the CMB. These are used in this thesis to determine the parameters of the standard cosmological model and of the extension concerning the neutrino sector. The construction of an high-l Planck likelihood is detailed. This involves a masking strategy that deals in particular with the contamination from thermal emission of the Galaxy. The residual foregrounds are treated directly at the power spectrum level relying on physically motivated templates based on Planck studies.The statistical methods needed to extract the cosmological parameters in the comparison between models and data are described, both the Bayesian Monte Carlo Markov Chain techniques and the frequentist profile likelihood. Results on cosmological parameters are presented using Planck data alone and in combination with the small scale data from the ground based CMB experiment ACT and SPT, the Baryon Acoustic Oscillation and the Supernovae. Constraints on the absolute scale of neutrino masses and of the number of effective neutrino are also discussed

La thèse traite du problème de l’échantillonnage gaussien en grande dimension.Un tel problème se pose par exemple dans les problèmes inverses bayésiens en imagerie où le nombre de variables atteint facilement un ordre de grandeur de 106_109.La complexité du problème d’échantillonnage est intrinsèquement liée à la structure de la matrice de covariance. Pour résoudre ce problème différentes solutions ont déjà été proposées,parmi lesquelles nous soulignons l’algorithme de Hogwild qui exécute des mises à jour de Gibbs locales en parallèle avec une synchronisation globale périodique.Notre algorithme utilise la connexion entre une classe d’échantillonneurs itératifs et les solveurs itératifs pour les systèmes linéaires. Il ne cible pas la distribution gaussienne requise, mais cible une distribution approximative. Cependant, nous sommes en mesure de contrôler la disparité entre la distribution approximative est la distribution requise au moyen d’un seul paramètre de réglage.Nous comparons d’abord notre algorithme avec les algorithmes de Gibbs et Hogwild sur des problèmes de taille modérée pour différentes distributions cibles. Notre algorithme parvient à surpasser les algorithmes de Gibbs et Hogwild dans la plupart des cas. Notons que les performances de notre algorithme dépendent d’un paramètre de réglage.Nous comparons ensuite notre algorithme avec l’algorithme de Hogwild sur une application réelle en grande dimension, à savoir la déconvolution-interpolation d’image.L’algorithme proposé permet d’obtenir de bons résultats, alors que l’algorithme de Hogwild ne converge pas. Notons que pour des petites valeurs du paramètre de réglage, notre algorithme ne converge pas non plus. Néanmoins, une valeur convenablement choisie pour ce paramètre permet à notre échantillonneur de converger et d’obtenir de bons résultats
The thesis deals with the problem of high-dimensional Gaussian sampling.Such a problem arises for example in Bayesian inverse problems in imaging where the number of variables easily reaches an order of 106_109. The complexity of the sampling problem is inherently linked to the structure of the covariance matrix. Different solutions to tackle this problem have already been proposed among which we emphasizethe Hogwild algorithm which runs local Gibbs sampling updates in parallel with periodic global synchronisation.Our algorithm makes use of the connection between a class of iterative samplers and iterative solvers for systems of linear equations. It does not target the required Gaussian distribution, instead it targets an approximate distribution. However, we are able to control how far off the approximate distribution is with respect to the required one by means of asingle tuning parameter.We first compare the proposed sampling algorithm with the Gibbs and Hogwild algorithms on moderately sized problems for different target distributions. Our algorithm manages to out perform the Gibbs and Hogwild algorithms in most of the cases. Let us note that the performances of our algorithm are dependent on the tuning parameter.We then compare the proposed algorithm with the Hogwild algorithm on a large scalereal application, namely image deconvolution-interpolation. The proposed algorithm enables us to obtain good results, whereas the Hogwild algorithm fails to converge. Let us note that for small values of the tuning parameter our algorithm fails to converge as well.Not with standing, a suitably chosen value for the tuning parameter enables our proposed sampler to converge and to deliver good results