Tesi sul tema "Modèle à variables latentes"

Les modèles linéaires latents sont des modèles statistique puissants pour extraire la structure latente utile à partir de données non structurées par ailleurs. Ces modèles sont utiles dans de nombreuses applications telles que le traitement automatique du langage naturel et la vision artificielle. Pourtant, l'estimation et l'inférence sont souvent impossibles en temps polynomial pour de nombreux modèles linéaires latents et on doit utiliser des méthodes approximatives pour lesquelles il est difficile de récupérer les paramètres. Plusieurs approches, introduites récemment, utilisent la méthode des moments. Elles permettent de retrouver les paramètres dans le cadre idéalisé d'un échantillon de données infini tiré selon certains modèles, mais ils viennent souvent avec des garanties théoriques dans les cas où ce n'est pas exactement satisfait. Dans cette thèse, nous nous concentrons sur les méthodes d'estimation fondées sur l'appariement de moment pour différents modèles linéaires latents. L'utilisation d'un lien étroit avec l'analyse en composantes indépendantes, qui est un outil bien étudié par la communauté du traitement du signal, nous présentons plusieurs modèles semiparamétriques pour la modélisation thématique et dans un contexte multi-vues. Nous présentons des méthodes à base de moment ainsi que des algorithmes pour l'estimation dans ces modèles, et nous prouvons pour ces méthodes des résultats de complexité améliorée par rapport aux méthodes existantes. Nous donnons également des garanties d'identifiabilité, contrairement à d'autres modèles actuels. C'est une propriété importante pour assurer leur interprétabilité
Latent linear models are powerful probabilistic tools for extracting useful latent structure from otherwise unstructured data and have proved useful in numerous applications such as natural language processing and computer vision. However, the estimation and inference are often intractable for many latent linear models and one has to make use of approximate methods often with no recovery guarantees. An alternative approach, which has been popular lately, are methods based on the method of moments. These methods often have guarantees of exact recovery in the idealized setting of an infinite data sample and well specified models, but they also often come with theoretical guarantees in cases where this is not exactly satisfied. In this thesis, we focus on moment matchingbased estimation methods for different latent linear models. Using a close connection with independent component analysis, which is a well studied tool from the signal processing literature, we introduce several semiparametric models in the topic modeling context and for multi-view models and develop moment matching-based methods for the estimation in these models. These methods come with improved sample complexity results compared to the previously proposed methods. The models are supplemented with the identifiability guarantees, which is a necessary property to ensure their interpretability. This is opposed to some other widely used models, which are unidentifiable

Cette thèse est consacrée à l'étude de quelques modèles à variables latentes. Ces modèles peuvent être modélisés comme suit: on observe des données et on suppose qu'il y a une variable non observée de telle sorte que la loi de conditionnellement à est de forme connue et dépend généralement d'un paramètre (multidimensionnel) qui dépend lui aussi de l'état de la variable latente. Le paramètre peut ne pas dépendre de , on écrit dans ce cas. Ainsi, nous avons. La variable représente suivant le cas, l'allocation de l'observation, la composante d'origine, l'état de l'observation ou encore son régime. Elle est généralement à espace d'état fini mais peut être également continue. Le but de ce travail est d'estimer le paramètre et la variable d'état. L'inférence bayésienne sur le paramètre est résumée dans sa loi a posteriori, notée. Notre objectif est soit de produire un échantillon (approximativement) suivant cette distribution, soit de trouver (une de) ses caractéristiques comme moyenne, médiane, modes. Différentes méthodes d'échantillonnage et/ou de recherche des caractéristiques a posteriori sont utilisées dans ce travail. Principalement, cinq types de modèles sont étudiés. Pour chaque modèle, des techniques spécifiques sont utilisées
In this thesis, we study some models with latent variables. Given a set of data , we suppose that there is a hidden variable such that the distribution of conditional on is of known class and is often depending on a (multidimensional) parameter. This parameter can depend on time and on the latent variable. When does not depend on , we simply write. Depending on the model, the variable represents the observation allocation, the observation component, the observation state or its regime. The aim of this work is to estimate the parameter and the hidden variable. Bayesian inference about the parameter is given by its posterior distribution. Precisely, we wish either to produce an efficient sample (approximately) following this distribution or to approximate some of its properties like mean, median or modes. Different methods of sampling and/or deriving of such posterior properties are used in this thesis. Mostly, five models are studied and for each situation, specific techniques are used

Je présente dans ce manuscrit mes travaux de recherche effectués depuis la thèse. Mes thèmes de recherche sont principalement motivés par des applications en génomique ou post-génomique. Mon domaine de recherche est assez vaste, mais le dénominateur commun de mes travaux est la présence de variables latentes (non observées) dans les modèles étudiés. Mes préoccupations sont majoritairement théoriques : éudes asymptotiques, convergence des estimateurs, vitesses, identifiabilité... Les modèles considérés peuvent être aussi bien paramétriques que semi ou non paramétriques, et les outils statistiques utilisés sont donc relativement variés.

Ma présentation s'organise en trois grandes thématiques : les travaux portant sur des séquences, notamment sur la modélisation de leur distribution et des processus d'évolution sous-jacents ; les travaux de statistique semi ou non paramétrique portant sur des signaux observés avec du bruit ; et enfin les travaux (en partie en cours) portant sur les graphes aléatoires.

Les modèles d'équations structurelles à variables latentes constituent des modèles statistiques complexes permettant de mettre en relation des concepts non observables. Les deux méthodes d'estimation de ces modèles, que sont, d'une part, l'analyse de la structure de covariance (méthode LISREL) et, d'autre part, l'approche PLS, offrent des solutions à la fois concurrentes et complémentaires. Dans ce travail, un certain nombre de questionnements liés à ce type de modèles et de méthodes sont abordés aussi bien d'un point de vue théorique qu'empirique. Nous étudions la construction du modèle initial par le biais d'algorithmes itératifs, au niveau des relations du modèle de mesure et du modèle structurel. Nous présentons des tests basés sur des permutations afin de comparer des échantillons non appariés sur un modèle donné. Des transformations dites optimales des variables sont utilisées afin de rechercher des relations non linéaires. Finalement, des méthodes permettant le traitement de données manquantes spécifiques induites par des filtres sont décrites. Pour chaque cas, la théorie existante est présentée et des approches novatrices sont introduites. Nous appliquons l'ensemble de ces méthodes dans le cadre de l'analyse de la satisfaction et de la fidélité des clients sur des données provenant d'Electricité de France.

Ma thèse développe deux parties. La première considère que la psychologie expérimentale doit clarifier son positionnement épistémologique pour clarifier la validation formelle de sa démarche, sans forcément devoir se référencer au cadre de la Science Physique. A partir d’une réflexion critique, je propose de décaler le cadre épistémologique en psychologie et de poser clairement un cadre pragmatique-réaliste. La thèse essentielle défendue dans ce travail est : 1/ les propriétés mentales doivent être comprises comme des phénomènes émergents, ce qui implique que leurs analyses ne peuvent se faire ni au niveau neuronal, ni au niveau de la dynamique interne de processus cognitifs, mais nécessairement au niveau de ces phénomènes émergents ; 2/ pour analyser les propriétés mentales comme formes émergentes, la psychométrie a besoin d’user de concepts qui sont en tension permanente entre une objectivité et une intersubjectivité ; en conséquence, la psychométrie doit affirmer une démarche pragmatiste-réaliste, en rupture avec l’empirisme-réaliste classique ; 3/ une approche pragmatiste-réaliste, basée entre autre sur l’abduction, permet de dépasser les contradictions pointées dans la littérature académique sur les propriétés mentales et leurs mesures ; 4/ un cadre de mesure de propriétés mentales par des variables latentes devient dès lors possible si ce cadre est compris lui aussi comme pragmatiste-réaliste ; 5/ mais ce recours au pragmatisme-réaliste renvoie en conséquence une critique à la fois des modèles avec variables latentes développés dans la littérature académique et les usages sociaux de ces modèles. La seconde partie de ma thèse porte sur un cadre particulier de formalisation des variables latentes : le cadre formatif. Je développe des simulations Monte Carlo pour vérifier le spectre des paramètres permettant une mesure formative efficiente dans le cadre d’un positionnement réaliste-empirique
My thesis considers that experimental psychology must clarify its epistemological position to clarify the formal validation of its approach, without necessarily having to refer to the framework of Science Physics. From a critical reflection, I propose to shift the epistemological framework in psychology and clearly pose a pragmatic-realistic framework. The main thesis of this work is: 1 / mental properties must be understood as emerging phenomena, which implies that their analysis can not be done nor at the neuronal level, nor at the internal dynamics of cognitive processes, but necessarily at these emerging phenomena; 2 / to analyze the mental properties as emerging forms, psychometrics need to use concepts that are in permanent tension between objectivity and intersubjectivity; accordingly, psychometrics must assert a pragmatic-realist approach, breaking with classical empiricism-realistic; 3 / a pragmatist-realistic approach, based among other things on the abduction, can overcome the contradictions pointed in the academic literature on mental properties and their measurements; 4 / a framework for measuring mental properties by latent variables becomes possible if the framework is also understood as a pragmatic-realist; 5 / but use realistic-pragmatic returns accordingly critical of both models with latent variables developed in the academic literature and the social uses of these models. The second part of my thesis focuses on a specific part of formalization of latent variables: the formative model. I develop Monte Carlo simulations to check the range of parameters for efficient formative measure as part of a realistic-empirical positioning

Le but de cette étude était d'identifier des stratégies pour analyser des variables latentes longitudinales (patient reported outcomes – PRO) en présence de données manquantes potentiellement informatives. Des modèles, issus de la thérorie classique des tests et de la famille des modèles de Rasch, ont été comparés. Dans le but d'obtenir une comparaison objective de ces méthodes, des études de simulation ont été mises en place. De plus, des exemples illustratifs ont été analysés. Ce travail de recherche a montré que la méthode issue des modèles de la famille de Rasch donne de meilleurs résultats que l'autre méthode dans certaines conditions, surtout du point de vue de la puissance. Cependant, des limites ont été mises en évidence. De plus, des résultats ont été obtenus concernant les conditions d'utilisation de l'imputation par la moyenne
The purpose of this study was to identify the most adequate strategy to analyse longitudinal latent variables (patient reported outcomes) when potentially informative missing data are observed. Models coming from classical test theory and Rasch-family were compared. In order to obtain an objective comparison of these methods, simulation studies were used. Moreover, illustrative examples were analysed. This research work showed that the method that comes from Rasch-family models performs better than the other in some circumstances, mainly for power. However, limitations were highlighted. Moreover, some results were obtained about personal mean score imputation

Les modèles à variables latentes sont très utilisées en économétrie et statistique. Cette thèse se concentre sur l'utilisation des variables latentes dans la modélisation des mélanges des lois, dans l'analyse des séries temporelles et dans les modèles à temps continue. On suit une approche bayésienne de l'inférence fondée sur simulation. La partie recherche a été développée dans quatre chapitres. Le Chapitre 3 propose un modèle de mélange des lois alpha-stables qui prennent en compte, l'asymétrie, les queues épaisses et la multimodalité qui caractérisent les données financières. Le Chapitre 4 propose un modèle à volatilité stochastique à changements de régime avec des innovations du type queues épaisses pour le processus observable. Nous utiliserons une méthode bayésienne de filtrage par simulation, pour filtrer les processus latents et pour estimer les paramètres inconnus. Le Chapitre 5 traite l'estimation de paramètres et l'extraction de la volatilité en utilisant un nouvel algorithme SMC régularisé. Le Chapitre 6 traite l'inférence bayèsienne par Population de Monte Carlo, d'une équation différentielle stochastique, observée à temps discret
Latent variable models are now very common in econometrics and statistics. This thesis mainly focuses on the use of latent variables in mixture modelling, time series analysis and continuous time models. We follow a Bayesian inference framework based on simulation methods. In the third chapter we propose alfa-stable mixtures in order to account for skewness, heavy tails and multimodality in financial modelling. Chapter four proposes a Markov-Switching Stochastic-Volatility model with a heavy-tail observable process. We follow a Bayesian approach and make use of Particle Filter, in order to filter the state and estimate the parameters. Chapter five deals with the parameter estimation and the extraction of the latent structure in the volatilities of the US business cycle and stock market valuations. We propose a new regularised SMC procedure for doing Bayesian inference. In chapter six we employ a Bayesian inference procedure, based on Population Monte Carlo, to estimate the parameters in the drift and diffusion terms of a stochastic differential equation (SDE), from discretely observed data

Cette thèse traite de la modélisation et de l’analyse de données de comptage de haute dimension dans le cadre des modèles à variables latentes, ainsi que de l’optimisation de tels modèles. Les modèles à variables latentes ont démontré leur efficacité dans la modélisation de structures de dépendance complexes pour les données de comptage, avec le modèle Poisson Log-Normal (PLN) comme exemple principal. Cependant, le modèle PLN ne répond pas aux caractéristiques des jeux de données de comptage réels, principalement en raison de son incapacité à produire un grand nombre de zéros. Nous proposons une extension, appelée PLN zéro inflaté (ZIPLN) pour répondre à ce problème. Ce dernier et d’autres variantes de PLN sont implémentés dans un package Python utilisant l’inférence variationnelle pour maximiser la log-vraisemblance. Dans la deuxième partie, nous nous concentrons sur le problème de maximisation d’une somme finie de fonctions, un problème couramment rencontré lors de l’optimisation d’une vaste catégorie de modèles à variables latentes. Nous introduisons une méthode adaptative nommée AdaLVR, qui évolue efficacement à la fois avec la dimensionnalité et la taille de l’échantillon du jeu de données, conçue explicitement pour ce problème d’optimisation. Une analyse théorique est menée, et une vitesse de convergence de O(T ⁻¹) est obtenue dans le cadre convexe, où T désigne le nombre d’itérations. Dans la troisième partie, nous discutons de l’optimisation des modèles à variables latentes par méthodes de Monte-Carlo, avec un accent particulier sur le modèle PLN. L’optimisation se fait dans un cadre non convexe et nécessite le calcul du gradient, qui est exprimé comme une intégrale intractable. Dans ce contexte, nous proposons un algorithme de premier ordre où le gradient est estimé par échantillonnage préférentiel auto-normalisé. Des garanties de convergence sont obtenues sous certaines hypothèses facilement vérifiables malgré le biais inhérent à l’estimateur du gradient. Il est important de noter que l’applicabilité du théorème de convergence va au-delà du cadre de l’optimisation dans les modèles à variables latentes. Dans la quatrième partie, nous nous concentrons sur la mise en œuvre de l’inférence pour les modèles PLN, avec un accent particulier sur les détails de l’inférence variationnelle conçue pour ces modèles. Dans l’annexe, nous dérivons des intervalles de confiance pour le modèle PLN et proposons une extension au modèle ZI-PLN intégrant l’Analyse en Composantes Principales. Une approche semi-paramétrique est également introduite. Parallèlement, une analyse d’un jeu de données génomiques réel est menée, révélant comment différents types de cellules dans les feuilles de plantes répondent à un pathogène bactérien
This thesis deals with the modeling and analysis of high-dimensional count data through the framework of latent variable models, as well as the optimization of such models. Latent variable models have demonstrated their efficacy in modeling count data with complex dependency structures, with the Poisson Log-Normal (PLN) model serving as a prime example. However, the PLN model does not meet the characteristics of real-world count datasets, primarily due to its inability to produce a high number of zeros. We propose the Zero-Inflated PLN (ZIPLN) extension to meet these characteristics. The latter and other variants of PLN are implemented in a Python package using variational inference to maximize the log-likelihood. In the second part, we focus on the finite-sum maximization problem, a common challenge when optimizing a wide range of latent variable models. We introduce an adaptive method named AdaLVR, scaling effectively with both the dimensionality and the sample size of the dataset, designed explicitly for this finite-sum optimization problem. A theoretical analysis of AdaLVR is conducted, and the convergence rate of O(T ⁻¹) is obtained in the convex setting, where T denotes the number of iterations. In the third part, we discuss the optimization of latent variable models using Monte Carlo methods, with a particular emphasis on the PLN model. The optimization occurs in a non-convex setting and necessitates the computation of the gradient, which is expressed as an intractable integral. In this context, we propose a first-order algorithm where the gradient is estimated using self-normalized importance sampling. Convergence guarantees are obtained under certain easily verifiable assumptions despite the inherent bias in the gradient estimator. Importantly, the applicability of the convergence theorem extends beyond the scope of optimization in latent variable models. In the fourth part, we focus on the implementation of the inference for PLN models, with a particular emphasis on the details of variational inference designed for these models. In the appendix, we derive confidence intervals for the PLN model, and an extension to the ZIPLN model, integrating Principal Component Analysis, is proposed. A semi-parametric approach is also introduced. Concurrently, an analysis of a real-world genomic dataset is conducted, revealing how different types of cells in plant leaves respond to a bacterial pathogen

En diversos campos de análisis, especialmente en las ciencias sociales y humanas, se identifican constructos teóricos a los cuales queremos aproximarnos pero que no son directamente observables ni medibles, como por ejemplo, la calidad o satisfacción con un servicio, el nivel de estrés, el nivel de conocimiento en matemáticas, entre otras. Este tipo de constructos son llamados variables latentes y su valor solo puede ser aproximado a través de variables observadas o manifiestas que si pueden ser medidas (Bartholomew et al., 2011). En el Capítulo 2 se presenta consideraciones generales acerca del modelo lineal general de variables latentes y el modelo de clases latentes. En el Capítulo 3 se estudian los modelos de regresión de clases latentes, la estimación de sus parámetros y su implementación computacional. En el Capítulo 4 se presenta los resultados de la aplicación del modelo a un conjunto de datos reales orientados a conocer la valoración de una universidad privada. En el Capítulo 5 se presenta algunas conclusiones, recomendaciones y futuras extensiones que se podrían derivar de este trabajo.
Tesis

En plus de l'intérêt pratique et institutionnel, il existe des enjeux théoriques à mener des recherches sur la structure financière. En effet, la diversité des modèles a donné lieu a une multiplicité de déterminants. Ce qui n'a pas permis de lever l'énigme de la structure du capital. Introduit par Donaldson [1961], développé par Myers et Majluf [1984], le financement hiérarchique, pecking order theory, apporte de nouvelles explications et comble certaines insuffisances des modèles de l'optimum. Il apparait alors comme une théorie générale du financement. Par la suite, le recours à la théorie des jeux révèle qu'il n'en était pas ainsi lorsque les croyances et les stratégies des investisseurs ou des dirigeants d'entreprises étaient prises en compte. Les travaux réalisés dans cette thèse mettent l'accent sur les limites du modèle hiérarchique qui n'est que partiellement valide en statique. De plus, son fonctionnement en dynamique est conditionné par l'anticipation d'une faible asymétrie d'information et de projets futurs dont le rendement espéré est plus important que celui des projets courants. Par ailleurs, l'existence de choix interdépendants et de déterminants non directement observables a conduit à une modélisation en système d'équations structurelles à variables latentes. L'objectif de cette approche est de traduire des concepts économiques et d'appréhender simultanément les différents taux d'endettement. Les analyses empiriques conduites sur 390 groupes industriels et commerciaux français sur la période 1987-1994 ont abouti à quelques résultats. Premièrement, un lien de causalité apparait de la structure financière à court terme vers le ratio de long terme. Deuxièmement, un comportement d'ajustement semble se dégager des choix à court terme, mais les résultats restent mitigés à ce niveau. Troisièmement, une hiérarchie atypique est détectée en l'absence d'asymétrie d'information. En définitive, le crédit fournisseurs fonctionne comme un substitut à la dette bancaire
In addition to the institutional and practical aspects, there is some theoretical interest in studying financial structure determination. The multiplicity of theories doesn't allow for resolving the capital structure enigma. Introduced by Donaldson [1961] and developed by Myers and Majluf [1984], the pecking order theory, p. O. T. , provided new explications and improved traditional models. It appeared as a general model of firm financing behavior. Later, games theory modelling showed that the p. O. T. Has a conditional validation when beliefs and strategies of agents (investors and firms) are considered. This dissertation focused on the limitations of the hierarchical model which is even in a static framework partially validated. Furthermore, in a dynamic context its validation depended on less asymmetry in information and on more profitable projects in the future. The independence of the choices in the firm and the existence of unobservable determinants led us to use a system of structural equations with latent variables to test the implications of modern theories. The empirical investigations are conducted over the period 1987-1994 using a sample of 390 French non-financial firms. Some results were obtained. First, there is a causality between short-term and long-term leverage ratios. Second, short-term behavior seems to reveal partial adjustment, but this result is still mitigated. Third, a specific pecking order is detected without asymmetric information. Finally, trade credit turns out to be a substitute for debenture

Orientadores: Caio Lucidius Neberezny Azevedo, Hildete Prisco Pinheiro
Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matemática, Estatística e Computação Científica
Made available in DSpace on 2018-08-20T00:05:22Z (GMT). No. of bitstreams: 1 Pereira_SheilaReginadosSantos_M.pdf: 25409754 bytes, checksum: 462fcbdec414321c70cbff248acc4ed1 (MD5) Previous issue date: 2012
Resumo: Na área educacional é crescente o interesse pela aplicação de técnicas derivadas da Teoria de Resposta ao Item (TRI), já que esta metodologia vem sendo utilizada em processos qualitativos da avaliação psicológica e educacional. Porém, na grande parte das avaliações que empregam itens de múltipla escolha, é comum a redução das respostas em padrões de certo ou errado para a utilização desses modelos. A dicotomização das respostas dos indivíduos ignora qualquer conhecimento parcial que ele possa ter da resposta correta, pois assume implicitamente que ou o indivíduo tem conhecimento para escolher a alternativa correta, ou não o tem e seleciona aleatoriamente uma das alternativas. Desta maneira, a informação do conhecimento parcial não é ser usada na estimação dos traços latentes. Nesse sentido, o objetivo do presente trabalho é mostrar a eficiência do Modelo de Resposta Nominal no processo de estimação dos traços latentes dos indivíduos submetidos a testes com itens de múltipla escolha, bem com, analisar e interpretar os parâmetros dos itens estimados por esse modelo
Abstract: In the educational field there is growing interest in applying techniques derived from the TRI, since this methodology has been used in qualitative processes of psychological and educational assessment. However, in most of the educational assessments that use multiple choice items is common to decreased response in patterns of right or wrong to use these models. The dichotomization of the responses of individuals ignores any partial knowledge he may have the correct answer, or because it implicitly assumes that the individual has knowledge to choose the correct alternative, or do not have it and randomly selects one of the alternatives. Thus, information from the partial knowledge is not to be used in the estimation of latent traits. In this sense, the objective of this work is to show the efficiency of the Nominal Response Model in the estimation of latent traits of individuals tested with multiple choice items, as well as analyze and interpret the parameters of the items estimated by this model
Mestrado
Estatistica
Mestre em Estatística

Un modèle autorégressif à régime markovien est un processus à temps discret à deux composantes x n, y n évoluant de la façon suivante : x n est une chaine de Markov homogène et y n suit une loi conditionnelle dépendante non seulement de x n mais aussi de y n 1, , y n 8. Le processus x n, usuellement appelé régime n'est pas observé et l'inférence doit être menée à partir du processus observable y n. Ces modèles incluent en particulier les modèles de chaines de Markov cachées utilisés en reconnaissance de la parole, économétrie, neuro-physiologie ou analyse des séries temporelles. Dans ce travail, nous prouvons consistance et normalité asymptotique de l'estimateur de maximum de vraisemblance dans le cas où les variables aléatoires cachées vivent dans un espace compact non nécessairement fini. Nous investissons deux techniques différentes, la première appliquée aux modèles de Markov cachées utilise l'ergodicité géométrique de certaines chaines de Markov étendues, et s'appuie sur une méthode proposée par Legland et Mevel (1997) dans le cas où les x k prennent un nombre fini de valeurs. Bien que cette technique semble adaptée à l'étude des estimateurs récursifs (ou l'estimateur est réévalue à chaque nouvelle observation), sa mise en oeuvre nécessite néanmoins des hypothèses relativement fortes. Une seconde approche que nous avons directement applique aux modèles autorégressifs non-linéaires a régime markovien utilise des approximations par des suites stationnaires et permet de prouver consistance et normalité asymptotique sous des hypothèses plus faibles

Les modèles d'équations structurelles à variables latentes permettent de modéliser des relations entre des variables observables et non observables. Les deux paradigmes actuels d'estimation de ces modèles sont les méthodes de moindres carrés partiels sur composantes et l'analyse de la structure de covariance. Dans ce travail, après avoir décrit les deux principales méthodes d'estimation que sont PLS et LISREL, nous proposons une approche d'estimation fondée sur la maximisation par algorithme EM de la vraisemblance globale d'un modèle à facteurs latents et à une équation structurelle. Nous en étudions les performances sur des données simulées et nous montrons, via une application sur des données réelles environnementales, comment construire pratiquement un modèle et en évaluer la qualité. Enfin, nous appliquons l'approche développée dans le contexte d'un essai clinique en cancérologie pour l'étude de données longitudinales de qualité de vie. Nous montrons que par la réduction efficace de la dimension des données, l'approche EM simplifie l'analyse longitudinale de la qualité de vie en évitant les tests multiples. Ainsi, elle contribue à faciliter l'évaluation du bénéfice clinique d'un traitement
Structural equation models enable the modeling of interactions between observed variables and latent ones. The two leading estimation methods are partial least squares on components and covariance-structure analysis. In this work, we first describe the PLS and LISREL methods and, then, we propose an estimation method using the EM algorithm in order to maximize the likelihood of a structural equation model with latent factors. Through a simulation study, we investigate how fast and accurate the method is, and thanks to an application to real environmental data, we show how one can handly construct a model or evaluate its quality. Finally, in the context of oncology, we apply the EM approach on health-related quality-of-life data. We show that it simplifies the longitudinal analysis of quality-of-life and helps evaluating the clinical benefit of a treatment

[. . . ] Nous présentons l'algorithme stochastique SEM et nous l'utilisons de façon originale dans le cadre du modèle de Rasch. Si cette utilisation apporte peu dans le cas classique, nous montrons qu'elle est quasiment incontournable dans le cas du modèle de Rasch pour données longitudinales. La fiabilité, ou précision d'une mesure obtenue par questionnaire, est presque toujours estimée par le coe͏̈fficient alpha de Cronbach. Nous avons proposé de généraliser le calcul de la fiabilité au cas du modèle de Rasch. Le coefficient alpha de Cronbach et le nouveau coefficient sont comparés à l'aide de simulations. Nous présentons les problèmes posés par l'évaluation de la qualité de vie et les méthodes actuellement utilisées pour la validation de questionnaires. Nous exposons ensuite les nouveaux test d'ajustement au modèle de Rasch et montrons comment ils apporter des réponses aux problèmes de la construction de mesures de qualité de vie. Dans la dernière partie de ce travail, nous avons proposé, en nous basant sur les estimations isotoniques des probabilités de réponse, un nouveau test de type Kolmogorov-Smirnov pour la comparaison de traits lents entre deux groupes
The assesment of quality of life has become an important problem in medicine. This assesment is aimed to evaluate the limitations induced by therapeutics on the daily life of patients. In most of cases, a questionnaire is administred to the patients in order to quantify their quality of life. Then, we have to construct a statistical model that links the items answers to an unobserved quantitative variable, here the quality of life. In most of the clinical studies, only linear linear modelizations are used. The purpose of this work is to study a new approach based on Rasch model[. . . ]

Los modelos lineales mixtos de clases latentes desarrollados por Proust-Lima, Philipps y Liquet (2017) son útiles para analizar el aspecto dinámico y la naturaleza multidimensional de un fenómeno de interés en poblaciones no necesariamente homogéneas. Estos permiten identificar las posibles clases latentes en la población bajo estudio y cómo un conjunto de covariables afecta en cada clase a la variable respuesta de interés. En esta tesis se desarrolla el modelo lineal mixto de clases latentes con variable respuesta latente y variable mani-fiesta ordinal, a través de sus dos componentes: el sub-modelo estructural y el sub-modelo de medición, que son complementados con un modelo logístico multinomial para analizar la probabilidad de pertenencia a una clase latente. El modelo se aplicó a un conjunto de datos pertenecientes al Estudio Nacional de Juventud y Religión (NSYR por las siglas en inglés “National Study of Youth and Religion”), con el fin de encontrar clases latentes en el constructo religiosidad y describir su evolución. Como resultado, se identificaron tres clases latentes con trayectorias distintas para cada caso.
Latent class linear mixed models developed by Proust-Lima, Philipps y Liquet (2017) are useful to analyze the dynamic aspect and the multidimensional nature of a phenomenon of interest in populations not necessarily homogeneous. These allow to identify the possible latent classes in the population under study and how a set of covariates affects the response variable of interest in each class. In this thesis, the latent class linear mixed model with latent response variable and ordinal manifest variable is developed, through its two components: the structural sub-model and the measure sub-model, which are complemented with a mul-tinominal logistic model to analyze the probability of belonging to a latent class. The model was applied to a dataset from the National Study of Youth and Religion (NSYR), in order to find latent classes in the religiosity construct and to describe their evolution. As a result, three latent classes were identified with different trajectories for each case.
Tesis

Les modèles de chaînes de Markov cachées ou plus généralement ceux de Feynman-Kac sont aujourd'hui très largement utilisés. Ils permettent de modéliser une grande diversité de séries temporelles (en finance, biologie, traitement du signal, ...) La complexité croissante de ces modèles a conduit au développement d'approximations via différentes méthodes de Monte-Carlo, dont le Markov Chain Monte-Carlo (MCMC) et le Sequential Monte-Carlo (SMC). Les méthodes de SMC appliquées au filtrage et au lissage particulaires font l'objet de cette thèse. Elles consistent à approcher la loi d'intérêt à l'aide d'une population de particules définies séquentiellement. Différents algorithmes ont déjà été développés et étudiés dans la littérature. Nous raffinons certains de ces résultats dans le cas du Forward Filtering Backward Smoothing et du Forward Filtering Backward Simulation grâce à des inégalités de déviation exponentielle et à des contrôles non asymptotiques de l'erreur moyenne. Nous proposons également un nouvel algorithme de lissage consistant à améliorer une population de particules par des itérations MCMC, et permettant d'estimer la variance de l'estimateur sans aucune autre simulation. Une partie du travail présenté dans cette thèse concerne également les possibilités de mise en parallèle du calcul des estimateurs particulaires. Nous proposons ainsi différentes interactions entre plusieurs populations de particules. Enfin nous illustrons l'utilisation des chaînes de Markov cachées dans la modélisation de données financières en développant un algorithme utilisant l'Expectation-Maximization pour calibrer les paramètres du modèle exponentiel d'Ornstein-Uhlenbeck multi-échelles

La plupart des systèmes de recommandation actuels se base sur des évaluations sous forme de notes (i.e., chiffre entre 0 et 5) pour conseiller un contenu (film, restaurant...) à un utilisateur. Ce dernier a souvent la possibilité de commenter ce contenu sous forme de texte en plus de l'évaluer. Il est difficile d'extraire de l'information d'un texte brut tandis qu'une simple note contient peu d'information sur le contenu et l'utilisateur. Dans cette thèse, nous tentons de suggérer à l'utilisateur un texte lisible personnalisé pour l'aider à se faire rapidement une opinion à propos d'un contenu. Plus spécifiquement, nous construisons d'abord un modèle thématique prédisant une description de film personnalisée à partir de commentaires textuels. Notre modèle sépare les thèmes qualitatifs (i.e., véhiculant une opinion) des thèmes descriptifs en combinant des commentaires textuels et des notes sous forme de nombres dans un modèle probabiliste joint. Nous évaluons notre modèle sur une base de données IMDB et illustrons ses performances à travers la comparaison de thèmes. Nous étudions ensuite l'inférence de paramètres dans des modèles à variables latentes à grande échelle, incluant la plupart des modèles thématiques. Nous proposons un traitement unifié de l'inférence en ligne pour les modèles à variables latentes à partir de familles exponentielles non-canoniques et faisons explicitement apparaître les liens existants entre plusieurs méthodes fréquentistes et Bayesiennes proposées auparavant. Nous proposons aussi une nouvelle méthode d'inférence pour l'estimation fréquentiste des paramètres qui adapte les méthodes MCMC à l'inférence en ligne des modèles à variables latentes en utilisant proprement un échantillonnage de Gibbs local. Pour le modèle thématique d'allocation de Dirichlet latente, nous fournissons une vaste série d'expériences et de comparaisons avec des travaux existants dans laquelle notre nouvelle approche est plus performante que les méthodes proposées auparavant. Enfin, nous proposons une nouvelle classe de processus ponctuels déterminantaux (PPD) qui peut être manipulée pour l'inférence et l'apprentissage de paramètres en un temps potentiellement sous-linéaire en le nombre d'objets. Cette classe, basée sur une factorisation spécifique de faible rang du noyau marginal, est particulièrement adaptée à une sous-classe de PPD continus et de PPD définis sur un nombre exponentiel d'objets. Nous appliquons cette classe à la modélisation de documents textuels comme échantillons d'un PPD sur les phrases et proposons une formulation du maximum de vraisemblance conditionnel pour modéliser les proportions de thèmes, ce qui est rendu possible sans aucune approximation avec notre classe de PPD. Nous présentons une application à la synthèse de documents avec un PPD sur 2 à la puissance 500 objets, où les résumés sont composés de phrases lisibles
Most of current recommendation systems are based on ratings (i.e. numbers between 0 and 5) and try to suggest a content (movie, restaurant...) to a user. These systems usually allow users to provide a text review for this content in addition to ratings. It is hard to extract useful information from raw text while a rating does not contain much information on the content and the user. In this thesis, we tackle the problem of suggesting personalized readable text to users to help them make a quick decision about a content. More specifically, we first build a topic model that predicts personalized movie description from text reviews. Our model extracts distinct qualitative (i.e., which convey opinion) and descriptive topics by combining text reviews and movie ratings in a joint probabilistic model. We evaluate our model on an IMDB dataset and illustrate its performance through comparison of topics. We then study parameter inference in large-scale latent variable models, that include most topic models. We propose a unified treatment of online inference for latent variable models from a non-canonical exponential family, and draw explicit links between several previously proposed frequentist or Bayesian methods. We also propose a novel inference method for the frequentist estimation of parameters, that adapts MCMC methods to online inference of latent variable models with the proper use of local Gibbs sampling.~For the specific latent Dirichlet allocation topic model, we provide an extensive set of experiments and comparisons with existing work, where our new approach outperforms all previously proposed methods. Finally, we propose a new class of determinantal point processes (DPPs) which can be manipulated for inference and parameter learning in potentially sublinear time in the number of items. This class, based on a specific low-rank factorization of the marginal kernel, is particularly suited to a subclass of continuous DPPs and DPPs defined on exponentially many items. We apply this new class to modelling text documents as sampling a DPP of sentences, and propose a conditional maximum likelihood formulation to model topic proportions, which is made possible with no approximation for our class of DPPs. We present an application to document summarization with a DPP on 2 to the power 500 items, where the summaries are composed of readable sentences

Los modelos lineales mixtos conjuntos de clases latentes, propuestos por Proust-Lima et al. (2015), permiten modelar de manera conjunta un proceso longitudinal y un proceso de supervivencia, calculando también la probabilidad de pertenencia a determinadas clases latentes que puedan existir en la población en estudio. En el presente trabajo se describen los componentes que conforman este modelo, y mediante un estudio de simulación se evalúa y analiza la implementación de su estimación. El modelo se aplica finalmente a un conjunto de datos longitudinales de pacientes diagnosticados con Cáncer de Próstata, permitiéndonos la identificación de clases latentes que se asocian luego con el estadío clínico de los pacientes.
The joint latent class mixed model, proposed by Proust-Lima et al. (2015), allows to jointly model a longitudinal process and a survival process, also calculating the probability of belonging to certain latent classes in the study population. In our study, we describe the components that make up this model (Proust-Lima et al. (2017)) and through a simulation study we assesed the implementation of its estimation. The model is finally applied to a set of longitudinal data of Prostate Cancer diagnosed patients allowing us to identify latent classes that are then associated with the clinical stage of the patients.
Tesis

L'aluminium est fabriqué par un procédé électrolytique. La réaction consomme des anodes de carbone dont la qualité a une grande influence sur l’opération optimale du procédé. Cependant, leurs propriétés sont mesurées hebdomadairement sur moins de 1% de la production. L'objectif de ce projet est d'améliorer le contrôle de la qualité du procédé de fabrication des anodes par la prédiction de leurs propriétés. Une méthode de régression multivariée appelée projection sur structures latentes est utilisée pour relier les propriétés des matières premières et les paramètres d’opération du procédé aux propriétés des anodes cuites recueillies à l'Aluminerie Alcoa de Deschambault. Plusieurs modèles sont étudiés pour les propriétés physiques et la réactivité aux gaz qui expliquent 20% à 68% des variations de celles-ci. Considérant le niveau de bruit élevé des données industrielles, il est jugé qu’une portion significative de la variabilité est modélisée. De plus, l’interprétation de ces modèles est cohérente par rapport aux connaissances du procédé.
Aluminum is manufactured by an electrolytic process. The reaction consumes carbon anodes. Anode quality has a great influence on the optimal operation of the reduction process. However, their properties are poorly characterized by weekly averages of anode sample laboratory analyses. The goal of this thesis is to improve quality control at the baked anode manufacturing plant by predicting anode properties. A multivariate latent variable regression method called Projection to Latent Structure (PLS) is used to relate the raw material and the manufacturing process data to the baked anode properties collected at the Alcoa Deschambault smelter. Several models are investigated for physical properties and gas reactivity. From 27% to 68% of the physical properties variance and 20% to 49% of the reactivity variations are captured. The models explained a significant amount of variability, considering that industrial data is typically very noisy. The interpretation of the models was found in agreement with process knowledge.

Dans cette thèse, les problèmes mixtes couteux sont abordés par le biais de processus gaussiens où les variables discrètes sont relaxées en variables latentes continues. L'espace continu est plus facilement exploité par les techniques classiques d'optimisation bayésienne que ne le serait un espace mixte. Les variables discrètes sont récupérées soit après l'optimisation continue, soit simultanément avec une contrainte supplémentaire de compatibilité continue-discrète qui est traitée avec des lagrangiens augmentés. Plusieurs implémentations possibles de ces optimiseurs mixtes bayésiens sont comparées. En particulier, la reformulation du problème avec des variables latentes continues est mise en concurrence avec des recherches travaillant directement dans l'espace mixte. Parmi les algorithmes impliquant des variables latentes et un lagrangien augmenté, une attention particulière est consacrée aux multiplicateurs de lagrange pour lesquels des techniques d'estimation locale et globale sont étudiées. Les comparaisons sont basées sur l'optimisation répétée de trois fonctions analytiques et sur une application mécanique concernant la conception d'une poutre. Une étude supplémentaire pour l'application d'une stratégie d'optimisation mixte proposée dans le domaine de l'auto-calibrage mixte est faite. Cette analyse s'inspire d'une application de quantification des radionucléides, qui définit une fonction inverse spécifique nécessitant l'étude de ses multiples propriétés dans le scenario continu. une proposition de différentes stratégies déterministes et bayésiennes a été faite en vue d'une définition complète dans un contexte de variables mixtes
In this thesis, costly mixed problems are approached through gaussian processes where the discrete variables are relaxed into continuous latent variables. the continuous space is more easily harvested by classical bayesian optimization techniques than a mixed space would. discrete variables are recovered either subsequently to the continuous optimization, or simultaneously with an additional continuous-discrete compatibility constraint that is handled with augmented lagrangians. several possible implementations of such bayesian mixed optimizers are compared. in particular, the reformulation of the problem with continuous latent variables is put in competition with searches working directly in the mixed space. among the algorithms involving latent variables and an augmented lagrangian, a particular attention is devoted to the lagrange multipliers for which a local and a global estimation techniques are studied. the comparisons are based on the repeated optimization of three analytical functions and a mechanical application regarding a beam design. an additional study for applying a proposed mixed optimization strategy in the field of mixed self-calibration is made. this analysis was inspired in an application in radionuclide quantification, which defined an specific inverse function that required the study of its multiple properties in the continuous scenario. a proposition of different deterministic and bayesian strategies was made towards a complete definition in a mixed variable setup

En muchos casos prácticos, al realizar un análisis de regresión, se cuenta con un gran número de potenciales variables explicativas de las cuáles sólo algunas serán importantes para explicar la variable respuesta. Por lo tanto, un problema importante para la construcción de un modelo de regresión es encontrar un adecuado conjunto de variables explicativas. A los métodos que lidian con este problema se les denomina métodos de selección de variables. En el presente proyecto de tesis, se estudiarán tres métodos de selección de variables bajo inferencia bayesiana para el modelo de regresión lineal normal los cuales fueron propuestos por George y McCulloch (1993), Kuo y Mallick (1998) y Dellaportas et al. (2002). Estos métodos, a diferencia de los métodos tradicionales, consideran la selección de variables dentro del mismo modelo, por ejemplo, introduciendo variables latentes que indiquen la presencia o ausencia de una variable explicativa. Se realizaron comparaciones de estos métodos bayesianos con los métodos Lasso y Stepwise por ser los más tradicionales. A través de un estudio con datos simulados, en diversos escenarios se observa que los métodos bayesianos permiten una adecuada selección de las variables explicativas. Adicionalmente se presentan los resultados de una aplicación con datos reales.

Les puces tiling arrays sont des puces à haute densité permettant l'exploration des génomes à grande échelle. Elles sont impliquées dans l'étude de l'expression des gènes et de la détection de nouveaux transcrits grâce aux expériences de transcriptome, ainsi que dans l'étude des mécanismes de régulation de l'expression des gènes grâce aux expériences de ChIP-chip. Dans l'objectif d'analyser des données de ChIP-chip et de transcriptome, nous proposons une modélisation fondée sur les modèles à variables latentes, en particulier les modèles de Markov cachés, qui sont des méthodes usuelles de classification non-supervisée. Les caractéristiques biologiques du signal issu des puces tiling arrays telles que la dépendance spatiale des observations le long du génome et l'annotation structurale sont intégrées dans la modélisation. D'autre part, les modèles sont adaptés en fonction de la question biologique et une modélisation est proposée pour chaque type d'expériences. Nous proposons un mélange de régressions pour la comparaison de deux échantillons dont l'un peut être considéré comme un échantillon de référence (ChIP-chip), ainsi qu'un modèle gaussien bidimensionnel avec des contraintes sur la matrice de variance lorsque les deux échantillons jouent des rôles symétriques (transcriptome). Enfin, une modélisation semi-paramétrique autorisant des distributions plus flexibles pour la loi d'émission est envisagée. Dans un objectif de classification, nous proposons un contrôle de faux-positifs dans le cas d'une classification à deux groupes et pour des observations indépendantes. Puis, nous nous intéressons à la classification d'un ensemble d'observations constituant une région d'intérêt, telle que les gènes. Les différents modèles sont illustrés sur des jeux de données réelles de ChIP-chip et de transcriptome issus d'une puce NimbleGen couvrant le génome entier d'Arabidopsis thaliana
Tiling arrays make possible a large scale exploration of the genome with high resolution. Biological questions usually addressed are either the gene expression or the detection of transcribed regions which can be investigated via transcriptomic experiments, and also the regulation of gene expression thanks to ChIP-chip experiments. In order to analyse ChIP-chip and transcriptomic data, we propose latent variable models, especially Hidden Markov Models, which are part of unsupervised classification methods. The biological features of the tiling arrays signal, such as the spatial dependence between observations along the genome and structural annotation are integrated in the model. Moreover, the models are adapted to the biological question at hand and a model is proposed for each type of experiment. We propose a mixture of regressions for the comparison of two samples, when one sample can be considered as a reference sample (ChIP-chip), and a two-dimensional Gaussian model with constraints on the variance parameter when the two samples play symmetrical roles (transcriptome). Finally, a semi-parametric modeling is considered, allowing more flexible emission distributions. With the objective of classification, we propose a false-positive control in the case of a two-cluster classification and for independent observations. Then, we focus on the classification of a set of observations forming a region of interest such as a gene. The different models are illustrated on real ChIP-chip and transcriptomic datasets coming from a NimbleGen tiling array covering the entire genome of Arabidopsis thaliana

Les puces tiling arrays sont des puces à haute densité permettant l'exploration des génomes à grande échelle. Elles sont impliquées dans l'étude de l'expression des gènes et de la détection de nouveaux transcrits grâce aux expériences de transcriptome, ainsi que dans l'étude des mécanismes de régulation de l'expression des gènes grâce aux expériences de ChIP-chip. Dans l'objectif d'analyser des données de ChIP-chip et de transcriptome, nous proposons une modélisation fondée sur les modèles à variables latentes, en particulier les modèles de Markov cachés, qui sont des méthodes usuelles de classification non-supervisée. Les caractéristiques biologiques du signal issu des puces tiling arrays telles que la dépendance spatiale des observations le long du génome et l'annotation structurale sont intégrées dans la modélisation. D'autre part, les modèles sont adaptés en fonction de la question biologique et une modélisation est proposée pour chaque type d'expériences. Nous proposons un mélange de régressions pour la comparaison de deux échantillons dont l'un peut être considéré comme un échantillon de référence (ChIP-chip), ainsi qu'un modèle gaussien bidimensionnel avec des contraintes sur la matrice de variance lorsque les deux échantillons jouent des rôles symétriques (transcriptome). Enfin, une modélisation semi-paramétrique autorisant des distributions plus flexibles pour la loi d'émission est envisagée. Dans un objectif de classification, nous proposons un contrôle de faux-positifs dans le cas d'une classification à deux groupes et pour des observations indépendantes. Puis, nous nous intéressons à la classification d'un ensemble d'observations constituant une région d'intérêt, telle que les gènes. Les différents modèles sont illustrés sur des jeux de données réelles de ChIP-chip et de transcriptome issus d'une puce NimbleGen couvrant le génome entier d'Arabidopsis thaliana.

Cette thèse a pour objectif d’incorporer des éléments de théories de psychologie et d’économie comportementale dans des modèles de choix discret afin d’améliorer la compréhension du choix modal réalisé à l’échelle régionale. Les estimations se basent sur une enquête de type choice experiment présentée en première partie. Une deuxième partie s’intéresse à l’incorporation de variables latentes pour expliquer le choix modal. Après une revue de littérature sur les modèles de choix hybrides, c’est-à-dire des modèles combinant modèle d’équations structurelles et modèle de choix discret, un tel modèle est estimé pour montrer comment l’hétérogénéité d’outputs économiques (ici, la valeur du temps) peut être expliquée à l’aide de variables latentes (ici, le confort perçu dans les transports en commun) et de variables observables (ici, la garantie d’une place assise). La simulation de scénarios montre cependant que le gain économique (diminution de la valeur du temps) est plus élevé lorsque les politiques agissent sur des dimensions palpables que sur des dimensions latentes. S’appuyant sur un modèle de médiation, l’estimation d’un modèle d’équations structurelles montre par ailleurs que l’effet de la conscience environnementale sur les habitudes de choix modal est partiellement médié par l’utilité indirecte retirée de l’usage des transports en commun. Une troisième partie s’intéresse à deux formalisations de l’utilité issues de l’économie comportementale : 1) l’utilité dépendante au rang en situation de risque et 2) l’utilité dépendante à la référence. Dans un premier temps, un modèle d’utilité dépendante au rang est inséré dans des modèles de choix discret et, en particulier, un modèle à classes latentes, afin d’analyser l’hétérogénéité intra- et inter-individuelle lorsque le temps de déplacement n’est pas fiable. La probabilité de survenue d’un retard est sur-évaluée pour les déplacements en train et sous-évaluée pour les déplacements en voiture, en particulier pour les automobilistes, les usagers du train prenant d’avantage en compte l’espérance du temps de déplacement. Dans les modèles prenant en compte l’aversion au risque, les fonctions d’utilité sont convexes, ce qui implique une décroissance,de la valeur du temps. Dans un deuxième temps, une nouvelle famille de modèles de choix discret généralisant le modèle logit multinomial, les modèles de référence, est estimée. Sur mes données, ces modèles permettent une meilleure sélection des variables explicatives que le logit multinomial et l’estimation d’outputs économiques plus robustes, notamment en cas de forte hétérogénéité inobservée. La traduction économique des modèles de référence montre que les meilleurs modèles empiriques sont également les plus compatibles avec le modèle de dépendance à la référence de Tversky et Kahneman
The objective of this thesis is to incorporate aspects of psychology and behavioral economics theories in discrete choice models to promote a better understanding of mode choice at regional level. Part II examines the inclusion of latent variables to explain mode choice. A literature review of integrated choice and latent variable models – that is, models combining a structural equation model and a discrete choice model – is followed by the estimation of an integrated choice and latent variable model to show how the heterogeneity of economic outputs (here, value of time) can be explained with latent variables (here, perceived comfort in public transport) and observable variables (here, the guarantee of a seat). The simulation of scenarios shows, however, that the economic gain (decrease in value of time) is higher when policies address tangible factors than when they address latent factors. On the basis of a mediation model, the estimation of a structural equation model furthermore implies that the influence of environmental concern on mode choice habits is partially mediated by the indirect utility derived frompublic transport use. Part III examines two utility formulations taken from behavioral economics: 1) rankdependent utility to model risky choices, and 2) reference-dependent utility. Firstly, a rank-dependent utility model is included in discrete choice models and, in particular, a latent-class model, in order to analyze intra- and inter-individual heterogeneity when the travel time is subject to variability. The results show that the probability of a delay is over-estimated for train travel and under-estimated for car travel, especially for car users, as train users are more likely to take into account the expected travel time. In the models that account for risk aversion, the utility functions are convex, which implies a decrease in value of time. Secondly, a new family of discrete choice models generalizing the multinomial logit model, the reference models, is estimated. On my data, these models allow for a better selection of explanatory variables than the multinomial logit model and a more robust estimation of economic outputs, particularly in cases of high unobserved heterogeneity. The economic formulation of reference models shows thatthe best empirical models are also more compatible with Tversky et Kahneman’s reference-dependent model

RESUMEN Las transformaciones estructurales y funcionales observadas en las últimas décadas en las universidades y las Instituciones de Educación Superior (IES) han acelerado los cambios en el papel que juegan en la sociedad moderna. Las misiones tradicionales de docencia e investigación se ven ahora como parte de un complejo nexo de actividades, mientras que, al mismo tiempo, se espera que estas instituciones se comprometan aún más con su entorno. Los simultáneos problemas sociales y económicos han alimentado, quizás sin sentido crítico, la expectativa de que las IES actúan como centros estratégicos de conocimiento para el desarrollo de los sistemas locales de innovación. Este discurso se centra casi exclusivamente en cómo las universidades pueden gestionar un espectro de capacidades cada vez más amplio y cumplir con estas expectativas; pero, sin embargo, la hipótesis subyacente es que las IES generan externalidades positivas independientemente de sus características internas y de las circunstancias regionales. La crítica a esta postura se refleja en el creciente descontento relativo al papel efectivo de la universidad para generar beneficios económicos y sociales específicos; crítica que, además, alimenta el debate en torno a su modernización. El actual modelo de “talla única” sostiene que todas y cada una de las universidades son centros de excelencia en docencia, investigación y tercera misión (esto es, interacción con el entorno socioeconómico), pero se percibe fuera de sintonía con las necesidades de la sociedad actual y en urgente necesidad de reforma. Estas observaciones cuestionan el papel que juega la universidad en la sociedad moderna y dan lugar a una pregunta fundamental: ¿Es realista o, incluso deseable, esperar que las universidades cumplan con sus tres misiones simultánea e isomorfamente y contribuyan al desarrollo socioeconómico regional de manera homogénea? Esta tesis argumenta que las deficiencias de este modelo son tres: pasa por alto la naturaleza de la universidad qua institución y las numerosas tensiones que surgen en el proceso de relación con el entorno, así como las dinámicas que influyen en la demanda de habilidades y competencias a nivel regional. El presente trabajo se estructura en tres bloques que utilizan argumentos tanto teóricos como metodológicos para justificar las limitaciones del modelo universitario actual. El primero se basa en la teoría de economía de la educación, y argumenta las limitaciones del tratamiento de las universidades como instituciones homogéneas con la misma capacidad para contribuir al compromiso social. También evalúa críticamente la noción de que las misiones universitarias son indistinguibles unas de otras. Ambas percepciones dan lugar a caracterizaciones erróneas del rol y la contribución de las IES. Aquí se defiende que las misiones son constructos que representan las estrategias universitarias ligadas por complejas relaciones de compatibilidad, y se pone de manifiesto la persistente brecha entre su naturaleza y sus relaciones. Desde el punto de vista metodológico, el tratamiento de las misiones y actividades mediante un modelo de ecuaciones estructurales permite analizar las relaciones entre las misiones y validar los indicadores propuestos para su medición. El segundo bloque cubre las teorías de los sistemas de innovación y geografía económica que conceptualizan a las IES como el motor para el desarrollo regional y guía del crecimiento. Se argumenta que la universidad influencia la región circundante y, al mismo tiempo, que las características regionales modelan el rendimiento universitario. Esta sección evidencia las diferencias existentes entre los perfiles universitarios en España a partir de sus estrategias y rendimiento, así como el alcance de sus capacidades para contribuir a las regiones. La metodología escogida se basa en el análisis de clúster, mostrando las diferencias que emergen dentro del sistema de educación superior, y, en segundo lugar, en un análisis de regresión multivariante para comprobar el alcance de su contribución al entorno socioeconómico. El tercer bloque analiza los determinantes de la dotación de capital humano regional usando un indicador de la orientación universitaria a partir de sus misiones. Basándose en la literatura de geografía económica y economía laboral, se calcula una medida directa de las dinámicas del mercado de trabajo para captar las especificidades del contexto. Se trata la información longitudinal mediante el método de los momentos generalizados para dar forma a un índice de intensidad regional de habilidades y competencias como medida de las fuerzas de la oferta y la demanda mediadas por la realidad de la educación y los mercados de trabajo regional.
Sánchez Barrioluengo, M. (2015). ARTICULANDO EL MODELO UNIVERSITARIO ESPAÑOL A PARTIR DE SUS MISIONES: UN ANÁLISIS DE LA CONTRIBUCIÓN AL ENTORNO REGIONAL MEDIANTE VARIABLES LATENTES [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/48555
TESIS

Latent variable models are widely used in social sciences in which interest is centred on entities such as attitudes, beliefs or abilities for which there e)dst no direct measuring instruments. Latent modelling tries to extract these entities, here described as latent (unobserved) variables, from measurements on related manifest (observed) variables. Methodology already exists for fitting a latent variable model to manifest data that is either categorical (latent trait and latent class analysis) or continuous (factor analysis and latent profile analysis). In this thesis a latent trait and a latent class model are presented for analysing the relationships among a set of mixed manifest variables using one or more latent variables. The set of manifest variables contains metric (continuous or discrete) and binary items. The latent dimension is continuous for the latent trait model and discrete for the latent class model. Scoring methods for allocating individuals on the identified latent dimen-sions based on their responses to the mixed manifest variables are discussed. ' Item nonresponse is also discussed in attitude scales with a mixture of binary and metric variables using the latent trait model. The estimation and the scoring methods for the latent trait model have been generalized for conditional distributions of the observed variables given the vector of latent variables other than the normal and the Bernoulli in the exponential family. To illustrate the use of the naixed model four data sets have been analyzed. Two of the data sets contain five memory questions, the first on Thatcher's resignation and the second on the Hillsborough football disaster; these five questions were included in BMRBI's August 1993 face to face omnibus survey. The third and the fourth data sets are from the 1990 and 1991 British Social Attitudes surveys; the questions which have been analyzed are from the sexual attitudes sections and the environment section respectively.

Une échelle de qualité de vie doit vérifier différentes propriétés. L'unidimensionnalité est aujourd'hui communément admise : une échelle doit mesurer un concept unique. La simplicité d'utilisation de l'instrument de mesure est, elle aussi, importante. A ce titre le Rasch est intéressant puisque ce modèle est sous-jacent à toute notion de score non pondéré. Ce travail s'inscrit donc dans le cadre de la sélection d'items vérifiant un modèle de Rasch. Un modèle multidimensionnel est proposé : le modèle marginalement exhaustif de Rasch (MMSRM), pour lequel, chaque dimension garde les propriétés psychométriques du modèle de Rasch. Trois méthodes basées sur l'adéquation d'un tel modèle aux données sont proposées, et comparées par simulations à des procédures existantes. Une seconde partie du travail concerne le développement de programmes pour utiliser des modèles psychométriques sous deux logiciels statistiques : SAS et Stata.

Nous considérions des modèles à espace d'état où les observations sont multicatégorielles et longitudinales, et l'état est décrit par des modèles du type CHARN. Nous estimons l'état au moyen des récursivités de Kalman généralisées. Celles-ci reposent sur l'application d'une variété de filtres particulaires et de l’algorithme EM. Nos résultats sont appliqués à l'estimation du trait latent en qualité de vie. Ce qui fournit une alternative et une généralisation des méthodes existantes dans la littérature. Ces résultats sont illustrés par des simulations numériques et une application aux données réelles sur la qualité de vie des femmes ayant subi une opération pour cause de cancer du sein
We consider state space models where the observations are multicategorical and longitudinal, and the state is described by CHARN models. We estimate the state by generalized Kalman recursions, which rely on a variety of particle filters and EM algorithm. Our results are applied to estimating the latent trait in quality of life, and this furnishes an alternative and a generalization of existing methods. These results are illustrated by numerical simulations and an application to real data in the quality of life of patients surged for breast cancer

Nous considérions des modèles à espace d'état où les observations sont multicatégorielles et longitudinales, et l'état est décrit par des modèles du type CHARN. Nous estimons l'état au moyen des récursivités de Kalman généralisées. Celles-ci reposent sur l'application d'une variété de filtres particulaires et de l’algorithme EM. Nos résultats sont appliqués à l'estimation du trait latent en qualité de vie. Ce qui fournit une alternative et une généralisation des méthodes existantes dans la littérature. Ces résultats sont illustrés par des simulations numériques et une application aux données réelles sur la qualité de vie des femmes ayant subi une opération pour cause de cancer du sein
We consider state space models where the observations are multicategorical and longitudinal, and the state is described by CHARN models. We estimate the state by generalized Kalman recursions, which rely on a variety of particle filters and EM algorithm. Our results are applied to estimating the latent trait in quality of life, and this furnishes an alternative and a generalization of existing methods. These results are illustrated by numerical simulations and an application to real data in the quality of life of patients surged for breast cancer

Cette thèse porte sur l’estimation dans les modèles de fragilité en analyse de survie. Notre première contribution concerne une nouvelle méthode d’estimation basée sur la vraisemblance partielle intégrée dans le modèle de fragilité. Cette méthode ne réalise aucune approximation de la vraisemblance partielle intégrée contrairement aux autres méthodes proposées dans la littérature. Nous mettons en œuvre une approximation stochastique de l’algorithme Expectation Maximization (EM) pour calculer les estimateurs du maximum de vraisemblance partielle des paramètres du modèle. De plus, nous établissons les propriétés théoriques de convergence de l’algorithme. Notre méthode permet de considérer des modèles de fragilité avec différentes structures de corrélations et une large gamme de lois de fragilité. Notre deuxième contribution porte sur l'étude des vitesses de convergence des estimateurs du maximum de vraisemblance dans les modèles à fragilités partagées paramétriques. En particulier, les vitesses diffèrent selon la factorisation de la vraisemblance conditionnelle. Nous étudions ce phénomène au travers d’une étude de simulation. Nous mettons aussi en évidence l’influence du niveau des covariables sur les vitesses de convergence à travers une étude de simulation intensive dans les modèles de fragilité et de façon analytique dans un modèle linéaire à effets mixtes. Notre troisième contribution présente un nouveau modèle de fragilité qui permet de prendre en compte les corrélations spatiales présentes dans les données. Cette nouvelle modélisation spatiale a été motivée par des données d’infection de malaria en Éthiopie. Les distances entre les individus jouant un rôle important dans la transmission de la maladie, il s’avère judicieux de les prendre en compte dans le modèle. Une version stochastique de l’algorithme EM adaptée à ce contexte est mise en œuvre et étudiée. La méthode d’estimation est validée sur des données simulées puis mise en œuvre pour analyser les données de malaria
This thesis deals with estimation in frailty models in survival analysis. Our first contribution concerns a new estimation method based on integrated partial likelihood in the frailty model. No approximation of the integrated partial likelihood is made as compared to other methods proposed in the literature. We implement a stochastic approximation of the Expectation Maximization (EM) algorithm to calculate the maximum of partial likelihood estimators of the model parameters. We also establish the theoretical convergence properties of the algorithm. Our method allows for different correlation structures and for a wide range of frailty distributions. Our second contribution concerns the study of the convergence rates of maximum likelihood estimators in parametric shared frailty models. The convergence rates of are notably different following the factorization of the conditional likelihood. We study this phenomenon via a simulation study. We also highlight the influence of the level of covariates on convergence rates analytically in a linear mixed effects model. We illustrate these differences via an intensive simulation study on a parametric frailty model. Our third contribution presents a new frailty model which takes into account spatial correlations which may be present in data. This new spatial modeling is motivated by malaria infection data collected in Ethiopia. Since the distances between individuals play an important role in the transmission of the disease, it may be relevant to take them into account in the model. A stochastic version of the EM algorithm adapted to this context is implemented and studied. The estimation method is validated on simulated data and then implemented to analyze the malaria data

Cette thèse aborde le problème de la recherche d'une structure (ou clustering) dans lesnoeuds d'un graphe. Dans le cadre des modèles aléatoires à variables latentes, on attribue à chaque noeud i une variable aléatoire non observée (latente) Zi, et la probabilité de connexion des noeuds i et j dépend conditionnellement de Zi et Zj . Contrairement au modèle d'Erdos-Rényi, les connexions ne sont pas indépendantes identiquement distribuées; les variables latentes régissent la loi des connexions des noeuds. Ces modèles sont donc hétérogènes, et leur structure est décrite par les variables latentes et leur loi; ce pourquoi on s'attache à en faire l'inférence à partir du graphe, seule variable observée.La volonté commune des deux travaux originaux de cette thèse est de proposer des méthodes d'inférence de ces modèles, consistentes et de complexité algorithmique au plus linéaire en le nombre de noeuds ou d'arêtes, de sorte à pouvoir traiter de grands graphes en temps raisonnable. Ils sont aussi tous deux fondés sur une étude fine de la distribution des degrés, normalisés de façon convenable selon le modèle.Le premier travail concerne le Stochastic Blockmodel. Nous y montrons la consistence d'un algorithme de classiffcation non supervisée à l'aide d'inégalités de concentration. Nous en déduisons une méthode d'estimation des paramètres, de sélection de modèles pour le nombre de classes latentes, et un test de la présence d'une ou plusieurs classes latentes (absence ou présence de clustering), et nous montrons leur consistence.Dans le deuxième travail, les variables latentes sont des positions dans l'espace ℝd, admettant une densité f, et la probabilité de connexion dépend de la distance entre les positions des noeuds. Les clusters sont définis comme les composantes connexes de l'ensemble de niveau t > 0 fixé de f, et l'objectif est d'en estimer le nombre à partir du graphe. Nous estimons la densité en les positions latentes des noeuds grâce à leur degré, ce qui permet d'établir une correspondance entre les clusters et les composantes connexes de certains sous-graphes du graphe observé, obtenus en retirant les nœuds de faible degré. En particulier, nous en déduisons un estimateur du nombre de clusters et montrons saconsistence en un certain sens
.This thesis addresses the clustering of the nodes of a graph, in the framework of randommodels with latent variables. To each node i is allocated an unobserved (latent) variable Zi and the probability of nodes i and j being connected depends conditionally on Zi and Zj . Unlike Erdos-Renyi's model, connections are not independent identically distributed; the latent variables rule the connection distribution of the nodes. These models are thus heterogeneous and their structure is fully described by the latent variables and their distribution. Hence we aim at infering them from the graph, which the only observed data.In both original works of this thesis, we propose consistent inference methods with a computational cost no more than linear with respect to the number of nodes or edges, so that large graphs can be processed in a reasonable time. They both are based on a study of the distribution of the degrees, which are normalized in a convenient way for the model.The first work deals with the Stochastic Blockmodel. We show the consistency of an unsupervised classiffcation algorithm using concentration inequalities. We deduce from it a parametric estimation method, a model selection method for the number of latent classes, and a clustering test (testing whether there is one cluster or more), which are all proved to be consistent. In the second work, the latent variables are positions in the ℝd space, having a density f. The connection probability depends on the distance between the node positions. The clusters are defined as connected components of some level set of f. The goal is to estimate the number of such clusters from the observed graph only. We estimate the density at the latent positions of the nodes with their degree, which allows to establish a link between clusters and connected components of some subgraphs of the observed graph, obtained by removing low degree nodes. In particular, we thus derive an estimator of the cluster number and we also show the consistency in some sense

The estimation of latent variable models with ordinal and continuous, or ranking variables is the research focus of this thesis. The existing estimation methods are discussed and a composite likelihood approach is developed. The main advantages of the new method are its low computational complexity which remains unchanged regardless of the model size, and that it yields an asymptotically unbiased, consistent, and normally distributed estimator. The thesis consists of four papers. The first one investigates the two main formulations of the unrestricted Thurstonian model for ranking data along with the corresponding identification constraints. It is found that the extra identifications constraints required in one of them lead to unreliable estimates unless the constraints coincide with the true values of the fixed parameters. In the second paper, a pairwise likelihood (PL) estimation is developed for factor analysis models with ordinal variables. The performance of PL is studied in terms of bias and mean squared error (MSE) and compared with that of the conventional estimation methods via a simulation study and through some real data examples. It is found that the PL estimates and standard errors have very small bias and MSE both decreasing with the sample size, and that the method is competitive to the conventional ones. The results of the first two papers lead to the next one where PL estimation is adjusted to the unrestricted Thurstonian ranking model. As before, the performance of the proposed approach is studied through a simulation study with respect to relative bias and relative MSE and in comparison with the conventional estimation methods. The conclusions are similar to those of the second paper. The last paper extends the PL estimation to the whole structural equation modeling framework where data may include both ordinal and continuous variables as well as covariates. The approach is demonstrated through an example run in R software. The code used has been incorporated in the R package lavaan (version 0.5-11).

La modélisation par équations structurelles est très répandue dans des domaines très variés et nous l'appliquons pour la première fois en métrologie dans le traitement de données de comparaisons interlaboratoires. Les modèles à équations structurelles à variables latentes sont des modèles multivariés utilisés pour modéliser des relations de causalité entre des variables observées (les données). Le modèle s'applique dans le cas où les données peuvent être regroupées dans des blocs disjoints où chaque bloc définit un concept modélisé par une variable latente. La structure de corrélation des variables observées est ainsi résumée dans la structure de corrélation des variables latentes. Nous proposons une approche bayésienne des modèles à équations structurelles centrée sur l'analyse de la matrice de corrélation des variables latentes. Nous appliquons une expansion paramétrique à la matrice de corrélation des variables latentes afin de surmonter l'indétermination de l'échelle des variables latentes et d'améliorer la convergence de l'algorithme de Gibbs utilisé. La puissance de l'approche structurelle nous permet de proposer une modélisation riche et flexible des biais de mesure qui vient enrichir le calcul de la valeur de consensus et de son incertitude associée dans un cadre entièrement bayésien. Sous certaines hypothèses l'approche permet de manière innovante de calculer les contributions des variables de biais au biais des laboratoires. Plus généralement nous proposons un cadre bayésien pour l'amélioration de la qualité des mesures. Nous illustrons et montrons l'intérêt d'une modélisation structurelle des biais de mesure sur des comparaisons interlaboratoires en environnement.

Latent variable model is a common probabilistic framework which aims to estimate the hidden states of observations. More specifically, the hidden states can be the position of a robot, the low dimensional representation of an observation. Meanwhile, various latent variable models have been explored, such as hidden Markov models (HMM), Gaussian mixture model (GMM), Bayesian Gaussian process latent variable model (BGPLVM), etc. Moreover, these latent variable models have been successfully applied to a wide range of fields, such as robotic navigation, image and video compression, natural language processing. So as to make the learning of latent variable more efficient and robust, some approaches seek to integrate latent variables with related priors. For instance, the dynamic prior can be incorporated so that the learned latent variables take into account the time sequence. Besides, some methods introduce inducing points as a small set representing the large size latent variable to enhance the optimization speed of the model. Though those priors are effective to facilitate the robustness of the latent variable models, the learned latent variables are inclined to be dense rather than diverse. This is to say that there are significant overlapping between the generated latent variables. Consequently, the latent variable model will be ambiguous after optimization. Clearly, a proper diversity prior play a pivotal role in having latent variables capture more diverse features of the observations data. In this thesis, we propose diversified latent variable models incorporated by different types of diversity priors, such as single/dual diversity encouraging prior, multi-layered DPP prior, shared diversity prior. Furthermore, we also illustrate how to formulate the diversity priors in different latent variable models and perform learning, inference on the reformulated latent variable models.

La diversité des phénotypes et des conditions observées au sein de l'espèce humaine est le résultat de multiples processus biologiques interdépendants. Cependant, dans le contexte de la médecine personnalisée et du traitement de maladies de plus en plus complexes, systématiques et hétérogènes, il est crucial de développer des approches qui capturent de manière exhaustive la complexité des mécanismes biologiques sous-jacents à la variabilité des profils biologiques. Cela s'étend du niveau individuel au niveau cellulaire, englobant les tissus et les organes. Une telle précision et une telle granularité sont essentielles pour que les cliniciens, les biologistes et les statisticiens comprennent les causes sous-jacentes de la diversité des réponses aux traitements cliniques et puissent prédire d'éventuels effets indésirables. Afin d'aborder de manière exhaustive la complexité hiérarchique et stratifiée des systèmes biologiques, nous avons considéré deux niveaux d'étude dans ce manuscrit. Au niveau de granularité le plus bas, désigné dans ce manuscrit sous le terme "endotype", nous examinons les processus conduisant aux variations observées ans les profils d'expression transcriptomiques entre individus. Notamment, pour tenir compte de la variabilité non expliquée observée entre patients affectés par la même maladie, nous introduisons une variable latente discrète. Pour identifier les sous-groupes non observés, dépendant de cette variable cachée, nous utilisons des modèles de mélange probabilistes, en supposant que chaque profil transcriptomique individuel est échantillonné à partir d'une distribution gaussienne multivariée, dont les paramètres ne peuvent pas être directement estimés dans la population générale. Ensuite, nous nous intéressons à un niveau de complexité supplémentaire, en passant en revue les méthodes canoniques permettant d'estimer la composition des tissus, souvent très hétérogènes, au sein d'un même individu. Plus précisément, nous discutons de diverses techniques de déconvolution conçues pour estimer les ratios de populations cellulaires, ces dernières contribuant en proportions inconnues au profil transcriptomique global mesuré.Nous présentons ensuite notre propre algorithme de déconvolution, nommé "DeCovarT", qui offre une précision améliorée de la délimitation de populations cellulaires fortement corrélées, en incorporant explicitement les réseaux de co-expression propres à chaque type cellulaire purifié
The diversity of phenotypes and conditions observed within the human species is driven by multiple intertwined biological processes. However, in the context of personalized medicine and the treatment of increasingly complex, systemic, and heterogeneous diseases, it is crucial to develop approaches that comprehensively capture the complexity of the biological mechanisms underlying the variability in biological profiles. This spans from the individual level to the cellular level, encompassing tissues and organs. Such granularity and precision are essential for clinicians, biologists, and statisticians to understand the underlying causes of the diversity in responses to clinical treatments and predict potential adverse effects. This manuscript primarily focuses on two biological entities of interest, namely transcriptome profiles and immune cell populations, for dissecting the diversity of disease outcomes and responses to treatment observed across individuals. The introductory section provides a comprehensive overview on the intertwined mechanisms controlling the activity and abundance of these inputs, and subsequently details standard physical methods for quantifying them in real-world conditions. To comprehensively address the intricate multi-layered organization of biological systems, we considered two distinct resolution scopes in this manuscript. At the lowest level of granularity, referred to in this manuscript as an "endotype" we examine variations in the overall bulk expression profiles across individuals. To account for the unexplained variability observed among patients sharing the same disease, we introduce an underlying latent discrete factor. To identify the unobserved subgroups characterized by this hidden variable, we employ a mixture model-based approach, assuming that each individual transcriptomic profile is sampled from a multivariate Gaussian distribution. Subsequently, we delve into a bigger layer of complexity, by integrating the cellular composition of heterogeneous tissues. Specifically, we discuss various deconvolution techniques designed to estimate the ratios of cellular populations, contributing in unknown proportions to the total observed bulk transcriptome. We then introduce an independent deconvolution algorithm, "DeCovarT", which demonstrates improved accuracy in delineating highly correlated cell types by explicitly incorporating the co-expression network structures of each purified cell type

Analyse de l'evolution economique par pays et par secteur de l'ensemble des pays arabes de 1975 a 1988. Les donnees traitees ici constituent un tableau ternaire comprenant les statistiques relatives aux 11 secteurs economiques des 21 pays arabes, pendant 14 annees successives (de 1975 a 1988). On analyse d'abord les marges rectangulaires de ce tableau parallelepipedique ; puis l'ensemble des informations, en juxtaposant les etages afferents aux differentes annees. La technique des elements supplementaires permet de suivre l'evolution temporelle des secteurs et des pays: evolution parfois graduelle parfois tres rapide et irreguliere, particulierement depuis 1980. Ainsi la statistique offre une lecture ordonnee et hierarchisee des 3234 nombres (11 x 21 x 14) qui constituent le tableau initial. Analyse des reponses de 98 sujets a une echelle d'evaluation de l'anxiete presentee quotidiennement. L'echelle comporte 7 questions, presentees chacune sur un axe ou s'opposent des antonymes, e. G. (contrarie serein). Le comportement des sujets montre une stabilite remarquable dans le type d'anxiete que chacun declare de j0 a j14 ; ce qui justifie l'usage de l'echelle pour caracteriser ce type ; et non seulement pour une appreciation globale d'intensite. Mais l'etude suggere de modifier le questionnaire afin d'equilibrer la presentation des variables. Un cas modele pour l'analyse d'un ensemble redondant de variables decoupees en classes. Si, en general, les resultats de l'analyse d'un ensemble de variables decoupees en classes sont bien plus satisfaisants qu'on ne l'attendrait a priori, c'est parce que le jeu concordant de variables redondantes restitue, au travers de l'analyse, l'ordre des modalites. Cet effet est ici explique sur un modele completement resolu. Procede d'elaboration de modele de variables partagees en deux categories: observables et latentes. Il s'agit de modele de calcul de probabilites de transition en complement aux tableaux de burt exprimes en conditionnement de modalite par etat. Dans la dynamique d'une enquete a l'aide de questionnaire, on procede par consideration de tableaux de contingence, dresses selon deux familles de variables, observees et latentes. Enfin, estimation des parametres du modele, a partir des equations de vraisemblance, soumises a l'algorithme e. M

La factorisation en matrices non-négatives (NMF, de l’anglais non-negative matrix factorization) est aujourd’hui l’une des techniques de réduction de la dimensionnalité les plus répandues, dont les domaines d’application recouvrent le traitement du signal audio, l’imagerie hyperspectrale, ou encore les systèmes de recommandation. Sous sa forme la plus simple, la NMF a pour but de trouver une approximation d’une matrice des données non-négative (c’est-à-dire à coefficients positifs ou nuls) par le produit de deux matrices non-négatives, appelées les facteurs. L’une de ces matrices peut être interprétée comme un dictionnaire de motifs caractéristiques des données, et l’autre comme les coefficients d’activation de ces motifs. La recherche de cette approximation de rang faible s’effectue généralement en optimisant une mesure de similarité entre la matrice des données et son approximation. Il s’avère que pour de nombreux choix de mesures de similarité, ce problème est équivalent à l’estimation jointe des facteurs au sens du maximum de vraisemblance sous un certain modèle probabiliste décrivant les données. Cela nous amène à considérer un paradigme alternatif pour la NMF, dans lequel les taches d’apprentissage se portent sur des modèles probabilistes dont la densité d’observation est paramétrisée par le produit des facteurs non-négatifs. Ce cadre général, que nous appelons NMF probabiliste, inclut de nombreux modèles à variables latentes bien connus de la littérature, tels que certains modèles pour des données de compte. Dans cette thèse, nous nous intéressons à des modèles de NMF probabilistes particuliers pour lesquels on suppose une distribution a priori pour les coefficients d’activation, mais pas pour le dictionnaire, qui reste un paramètre déterministe. L'objectif est alors de maximiser la vraisemblance marginale de ces modèles semi-bayésiens, c’est-à-dire la vraisemblance jointe intégrée par rapport aux coefficients d’activation. Cela revient à n’apprendre que le dictionnaire, les coefficients d’activation pouvant être inférés dans un second temps si nécessaire. Nous entreprenons d’approfondir l’étude de ce processus d’estimation. En particulier, deux scénarios sont envisagées. Dans le premier, nous supposons l’indépendance des coefficients d’activation par échantillon. Des résultats expérimentaux antérieurs ont montré que les dictionnaires appris via cette approche avaient tendance à régulariser de manière automatique le nombre de composantes ; une propriété avantageuse qui n’avait pas été expliquée alors. Dans le second, nous levons cette hypothèse habituelle, et considérons des structures de Markov, introduisant ainsi de la corrélation au sein du modèle, en vue d’analyser des séries temporelles
Non-negative matrix factorization (NMF) has become a popular dimensionality reductiontechnique, and has found applications in many different fields, such as audio signal processing,hyperspectral imaging, or recommender systems. In its simplest form, NMF aims at finding anapproximation of a non-negative data matrix (i.e., with non-negative entries) as the product of twonon-negative matrices, called the factors. One of these two matrices can be interpreted as adictionary of characteristic patterns of the data, and the other one as activation coefficients ofthese patterns. This low-rank approximation is traditionally retrieved by optimizing a measure of fitbetween the data matrix and its approximation. As it turns out, for many choices of measures of fit,the problem can be shown to be equivalent to the joint maximum likelihood estimation of thefactors under a certain statistical model describing the data. This leads us to an alternativeparadigm for NMF, where the learning task revolves around probabilistic models whoseobservation density is parametrized by the product of non-negative factors. This general framework, coined probabilistic NMF, encompasses many well-known latent variable models ofthe literature, such as models for count data. In this thesis, we consider specific probabilistic NMFmodels in which a prior distribution is assumed on the activation coefficients, but the dictionary remains a deterministic variable. The objective is then to maximize the marginal likelihood in thesesemi-Bayesian NMF models, i.e., the integrated joint likelihood over the activation coefficients.This amounts to learning the dictionary only; the activation coefficients may be inferred in asecond step if necessary. We proceed to study in greater depth the properties of this estimation process. In particular, two scenarios are considered. In the first one, we assume the independence of the activation coefficients sample-wise. Previous experimental work showed that dictionarieslearned with this approach exhibited a tendency to automatically regularize the number of components, a favorable property which was left unexplained. In the second one, we lift thisstandard assumption, and consider instead Markov structures to add statistical correlation to themodel, in order to better analyze temporal data

Generalized Linear Models (GLMs) (McCullagh and Nelder, 1989) provide a unified framework for fixed effect models where response data arise from exponential family distributions. Much recent research has attempted to extend the framework to include random effects in the linear predictors. Different methodologies have been employed to solve different motivating problems, for example Generalized Linear Mixed Models (Clayton, 1994) and Multilevel Models (Goldstein, 1995). A thorough review and classification of this and related material is presented. In Item Response Theory (IRT) subjects are tested using banks of pre-calibrated test items. A useful model is based on the logistic function with a binary response dependent on the unknown ability of the subject. Item parameters contribute to the probability of a correct response. Within the framework of the GLM, a latent variable, the unknown ability, is introduced as a new component of the linear predictor. This approach affords the opportunity to structure intercept and slope parameters so that item characteristics are represented. A methodology for fitting such GLMs with latent variables, based on the EM algorithm (Dempster, Laird and Rubin, 1977) and using standard Generalized Linear Model fitting software GLIM (Payne, 1987) to perform the expectation step, is developed and applied to a model for binary response data. Accurate numerical integration to evaluate the likelihood functions is a vital part of the computational process. A study of the comparative benefits of two different integration strategies is undertaken and leads to the adoption, unusually, of Gauss-Legendre rules. It is shown how the fitting algorithms are implemented with GLIM programs which incorporate FORTRAN subroutines. Examples from IRT are given. A simulation study is undertaken to investigate the sampling distributions of the estimators and the effect of certain numerical attributes of the computational process. Finally a generalized latent variable model is developed for responses from any exponential family distribution.

L’un des problèmes importants en apprentissage automatique est de déterminer la complexité du modèle à apprendre. Une trop grande complexité mène au surapprentissage, ce qui correspond à trouver des structures qui n’existent pas réellement dans les données, tandis qu’une trop faible complexité mène au sous-apprentissage, c’est-à-dire que l’expressivité du modèle est insuffisante pour capturer l’ensemble des structures présentes dans les données. Pour certains modèles probabilistes, la complexité du modèle se traduit par l’introduction d’une ou plusieurs variables cachées dont le rôle est d’expliquer le processus génératif des données. Il existe diverses approches permettant d’identifier le nombre approprié de variables cachées d’un modèle. Cette thèse s’intéresse aux méthodes Bayésiennes nonparamétriques permettant de déterminer le nombre de variables cachées à utiliser ainsi que leur dimensionnalité. La popularisation des statistiques Bayésiennes nonparamétriques au sein de la communauté de l’apprentissage automatique est assez récente. Leur principal attrait vient du fait qu’elles offrent des modèles hautement flexibles et dont la complexité s’ajuste proportionnellement à la quantité de données disponibles. Au cours des dernières années, la recherche sur les méthodes d’apprentissage Bayésiennes nonparamétriques a porté sur trois aspects principaux : la construction de nouveaux modèles, le développement d’algorithmes d’inférence et les applications. Cette thèse présente nos contributions à ces trois sujets de recherches dans le contexte d’apprentissage de modèles à variables cachées. Dans un premier temps, nous introduisons le Pitman-Yor process mixture of Gaussians, un modèle permettant l’apprentissage de mélanges infinis de Gaussiennes. Nous présentons aussi un algorithme d’inférence permettant de découvrir les composantes cachées du modèle que nous évaluons sur deux applications concrètes de robotique. Nos résultats démontrent que l’approche proposée surpasse en performance et en flexibilité les approches classiques d’apprentissage. Dans un deuxième temps, nous proposons l’extended cascading Indian buffet process, un modèle servant de distribution de probabilité a priori sur l’espace des graphes dirigés acycliques. Dans le contexte de réseaux Bayésien, ce prior permet d’identifier à la fois la présence de variables cachées et la structure du réseau parmi celles-ci. Un algorithme d’inférence Monte Carlo par chaîne de Markov est utilisé pour l’évaluation sur des problèmes d’identification de structures et d’estimation de densités. Dans un dernier temps, nous proposons le Indian chefs process, un modèle plus général que l’extended cascading Indian buffet process servant à l’apprentissage de graphes et d’ordres. L’avantage du nouveau modèle est qu’il admet les connections entres les variables observables et qu’il prend en compte l’ordre des variables. Nous présentons un algorithme d’inférence Monte Carlo par chaîne de Markov avec saut réversible permettant l’apprentissage conjoint de graphes et d’ordres. L’évaluation est faite sur des problèmes d’estimations de densité et de test d’indépendance. Ce modèle est le premier modèle Bayésien nonparamétrique permettant d’apprendre des réseaux Bayésiens disposant d’une structure complètement arbitraire.
One of the important problems in machine learning is determining the complexity of the model to learn. Too much complexity leads to overfitting, which finds structures that do not actually exist in the data, while too low complexity leads to underfitting, which means that the expressiveness of the model is insufficient to capture all the structures present in the data. For some probabilistic models, the complexity depends on the introduction of one or more latent variables whose role is to explain the generative process of the data. There are various approaches to identify the appropriate number of latent variables of a model. This thesis covers various Bayesian nonparametric methods capable of determining the number of latent variables to be used and their dimensionality. The popularization of Bayesian nonparametric statistics in the machine learning community is fairly recent. Their main attraction is the fact that they offer highly flexible models and their complexity scales appropriately with the amount of available data. In recent years, research on Bayesian nonparametric learning methods have focused on three main aspects: the construction of new models, the development of inference algorithms and new applications. This thesis presents our contributions to these three topics of research in the context of learning latent variables models. Firstly, we introduce the Pitman-Yor process mixture of Gaussians, a model for learning infinite mixtures of Gaussians. We also present an inference algorithm to discover the latent components of the model and we evaluate it on two practical robotics applications. Our results demonstrate that the proposed approach outperforms, both in performance and flexibility, the traditional learning approaches. Secondly, we propose the extended cascading Indian buffet process, a Bayesian nonparametric probability distribution on the space of directed acyclic graphs. In the context of Bayesian networks, this prior is used to identify the presence of latent variables and the network structure among them. A Markov Chain Monte Carlo inference algorithm is presented and evaluated on structure identification problems and as well as density estimation problems. Lastly, we propose the Indian chefs process, a model more general than the extended cascading Indian buffet process for learning graphs and orders. The advantage of the new model is that it accepts connections among observable variables and it takes into account the order of the variables. We also present a reversible jump Markov Chain Monte Carlo inference algorithm which jointly learns graphs and orders. Experiments are conducted on density estimation problems and testing independence hypotheses. This model is the first Bayesian nonparametric model capable of learning Bayesian learning networks with completely arbitrary graph structures.

The ultimate goal of any DSM is a scalable and accurate representation of lexical semantics. Recent developments due to Bullinaria & Levy (2012) and Caron (2001) indicate that the accuracy of such models can be improved by redistribution of weight on the principal components. However, this method is poorly understood and barely replicated due to the computational expensive dimension reduction and the puzzling nature of the results. This thesis aims to explore the nature of these results. Beginning by reproducing the results in Bullinaria & Levy (2012) we move onto deepen the understanding of these results, quantitatively as well as qualitatively, using various forms of the BLESS test and juxtapose these with previous results.  The main result of this thesis is the verification of the 100% score on the TOEFL test and 91.5% on a paradigmatic version of the BLESS test. Our qualitative tests indicate that the redistribution of weight away from the first principal components is slightly different between word categories and hence the improvement in the TOEFL and BLESS results. While we do not find any significant relation between word frequencies and weight distribution, we find an empirical relation for the optimal weight distribution. Based on these results, we suggest a range of further studies to better understand these phenomena.
Målet med alla semantiska fördelningsmodeller (DSMs) är en skalbaroch precis representation av semantiska relationer. Nya rön från Bullinaria & Levy (2012) och Caron (2001) indikerar att man kan förbättra prestandan avsevärt genom att omfördela vikten ifrån principalkomponenterna med störst varians mot de lägre. Varför metoden fungerar är dock fortfarande oklart, delvis på grund av höga beräkningskostnader för PCA men även på grund av att resultaten strider mot tidigare praxis. Vi börjar med att replikera resultaten i Bullinaria & Levy (2012) för att sedan fördjupa oss i resultaten, både kvantitativt och kvalitativt, genom att använda oss av BLESS testet. Huvudresultaten av denna studie är verifiering av 100% på TOEFL testet och ett nytt resultat på en paradigmatisk variant av BLESStestet på 91.5%. Våra resultat tyder på att en omfördelning av vikten ifrån de första principalkomponenterna leder till en förändring i fördelningensins emellan de semantiska relationerna vilket delvis förklarar förbättringen i TOEFL resultaten. Vidare finner vi i enlighet med tidigare resultat ingen signifikant relation mellan ordfrekvenser och viktomfördelning. Utifrån dessa resultat föreslår vi en rad experiment som kan ge vidare insikt till dessa intressanta resultat.

In structural equation models with latent variables, maximum likelihood (ML) estimation is currently the most prevailing estimation method. However, the ML method fails to provide accurate solutions in a number of situations including those involving small sample sizes, nonnormality, and model misspecification. To over come these difficulties, regularized extensions of two-stage least squares estimation are proposed that incorporate a ridge type of regularization in the estimation of parameters. Two simulation studies and two empirical applications demonstrate that the proposed method is a promising alternative to both the maximum likelihood and non-regularized two-stage least squares estimation methods. An optimal value of the regularization parameter is found by the K-fold cross validation technique. A nonparametric bootstrap method is used to evaluate the stability of solutions. A goodness-of-fit measure is used for assessing the overall fit.
Dans les modèles d'équations structurales avec des variables latentes, l'estimation demaximum devraisemblance est la méthode d'estimation la plus utilisée. Par contre, la méthode de maximum devraisemblance souvent ne réussit pas á fournir des solutions exactes, par exemple lorsque les échantillons sont petits, les données ne sont pas normale, ou lorsque le modèle est mal specifié. L'estimation des moindres carrés á deux-phases est asymptotiquement sans distribution et robuste contre mauvaises spécifications, mais elle manque de robustesse quand les chantillons sont petits. Afin de surmonter les trois difficultés mentionnés ci-dessus et d'obtenir une estimation plus exacte, des extensions régularisées des moindres carrés á deux phases sont proposé á qui incorporent directement un type de régularisation dans les modèles d'équations structurales avec des variables latentes. Deux études de simulation et deux applications empiriques démontrent que la méthode propose est une alternative prometteuse aux méthodes de maximum vraisemblance et de l'estimation des moindres carrés á deux-phases. Un paramètre de régularisation valeur optimale a été trouvé par la technique de validation croisé d'ordre K. Une méthode non-paramétrique Bootstrap est utilisée afin d'évaluer la stabilité des solutions. Une mesure d'adéquation est utilisée pour estimer l'adéquation globale.

L'obbiettivo della presente Tesi é di considerare la specificazione di mod­elli di pricing in tempo discreto (in generale, incompleti) con variabili latenti, al fine di sfruttare i vantaggi derivanti da tale contesto a tempo discreto e al fine di fornire una descrizione completa degli aspetti storici e neutrali al rischio dei prezzi dei titoli. Negli ultimi anni osserviamo un importante sviluppo di modelli di pric­ing in tempo discreto, dove la modellizzazione secondo il principio dello Stochastic Discount Factor (SDF) e la caratterizzazione della distribuzione condizionale delle variabili di stato tramite la trasformata di Laplace sem­brano fornire risultati promettenti. Più precisamente, la caratterizzazione generale di modelli di pricing in tempo discreto, usando questo tipo di approccio, e dove é assunta una speci­ficazione Compound Autoregressive (CAR ovvero affine) per le variabili di stato [vedi Darolles, Gourieroux, Jasiak (2002)], é stata proposta da Gourier­oux e Monfort (2003) e Gourieroux, Monfort e Polimenis (2002, 2003); in questi articoli viene presentata la metodologia generale di pricing e vengono specificati modelli per la Struttura a Termine e per il Rischio di Credito. Il tempo discreto é un contesto naturale per sviluppare modelli di valoriz­zazione volti a future implementazioni econometriche; infatti, i dati storici sono campionati con frequenza discreta, le transazioni finanziarie sono tipi­camente registrate a intervalli temporali discreti, la stima di parametri e i test statistici implicano dati a tempo discreto e le previsione sono fatte a orizzonti discreti. Un secondo e importante vantaggio che si ha nel lavorare in tempo dis­creto emerge quando consideriamo la classe di processi affini per applicazioni finanziarie. La classe di processi affini in tempo discreto (processi CAR) [pro­posti, come indicato sopra, da Darolles, Gourieroux, Jasiak (2002)] é molto più ampia della classe equivalente in tempo continuo proposta da Duffie, Fil­ipovic and Schachermayer (2003) : tutti i processi affini in tempo continuo campionati a istanti temporali discreti sono CAR, mentre esiste un ampio numero di processi CAR senza un processo equivalente in tempo continuo. Questa é una conseguenza del problema di embedding che caratterizza la classe affine in tempo continuo : tali processi devono essere infinitamente decomponibili, mentre tale condizione non é necessaria in tempo discreto [vedi Darolles, Gourieroux and Jasiak (2002) and Gourieroux, Monfort and Polimenis (2002)]. Nella Tesi sfrutteremo il contesto a tempo discreto anche per introdurre processi Non-Gaussiani e Non-Markoviani come le Misture di Processi Con­dizionatamente Gaussiani. Per quanto riguarda l'utilizzo della trasformata di Laplace condizionale per descrivere la distribuzione storica e neutrale al rischio delle variabili di stato, si osservi come in molte applicazione economico-finanziarie siamo por­tati in modo naturale a dover calcolare la trasformata di Laplace di tali variabili di stato. Alcuni esempi possibili sono i seguenti : (a) optimal port­folio problems (CARA utility functions, Markowitz), (b) asset pricing by thè certainty equivalence principle (CARA utility functions), (c) discrete time derivative pricing and term strueture models with exponential-affine SDFs, (d) panel duration models, (e) extreme risk [see Darolles, Gourieroux and Jasiak (2002) for details]. Vedremo, inoltre, che la trasformata di Laplace é uno strumento molto utile per caratterizzare anche la distribuzione storica e neutrale al rischio di Misture di Processi Condizionatamente Gaussiani. Per finire, la necessità di prendere in considerazione le fonti di rischio ril­evanti nell'influenzare il titolo da valorizzare, porta a considerare lo Stochas­tic Discount Factor (SDF) come strumento per caratterizzare la procedura di pricing : lo SDF é una variabile casuale (chiamata anche Pricing Kernel o State Price Deflator) che sintetizza sia l'attualizzazione temporale che la correzione per il rischio, e che porta a specificare, conseguentemente, una procedura di valorizzazione che fornisce una modellizzazione completa degli aspetti storici e neutrali al rischio. Il tempo discreto implica in generale un contesto a mercato incompleto e una molteplicità di formule di pricing; il problema della molteplicità viene ridotto imponendo una forma particolare allo SDF; il Pricing Kernel viene specificato, infatti, secondo una forma esponenziale-affine che si é dimostrata utile in molte circostanze e che troviamo sovente in letteratura [vedi Lu­cas (1978), Gerber e Shiu (1994), Stutzer (1995, 1996), Buchen e Kelly (1996), Buhlmann et al. (1997, 1998), Polimenis (2001), Gourieroux e Mon­fort (2002)]. Inoltre, uno SDF con una forma esponenziale-affine presenta proprietà tecniche interessanti : tale approccio infatti, che é basato sulla trasformata di Esscher in un contesto dinamico a tempo discreto, perme­tte di selezionare una misura martingale (di pricing) equivalente che riflette, nella formula di pricing, le diverse fonti di rischio da valorizzare. Ora, il contesto a tempo discreto, assieme ai principi di modellizzazione dello SDF esponenziale-affine e della transformata di Laplace, costituiscono gli strumenti usati nei tre capitoli fondamentali della Tesi. La Tesi analizza il ruolo che l'introduzione di variabili latenti può avere, in questa classe di modelli di pricing a tempo discreto, nello specificare metodologie di valorizzazione complete e coerenti rispetto alle indicazioni empiriche. Nei Capitoli 2 e 3 l'obbiettivo, infatti, é quello di specificare metodologie per la valorizzazione di prodotti derivati in grado di prendere in considerazione i tipici fenomeni di skewness e excess kurtosis che osserviamo nella distribuzione dei rendimenti di titoli azionari, e di riuscire quindi a repli­care le volatilità implicite di Black e Scholes (BS) e superfici di volatilità im­plicita con forme di smile a volatility skew coerenti con l'evidenza empirica1. Qui, le variabili latenti introducono cambiamenti di regime nella dinamica del titolo sottostante (cambiamenti, per esempio, tra un mercato a regime di alta e bassa volatilità) ovvero, introducono nella distribuzione storica del rendimento rischioso fenomeni come medie e varianze stocastiche. Nel Capi­tolo 4, vengono proposti modelli affini bifattoriali per la struttura a termine dei tassi di interesse (in tempo discreto) con variabili latenti; l'obbiettivo é quello di ottenere famiglie di possibili strutture a termine con forme più prossime (rispetto ai modelli unifattoriali in tempo discreto e continuo) a quelle osservate. In questo caso, le variabili latenti introducono parametri stocastici (continui e discreti) nella dinamica del fattore (tasso di interesse a breve scadenza) responsabile della forma della struttura a termine nei modelli unifattoriale. In altre parole, si vogliono definire procedure di pricing capaci di pren­dere in considerazione, in modo coerente e utile, le fonti di rischio descritte dai cambiamenti di regime e dai parametri stocastici; vogliamo specificare metodologie di valorizzazione non basate su ipotesi arbitrarie (spesso us­ate in letterature) come, per esempio, la neutralità al rischio degli investi­tori o la natura idiosincratica del rischio, e vogliamo derivare formule di pricing che hanno una forma analitica o che sono facili da implementare. L'organizzazione della Tesi é indicata nel prossimo paragrafo. 1 Questi due capitoli corrispondono a due articoli scritti con Henri Bertholon e Alain Monfort. Sintesi dei capitoli Nel CAPITOLO 1 viene inizialmente presentato il principio di modelliz­zazione dello SDF, e come é legato alla Law of One Price e al principio di Absence of Arbitrage Opportunity; successivamente, vengono descritti gli strumenti base che caratterizzano i modelli di pricing a tempo discreto sviluppati nella tesi : lo SDF esponenziale-affine, e la rappresentazione della distribuzione condizionale delle variabili di stato tramite la trasformata di Laplace considerando come esempio i processi CAR. Nel CAPITOLO 2 proponiamo una nuova procedura di valorizzazione di opzioni Europee che porta ad una generalizzazione della formula di Black e Scholes [utile, quindi, dal punto di vista delle istituzioni finanziarie]; in particolare, ci focalizziamo sulle due fonti fondamentali di cattiva specifi­cazione dell'approccio BS, ovvero l'assenza di Gaussianità e la dinamica. Gli strumenti utilizzati sono le misture in tempo discreto di processi condizion­atamente gaussiani, cioè processi {yt} tali che yt+1 é gaussiano condizion­atamente ai propri valori passati e al valore presente zt+ì di un white noise non osservabile a valori discreti. Forniamo (in un semplice caso statico) le simulazioni di volatilità implicita di BS e di superfici di volatilità implicita, e osserviamo l'abilità delle procedure di pricing che proponiamo nel repli­care smiles e volatility skews coerenti con l'evidenza empirica. Per quanto riguarda le superfici di volatilità implicita, il modello statico mostra qualche limite che é superato, con una dinamica di tipo Regime-Switching attribuita a zt+i, nel Capitolo 3. Il CAPITOLO 3 presenta una naturale evoluzione del precedente capitolo; infatti, prende in considerazione il caso in cui la variabile latente zt+\ non sia più un white noise ma, tipicamente, una Catena di Markov. Più precisa­mente, presentiamo il modello General Switching Regime per il pricing di derivati, applicato ai casi di opzioni Europee e path dependent. Studiamo inoltre le condizioni sotto le quali c'è una trasmissione di causalità (assenza di causalità istantanea, assenza di causalità, indipendenza), esistente tra la madia e la varianza stocastica, dal mondo storico al mondo neutrale al ris­chio. A questo scopo separiamo la dinamica della media e della varianza (in un caso di Hidden Markov Chain) usando due distinte variabili latenti (zit+i , Z2t+i), dove sia zu+i che Zit+\ possono prendere J possibili valori, e dove la prima variabile latente descrive la dinamica della media mentre la seconda quella della varianza. Lo scopo del CAPITOLO 4 é di introdurre parametri stocastici e cambi­amenti di regime nei modelli affini unifattoriali per la struttura a termine presentati da Gourieroux, Monfort and Polimenis (2002) [GMP (2002)], al fine di estendere la dinamica del tasso a breve termine e di ampliare, con­seguentemente, la ricchezza di curve della struttura a termine che tali modelli sono in grado di riprodurre. Vengono studiati diversi modelli alternativi e vengono presentate le simulazioni sulle possibili struttura a termine che essi sono in grado di replicare; in particolare, le strutture a termine ottenute mostrano forme con gobbe verso l'alto e verso il basso, forme con diversi gradi curvatura e con due mode. Per finire, presentiamo in problema dell' in­dividuazione di mimicking factors [un vettore Rt = (rf;i+2,..., rt,t+n) di tassi di interesse con differenti maturity] per i parametri stocastici e i cambiamenti di regime : questo é un problema interessante, dal punto di vista statistico, data l'osservabilità dei tassi di interesse. The aim of the thesis is to consider, as a new research direction, the specification of discrete time pricing models (in general incomplete) with latent variables, in order to exploit the advantages coming from the discrete time framework and in order to give a complete description of historical and risk-neutral aspects of asset prices. In the last years, we observe an important development of asset pric­ing models in discrete time, where the use of the Stochastic Discount Factor (SDF) modeling principle and the characterization of the state variables con­ditional distributions by means of the Laplace transform seem promising. More precisely, the general discrete time characterization of asset pricing models, using this kind of approach, and where a compound autoregressive (affine or CAR) specification for the state variables is assumed [see Darolles, Gourieroux, Jasiak (2002)], has been proposed by Gourieroux and Monfort (2003) and Gourieroux, Monfort and Polimenis (2002, 2003); in these pa­pers the general pricing methodology and the specifications of Affine Term Structure models, along with the Credit Risk Analysis, are presented. The discrete time is a natural framework to develop pricing models for fu­ture econometric implementations, given that all historical data are sampled discretely, financial transactions are typically recorded at discrete intervals, parameter estimation and hypothesis testing involve discrete data records, and forecasts are produced at discrete horizons. A second important advantage to work in discrete time emerges when we consider the class of affine processes for financial applications. The class of discrete time affine (CAR) processes [proposed, as indicated above, by Darolles, Gourieroux and Jasiak (2002)] is much larger than the equivalent continuous time class proposed by Duffie, Filipovic and Schachermayer (2003) : all continuous time affine processes sampled at discrete points are CAR, while there exists a large number of CAR processes without a continuous time counterpart. This is a consequence of the embedding problem that characterizes the continuous time class : these processes have to be infinitely decomposable, and this decomposition condition is not necessary in discrete time [see Darolles, Gourieroux and Jasiak (2002) and Gourieroux, Monfort and Polimenis (2002) for details]. In this Thesis, we will also exploit the discrete time framework in order to introduce non-Gaussian and non-Markovian processes like, for instance, the Mixtures of Conditionally Normal Processes. With regard to the use of the conditional Laplace transform to describe the historical and risk-neutral (pricing) distribution of the state variables, we observe that in many financial and economic applications we are naturally lead to determine the Laplace transform of the processes of interest; possible examples are the followings : (a) optimal portfolio problems (CARA utility functions, Markowitz), (b) asset pricing by the certainty equivalence princi­ple (CARA utility functions), (c) discrete time derivative pricing and term structure models with exponential-affine SDFs, (d) panel duration models, (e) extreme risk [see Darolles, Gourieroux and Jasiak (2002) for details]. In this Thesis we will see that the Laplace transform is also very convenient for the class of Mixtures of Conditionally Normal Processes. Finally, the need to take into account the relevant sources of risk that influence the asset one wants to price, lead to consider a Stochastic Discount Factor (SDF) approach to characterize the pricing procedure : the SDF is a random variable (called also Pricing Kernel or State Price Deflator) which summarizes both the time discounting and the risk correction, and which specifies, consequently, a pricing procedure that gives a complete modelisa­tion of the historical and risk-neutral (pricing) aspects. Given that discrete time implies in general an incomplete market frame­work and a multiplicity of asset pricing formulas, the multiplicity problem is reduced by imposing a special structure on the SDF; in particular, it is pos­sible to consider for the pricing kernel an exponential-affine function of the state variables which has proved useful in many circumstances and that we find frequently in the literature [see Lucas (1978), Gerber and Shiu (1994), Stutzer (1995, 1996), Buchen and Kelly (1996), Buhlmann et al. (1997, 1998), Polimenis (2001), Gourieroux and Monfort (2002)]. Moreover, a SDF with an exponential-affine form presents interesting technical properties : it is the Esscher transform approach, in a dynamic discrete time framework, which gives the possibility to select an equivalent martingale (pricing) mea­sure that reflects, in the pricing formula, the different sources of risks to be priced. Now, the discrete time framework, along with the exponential-affine SDF modeling principle and the Laplace transform approach, constitute the in­struments used in the three core chapters of the Thesis. The Thesis analyzes the role that the introduction of latent variables could play, in this class of discrete time pricing models, for the specification of com­plete and coherent, with respect to the empirical evidence, pricing methodolo­gies. In Chapters 2 and 3 the purpose is, indeed, to specify derivative pricing methodologies able to take into account time-varying stock returns skewness and excess kurtosis, that is, pricing procedure able to replicate phenomena like implied Black and Scholes volatilities and implied volatility surfaces with smile and volatility skew shapes coherent with empirical studies2. Here, the latent variables are regimes of the underlying risky asset (switches, for in­stance, between a low volatility and a high volatility regime of the market), that is, they introduce phenomena like stochastic means and variances in the historical dynamics of the stock return underlying the derivative product. In Chapter 4, the Thesis proposes discrete time two-factor affine term structure models with latent variables, able to obtain families of possible term struc­tures with shapes closer (with respect to one-factor continuous and discrete time models) to the observed ones. In this case the latent variables intro­duce discrete and continuous stochastic parameters in the dynamics of the factor (the short term interest rate) that explains the term structure of the univariate models. In other words, we want to define pricing procedure able to take into account in a coherent and useful way the sources of risk described by the switching of regimes and by the stochastic parameters; we want to spec­ify pricing procedure not characterized by arbitrary assumptions, frequently used in the literature, like, for instance, the risk-neutrality of the investors or the idiosyncratic nature of the risk. In addition, we want to provide pricing formulas which have an analytical form or which are simple to implement. The organization of the Thesis is detailed below. 2They correspond to two papers written with Henri Bertholon and Alain Monfort. Outline of the chapters In CHAPTER 1 first we present the SDF modeling principle, and its rela­tions with the Law of One Price and the Absence of Arbitrage Opportunity principle, then we consider the basic tools characterizing the discrete time pricing models developed in this Thesis : the exponential-affine SDF, the conditional Laplace transform description of the future uncertainty and the CAR processes. In CHAPTER 2 we propose a new European option pricing procedure which lead to a generalization of the Black and Scholes pricing formula [and, therefore, useful for financial institutions]. We focus on two impor­tant sources of misspecification for the Black-Scholes approach, namely the lack of normality and the dynamics. The basic tools are the mixtures of discrete time conditionally normal processes, that is to say processes {yt} such that yt+i is gaussian conditionally to its past values and the present value zt+i of a discrete value unobservable white noise process. We provide (in a static framework) simulations of implied Black-Scholes volatilities and implied volatilities surfaces, and we observe the ability of the proposed as­set pricing methodology to replicate smiles and volatility skews coherent with empirical results. With regard to implied volatility surfaces, the static model shows some limit which is overcome, with a Regime-Switching dynamics for Zt+i, in Chapter 3. CHAPTER 3 presents a natural evolution of the previous chapter, that is, it considers the case where the latent variable zt+1 is no more a white noise but, typically a Markov chain. More precisely, we present the derivative pricing General Switching Regime model applied to the cases of European and path dependent options. We also study the conditions under which there is a transmission of causality relations (absence of instantaneous casuality, absence of causality, independence), existing between the stochastic mean and variance, from the historical to the risk-neutral world. For this purpose we separate the dynamics of these two moments (in the case of a Hidden Markov Chain) using two distinct latent variables (zit+i , 22t+i)> where both Z\t+\ and Z2t+\ can take J values and where the first latent variable describe the dynamics of the mean while the second one describe the dynamics of the variance. The aim of CHAPTER 4 is to introduce stochastic parameters and switch­ing regimes in the one-factor Affine Term Structure Models proposed by Gourieroux, Monfort and Polimenis (2002) [GMP (2002) hereafter], in order to extend the dynamics of the short rate and to improve, consequently, the richness of shapes of the term structure they are able to replicate. Different models are studied and simulations of the possible term structures we are able to replicate are presented; in particular, the provided term structures show shapes with bumps both upwards and downwards, shapes with different degrees of curvature and with two modes. Finally, we present the problem to find mimicking factors [a vector Rt (rt)t+2,..., ru+n) of interest rates at different maturities] for stochastic parameters and switching regimes : this is an interesting problem, from a statistical point of view, because of the observability of the interest rates.

Principal Component Analysis (PCA) and Canonical Correlation Analysis (CCA) are widely-used mathematical models for decomposing multivariate data. They capture spatial relationships between variables, but ignore any temporal relationships that might exist between observations. Probabilistic PCA (PPCA) and Probabilistic CCA (ProbCCA) are versions of these two models that explain the statistical properties of the observed variables as linear mixtures of an alternative, hypothetical set of hidden, or latent, variables and explicitly model noise. Both the noise and the latent variables are assumed to be Gaussian distributed. This thesis introduces two new models, named PPCA-AR and ProbCCA-AR, that augment PPCA and ProbCCA respectively with autoregressive processes over the latent variables to additionally capture temporal relationships between the observations. To make PPCA-AR and ProbCCA-AR robust to outliers and able to model leptokurtic data, the Gaussian assumptions are replaced with infinite scale mixtures of Gaussians, using the Student-t distribution. Bayesian inference calculates posterior probability distributions for each of the parameter variables, from which we obtain a measure of confidence in the inference. It avoids the pitfalls associated with the maximum likelihood method: integrating over all possible values of the parameter variables guards against overfitting. For these new models the integrals required for exact Bayesian inference are intractable; instead a method of approximation, the variational Bayesian approach, is used. This enables the use of automatic relevance determination to estimate the model orders. PPCA-AR and ProbCCA-AR can be viewed as linear dynamical systems, so the forward-backward algorithm, also known as the Baum-Welch algorithm, is used as an efficient method for inferring the posterior distributions of the latent variables. The exact algorithm is tractable because Gaussian assumptions are made regarding the distribution of the latent variables. This thesis introduces a variational Bayesian forward-backward algorithm based on Student-t assumptions. The new models are demonstrated on synthetic datasets and on real remote sensing and EEG data.

The massive increases in computational power that have occurred over the last two decades have contributed to the increasing prevalence of Bayesian reasoning in statistics. The often intractable integrals required as part of the Bayesian approach to inference can be approximated or estimated using intensive sampling or optimisation routines. This has extended the realm of applications beyond simple models for which fully analytic solutions are possible. Latent variable models are ideally suited to this approach as it provides a principled method for resolving one of the more difficult issues associated with this class of models, the question of the appropriate number of latent variables. This thesis explores the use of latent variable models in a number of different settings employing Bayesian methods for inference. The first strand of this research focusses on the use of a latent variable model to perform simultaneous clustering and latent structure analysis of multivariate data. In this setting the latent variables are of key interest providing information on the number of sub-populations within a heterogeneous data set and also the differences in latent structure that define them. In the second strand latent variable models are used as a tool to study relational or network data. The analysis of this type of data, which describes the interconnections between different entities or nodes, is complicated due to the dependencies between nodes induced by these connections. The conditional independence assumptions of the latent variable framework provide a means of taking these dependencies into account, the nodes are independent conditioned on an associated latent variable. This allows us to perform model based clustering of a network making inference on the number of clusters. Finally the latent variable representation of the network, which captures the structure of the network in a different form, can be studied as part of a latent variable framework for detecting differences between networks. Approximation schemes are required as part of the Bayesian approach to model estimation. The two methods that are considered in this thesis are stochastic Markov chain Monte Carlo methods and deterministic variational approximations. Where possible these are extended to incorporate model selection over the number of latent variables and a comparison, the first of its kind in this setting, of their relative performance in unsupervised model selection for a range of different settings is presented. The findings of the study help to ascertain in which settings one method may be preferred to the other.

Over the past two centuries the industrial revolution automated a great part of work that involved human muscles. Recently, since the beginning of the 21st century, the focus has shifted towards automating work that is involving our brain to further improve our lives. This is accomplished by establishing human-level intelligence through machines, which lead to the growth of the field of artificial intelligence. Machine learning is a core component of artificial intelligence. While artificial intelligence focuses on constructing an entire intelligence system, machine learning focuses on the learning ability and the ability to further use the learned knowledge for different tasks. This thesis targets the field of machine learning, especially structured representation learning, which is key for various machine learning approaches. Humans sense the environment, extract information and make action decisions based on abstracted information. Similarly, machines receive data, abstract information from data through models and make decisions about the unknown through inference. Thus, models provide a mechanism for machines to abstract information. This commonly involves learning useful representations which are desirably compact, interpretable and useful for different tasks. In this thesis, the contribution relates to the design of efficient representation models with latent variables. To make the models useful, efficient inference algorithms are derived to fit the models to data. We apply our models to various applications from different domains, namely E-health, robotics, text mining, computer vision and recommendation systems. The main contribution of this thesis relates to advancing latent variable models and deriving associated inference schemes for representation learning. This is pursued in three different directions. Firstly, through supervised models, where better representations can be learned knowing the tasks, corresponding to situated knowledge of humans. Secondly, through structured representation models, with which different structures, such as factorized ones, are used for latent variable models to form more efficient representations. Finally, through non-parametric models, where the representation is determined completely by the data. Specifically, we propose several new models combining supervised learning and factorized representation as well as a further model combining non-parametric modeling and supervised approaches. Evaluations show that these new models provide generally more efficient representations and a higher degree of interpretability. Moreover, this thesis contributes by applying these proposed models in different practical scenarios, demonstrating that these models can provide efficient latent representations. Experimental results show that our models improve the performance for classical tasks, such as image classification and annotations, robotic scene and action understanding. Most notably, one of our models is applied to a novel problem in E-health, namely diagnostic prediction using discomfort drawings. Experimental investigation show here that our model can achieve significant results in automatic diagnosing and provides profound understanding of typical symptoms. This motivates novel decision support systems for healthcare personnel.

QC 20160905

Latent variable models have achieved a great success in many research communities, including machine learning, information retrieval, data mining, natural language processing, etc. Latent variable models use an assumption that the data, which is observable, has an affinity to some hidden/latent variables. In this thesis, we present a suite of novel applications using latent variable models. In particular, we (i) extend topic models using directional distributions, (ii) propose novel solutions using latent variable models to detect outliers (anomalies) and (iii) to answer cross-modal retrieval problem. We present a study of directional distributions in modeling data. Specifically, we implement the von Mises-Fisher (vMF) distribution and develop latent variable models which are based on directed graphical models. The directed graphical models are commonly used to represent the conditional dependency among the variables. Under Bayesian treatment, we propose approximate posterior inference algorithms using variational methods for the models. We show that by incorporating the vMF distribution, the quality of clustering is improved rather than by using word count-based topic models. Furthermore, with the properties of directional distributions in hand, we extend the applications to detect outliers in various data sets and settings. Finally, we present latent variable models that are based on supervised learning to answer the cross-modal retrieval problem. In the cross-modal retrieval problem, the objective is to find matching content across different modalities such as text and image. We explore various approaches such as by using one-class learning methods, generating negative instances and using ranking methods. We show that our models outperform generic approaches such as Canonical Correlation Analysis (CCA) and its variants.

Modern statistical models are often intractable, and approximation methods can be required to perform inference on them. Many different methods can be employed in most contexts, but not all are fully understood. The current thesis is an investigation into the use of various approximation methods for performing inference on latent variable models. Composite likelihoods are used as surrogates for the likelihood function of state space models (SSM). In chapter 3, variational approximations to their evaluation are investigated, and the interaction of biases as composite structure changes is observed. The bias effect of increasing the block size in composite likelihoods is found to balance the statistical benefit of including more data in each component. Predictions and smoothing estimates are made using approximate Expectation- Maximisation (EM) techniques. Variational EM estimators are found to produce predictions and smoothing estimates of a lesser quality than stochastic EM estimators, but at a massively reduced computational cost. Surrogate latent marginals are introduced in chapter 4 into a non-stationary SSM with i.i.d. replicates. They are cheap to compute, and break functional dependencies on parameters for previous time points, giving estimation algorithms linear computational complexity. Gaussian variational approximations are integrated with the surrogate marginals to produce an approximate EM algorithm. Using these Gaussians as proposal distributions in importance sampling is found to offer a positive trade-off in terms of the accuracy of predictions and smoothing estimates made using estimators. A cheap to compute model based hierarchical clustering algorithm is proposed in chapter 5. A cluster dissimilarity measure based on method of moments estimators is used to avoid likelihood function evaluation. Computation time for hierarchical clustering sequences is further reduced with the introduction of short-lists that are linear in the number of clusters at each iteration. The resulting clustering sequences are found to have plausible characteristics in both real and synthetic datasets.