Dissertations / Theses: 'Machine Learning Bayésien'

1

Zecchin, Matteo. "Robust Machine Learning Approaches to Wireless Communication Networks." Electronic Thesis or Diss., Sorbonne université, 2022. https://accesdistant.sorbonne-universite.fr/login?url=https://theses-intra.sorbonne-universite.fr/2022SORUS397.pdf.

Full text

Abstract:

L'intelligence artificielle est largement considérée comme un élément clé des systèmes sans fil de sixième génération. Dans cette thèse, nous nous focalisons sur les problèmes fondamentaux résultant de l'interaction entre ces deux technologies dans le but d'ouvrir la voie à l'adoption d'une IA fiable dans les futurs réseaux sans fil. Nous développons des algorithmes distribués qui permettent l'apprentissage collaboratif à la périphérie des réseaux sans fil malgré les problèmes de communication, le manque de fiabilité des travailleurs et l'hétérogénéité des données. Nous examinons ensuite d'un œil critique l'application du paradigme d'apprentissage fréquentiste standard aux problèmes de communication sans fil et proposons une extension de l'apprentissage bayésien généralisé, qui permet de relever simultanément trois défis majeurs dans le domaine d'application : la rareté des données, la présence de valeurs aberrantes et la mauvaise spécification du modèle
Artificial intelligence is widely viewed as a key enabler of sixth generation wireless systems. In this thesis we target fundamental problems arising from the interaction between these two technologies with the end goal of paving the way towards the adoption of reliable AI in future wireless networks. We develop of distributed training algorithms that allow collaborative learning at edge of wireless networks despite communication bottlenecks, unreliability of its workers and data heterogeneity. We then take a critical look at the application of the standard frequentist learning paradigm to wireless communication problems and propose an extension of the generalized Bayesian learning, that concurrently counteracts three prominent challenges arising in application domain: data scarcity, the presence of outliers and model misspecification

APA, Harvard, Vancouver, ISO, and other styles

2

Huix, Tom. "Variational Inference : theory and large scale applications." Electronic Thesis or Diss., Institut polytechnique de Paris, 2024. http://www.theses.fr/2024IPPAX071.

Full text

Abstract:

Cette thèse développe des méthodes d'Inférence Variationnelle pour l'apprentissage bayésien en grande dimension. L'approche bayésienne en machine learning permet de gérer l'incertitude épistémique des modèles et ainsi de mieux quantifier l'incertitude de ces modèles, ce qui est nécessaire dans de nombreuses applications de machine learning. Cependant, l'inférence bayésienne n'est souvent pas réalisable car la distribution à posteriori des paramètres du modèle n'est pas calculable en général. L'Inférence Variationnelle (VI) est une approche qui permet de contourner ce problème en approximant la distribution à posteriori par une distribution plus simple appelée distribution Variationnelle.Dans la première partie de cette thèse, nous avons travaillé sur les garanties théoriques de l'Inférence Variationnelle. Dans un premier temps, nous avons étudié cette approche lorsque la distribution Variationnelle est une Gaussienne, dans le régime surparamétré, c'est-à-dire lorsque les modèles sont en très grande dimension. Puis, nous nous sommes intéressés aux distributions Variationnelles plus expressives que sont les mélanges de Gaussiennes et nous avons étudié à la fois l'erreur d'optimisation et l'erreur d'approximation de cette méthode.Dans la deuxième partie de la thèse, nous avons étudié les garanties théoriques des problèmes de bandit contextuels en utilisant une approche bayésienne appelée Thompson Sampling. Dans un premier temps, nous avons exploré l'utilisation d'Inférence Variationnelle pour l'algorithme Thompson Sampling. Nous avons notament démontré que dans le cadre linéaire, cette approche permet d'obtenir les mêmes garanties théoriques que lorsque la distribution à posteriori est connue. Dans un deuxième temps, nous avons étudié une variante de Thompson Sampling appelée Feel-Good Thompson Sampling (FG-TS). Cette méthode permet d'obtenir de meilleures garanties théoriques que l'algorithme classique. Nous avons alors étudié l'utilisation d'une méthode de Monte Carlo Markov Chain pour approximer la distribution à posteriori. Plus spécifiquement, nous avons ajouté à FG-TS un algorithme de Langevin Monte Carlo et de Metropolized Langevin Monte Carlo. De plus, nous avons obtenu les mêmes garanties théoriques que pour FG-TS lorsque la distribution à posteriori est connue
This thesis explores Variational Inference methods for high-dimensional Bayesian learning. In Machine Learning, the Bayesian approach allows one to deal with epistemic uncertainty and provides and a better uncertainty quantification, which is necessary in many machine learning applications. However, Bayesian inference is often not feasible because the posterior distribution of the model parameters is generally untractable. Variational Inference (VI) allows to overcome this problem by approximating the posterior distribution with a simpler distribution called the variational distribution.In the first part of this thesis, we worked on the theoretical guarantees of Variational Inference. First, we studied VI when the Variational distribution is a Gaussian and in the overparameterized regime, i.e., when the models are high dimensional. Finally, we explore the Gaussian mixtures Variational distributions, as it is a more expressive distribution. We studied both the optimization error and the approximation error of this method.In the second part of the thesis, we studied the theoretical guarantees for contextual bandit problems using a Bayesian approach called Thompson Sampling. First, we explored the use of Variational Inference for Thompson Sampling algorithm. We notably showed that in the linear framework, this approach allows us to obtain the same theoretical guarantees as if we had access to the true posterior distribution. Finally, we consider a variant of Thompson Sampling called Feel-Good Thompson Sampling (FG-TS). This method allows to provide better theoretical guarantees than the classical algorithm. We then studied the use of a Monte Carlo Markov Chain method to approximate the posterior distribution. Specifically, we incorporated into FG-TS a Langevin Monte Carlo algorithm and a Metropolized Langevin Monte Carlo algorithm. Moreover, we obtained the same theoretical guarantees as for FG-TS when the posterior distribution is known

APA, Harvard, Vancouver, ISO, and other styles

3

Jarraya, Siala Aida. "Nouvelles paramétrisations de réseaux bayésiens et leur estimation implicite : famille exponentielle naturelle et mélange infini de Gaussiennes." Phd thesis, Nantes, 2013. https://archive.bu.univ-nantes.fr/pollux/show/show?id=aef89743-c009-457d-8c27-a888655a4e58.

Full text

Abstract:

L’apprentissage d’un réseau Bayésien consiste à estimer le graphe (la structure) et les paramètres des distributions de probabilités conditionnelles associées à ce graphe. Les algorithmes d’apprentissage de réseaux Bayésiens utilisent en pratique une approche Bayésienne classique d’estimation a posteriori dont les paramètres sont souvent déterminés par un expert ou définis de manière uniforme Le coeur de cette thèse concerne l’application aux réseaux Bayésiens de plusieurs avancées dans le domaine des Statistiques comme l’estimation implicite, les familles exponentielles naturelles ou les mélanges infinis de lois Gaussiennes dans le but de (1) proposer de nouvelles formes paramétriques, (2) estimer des paramètres de tels modèles et (3) apprendre leur structure
Learning a Bayesian network consists in estimating the graph (structure) and the parameters of conditional probability distributions associated with this graph. Bayesian networks learning algorithms rely on classical Bayesian estimation approach whose a priori parameters are often determined by an expert or defined uniformly The core of this work concerns the application of several advances in the field of statistics as implicit estimation, Natural exponential families or infinite mixtures of Gaussian in order to (1) provide new parametric forms for Bayesian networks, (2) estimate the parameters of such models and (3) learn their structure

APA, Harvard, Vancouver, ISO, and other styles

4

Jarraya, Siala Aida. "Nouvelles paramétrisations de réseaux Bayésiens et leur estimation implicite - Famille exponentielle naturelle et mélange infini de Gaussiennes." Phd thesis, Université de Nantes, 2013. http://tel.archives-ouvertes.fr/tel-00932447.

Full text

Abstract:

L'apprentissage d'un réseau Bayésien consiste à estimer le graphe (la structure) et les paramètres des distributions de probabilités conditionnelles associées à ce graphe. Les algorithmes d'apprentissage de réseaux Bayésiens utilisent en pratique une approche Bayésienne classique d'estimation a posteriori dont les paramètres sont souvent déterminés par un expert ou définis de manière uniforme Le coeur de cette thèse concerne l'application aux réseaux Bayésiens de plusieurs avancées dans le domaine des Statistiques comme l'estimation implicite, les familles exponentielles naturelles ou les mélanges infinis de lois Gaussiennes dans le but de (1) proposer de nouvelles formes paramétriques, (2) estimer des paramètres de tels modèles et (3) apprendre leur structure.

APA, Harvard, Vancouver, ISO, and other styles

5

Synnaeve, Gabriel. "Programmation et apprentissage bayésien pour les jeux vidéo multi-joueurs, application à l'intelligence artificielle de jeux de stratégies temps-réel." Phd thesis, Université de Grenoble, 2012. http://tel.archives-ouvertes.fr/tel-00780635.

Full text

Abstract:

Cette thèse explore l'utilisation des modèles bayésiens dans les IA de jeux vidéo multi-joueurs, particulièrement l'IA des jeux de stratégie en temps réel (STR). Les jeux vidéo se situent entre la robotique et la simulation totale, car les autres joueurs ne sont pas simulés, et l'IA n'a pas de contrôle sur la simulation. Les jeux de STR demandent simultanément d'effectuer des actions reactives (contrôle d'unités) et de prendre des décisions stratégiques (technologiques, économiques) et tactiques (spatiales, temporelles). Nous avons utilisé la modélisation bayésienne comme une alternative à la logique (booléenne), étant capable de travailler avec des informations incomplètes, et donc incertaines. En effet, la spécification incomplète des comportement "scriptés", ou la spécification incomplète des états possibles dans la recherche de plans, demandent une solution qui peut gérer cette incertitude. L'apprentissage artificiel aide à réduire la complexité de spécifier de tels modèles. Nous montrons que la programmation bayésienne peut intégrer toutes sortes de sources d'incertitudes (états cachés, intentions, stochasticité) par la réalisation d'un joueur de StarCraft complètement robotique. Les distributions de probabilité sont un moyen de transporter, sans perte, l'information que l'on a et qui peut représenter au choix: des contraintes, une connaissance partielle, une estimation de l'espace des états et l'incomplétude du modèle lui-même. Dans la première partie de cette thèse, nous détaillons les solutions actuelles aux problèmes qui se posent lors de la réalisation d'une IA de jeu multi-joueur, en donnant un aperçu des caractéristiques calculatoires et cognitives complexes des principaux types de jeux. En partant de ce constat, nous résumons les catégories transversales de problèmes, et nous introduisons comment elles peuvent être résolues par la modélisation bayésienne. Nous expliquons alors comment construire un programme bayésien en partant de connaissances et d'observations du domaine à travers un exemple simple de jeu de rôle. Dans la deuxième partie de la thèse, nous détaillons l'application de cette approche à l'IA de STR, ainsi que les modèles auxquels nous sommes parvenus. Pour le comportement réactif (micro-management), nous présentons un controleur multi-agent décentralisé et temps réel inspiré de la fusion sensori-motrice. Ensuite, nous accomplissons les adaptation dynamiques de nos stratégies et tactiques à celles de l'adversaire en le modélisant à l'aide de l'apprentissage artificiel (supervisé et non supervisé) depuis des traces de joueurs de haut niveau. Ces modèles probabilistes de joueurs peuvent être utilisés à la fois pour la prédiction des décisions/actions de l'adversaire, mais aussi à nous-même pour la prise de décision si on substitue les entrées par les notres. Enfin, nous expliquons l'architecture de notre joueur robotique de StarCraft, et nous précisions quelques détails techniques d'implémentation. Au delà des modèles et de leurs implémentations, il y a trois contributions principales: la reconnaissance de plan et la modélisation de l'adversaire par apprentissage artificiel, en tirant partie de la structure du jeu, la prise de décision multi-échelles en présence d'informations incertaines, et l'intégration des modèles bayésiens au contrôle temps réel d'un joueur artificiel.

APA, Harvard, Vancouver, ISO, and other styles

6

Grappin, Edwin. "Model Averaging in Large Scale Learning." Thesis, Université Paris-Saclay (ComUE), 2018. http://www.theses.fr/2018SACLG001/document.

Full text

Abstract:

Les travaux de cette thèse explorent les propriétés de procédures d'estimation par agrégation appliquées aux problèmes de régressions en grande dimension. Les estimateurs par agrégation à poids exponentiels bénéficient de résultats théoriques optimaux sous une approche PAC-Bayésienne. Cependant, le comportement théorique de l'agrégat avec extit{prior} de Laplace n'est guère connu. Ce dernier est l'analogue du Lasso dans le cadre pseudo-bayésien. Le Chapitre 2 explicite une borne du risque de prédiction de cet estimateur. Le Chapitre 3 prouve qu'une méthode de simulation s'appuyant sur un processus de Langevin Monte Carlo permet de choisir explicitement le nombre d'itérations nécessaire pour garantir une qualité d'approximation souhaitée. Le Chapitre 4 introduit des variantes du Lasso pour améliorer les performances de prédiction dans des contextes partiellement labélisés
This thesis explores properties of estimations procedures related to aggregation in the problem of high-dimensional regression in a sparse setting. The exponentially weighted aggregate (EWA) is well studied in the literature. It benefits from strong results in fixed and random designs with a PAC-Bayesian approach. However, little is known about the properties of the EWA with Laplace prior. Chapter 2 analyses the statistical behaviour of the prediction loss of the EWA with Laplace prior in the fixed design setting. Sharp oracle inequalities which generalize the properties of the Lasso to a larger family of estimators are established. These results also bridge the gap from the Lasso to the Bayesian Lasso. Chapter 3 introduces an adjusted Langevin Monte Carlo sampling method that approximates the EWA with Laplace prior in an explicit finite number of iterations for any targeted accuracy. Chapter 4 explores the statisctical behaviour of adjusted versions of the Lasso for the transductive and semi-supervised learning task in the random design setting

APA, Harvard, Vancouver, ISO, and other styles

7

Grappin, Edwin. "Model Averaging in Large Scale Learning." Electronic Thesis or Diss., Université Paris-Saclay (ComUE), 2018. http://www.theses.fr/2018SACLG001.

Full text

Abstract:

Les travaux de cette thèse explorent les propriétés de procédures d'estimation par agrégation appliquées aux problèmes de régressions en grande dimension. Les estimateurs par agrégation à poids exponentiels bénéficient de résultats théoriques optimaux sous une approche PAC-Bayésienne. Cependant, le comportement théorique de l'agrégat avec extit{prior} de Laplace n'est guère connu. Ce dernier est l'analogue du Lasso dans le cadre pseudo-bayésien. Le Chapitre 2 explicite une borne du risque de prédiction de cet estimateur. Le Chapitre 3 prouve qu'une méthode de simulation s'appuyant sur un processus de Langevin Monte Carlo permet de choisir explicitement le nombre d'itérations nécessaire pour garantir une qualité d'approximation souhaitée. Le Chapitre 4 introduit des variantes du Lasso pour améliorer les performances de prédiction dans des contextes partiellement labélisés
This thesis explores properties of estimations procedures related to aggregation in the problem of high-dimensional regression in a sparse setting. The exponentially weighted aggregate (EWA) is well studied in the literature. It benefits from strong results in fixed and random designs with a PAC-Bayesian approach. However, little is known about the properties of the EWA with Laplace prior. Chapter 2 analyses the statistical behaviour of the prediction loss of the EWA with Laplace prior in the fixed design setting. Sharp oracle inequalities which generalize the properties of the Lasso to a larger family of estimators are established. These results also bridge the gap from the Lasso to the Bayesian Lasso. Chapter 3 introduces an adjusted Langevin Monte Carlo sampling method that approximates the EWA with Laplace prior in an explicit finite number of iterations for any targeted accuracy. Chapter 4 explores the statisctical behaviour of adjusted versions of the Lasso for the transductive and semi-supervised learning task in the random design setting

APA, Harvard, Vancouver, ISO, and other styles

8

Araya-López, Mauricio. "Des algorithmes presque optimaux pour les problèmes de décision séquentielle à des fins de collecte d'information." Electronic Thesis or Diss., Université de Lorraine, 2013. http://www.theses.fr/2013LORR0002.

Full text

Abstract:

Cette thèse s'intéresse à des problèmes de prise de décision séquentielle dans lesquels l'acquisition d'information est une fin en soi. Plus précisément, elle cherche d'abord à savoir comment modifier le formalisme des POMDP pour exprimer des problèmes de collecte d'information et à proposer des algorithmes pour résoudre ces problèmes. Cette approche est alors étendue à des tâches d'apprentissage par renforcement consistant à apprendre activement le modèle d'un système. De plus, cette thèse propose un nouvel algorithme d'apprentissage par renforcement bayésien, lequel utilise des transitions locales optimistes pour recueillir des informations de manière efficace tout en optimisant la performance escomptée. Grâce à une analyse de l'existant, des résultats théoriques et des études empiriques, cette thèse démontre que ces problèmes peuvent être résolus de façon optimale en théorie, que les méthodes proposées sont presque optimales, et que ces méthodes donnent des résultats comparables ou meilleurs que des approches de référence. Au-delà de ces résultats concrets, cette thèse ouvre la voie (1) à une meilleure compréhension de la relation entre la collecte d'informations et les politiques optimales dans les processus de prise de décision séquentielle, et (2) à une extension des très nombreux travaux traitant du contrôle de l'état d'un système à des problèmes de collecte d'informations
The purpose of this dissertation is to study sequential decision problems where acquiring information is an end in itself. More precisely, it first covers the question of how to modify the POMDP formalism to model information-gathering problems and which algorithms to use for solving them. This idea is then extended to reinforcement learning problems where the objective is to actively learn the model of the system. Also, this dissertation proposes a novel Bayesian reinforcement learning algorithm that uses optimistic local transitions to efficiently gather information while optimizing the expected return. Through bibliographic discussions, theoretical results and empirical studies, it is shown that these information-gathering problems are optimally solvable in theory, that the proposed methods are near-optimal solutions, and that these methods offer comparable or better results than reference approaches. Beyond these specific results, this dissertation paves the way (1) for understanding the relationship between information-gathering and optimal policies in sequential decision processes, and (2) for extending the large body of work about system state control to information-gathering problems

APA, Harvard, Vancouver, ISO, and other styles

9

Araya-López, Mauricio. "Des algorithmes presque optimaux pour les problèmes de décision séquentielle à des fins de collecte d'information." Phd thesis, Université de Lorraine, 2013. http://tel.archives-ouvertes.fr/tel-00943513.

Full text

Abstract:

Le formalisme des MDP, comme ses variantes, sert typiquement à contrôler l'état d'un système par l'intermédiaire d'un agent et de sa politique. Lorsque l'agent fait face à des informations incomplètes, sa politique peut eff ectuer des actions pour acquérir de l'information typiquement (1) dans le cas d'une observabilité partielle, ou (2) dans le cas de l'apprentissage par renforcement. Toutefois cette information ne constitue qu'un moyen pour contrôler au mieux l'état du système, de sorte que la collecte d'informations n'est qu'une conséquence de la maximisation de la performance escomptée. Cette thèse s'intéresse au contraire à des problèmes de prise de décision séquentielle dans lesquels l'acquisition d'information est une fin en soi. Plus précisément, elle cherche d'abord à savoir comment modi fier le formalisme des POMDP pour exprimer des problèmes de collecte d'information et à proposer des algorithmes pour résoudre ces problèmes. Cette approche est alors étendue à des tâches d'apprentissage par renforcement consistant à apprendre activement le modèle d'un système. De plus, cette thèse propose un nouvel algorithme d'apprentissage par renforcement bayésien, lequel utilise des transitions locales optimistes pour recueillir des informations de manière e fficace tout en optimisant la performance escomptée. Grâce à une analyse de l'existant, des résultats théoriques et des études empiriques, cette thèse démontre que ces problèmes peuvent être résolus de façon optimale en théorie, que les méthodes proposées sont presque optimales, et que ces méthodes donnent des résultats comparables ou meilleurs que des approches de référence. Au-delà de ces résultats concrets, cette thèse ouvre la voie (1) à une meilleure compréhension de la relation entre la collecte d'informations et les politiques optimales dans les processus de prise de décision séquentielle, et (2) à une extension des très nombreux travaux traitant du contrôle de l'état d'un système à des problèmes de collecte d'informations.

APA, Harvard, Vancouver, ISO, and other styles

10

Rahier, Thibaud. "Réseaux Bayésiens pour fusion de données statiques et temporelles." Thesis, Université Grenoble Alpes (ComUE), 2018. http://www.theses.fr/2018GREAM083/document.

Full text

Abstract:

La prédiction et l'inférence sur des données temporelles sont très souvent effectuées en utilisant uniquement les séries temporelles. Nous sommes convaincus que ces tâches pourraient tirer parti de l'utilisation des métadonnées contextuelles associées aux séries temporelles, telles que l'emplacement, le type, etc. Réciproquement, les tâches de prédiction et d'inférence sur les métadonnées pourraient bénéficier des informations contenues dans les séries temporelles. Cependant, il n'existe pas de méthode standard pour modéliser conjointement les données de séries temporelles et les métadonnées descriptives. De plus, les métadonnées contiennent fréquemment des informations hautement corrélées ou redondantes et peuvent contenir des erreurs et des valeurs manquantes.Nous examinons d’abord le problème de l’apprentissage de la structure graphique probabiliste inhérente aux métadonnées en tant que réseau Bayésien. Ceci présente deux avantages principaux: (i) une fois structurées en tant que modèle graphique, les métadonnées sont plus faciles à utiliser pour améliorer les tâches sur les données temporelles et (ii) le modèle appris permet des tâches d'inférence sur les métadonnées uniquement, telles que l'imputation de données manquantes. Cependant, l'apprentissage de la structure de réseau Bayésien est un défi mathématique conséquent, impliquant un problème d'optimisation NP-difficile. Pour faire face à ce problème, nous présentons un algorithme d'apprentissage de structure sur mesure, inspiré de nouveaux résultats théoriques, qui exploite les dépendances (quasi)-déterministes généralement présentes dans les métadonnées descriptives. Cet algorithme est testé sur de nombreux jeux de données de référence et sur certains jeux de métadonnées industriels contenant des relations déterministes. Dans les deux cas, il s'est avéré nettement plus rapide que l'état de la l'art, et a même trouvé des structures plus performantes sur des données industrielles. De plus, les réseaux Bayésiens appris sont toujours plus parcimonieux et donc plus lisibles.Nous nous intéressons ensuite à la conception d'un modèle qui inclut à la fois des (méta)données statiques et des données temporelles. En nous inspirant des modèles graphiques probabilistes pour les données temporelles (réseaux Bayésiens dynamiques) et de notre approche pour la modélisation des métadonnées, nous présentons une méthodologie générale pour modéliser conjointement les métadonnées et les données temporelles sous forme de réseaux Bayésiens hybrides statiques-dynamiques. Nous proposons deux algorithmes principaux associés à cette représentation: (i) un algorithme d'apprentissage qui, bien qu'optimisé pour les données industrielles, reste généralisable à toute tâche de fusion de données statiques et dynamiques, et (ii) un algorithme d'inférence permettant les d'effectuer à la fois des requêtes sur des données temporelles ou statiques uniquement, et des requêtes utilisant ces deux types de données.%Nous fournissons ensuite des résultats sur diverses applications inter-domaines telles que les prévisions, le réapprovisionnement en métadonnées à partir de séries chronologiques et l’analyse de dépendance d’alarmes en utilisant les données de certains cas d’utilisation difficiles de Schneider Electric.Enfin, nous approfondissons certaines des notions introduites au cours de la thèse, et notamment la façon de mesurer la performance en généralisation d’un réseau Bayésien par un score inspiré de la procédure de validation croisée provenant de l’apprentissage automatique supervisé. Nous proposons également des extensions diverses aux algorithmes et aux résultats théoriques présentés dans les chapitres précédents, et formulons quelques perspectives de recherche
Prediction and inference on temporal data is very frequently performed using timeseries data alone. We believe that these tasks could benefit from leveraging the contextual metadata associated to timeseries - such as location, type, etc. Conversely, tasks involving prediction and inference on metadata could benefit from information held within timeseries. However, there exists no standard way of jointly modeling both timeseries data and descriptive metadata. Moreover, metadata frequently contains highly correlated or redundant information, and may contain errors and missing values.We first consider the problem of learning the inherent probabilistic graphical structure of metadata as a Bayesian Network. This has two main benefits: (i) once structured as a graphical model, metadata is easier to use in order to improve tasks on temporal data and (ii) the learned model enables inference tasks on metadata alone, such as missing data imputation. However, Bayesian network structure learning is a tremendous mathematical challenge, that involves a NP-Hard optimization problem. We present a tailor-made structure learning algorithm, inspired from novel theoretical results, that exploits (quasi)-determinist dependencies that are typically present in descriptive metadata. This algorithm is tested on numerous benchmark datasets and some industrial metadatasets containing deterministic relationships. In both cases it proved to be significantly faster than state of the art, and even found more performant structures on industrial data. Moreover, learned Bayesian networks are consistently sparser and therefore more readable.We then focus on designing a model that includes both static (meta)data and dynamic data. Taking inspiration from state of the art probabilistic graphical models for temporal data (Dynamic Bayesian Networks) and from our previously described approach for metadata modeling, we present a general methodology to jointly model metadata and temporal data as a hybrid static-dynamic Bayesian network. We propose two main algorithms associated to this representation: (i) a learning algorithm, which while being optimized for industrial data, is still generalizable to any task of static and dynamic data fusion, and (ii) an inference algorithm, enabling both usual tasks on temporal or static data alone, and tasks using the two types of data.%We then provide results on diverse cross-field applications such as forecasting, metadata replenishment from timeseries and alarms dependency analysis using data from some of Schneider Electric’s challenging use-cases.Finally, we discuss some of the notions introduced during the thesis, including ways to measure the generalization performance of a Bayesian network by a score inspired from the cross-validation procedure from supervised machine learning. We also propose various extensions to the algorithms and theoretical results presented in the previous chapters, and formulate some research perspectives

APA, Harvard, Vancouver, ISO, and other styles

11

Löser, Kevin. "Apprentissage non-supervisé de la morphologie des langues à l’aide de modèles bayésiens non-paramétriques." Thesis, Université Paris-Saclay (ComUE), 2019. http://www.theses.fr/2019SACLS203/document.

Full text

Abstract:

Un problème central contribuant à la grande difficulté du traitement du langage naturel par des méthodes statistiques est celui de la parcimonie des données, à savoir le fait que dans un corpus d'apprentissage donné, la plupart des évènements linguistiques n'ont qu'un nombre d'occurrences assez faible, et que par ailleurs un nombre infini d'évènements permis par une langue n'apparaitront nulle part dans le corpus. Les modèles neuronaux ont déjà contribué à partiellement résoudre le problème de la parcimonie en inférant des représentations continues de mots. Ces représentations continues permettent de structurer le lexique en induisant une notion de similarité sémantique ou syntaxique entre les mots. Toutefois, les modèles neuronaux actuellement les plus répandus n'offrent qu'une solution partielle au problème de la parcimonie, notamment par le fait que ceux-ci nécessitent une représentation distribuée pour chaque mot du vocabulaire, mais sont incapables d'attribuer une représentation à des mots hors vocabulaire. Ce problème est particulièrement marqué dans des langues morphologiquement riches, ou des processus de formation de mots complexes mènent à une prolifération des formes de mots possibles, et à une faible coïncidence entre le lexique observé lors de l’entrainement d’un modèle, et le lexique observé lors de son déploiement. Aujourd'hui, l'anglais n'est plus la langue majoritairement utilisée sur le Web, et concevoir des systèmes de traduction automatique pouvant appréhender des langues dont la morphologie est très éloignée des langues ouest-européennes est un enjeu important. L’objectif de cette thèse est de développer de nouveaux modèles capables d’inférer de manière non-supervisée les processus de formation de mots sous-jacents au lexique observé, afin de pouvoir de pouvoir produire des analyses morphologiques de nouvelles formes de mots non observées lors de l’entraînement
A crucial issue in statistical natural language processing is the issue of sparsity, namely the fact that in a given learning corpus, most linguistic events have low occurrence frequencies, and that an infinite number of structures allowed by a language will not be observed in the corpus. Neural models have already contributed to solving this issue by inferring continuous word representations. These continuous representations allow to structure the lexicon by inducing semantic or syntactic similarity between words. However, current neural models only partially solve the sparsity issue, due to the fact that they require a vectorial representation for every word in the lexicon, but are unable to infer sensible representations for unseen words. This issue is especially present in morphologically rich languages, where word formation processes yield a proliferation of possible word forms, and little overlap between the lexicon observed during model training, and the lexicon encountered during its use. Today, several languages are used on the Web besides English, and engineering translation systems that can handle morphologies that are very different from western European languages has become a major stake. The goal of this thesis is to develop new statistical models that are able to infer in an unsupervised fashion the word formation processes underlying an observed lexicon, in order to produce morphological analyses of new unseen word forms

APA, Harvard, Vancouver, ISO, and other styles

12

Boutkhamouine, Brahim. "Stochastic modelling of flood phenomena based on the combination of mechanist and systemic approaches." Thesis, Toulouse, INPT, 2018. http://www.theses.fr/2018INPT0142/document.

Full text

Abstract:

Les systèmes de prévision des crues décrivent les transformations pluie-débit en se basant sur des représentations simplifiées. Ces représentations modélisent les processus physiques impliqués avec des descriptions empiriques, ou basées sur des équations de la mécanique classique. Les performances des modèles actuels de prévision des crues sont affectées par différentes incertitudes liées aux approximations et aux paramètres du modèle, aux données d’entrée et aux conditions initiales du bassin versant. La connaissance de ces incertitudes permet aux décideurs de mieux interpréter les prévisions et constitue une aide à la décision lors de la gestion de crue. L’analyse d’incertitudes dans les modèles hydrologiques existants repose le plus souvent sur des simulations de Monte-Carlo (MC). La mise en œuvre de ce type de techniques requiert un grand nombre de simulations et donc un temps de calcul potentiellement important. L'estimation des incertitudes liées à la modélisation hydrologique en temps réel reste donc une gageure. Dans ce projet de thèse, nous développons une méthodologie de prévision des crues basée sur les réseaux Bayésiens (RB). Les RBs sont des graphes acycliques dans lesquels les nœuds correspondent aux variables caractéristiques du système modélisé et les arcs représentent les dépendances probabilistes entre ces variables. La méthodologie présentée propose de construire les RBs à partir des principaux facteurs hydrologiques contrôlant la génération des crues, en utilisant à la fois les observations disponibles de la réponse du système et les équations déterministes décrivant les processus concernés. Elle est conçue pour prendre en compte la variabilité temporelle des différentes variables impliquées. Les dépendances probabilistes entre les variables (paramètres) peuvent être spécifiées en utilisant des données observées, des modèles déterministes existants ou des avis d’experts. Grâce à leurs algorithmes d’inférence, les RBs sont capables de propager rapidement, à travers le graphe, différentes sources d'incertitudes pour estimer leurs effets sur la sortie du modèle (ex. débit d'une rivière). Plusieurs cas d’études sont testés. Le premier cas d’étude concerne le bassin versant du Salat au sud-ouest de la France : un RB est utilisé pour simuler le débit de la rivière à une station donnée à partir des observations de 3 stations hydrométriques localisées en amont. Le modèle présente de bonnes performances pour l'estimation du débit à l’exutoire. Utilisé comme méthode inverse, le modèle affiche également de bons résultats quant à la caractérisation de débits d’une station en amont par propagation d’observations de débit sur des stations en aval. Le deuxième cas d’étude concerne le bassin versant de la Sagelva situé en Norvège, pour lequel un RB est utilisé afin de modéliser l'évolution du contenu en eau de la neige en fonction des données météorologiques disponibles. Les performances du modèle sont conditionnées par les données d’apprentissage utilisées pour spécifier les paramètres du modèle. En l'absence de données d'observation pertinentes pour l’apprentissage, une méthodologie est proposée et testée pour estimer les paramètres du RB à partir d’un modèle déterministe. Le RB résultant peut être utilisé pour effectuer des analyses d’incertitudes sans recours aux simulations de Monte-Carlo. Au regard des résultats enregistrés sur les différents cas d’études, les RBs se révèlent utiles et performants pour une utilisation en support d’un processus d'aide à la décision dans le cadre de la gestion du risque de crue
Flood forecasting describes the rainfall-runoff transformation using simplified representations. These representations are based on either empirical descriptions, or on equations of classical mechanics of the involved physical processes. The performances of the existing flood predictions are affected by several sources of uncertainties coming not only from the approximations involved but also from imperfect knowledge of input data, initial conditions of the river basin, and model parameters. Quantifying these uncertainties enables the decision maker to better interpret the predictions and constitute a valuable decision-making tool for flood risk management. Uncertainty analysis on existing rainfall-runoff models are often performed using Monte Carlo (MC)- simulations. The implementation of this type of techniques requires a large number of simulations and consequently a potentially important calculation time. Therefore, quantifying uncertainties of real-time hydrological models is challenging. In this project, we develop a methodology for flood prediction based on Bayesian networks (BNs). BNs are directed acyclic graphs where the nodes correspond to the variables characterizing the modelled system and the arcs represent the probabilistic dependencies between these variables. The presented methodology suggests to build the RBs from the main hydrological factors controlling the flood generation, using both the available observations of the system response and the deterministic equations describing the processes involved. It is, thus, designed to take into account the time variability of different involved variables. The conditional probability tables (parameters), can be specified using observed data, existing hydrological models or expert opinion. Thanks to their inference algorithms, BN are able to rapidly propagate, through the graph, different sources of uncertainty in order to estimate their effect on the model output (e.g. riverflow). Several case studies are tested. The first case study is the Salat river basin, located in the south-west of France, where a BN is used to simulate the discharge at a given station from the streamflow observations at 3 hydrometric stations located upstream. The model showed good performances estimating the discharge at the outlet. Used in a reverse way, the model showed also satisfactory results when characterising the discharges at an upstream station by propagating back discharge observations of some downstream stations. The second case study is the Sagelva basin, located in Norway, where a BN is used to simulate the accumulation of snow water equivalent (SWE) given available weather data observations. The performances of the model are affected by the learning dataset used to train the BN parameters. In the absence of relevant observation data for learning, a methodology for learning the BN-parameters from deterministic models is proposed and tested. The resulted BN can be used to perform uncertainty analysis without any MC-simulations to be performed in real-time. From these case studies, it appears that BNs are a relevant decisionsupport tool for flood risk management

APA, Harvard, Vancouver, ISO, and other styles

13

Trabelsi, Ghada. "New structure learning algorithms and evaluation methods for large dynamic Bayesian networks." Phd thesis, Université de Nantes, 2013. http://tel.archives-ouvertes.fr/tel-00996061.

Full text

Abstract:

Les réseaux bayésiens dynamiques (RBD) sont une classe de modèles graphiques probabilistes qui est devenu un outil standard pour la modélisation de divers phénomènes stochastiques variant dans le temps. A cause de la complexité induite par l'ajout de la dimension temporelle, l'apprentissage de la structure DBN est une tâche très complexe. Les algorithmes existants sont des adaptations des algorithmes d'apprentissage de structure pour les RB basés sur score mais sont souvent limités lorsque le nombre de variables est élevé. Une autre limitation pour les études d'apprentissage de la structure des RBD, ils utilisent leurs propres Benchmarks et techniques pour l' évaluation. Le probl ème dans le cas dynamique, nous ne trouvons pas de travaux antérieurs qui fournissent des détails sur les réseaux et les indicateurs de comparaison utilisés. Nous nous concentrons dans ce projet à l'apprentissage de la structure des RBD et ses méthodes d'évaluation avec respectivement une autre famille des algorithmes d'apprentissage de la structure, les méthodes de recherche locale, et une nouvelle approche de génération des grandes standard RBD et une métrique d'évaluation. Nous illustrons l'intérêt de ces méthodes avec des résultats expérimentaux.

APA, Harvard, Vancouver, ISO, and other styles

14

Cherief-Abdellatif, Badr-Eddine. "Contributions to the theoretical study of variational inference and robustness." Electronic Thesis or Diss., Institut polytechnique de Paris, 2020. http://www.theses.fr/2020IPPAG001.

Full text

Abstract:

Cette thèse de doctorat traite de l'inférence variationnelle et de la robustesse en statistique et en machine learning. Plus précisément, elle se concentre sur les propriétés statistiques des approximations variationnelles et sur la conception d'algorithmes efficaces pour les calculer de manière séquentielle, et étudie les estimateurs basés sur le Maximum Mean Discrepancy comme règles d'apprentissage qui sont robustes à la mauvaise spécification du modèle.Ces dernières années, l'inférence variationnelle a été largement étudiée du point de vue computationnel, cependant, la littérature n'a accordé que peu d'attention à ses propriétés théoriques jusqu'à très récemment. Dans cette thèse, nous étudions la consistence des approximations variationnelles dans divers modèles statistiques et les conditions qui assurent leur consistence. En particulier, nous abordons le cas des modèles de mélange et des réseaux de neurones profonds. Nous justifions également d'un point de vue théorique l'utilisation de la stratégie de maximisation de l'ELBO, un critère numérique qui est largement utilisé dans la communauté VB pour la sélection de modèle et dont l'efficacité a déjà été confirmée en pratique. En outre, l'inférence Bayésienne offre un cadre d'apprentissage en ligne attrayant pour analyser des données séquentielles, et offre des garanties de généralisation qui restent valables même en cas de mauvaise spécification des modèles et en présence d'adversaires. Malheureusement, l'inférence Bayésienne exacte est rarement tractable en pratique et des méthodes d'approximation sont généralement employées, mais ces méthodes préservent-elles les propriétés de généralisation de l'inférence Bayésienne ? Dans cette thèse, nous montrons que c'est effectivement le cas pour certains algorithmes d'inférence variationnelle (VI). Nous proposons de nouveaux algorithmes tempérés en ligne et nous en déduisons des bornes de généralisation. Notre résultat théorique repose sur la convexité de l'objectif variationnel, mais nous soutenons que notre résultat devrait être plus général et présentons des preuves empiriques à l'appui. Notre travail donne des justifications théoriques en faveur des algorithmes en ligne qui s'appuient sur des méthodes Bayésiennes approchées.Une autre question d'intérêt majeur en statistique qui est abordée dans cette thèse est la conception d'une procédure d'estimation universelle. Cette question est d'un intérêt majeur, notamment parce qu'elle conduit à des estimateurs robustes, un thème d'actualité en statistique et en machine learning. Nous abordons le problème de l'estimation universelle en utilisant un estimateur de minimisation de distance basé sur la Maximum Mean Discrepancy. Nous montrons que l'estimateur est robuste à la fois à la dépendance et à la présence de valeurs aberrantes dans le jeu de données. Nous mettons également en évidence les liens qui peuvent exister avec les estimateurs de minimisation de distance utilisant la distance L2. Enfin, nous présentons une étude théorique de l'algorithme de descente de gradient stochastique utilisé pour calculer l'estimateur, et nous étayons nos conclusions par des simulations numériques. Nous proposons également une version Bayésienne de notre estimateur, que nous étudions à la fois d'un point de vue théorique et d'un point de vue computationnel
This PhD thesis deals with variational inference and robustness. More precisely, it focuses on the statistical properties of variational approximations and the design of efficient algorithms for computing them in an online fashion, and investigates Maximum Mean Discrepancy based estimators as learning rules that are robust to model misspecification.In recent years, variational inference has been extensively studied from the computational viewpoint, but only little attention has been put in the literature towards theoretical properties of variational approximations until very recently. In this thesis, we investigate the consistency of variational approximations in various statistical models and the conditions that ensure the consistency of variational approximations. In particular, we tackle the special case of mixture models and deep neural networks. We also justify in theory the use of the ELBO maximization strategy, a model selection criterion that is widely used in the Variational Bayes community and is known to work well in practice.Moreover, Bayesian inference provides an attractive online-learning framework to analyze sequential data, and offers generalization guarantees which hold even under model mismatch and with adversaries. Unfortunately, exact Bayesian inference is rarely feasible in practice and approximation methods are usually employed, but do such methods preserve the generalization properties of Bayesian inference? In this thesis, we show that this is indeed the case for some variational inference algorithms. We propose new online, tempered variational algorithms and derive their generalization bounds. Our theoretical result relies on the convexity of the variational objective, but we argue that our result should hold more generally and present empirical evidence in support of this. Our work presents theoretical justifications in favor of online algorithms that rely on approximate Bayesian methods. Another point that is addressed in this thesis is the design of a universal estimation procedure. This question is of major interest, in particular because it leads to robust estimators, a very hot topic in statistics and machine learning. We tackle the problem of universal estimation using a minimum distance estimator based on the Maximum Mean Discrepancy. We show that the estimator is robust to both dependence and to the presence of outliers in the dataset. We also highlight the connections that may exist with minimum distance estimators using L2-distance. Finally, we provide a theoretical study of the stochastic gradient descent algorithm used to compute the estimator, and we support our findings with numerical simulations. We also propose a Bayesian version of our estimator, that we study from both a theoretical and a computational points of view

APA, Harvard, Vancouver, ISO, and other styles

15

Drosouli, Ifigeneia. "Multimodal machine learning methods for pattern analysis in smart cities and transportation." Electronic Thesis or Diss., Limoges, 2024. http://www.theses.fr/2024LIMO0028.

Full text

Abstract:

Dans le contexte des environnements urbains modernes et densément peuplés, la gestion efficace des transports et la structure des Systèmes de Transport Intelligents (STI) sont primordiales. Le secteur des transports publics connaît actuellement une expansion et une transformation significatives dans le but d'améliorer l'accessibilité, d'accommoder des volumes de passagers plus importants sans compromettre la qualité des déplacements, et d'adopter des pratiques respectueuses de l'environnement et durables. Les avancées technologiques, notamment dans l'Intelligence Artificielle (IA), l'Analyse de Données Massives (BDA), et les Capteurs Avancés (CA), ont joué un rôle essentiel dans la réalisation de ces objectifs et ont contribué au développement, à l'amélioration et à l'expansion des Systèmes de Transport Intelligents. Cette thèse aborde deux défis critiques dans le domaine des villes intelligentes, se concentrant spécifiquement sur l'identification des modes de transport utilisés par les citoyens à un moment donné et sur l'estimation et la prédiction du flux de transport au sein de divers systèmes de transport. Dans le contexte du premier défi, deux approches distinctes ont été développées pour la Détection des Modes de Transport. Tout d'abord, une approche d'apprentissage approfondi pour l'identification de huit médias de transport est proposée, utilisant des données de capteurs multimodaux collectées à partir des smartphones des utilisateurs. Cette approche est basée sur un réseau Long Short-Term Memory (LSTM) et une optimisation bayésienne des paramètres du modèle. À travers une évaluation expérimentale approfondie, l'approche proposée démontre des taux de reconnaissance remarquablement élevés par rapport à diverses approches d'apprentissage automatique, y compris des méthodes de pointe. La thèse aborde également des problèmes liés à la corrélation des caractéristiques et à l'impact de la réduction de la dimensionnalité. La deuxième approche implique un modèle basé sur un transformateur pour la détection des modes de transport appelé TMD-BERT. Ce modèle traite l'ensemble de la séquence de données, comprend l'importance de chaque partie de la séquence d'entrée, et attribue des poids en conséquence en utilisant des mécanismes d'attention pour saisir les dépendances globales dans la séquence. Les évaluations expérimentales mettent en évidence les performances exceptionnelles du modèle par rapport aux méthodes de pointe, soulignant sa haute précision de prédiction. Pour relever le défi de l'estimation du flux de transport, un Réseau Convolutif Temporel et Spatial (ST-GCN) est proposé. Ce réseau apprend à la fois des données spatiales du réseau de stations et des séries temporelles des changements de mobilité historiques pour prédire le flux de métro urbain et le partage de vélos à un moment futur. Le modèle combine des Réseaux Convolutifs Graphiques (GCN) et des Réseaux Long Short-Term Memory (LSTM) pour améliorer la précision de l'estimation. Des expériences approfondies menées sur des ensembles de données du monde réel du système de métro de Hangzhou et du système de partage de vélos de la ville de New York valident l'efficacité du modèle proposé, démontrant sa capacité à identifier des corrélations spatiales dynamiques entre les stations et à faire des prévisions précises à long terme
In the context of modern, densely populated urban environments, the effective management of transportation and the structure of Intelligent Transportation Systems (ITSs) are paramount. The public transportation sector is currently undergoing a significant expansion and transformation with the objective of enhancing accessibility, accommodating larger passenger volumes without compromising travel quality, and embracing environmentally conscious and sustainable practices. Technological advancements, particularly in Artificial Intelligence (AI), Big Data Analytics (BDA), and Advanced Sensors (AS), have played a pivotal role in achieving these goals and contributing to the development, enhancement, and expansion of Intelligent Transportation Systems. This thesis addresses two critical challenges within the realm of smart cities, specifically focusing on the identification of transportation modes utilized by citizens at any given moment and the estimation and prediction of transportation flow within diverse transportation systems. In the context of the first challenge, two distinct approaches have been developed for Transportation Mode Detection. Firstly, a deep learning approach for the identification of eight transportation media is proposed, utilizing multimodal sensor data collected from user smartphones. This approach is based on a Long Short-Term Memory (LSTM) network and Bayesian optimization of model’s parameters. Through extensive experimental evaluation, the proposed approach demonstrates remarkably high recognition rates compared to a variety of machine learning approaches, including state-of-the-art methods. The thesis also delves into issues related to feature correlation and the impact of dimensionality reduction. The second approach involves a transformer-based model for transportation mode detection named TMD-BERT. This model processes the entire sequence of data, comprehends the importance of each part of the input sequence, and assigns weights accordingly using attention mechanisms to grasp global dependencies in the sequence. Experimental evaluations showcase the model's exceptional performance compared to state-of-the-art methods, highlighting its high prediction accuracy. In addressing the challenge of transportation flow estimation, a Spatial-Temporal Graph Convolutional Recurrent Network is proposed. This network learns from both the spatial stations network data and time-series of historical mobility changes to predict urban metro and bike sharing flow at a future time. The model combines Graph Convolutional Networks (GCN) and Long Short-Term Memory (LSTM) Networks to enhance estimation accuracy. Extensive experiments conducted on real-world datasets from the Hangzhou metro system and the NY City bike sharing system validate the effectiveness of the proposed model, showcasing its ability to identify dynamic spatial correlations between stations and make accurate long-term forecasts

APA, Harvard, Vancouver, ISO, and other styles

16

Argouarc, h. Elouan. "Contributions to posterior learning for likelihood-free Bayesian inference." Electronic Thesis or Diss., Institut polytechnique de Paris, 2024. http://www.theses.fr/2024IPPAS021.

Full text

Abstract:

L'inférence bayésienne a posteriori est utilisée dans de nombreuses applications scientifiques et constitue une méthodologie répandue pour la prise de décision en situation d'incertitude. Elle permet aux praticiens de confronter les observations du monde réel à des modèles d'observation pertinents, et d'inférer en retour la distribution d'une variable explicative. Dans de nombreux domaines et applications pratiques, nous considérons des modèles d'observation complexes pour leur pertinence scientifique, mais au prix de densités de probabilité incalculables. En conséquence, à la fois la vraisemblance et la distribution a posteriori sont indisponibles, rendant l'inférence Bayésienne à l'aide des méthodes de Monte Carlo habituelles irréalisable. Dans ce travail nous supposons que le modèle d'observation nous génère un jeu de données, et le contexte de cette thèse est de coupler les méthodes Bayésienne à l'apprentissage statistique afin de pallier cette limitation et permettre l'inférence a posteriori dans le cadre likelihood-free. Ce problème, formulé comme l'apprentissage d'une distribution de probabilité, inclut les tâches habituelles de classification et de régression, mais il peut également être une alternative aux méthodes “Approximate Bayesian Computation” dans le contexte de l'inférence basée sur la simulation, où le modèle d'observation est un modèle de simulation avec une densité implicite. L'objectif de cette thèse est de proposer des contributions méthodologiques pour l'apprentissage Bayésien a posteriori. Plus précisément, notre objectif principal est de comparer différentes méthodes d'apprentissage dans le cadre de l'échantillonnage Monte Carlo et de la quantification d'incertitude. Nous considérons d'abord l'approximation a posteriori basée sur le “likelihood-to-evidence-ratio”, qui a l'avantage principal de transformer un problème d'apprentissage de densité conditionnelle en un problème de classification. Dans le contexte de l'échantillonnage Monte Carlo, nous proposons une méthodologie pour échantillonner la distribution résultante d'une telle approximation. Nous tirons parti de la structure sous-jacente du modèle, compatible avec les algorithmes d'échantillonnage usuels basés sur un quotient de densités, pour obtenir des procédures d'échantillonnage simples, sans hyperparamètre et ne nécessitant d'évaluer aucune densité. Nous nous tournons ensuite vers le problème de la quantification de l'incertitude épistémique. D'une part, les modèles normalisés, tels que la construction discriminante, sont faciles à appliquer dans le contexte de la quantification de l'incertitude bayésienne. D'autre part, bien que les modèles non normalisés, comme le likelihood-to-evidence-ratio, ne soient pas facilement applicables dans les problèmes de quantification d'incertitude épistémique, une construction non normalisée spécifique, que nous appelons générative, est effectivement compatible avec la quantification de l'incertitude bayésienne via la distribution prédictive a posteriori. Dans ce contexte, nous expliquons comment réaliser cette quantification de l'incertitude dans les deux techniques de modélisation, générative et discriminante, puis nous proposons une comparaison des deux constructions dans le cadre de l'apprentissage bayésien. Enfin nous abordons le problème de la modélisation paramétrique avec densité tractable, qui est effectivement un prérequis pour la quantification de l'incertitude épistémique dans les méthodes générative et discriminante. Nous proposons une nouvelle construction d'un modèle paramétrique, qui est une double extension des modèles de mélange et des flots normalisant. Ce modèle peut être appliqué à de nombreux types de problèmes statistiques, tels que l'inférence variationnelle, l'estimation de densité et de densité conditionnelle, car il bénéficie d'une évaluation rapide et exacte de la fonction de densité, d'un schéma d'échantillonnage simple, et d'une approche de reparamétrisassions des gradients
Bayesian posterior inference is used in many scientific applications and is a prevalent methodology for decision-making under uncertainty. It enables practitioners to confront real-world observations with relevant observation models, and in turn, infer the distribution over an explanatory variable. In many fields and practical applications, we consider ever more intricate observation models for their otherwise scientific relevance, but at the cost of intractable probability density functions. As a result, both the likelihood and the posterior are unavailable, making posterior inference using the usual Monte Carlo methods unfeasible.In this thesis, we suppose that the observation model provides a recorded dataset, and our aim is to bring together Bayesian inference and statistical learning methods to perform posterior inference in a likelihood-free setting. This problem, formulated as learning an approximation of a posterior distribution, includes the usual statistical learning tasks of regression and classification modeling, but it can also be an alternative to Approximate Bayesian Computation methods in the context of simulation-based inference, where the observation model is instead a simulation model with implicit density.The aim of this thesis is to propose methodological contributions for Bayesian posterior learning. More precisely, our main goal is to compare different learning methods under the scope of Monte Carlo sampling and uncertainty quantification.We first consider the posterior approximation based on the likelihood-to-evidence ratio, which has the main advantage that it turns a problem of conditional density learning into a problem of binary classification. In the context of Monte Carlo sampling, we propose a methodology for sampling from such a posterior approximation. We leverage the structure of the underlying model, which is conveniently compatible with the usual ratio-based sampling algorithms, to obtain straightforward, parameter-free, and density-free sampling procedures.We then turn to the problem of uncertainty quantification. On the one hand, normalized models such as the discriminative construction are easy to apply in the context of Bayesian uncertainty quantification. On the other hand, while unnormalized models, such as the likelihood-to-evidence-ratio, are not easily applied in uncertainty-aware learning tasks, a specific unnormalized construction, which we refer to as generative, is indeed compatible with Bayesian uncertainty quantification via the posterior predictive distribution. In this context, we explain how to carry out uncertainty quantification in both modeling techniques, and we then propose a comparison of the two constructions under the scope of Bayesian learning.We finally turn to the problem of parametric modeling with tractable density, which is indeed a requirement for epistemic uncertainty quantification in generative and discriminative modeling methods. We propose a new construction of a parametric model, which is an extension of both mixture models and normalizing flows. This model can be applied to many different types of statistical problems, such as variational inference, density estimation, and conditional density estimation, as it benefits from rapid and exact density evaluation, a straightforward sampling scheme, and a gradient reparameterization approach

APA, Harvard, Vancouver, ISO, and other styles

17

Lesieur, Thibault. "Factorisation matricielle et tensorielle par une approche issue de la physique statistique." Thesis, Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLS345/document.

Full text

Abstract:

Dans cette thèse, je présente des résultats sur la factorisation de matrice et de tenseur. Les matrices étant un objet omniprésent en mathématique, un grand nombre de problèmes d'apprentissage machine peuvent être transcrits en un problème de factorisation de matrice de petit rang. C'est une des méthodes les plus basiques utilisée dans les méthodes d'apprentissage non supervisé et les problèmes de réduction dimensionnelle. Les résultats présentés dans cette thèse ont pour la plupart déjà été inclus dans des publications antérieures [LKZ 2015]. Le problème de la factorisation de matrice de petit rang devient de plus en plus difficile quand on rajoute des contraintes additionnelles, comme par exemple la positivité d'un des facteurs. Nous présentons ici un cadre dans lequel analyser ce problème sous un angle Bayésien où les priors sur les facteurs peuvent être génériques et où l'output channel à travers duquel la matrice est observée peut être générique aussi. Nous tracerons un parallèle entre le problème de factorisation matricielle et les problèmes de verre de spin vectoriel. Ce cadre permet d'aborder d'une façon unifiée des problèmes qui étaient abordés de façon séparée dans des publications précédentes. Nous dérivons en détail la forme générale des équations de Low-rank Approximate Message Passing (Low-RAMP) ce qui donnera un algorithme de factorisation. Ces équations sont connues en physique statistique sous le nom des équations TAP. Nous dérivons ces équations dans différents cas, pour le modèle de Sherrington-Kirkpatrick, les restricted Boltzmann machine, le modèle de Hopfield ou encore le modèle xy. La dynamique des équations Low-RAMP peut être analysée en utilisant les équations de State Evolution; ces équations sont équivalentes à un calcul des répliques symétriques. Dans la section dévolue aux résultats nous étudierons de nombreux diagrammes de phase et transition de phase dans le cas Bayes-optimale. Nous présenterons différentes typologies de diagrammes de phase et leurs interprétations en terme de performances algorithmiques
In this thesis we present the result on low rank matrix and tensor factorization. Matrices being such an ubiquitous mathematical object a lot of machine learning can be mapped to a low-rank matrix factorization problem. It is for example one of the basic methods used in data analysis for unsupervised learning of relevant features and other types of dimensionality reduction. The result presented in this thesis have been included in previous work [LKZ 201].The problem of low rank matrix becomes harder once one adds constraint to the problem like for instance the positivity of one of the factor of the factorization. We present a framework to study the constrained low-rank matrix estimation for a general prior on the factors, and a general output channel through which the matrix is observed. We draw a paralel with the study of vector-spin glass models -- presenting a unifying way to study a number of problems considered previously in separate statistical physics works. We present a number of applications for the problem in data analysis. We derive in detail ageneral form of the low-rank approximate message passing (Low-RAMP) algorithm that is known in statistical physics as the TAP equations. We thus unify the derivation of the TAP equations for models as different as the Sherrington-Kirkpatrick model, the restricted Boltzmann machine, the Hopfield model or vector (xy, Heisenberg and other) spin glasses. The state evolution of the Low-RAMP algorithm is also derived, and is equivalent to the replica symmetric solution for the large class of vector-spin glass models. In the section devoted to result we study in detail phase diagrams and phase transitions for the Bayes-optimal inference in low-rank matrix estimation. We present a typology of phase transitions and their relation to performance of algorithms such as the Low-RAMP or commonly used spectral methods

APA, Harvard, Vancouver, ISO, and other styles

18

Rio, Maxime. "Modèles bayésiens pour la détection de synchronisations au sein de signaux électro-corticaux." Electronic Thesis or Diss., Université de Lorraine, 2013. http://www.theses.fr/2013LORR0090.

Full text

Abstract:

Cette thèse propose de nouvelles méthodes d'analyse d'enregistrements cérébraux intra-crâniens (potentiels de champs locaux), qui pallie les lacunes de la méthode temps-fréquence standard d'analyse des perturbations spectrales événementielles : le calcul d'une moyenne sur les enregistrements et l'emploi de l'activité dans la période pré-stimulus. La première méthode proposée repose sur la détection de sous-ensembles d'électrodes dont l'activité présente des synchronisations cooccurrentes en un même point du plan temps-fréquence, à l'aide de modèles bayésiens de mélange gaussiens. Les sous-ensembles d'électrodes pertinents sont validés par une mesure de stabilité calculée entre les résultats obtenus sur les différents enregistrements. Pour la seconde méthode proposée, le constat qu'un bruit blanc dans le domaine temporel se transforme en bruit ricien dans le domaine de l'amplitude d'une transformée temps-fréquence a permis de mettre au point une segmentation du signal de chaque enregistrement dans chaque bande de fréquence en deux niveaux possibles, haut ou bas, à l'aide de modèles bayésiens de mélange ricien à deux composantes. À partir de ces deux niveaux, une analyse statistique permet de détecter des régions temps-fréquence plus ou moins actives. Pour développer le modèle bayésien de mélange ricien, de nouveaux algorithmes d'inférence bayésienne variationnelle ont été créés pour les distributions de Rice et de mélange ricien. Les performances des nouvelles méthodes ont été évaluées sur des données artificielles et sur des données expérimentales enregistrées sur des singes. Il ressort que les nouvelles méthodes génèrent moins de faux-positifs et sont plus robustes à l'absence de données dans la période pré-stimulus
This thesis promotes new methods to analyze intracranial cerebral signals (local field potentials), which overcome limitations of the standard time-frequency method of event-related spectral perturbations analysis: averaging over the trials and relying on the activity in the pre-stimulus period. The first proposed method is based on the detection of sub-networks of electrodes whose activity presents cooccurring synchronisations at a same point of the time-frequency plan, using bayesian gaussian mixture models. The relevant sub-networks are validated with a stability measure computed over the results obtained from different trials. For the second proposed method, the fact that a white noise in the temporal domain is transformed into a rician noise in the amplitude domain of a time-frequency transform made possible the development of a segmentation of the signal in each frequency band of each trial into two possible levels, a high one and a low one, using bayesian rician mixture models with two components. From these two levels, a statistical analysis can detect time-frequency regions more or less active. To develop the bayesian rician mixture model, new algorithms of variational bayesian inference have been created for the Rice distribution and the rician mixture distribution. Performances of the new methods have been evaluated on artificial data and experimental data recorded on monkeys. It appears that the new methods generate less false positive results and are more robust to a lack of data in the pre-stimulus period

APA, Harvard, Vancouver, ISO, and other styles

19

Burban, Ewen. "Approche génomique de la détection des barrières au flux de gènes." Electronic Thesis or Diss., Université de Rennes (2023-....), 2024. http://www.theses.fr/2024URENB007.

Full text

Abstract:

La caractérisation des mécanismes qui sous-tendent l'isolement reproductif entre des lignées divergentes est essentielle pour comprendre le processus de spéciation. Au cours de leur évolution, les populations développent progressivement un isolement reproductif (IR) en passant par des étapes intermédiaires, souvent appelées "zone grise de la spéciation". L'établissement de l'IR se manifeste par l'apparition de régions génomiques qui agissent comme des barrières réduisant le flux de gènes local par rapport au reste du génome. Les approches de génomique des populations impliquent donc l'identification de locus avec des signatures spécifiques, différentes du reste du génome. Cependant, d'autres processus peuvent créer des signatures similaires, ce qui fait de la détection des barrières une tâche difficile. Dans ma thèse, j'ai développé un nouvel outil, RIDGE - Reproductive Isolation Detection using Genomic Polymorphisms – un nouvel outil libre et portable adapté en particulier aux approches comparatives. RIDGE utilise une approche ABC (Approximate Bayesian Computation) et de “model averaging” basée sur des “random forest” pour prendre en compte divers scénarios de divergence entre lignées. Il prend en compte l'hétérogénéité du taux de migration, de la sélection en liaison et de la recombinaison le long du génome, estimant la proportion de barrières et effectuant des tests par locus pour détecter les barrières au flux génique. Des simulations et des analyses de jeux de données publiés sur des paires d'espèces de corbeaux indiquent que RIDGE est efficace pour détecter la migration en cours et identifier les locus barrières, même pour des temps de divergence récents. De plus, la contribution des statistiques résumées varie en fonction du jeux de données, ce qui met en évidence la complexité des signaux génomiques des barrières et l’intérêt de combiner plusieurs statistiques résumées. Par la suite, j'ai appliqué RIDGE à des paires de populations sauvages/domestiques : le maïs (allogame) et le millet (autogame), les deux ayant été domestiquées il y a environ 9 000 ans. Des flux de gènes entre les formes ont été documentés dans ces deux systèmes. Les modèles avec migration continue au cours du temps et hétérogène le long du génome sont clairement ressortis comme dominants. RIDGE a également démontré sa capacité à distinguer les locus barrière des locus de domestication (qui ont subi des balayages sélectifs au sein des formes domestiques). Les perspectives de ce travail comprennent l'application de RIDGE à de multiples paires population/espèce englobant un large spectre de divergence afin de déterminer les bases génomiques de l’IR au cours de la spéciation, de tester la théorie de «l’effet boule de neige” formulée par Orr en 1995 ou de déterminer la nature des gènes de spéciation
Characterizing the mechanisms that underlie reproductive isolation between diverging lineages is central in understanding the speciation process. As populations evolve, they gradually develop reproductive isolation (RI) by passing through intermediate steps, often referred to as the "gray zone of speciation". This isolation is marked by the emergence of genomic regions acting as barriers to local gene flow, distinct from the rest of the genome. Detecting these barrier loci involves identifying outlier loci with specific signatures. However, other processes can create similar patterns, which challenges barrier loci detection. In my thesis, I developed a new tool, RIDGE - Reproductive Isolation Detection using Genomic Polymorphisms, a novel free and portable tool tailored for this purpose in a comparative framework. RIDGE utilizes an Approximate Bayesian Computation model-averaging approach based on a random forest to accommodate diverse scenarios of lineage divergence. It considers heterogeneity in migration rate, linked selection, and recombination, estimates barrier proportion and conducts locus-scale tests for gene flow barriers. Simulations and analyses of published datasets in crow species pairs demonstrate RIDGE's efficacy in detecting ongoing migration and identifying barrier loci, even for recent divergence times. Furthermore, the contribution of summary statistics varies depending on the dataset, highlighting the complexity of gene flow barrier genomic signals and the interest of combining several statistics. Subsequently, I applied RIDGE to wild/domestic pairs in maize (an outcrosser), and foxtail millet (a selfer), both domesticated around 9,000 years ago. Gene flow between forms has been reported in these two systems. Consistently, models with ongoing migration and heterogeneity in migration rate were clearly dominant over other models. RIDGE also demonstrated its ability to distinguish between barrier loci and domestication loci (that experienced selective sweeps within the domestic forms). The perspectives of this work include applying RIDGE to multiple population/species pairs encompassing a large spectrum of divergence to determine the genomic pattern of RI during speciation, to test the snowball theory formulated by Orr in 1995 or to determine the nature of speciation genes

APA, Harvard, Vancouver, ISO, and other styles

20

Cottet, Vincent R. "Theoretical study of some statistical procedures applied to complex data." Thesis, Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLG002/document.

Full text

Abstract:

La partie principale de cette thèse s'intéresse à développer les aspects théoriques et algorithmiques pour trois procédures statistiques distinctes. Le premier problème abordé est la complétion de matrices binaires. Nous proposons un estimateur basé sur une approximation variationnelle pseudo-bayésienne en utilisant une fonction de perte différente de celles utilisées auparavant. Nous pouvons calculer des bornes non asymptotiques sur le risque intégré. L'estimateur proposé est beaucoup plus rapide à calculer qu'une estimation de type MCMC et nous montrons sur des exemples qu'il est efficace en pratique. Le deuxième problème abordé est l'étude des propriétés théoriques du minimiseur du risque empirique pénalisé pour des fonctions de perte lipschitziennes. Nous pouvons ensuite appliquer les résultats principaux sur la régression logistique avec la pénalisation SLOPE ainsi que sur la complétion de matrice. Le troisième chapitre développe une approximation de type Expectation-Propagation quand la vraisemblance n'est pas explicite. On utilise alors l'approximation ABC dans un second temps. Cette procédure peut s'appliquer à beaucoup de modèles et est beaucoup plus précise et rapide. Elle est appliquée à titre d'exemple sur un modèle d'extrêmes spatiaux
The main part of this thesis aims at studying the theoretical and algorithmic aspects of three distinct statistical procedures. The first problem is the binary matrix completion. We propose an estimator based on a variational approximation of a pseudo-Bayesian estimator. We use a different loss function of the ones used in the literature. We are able to compute non asymptotic risk bounds. It is much faster to compute the estimator than a MCMC method and we show on examples that it is efficient in practice. In a second part we study the theoretical properties of the regularized empirical risk minimizer for Lipschitz loss functions. We are therefore able to apply it on the logistic regression with the SLOPE regularization and on the matrix completion as well. The third chapter develops an Expectation-Propagation approximation when the likelihood is not explicit. We then use an ABC approximation in a second stage. This procedure may be applied to many models and is more precise and faster than the classic ABC approximation. It is used in a spatial extremes model

APA, Harvard, Vancouver, ISO, and other styles

21

Rio, Maxime. "Modèles bayésiens pour la détection de synchronisations au sein de signaux électro-corticaux." Phd thesis, Université de Lorraine, 2013. http://tel.archives-ouvertes.fr/tel-00859307.

Full text

Abstract:

Cette thèse propose de nouvelles méthodes d'analyse d'enregistrements cérébraux intra-crâniens (potentiels de champs locaux), qui pallie les lacunes de la méthode temps-fréquence standard d'analyse des perturbations spectrales événementielles : le calcul d'une moyenne sur les enregistrements et l'emploi de l'activité dans la période pré-stimulus. La première méthode proposée repose sur la détection de sous-ensembles d'électrodes dont l'activité présente des synchronisations cooccurrentes en un même point du plan temps-fréquence, à l'aide de modèles bayésiens de mélange gaussiens. Les sous-ensembles d'électrodes pertinents sont validés par une mesure de stabilité calculée entre les résultats obtenus sur les différents enregistrements. Pour la seconde méthode proposée, le constat qu'un bruit blanc dans le domaine temporel se transforme en bruit ricien dans le domaine de l'amplitude d'une transformée temps-fréquence a permis de mettre au point une segmentation du signal de chaque enregistrement dans chaque bande de fréquence en deux niveaux possibles, haut ou bas, à l'aide de modèles bayésiens de mélange ricien à deux composantes. À partir de ces deux niveaux, une analyse statistique permet de détecter des régions temps-fréquence plus ou moins actives. Pour développer le modèle bayésien de mélange ricien, de nouveaux algorithmes d'inférence bayésienne variationnelle ont été créés pour les distributions de Rice et de mélange ricien. Les performances des nouvelles méthodes ont été évaluées sur des données artificielles et sur des données expérimentales enregistrées sur des singes. Il ressort que les nouvelles méthodes génèrent moins de faux-positifs et sont plus robustes à l'absence de données dans la période pré-stimulus.

APA, Harvard, Vancouver, ISO, and other styles

22

Zambrano, Ramirez Oscar Daniel. "Bayesian statistics and modeling for the prediction of radiotherapy outcomes : an application to glioblastoma treatment." Thesis, Normandie, 2018. http://www.theses.fr/2018NORMC277/document.

Full text

Abstract:

Un cadre statistique bayésien a été créé dans le cadre de cette thèse pour le développement de modèles cliniques basés sur une approche d’apprentissage continu dans laquelle de nouvelles données peuvent être ajoutées. L’objectif des modèles est de prévoir les effets de la radiothérapie à partir de preuves cliniques. Des concepts d’apprentissage machine ont été utilisés pour résoudre le cadre bayésien. Les modèles développés concernent un cancer du cerveau agressif appelé glioblastome. Les données médicales comprennent une base de données d’environ 90 patients souffrant de glioblastome ; la base de données contient des images médicales et des entrées de données telles que l’âge, le sexe, etc. Des modèles de prévision neurologique ont été construits pour illustrer le type de modèles qui sont obtenus avec la méthodologie. Des modèles de récidive du glioblastome, sous la forme de modèles linéaires généralisés (GLM) et de modèles d’arbres de décision, ont été développés pour explorer la possibilité de prédire l’emplacement de la récidive à l’aide de l’imagerie préradiothérapie. Faute d’une prédiction suffisamment forte obtenue par les modèles arborescents, nous avons décidé de développer des outils de représentation visuelle. Ces outils permettent d’observer directement les valeurs d’intensité des images médicales concernant les lieux de récidive et de non-récurrence. Dans l’ensemble, le cadre élaboré pour la modélisation des données cliniques en radiothérapie fournit une base solide pour l’élaboration de modèles plus complexes
A Bayesian statistics framework was created in this thesis work for developing clinical based models in a continuous learning approach in which new data can be added. The objective of the models is to forecast radiation therapy effects based on clinical evidence. Machine learning concepts were used for solving the Bayesian framework. The models developed concern an aggressive brain cancer called glioblastoma. The medical data comprises a database of about 90 patients suffering glioblastoma; the database contains medical images and data entries such as age, gender, etc. Neurologic grade predictions models were constructed for illustrating the type of models that can be build with the methodology. Glioblastoma recurrence models, in the form of Generalized Linear Models (GLM) and decision tree models, were developed to explore the possibility of predicting the recurrence location using pre-radiation treatment imaging. Following, due to the lack of a sufficiently strong prediction obtained by the tree models, we decided to develop visual representation tools to directly observe the medical image intensity values concerning the recurrence and non-recurrence locations. Overall, the framework developed for modeling of radiation therapy clinical data provides a solid foundation for more complex models to be developed

APA, Harvard, Vancouver, ISO, and other styles

23

Jallais, Maëliss. "Enabling cortical cell-specific sensitivity on diffusion MRI microstructure measurements using likelihood-free inference." Electronic Thesis or Diss., université Paris-Saclay, 2022. http://www.theses.fr/2022UPASG012.

Full text

Abstract:

Les maladies neurodégénératives, telles que la maladie d'Alzheimer ou de Huntington, entraînent la perte progressive et irréversible des fonctions mentales. La démence et les déficits cognitifs semblent être principalement liés à une perte neuronale et de connectivité synaptique. Bien que l'impact et l’évolution extérieurs de ces maladies soient facilement observables, l’accès aux changements microstructuraux dans le cerveau reste un défi, rendant difficiles la compréhension de ces maladies et la mise au point de traitements.Avec les avancées technologiques, l’Imagerie par Résonance Magnétique de diffusion (IRMd) s’impose comme une méthode novatrice pour étudier la microstructure du cerveau de manière non-invasive et in-vivo. Cette technique d’imagerie médicale est basée sur l’étude des mouvements microscopiques aléatoires des molécules d’eau, connus sous le nom de mouvements Browniens. Dans le cerveau, les mouvements des molécules sont contraints par les membranes des cellules, rendant la diffusion anisotropique. Chaque composant tissulaire, tel que les somas (corps des neurones) ou les neurites, possède une forme distincte. Le signal de diffusion du cerveau obtenu lors d’une acquisition IRM est ainsi modulé selon les caractéristiques du tissu.L’objectif de ma thèse est de mettre en place une méthode qui permette d’inférer la microstructure d’un tissu à partir d’une acquisition d’IRMd dans la matière grise (MG).La résolution de ce problème inverse s’organise autour de trois parties:1. La définition d’un modèle biologique décrivant les tissus de la MG. Il a été prouvé que les modèles microstructuraux existants modélisant la matière blanche ne sont pas valides dans la MG. Nous avons commencé par adapter ces modèles en prenant en compte l’abondance des somas dans la MG.2. Une modélisation mathématique de la MG. Chaque compartiment du modèle tissulaire a ensuite été modélisé par des formes géométriques simples, pour lesquelles le signal de diffusion est connu. Un algorithme de traitement du signal a été développé permettant de synthétiser les informations clés contenues dans le signal de diffusion et de les mettre en relation avec un ensemble de paramètres décrivant le tissu (notamment la taille et la densité des neurones). Cet algorithme se base sur une étude des moments statistiques du signal pour différentes puissances de gradient de l’IRM. À la différence des méthodes existantes, aucun paramètre biologique n’est arbitrairement fixé, ce qui permet de décrire au mieux les tissus corticaux de chaque sujet.3. Un algorithme d’inversion permettant d’estimer les paramètres du tissu ayant généré le signal d’acquisition. Une fois le modèle mathématique permettant de relier les paramètres du tissu au signal de diffusion défini, l’objectif est de résoudre le problème inverse d’estimation de la microstructure du tissu à partir d’une observation. Une limitation des méthodes actuelles est leur incapacité à identifier toutes les configurations du tissu possibles pouvant expliquer un même signal de diffusion observé, ce qui rend l’interprétation des estimations proposées difficile. Afin de résoudre ce problème, nous avons utilisé une méthode reposant sur des outils de l’analyse bayésienne et de deep learning appelée inférence par simulation, combinée à des réseaux de neurones. Celle-ci permet d’identifier et de retourner toutes les configurations possibles du tissu accompagnées de leurs distributions postérieures (probabilité étant donné une observation), ce qui facilite leur interprétation.L’approche a tout d’abord été validée sur des simulations. Reposant sur peu de contraintes d’acquisition, la méthode de résolution globale a ensuite été appliquée sur les bases de données HCP MGH et HCP1200 du Human Connectome Project. Une bibliothèque python a été développée pour étudier ces données réelles ou simulées. Les résultats obtenus ont enfin été comparés avec des études histologiques et cognitives pour vérifier leur validité
Neurodegenerative diseases, such as Alzheimer's or Huntington's disease, lead to the progressive and irreversible loss of mental functions. Dementia and cognitive deficits appear to be primarily related to neuronal and synaptic connectivity loss. Although these diseases' external impact and progression are readily observable, accessing microstructural changes in the brain remains a challenge, making it difficult to understand these diseases and develop treatments.With technological advances, diffusion Magnetic Resonance Imaging (dMRI) has emerged as a novel method to study the microstructure of the brain non-invasively and in-vivo. This medical imaging technique is based on the study of random microscopic movements of water molecules, known as Brownian movements. In the brain, the movements of the molecules are constrained by cell membranes, making diffusion anisotropic. Each tissue component, such as somas (cell bodies) or neurites, has a distinct shape. The characteristics of the tissue thus modulate the diffusion brain signal obtained during an MRI acquisition.My thesis aims to develop a method to infer a tissue microstructure from a dMRI acquisition in the grey matter (GM).The solution to this inverse problem of estimating brain microstructure from dMRI is threefold:1. The definition of a biological model describing the GM tissues. Existing microstructural models of white matter were proven not to hold in the GM. We adapted these models to take into account the abundance of somas in the GM.2. A mathematical modeling of the GM tissue. We modeled each compartment of the tissue model by simple geometrical shapes, for which the diffusion signal is known. We developed a signal processing algorithm to synthesize the key information contained in the diffusion signal and relate it to a set of parameters describing the tissue (notably the size and density of neurons). This algorithm is based on a study of the statistical moments of the signal at different MRI gradient strengths. Unlike existing methods, no biological parameters are arbitrarily fixed, which allows for the best possible description of the cortical tissue of each subject.3. An inversion algorithm to estimate the tissue parameters that generated the acquisition signal. Once the mathematical model relating tissue parameters to the diffusion signal is defined, the objective is to solve the inverse problem of estimating tissue microstructure from an observation. A limitation of current methods is their inability to identify all possible tissue configurations that can explain the same observed diffusion signal, making the interpretation of the proposed estimates difficult. We used a Bayesian deep-learning method called "likelihood-based inference" combined with neural networks to solve this problem. This method allows identifying and returning all possible tissue configurations along with their posterior distributions (probability given an observation), facilitating their interpretation.We first validated this approach on simulations. Based on a few acquisition constraints, we then applied the global resolution method to the HCP MGH and HCP1200 databases of the Human Connectome Project. We developed a python library to study those simulated or acquired data. The obtained results were then compared with histological and cognitive studies to verify their validity

APA, Harvard, Vancouver, ISO, and other styles

24

Sarao, Mannelli Stefano. "On the dynamics of descent algorithms in high-dimensional planted models." Thesis, université Paris-Saclay, 2020. http://www.theses.fr/2020UPASP014.

Full text

Abstract:

L'optimisation des modèles non convexes en haute dimension a toujours été un problème difficile et fascinant. Puisque nos avons la tendance à appliquer des notions que nous avons expérimentées et naturellement apprises en basse dimension, notre intuition est souvent égarée.Ces problèmes apparaissent naturellement et deviennent de plus en plus pertinents, en particulier dans une époque òu une quantité de plus en plus importante de données est disponible. La plupart des informations que nous recevons sont inutiles et l'identification de ce qui est pertinent est un problème complexe.Souvent les problèmes d'apprentissage automatique et les problèmes d'inférence entre dans cette catégorie.Dans les deux cas, nous avons une fonction de coût qui dépend d'un grand nombre de paramètres à optimiser. Un choix assez simple, mais courant, est l'utilisation d'algorithmes locaux basés sur le gradient, qui descendent dans la fonction de coût en essayant d'identifier les bonnes solutions.Si la fonction de coût est convexe alors il suffit de vérifier des simple conditions sur la vitesse de descente pour trouver la bonne solution. Cependant, souvent, nous n'avons pas de coûts convexes. Comprendre ce qui se passe dans la dynamique de ces problèmes non convèx en haute dimension est l'objectif principal de ce projet.Dans la thèse, on considéra les problèmes d'inférence bayésienne et d'apprentissage automatique en essayant de construire une théorie qui décrit comment la dynamique algorithmique évolue et quand elle est vouée à l’échec. Les modèles des problèmes d'apprentissage automatique et d'inférence sont intimement liés. Un autre lien intéressant et connu depuis longtemps est le lien entre les problèmes d'inférence et les systèmes désordonnés étudiés par les physiciens statistiques. Les techniques et les résultats développés dans ce dernier forment le véritable base de ce travail.Dans cette thèse, nous caractérisons les limites algorithmiques de la descente de gradient et la dynamique de Langevin. Nous analysons la structure du paysage et trouvons le résultat contre-intuitif qu'en général un nombre exponentiel de solutions fausses n’empêche pas la descente de gradient vanille initialisée au hasard vers la seule bonne solution. Enfin, nous construisons une théorie qui explique quantitativement et qualitativement le phénomène
Optimization of high-dimensional non-convex models has always been a difficult and fascinating problem. Since our minds tend to apply notions that we experienced and naturally learned in low-dimension, our intuition is often led astray.Those problems appear naturally and become more and more relevant, in particular in an era where an increasingly large amount of data is available. Most of the information that we receive is useless and identifying what is relevant is an intricate problem.Machine learning problems and inference problems often fall in these settings.In both cases we have a cost function that depends on a large number of parameters that should be optimized. A rather simple, but common, choice is the use of local algorithms based on the gradient, that descend in the cost function trying to identify good solutions.If the cost function is convex, then under mild conditions on the descent rate, we are guaranteed to find the good solution. However often we do not have convex costs. To understand what happens in the dynamics of these non-convex high-dimensional problems is the main goal of this project.In the thesis we will space from Bayesian inference to machine learning in the attempt of building a theory that describes how the algorithmic dynamics evolve and when it is doomed to fail. Prototypical models of machine learning and inference problems are intimately related. Another interesting connection that is known since long time, is the link between inference problems and disordered systems studied by statistical physicists. The techniques and the results developed in the latter form the true skeleton of this work.In this dissertation we characterize the algorithmic limits of gradient descent and Langevin dynamics. We analyze the structure of the landscape and find the counter-intuitive result that in general an exponential number of spurious solutions do not prevent vanilla gradient descent initialized randomly to find the only good solution. Finally, we build a theory that explains quantitatively and qualitatively the underlying phenomenon

APA, Harvard, Vancouver, ISO, and other styles

25

Guedj, Benjamin. "Agrégation d'estimateurs et de classificateurs : théorie et méthodes." Phd thesis, Université Pierre et Marie Curie - Paris VI, 2013. http://tel.archives-ouvertes.fr/tel-00922353.

Full text

Abstract:

Ce manuscrit de thèse est consacré à l'étude des propriétés théoriques et méthodologiques de différentes procédures d'agrégation d'estimateurs. Un premier ensemble de résultats vise à étendre la théorie PAC-bayésienne au contexte de la grande dimension, dans les modèles de régression additive et logistique. Nous prouvons dans ce contexte l'optimalité, au sens minimax et à un terme logarithmique près, de nos estimateurs. La mise en \oe uvre pratique de cette stratégie, par des techniques MCMC, est étayée par des simulations numériques. Dans un second temps, nous introduisons une stratégie originale d'agrégation non linéaire d'estimateurs de la fonction de régression. Les qualités théoriques et pratiques de cette approche --- dénommée COBRA --- sont étudiées, et illustrées sur données simulées et réelles. Enfin, nous présentons une modélisation bayésienne --- et l'implémentation MCMC correspondante --- d'un problème de génétique des populations. Les différentes approches développées dans ce document sont toutes librement téléchargeables depuis le site de l'auteur.

APA, Harvard, Vancouver, ISO, and other styles

26

Egele, Romain. "Optimization of Learning Workflows at Large Scale on High-Performance Computing Systems." Electronic Thesis or Diss., université Paris-Saclay, 2024. http://www.theses.fr/2024UPASG025.

Full text

Abstract:

Au cours de la dernière décennie, l'apprentissage automatique a connu une croissance exponentielle, portée par l'abondance de jeux de données, les avancées algorithmiques et l'augmentation de la puissance de calcul.Simultanément, le calcul haute performance (HPC) a évolué pour répondre à la demande croissante en calculs, offrant des ressources pour relever des défis scientifiques complexes. Cependant, les processus d'apprentissage machines sont souvent séquentiels, ce qui rend difficile leur mise à l'échelle sur les systèmes HPC qui sont eux parallèles par nature. Les processus d'apprentissage machines sont construits à partir de modules qui offrent de nombreux paramètres configurables, des politiques d'augmentation des données, aux procédures d'entraînement et aux architectures de modèles. Cette thèse se concentre sur l'optimisation des hyperparamètres des processus d'apprentissage sur des systèmes HPC, tels que Polaris à Argonne National Laboratory. Les principales contributions comprennent (1) l'optimisation Bayésienne parallèle décentralisée et asynchrone, (2) son extension à plusieurs objectifs, (3) l'intégration de méthodes de rejet précoce et (4) la quantification de l'incertitude des réseaux de neurones profonds. De plus, un logiciel en libre accès, DeepHyper, est fourni, encapsulant les algorithmes proposés pour faciliter la recherche et l'application. La thèse met en évidence l'importance des méthodes d'optimisation Bayésienne des hyperparamètres pour les processus d'apprentissage, cruciales pour exploiter efficacement les vastes ressources de calcul des systèmes HPC modernes
In the past decade, machine learning has experienced exponential growth, propelled by abundant datasets, algorithmic advancements, and increased computational power. Simultaneously, high-performance computing (HPC) has evolved to meet rising computational demands, offering resources to tackle complex scientific challenges.However, machine learning is often a sequential process, making it difficult to scale on HPC systems. Machine learning workflows are built from modules offering numerous configurable parameters, from data augmentation policies to training procedures and model architectures. This thesis focuses on the hyperparameter optimization of learning workflows on large-scale HPC systems, such as the Polaris at the Argonne Leadership Computing Facility.Key contributions include (1) asynchronous decentralized parallel Bayesian optimization, (2) extension to multi-objective, (3) integration of early discarding, and (4) uncertainty quantification of deep neural networks. Furthermore, an open-source software, DeepHyper, is provided, encapsulating the proposed algorithms to facilitate research and application. The thesis highlights the importance of scalable Bayesian optimization methods for the hyperparameter optimization of learning workflows, which is crucial for effectively harnessing the vast computational resources of modern HPC systems

APA, Harvard, Vancouver, ISO, and other styles

27

Mattei, Pierre-Alexandre. "Sélection de modèles parcimonieux pour l’apprentissage statistique en grande dimension." Thesis, Sorbonne Paris Cité, 2017. http://www.theses.fr/2017USPCB051/document.

Full text

Abstract:

Le déferlement numérique qui caractérise l’ère scientifique moderne a entraîné l’apparition de nouveaux types de données partageant une démesure commune : l’acquisition simultanée et rapide d’un très grand nombre de quantités observables. Qu’elles proviennent de puces ADN, de spectromètres de masse ou d’imagerie par résonance nucléaire, ces bases de données, qualifiées de données de grande dimension, sont désormais omniprésentes, tant dans le monde scientifique que technologique. Le traitement de ces données de grande dimension nécessite un renouvellement profond de l’arsenal statistique traditionnel, qui se trouve inadapté à ce nouveau cadre, notamment en raison du très grand nombre de variables impliquées. En effet, confrontée aux cas impliquant un plus grand nombre de variables que d’observations, une grande partie des techniques statistiques classiques est incapable de donner des résultats satisfaisants. Dans un premier temps, nous introduisons les problèmes statistiques inhérents aux modelés de données de grande dimension. Plusieurs solutions classiques sont détaillées et nous motivons le choix de l’approche empruntée au cours de cette thèse : le paradigme bayésien de sélection de modèles. Ce dernier fait ensuite l’objet d’une revue de littérature détaillée, en insistant sur plusieurs développements récents. Viennent ensuite trois chapitres de contributions nouvelles à la sélection de modèles en grande dimension. En premier lieu, nous présentons un nouvel algorithme pour la régression linéaire bayésienne parcimonieuse en grande dimension, dont les performances sont très bonnes, tant sur données réelles que simulées. Une nouvelle base de données de régression linéaire est également introduite : il s’agit de prédire la fréquentation du musée d’Orsay à l’aide de données vélibs. Ensuite, nous nous penchons sur le problème de la sélection de modelés pour l’analyse en composantes principales (ACP). En nous basant sur un résultat théorique nouveau, nous effectuons les premiers calculs exacts de vraisemblance marginale pour ce modelé. Cela nous permet de proposer deux nouveaux algorithmes pour l’ACP parcimonieuse, un premier, appelé GSPPCA, permettant d’effectuer de la sélection de variables, et un second, appelé NGPPCA, permettant d’estimer la dimension intrinsèque de données de grande dimension. Les performances empiriques de ces deux techniques sont extrêmement compétitives. Dans le cadre de données d’expression ADN notamment, l’approche de sélection de variables proposée permet de déceler sans supervision des ensembles de gènes particulièrement pertinents
The numerical surge that characterizes the modern scientific era led to the rise of new kinds of data united in one common immoderation: the simultaneous acquisition of a large number of measurable quantities. Whether coming from DNA microarrays, mass spectrometers, or nuclear magnetic resonance, these data, usually called high-dimensional, are now ubiquitous in scientific and technological worlds. Processing these data calls for an important renewal of the traditional statistical toolset, unfit for such frameworks that involve a large number of variables. Indeed, when the number of variables exceeds the number of observations, most traditional statistics becomes inefficient. First, we give a brief overview of the statistical issues that arise with high-dimensional data. Several popular solutions are presented, and we present some arguments in favor of the method utilized and advocated in this thesis: Bayesian model uncertainty. This chosen framework is the subject of a detailed review that insists on several recent developments. After these surveys come three original contributions to high-dimensional model selection. A new algorithm for high-dimensional sparse regression called SpinyReg is presented. It compares favorably to state-of-the-art methods on both real and synthetic data sets. A new data set for high-dimensional regression is also described: it involves predicting the number of visitors in the Orsay museum in Paris using bike-sharing data. We focus next on model selection for high-dimensional principal component analysis (PCA). Using a new theoretical result, we derive the first closed-form expression of the marginal likelihood of a PCA model. This allows us to propose two algorithms for model selection in PCA. A first one called globally sparse probabilistic PCA (GSPPCA) that allows to perform scalable variable selection, and a second one called normal-gamma probabilistic PCA (NGPPCA) that estimates the intrinsic dimensionality of a high-dimensional data set. Both methods are competitive with other popular approaches. In particular, using unlabeled DNA microarray data, GSPPCA is able to select genes that are more biologically relevant than several popular approaches

APA, Harvard, Vancouver, ISO, and other styles

28

Papanastasiou, Effrosyni. "Feasibility of Interactions and Network Inference of Online Social Networks." Electronic Thesis or Diss., Sorbonne université, 2024. http://www.theses.fr/2024SORUS173.

Full text

Abstract:

Cette thèse traite du problème de l'inférence de réseau dans le domaine des réseaux sociaux en ligne. L'hypothèse principale des problèmes d'inférence de réseau est que le réseau que nous observons n'est pas celui dont nous avons réellement be-soin. Cela est particulièrement vrai dans l'espace numérique actuel, où l'abondance d'informations s'accompagne généralement d'un manque crucial de fiabilité, sous la forme de bruit et de points manquants dans les données. Cependant, les approches existantes ignorent ou ne garantissent pas l'inférence de réseaux d'une manière qui puisse expliquer les données dont nous disposons. Il en résulte une ambiguïté sur la signification du réseau inféré, en plus d'un manque d'intuition et de contrôle sur l'inférence elle-même. L'objectif de cette thèse est d'explorer plus avant ce problème. Pour quantifier la capacité d'un réseau inféré à expliquer un ensemble de données, nous introduisons un nouveau critère de qualité, appelé feasibility. Notre intuition est que si un ensemble de données est "feasible" en ce qui concerne le réseau inféré, celui-ci est un meilleur candidat que le cas échéant. Pour le vérifier, nous proposons une nouvelle méthode d'inférence de réseau sous la forme d'un problème d'optimisation contraint, basé sur le maximum de vraisemblance, qui garantit la feasibility à 100%. Cette méthode est adaptée aux données provenant des réseaux sociaux en ligne, qui sont des sources bien connues de données peu fiables et restreintes. Nous présentons des expériences sur un ensemble de données synthétiques et données réelles provenant de la plateforme Twitter/X. Nous montrons que la méthode proposée génère une distribution a posteriori des graphes qui garantit l'explication de l'ensemble de données tout en étant plus proche de la véritable structure sous-jacente. En guise d'exploration finale, nous nous penchons sur le domaine de l'apprentissage profond pour trouver des alternatives plus évolutives et plus flexibles, en fournissant un cadre préliminaire basé sur les réseaux neuronaux graphiques et l'apprentissage contrastif qui donne des résultats prometteurs
This thesis deals with the problem of network inference in the domain of Online So-cial Networks. The main premise of network inference problems is that the networkwe are observing is not the network that we really need. This is especially prevalentin today's digital space, where the abundance of information usually comes withcrucial unreliability, in the form of noise and missing points in the data. However, existing approaches either ignore or do not guarantee to infer networks in a waythat can explain the data we have at hand. As a result, there is an ambiguity around the meaning of the network that we are inferring, while also having little intuition or control over the inference itself. The goal of this thesis is to further explore this problem. To quantify how well an inferred network can explain a dataset, we introduce a novel quality criterion called feasibility. Our intuition is that if a dataset is feasible given an inferred network, we might also be closer to the ground truth. To verify this,we propose a novel network inference method in the form of a constrained, Maximum Likelihood-based optimization problem that guarantees 100% feasibility. It is tailored to inputs from Online Social Networks, which are well-known sources of un-reliable and restricted data. We provide extensive experiments on one synthetic andone real-world dataset coming from Twitter/X. We show that our proposed method generates a posterior distribution of graphs that guarantees to explain the dataset while also being closer to the true underlying structure when compared to other methods. As a final exploration, we look into the field of deep learning for more scalable and flexible alternatives, providing a preliminary framework based on Graph Neural Networks and contrastive learning that gives promising results

APA, Harvard, Vancouver, ISO, and other styles

29

Granjal, Cruz Gonçalo Jorge. "Development and validation of a bayesian measurement technique for data-driven measurement reduction." Electronic Thesis or Diss., Ecully, Ecole centrale de Lyon, 2024. http://www.theses.fr/2024ECDL0012.

Full text

Abstract:

Ce travail présente une méthodologie de test hybride complète pour évaluer l'écoulement dans turbomachines. Axée sur la minimisation des temps de test et des exigences en instrumentation, la méthodologie intègre de manière stratégique des mesures expérimentales standard avec des simulations numériques, en utilisant des processus gaussiens.La méthodologie réduit systématiquement à la fois les efforts d'instrumentation et les temps de test, fournissant des métriques d'incertitude comparables aux méthodologies traditionnelles. Appliquée initialement à un compresseur axial haute pression de référence (H25) puis à un ventilateur à ultra-haut taux de dilution (ECL5 UHBR) dans des conditions de test aveugles, la méthodologie démontre sa robustesse, son adaptabilité et des réductions significatives des points de mesure et des temps de test conduisant à un impact direct sur les coûts des campagnes expérimentales.Pour le compresseur axial H25, le cadre proposé se révèle capable de prédire les champs d'écoulement, mettant en évidence le compromis entre les mesures et l'exactitude de prédiction du flux. Les résultats du test aveugle du ventilateur ECL5 UHBR valident l'efficacité de la méthodologie dans les évaluations aérodynamiques et démontrent des économies de temps d'au moins une heure par condition de fonctionnement.La conception d'expériences a priori permet une réduction d'au moins 50% des mesures, surpassant l'échantillonnage aléatoire, et assiste efficacement dans la planification de campagnes expérimentales. L'échantillonnage adaptatif In situ surpasse l'échantillonnage aléatoire jusqu'à 44%, démontrant une détection précise des phénomènes d'écoulement et des applications prometteuses dans la réalisation d'exigences expérimentales. La nature modulaire et adaptable de la méthodologie la positionne pour une application étendue tant dans les environnements académiques qu'industriels, tandis que son exploitation ouvre des voies pour inférer des quantités d'écoulement non mesurées ou améliorer l'évaluation des performances.Ce travail introduit un changement de paradigme dans la planification de campagnes expérimentales, optimisant les budgets de mesure de manière stratégique à l'avance ou améliorant la précision dynamiquement au cours d'une campagne, mettant en évidence le potentiel des tendances entraînées par l'apprentissage automatique pour façonner de nouvelles voies de recherche
This work presents a complete hybrid testing methodology for assessing the flow in turbomachinery components. Focused on minimizing testing times and instrumentation requirements, the methodology strategically integrates standard experimental measurements with numerical simulations, specifically employing Multi-Fidelity Gaussian Processes, Sparse Variational Gaussian Processes, and adaptive Bayesian optimization.The methodology systematically reduces both instrumentation efforts and testing times, providing uncertainty metrics comparable to traditional methodologies. Applied initially to a benchmarked axial high-pressure compressor (H25) and afterwards to an ultra-high bypass ratio fan (ECL5 UHBR) in blind test conditions, the methodology demonstrates robustness, adaptability, and significant reductions in measurement points and testing times leading to a direct impact in experimental campaign costs.For the H25 axial compressor, the proposed framework proves capable of predicting flow fields, emphasizing the trade-off between high-fidelity measurements and mean flow prediction accuracy. The ECL5 UHBR fan blind test results validate the methodology's efficiency in aerodynamic assessments and demonstrates time savings of at least one hour per operating condition.The a priori Design of Experiments achieves at least a 50% reduction in measurements, outperforming random sampling, and effectively assists in experimental campaign planning. The In situ adaptive sampling outperforms random sampling by up to 44%, showcasing accurate detection of flow phenomena and promising applications in achieving high accuracy experimental demands. The modular and adaptable nature of the methodology positions it for broad application in both academic and industrial settings, while its exploitation opens paths to infer unmeasured flow quantities or improve performance evaluation measurements.This work introduces a paradigm shift in experimental campaign planning, optimizing measurement budgets strategically beforehand or enhancing accuracy dynamically during a campaign, emphasizing the potential of machine learning-driven trends in shaping new research paths

APA, Harvard, Vancouver, ISO, and other styles

30

Morvant, Emilie. "Apprentissage de vote de majorité pour la classification supervisée et l'adaptation de domaine : approches PAC-Bayésiennes et combinaison de similarités." Phd thesis, Aix-Marseille Université, 2013. http://tel.archives-ouvertes.fr/tel-00879072.

Full text

Abstract:

De nos jours, avec l'expansion d'Internet, l'abondance et la diversité des données accessibles qui en résulte, de nombreuses applications requièrent l'utilisation de méthodes d'apprentissage automatique supervisé capables de prendre en considération différentes sources d'informations. Par exemple, pour des applications relevant de l'indexation sémantique de documents multimédia, il s'agit de pouvoir efficacement tirer bénéfice d'informations liées à la couleur, au texte, à la texture ou au son des documents à traiter. La plupart des méthodes existantes proposent de combiner ces informations multimodales, soit en fusionnant directement les descriptions, soit en combinant des similarités ou des classifieurs, avec pour objectif de construire un modèle de classification automatique plus fiable pour la tâche visée. Ces aspects multimodaux induisent généralement deux types de difficultés. D'une part, il faut être capable d'utiliser au mieux toute l'information a priori disponible sur les objets à combiner. D'autre part, les données sur lesquelles le modèle doit être appliqué ne suivent nécessairement pas la même distribution de probabilité que les données utilisées lors de la phase d'apprentissage. Dans ce contexte, il faut être à même d'adapter le modèle à de nouvelles données, ce qui relève de l'adaptation de domaine. Dans cette thèse, nous proposons plusieurs contributions fondées théoriquement et répondant à ces problématiques. Une première série de contributions s'intéresse à l'apprentissage de votes de majorité pondérés sur un ensemble de votants dans le cadre de la classification supervisée. Ces contributions s'inscrivent dans le contexte de la théorie PAC-Bayésienne permettant d'étudier les capacités en généralisation de tels votes de majorité en supposant un a priori sur la pertinence des votants. Notre première contribution vise à étendre un algorithme récent, MinCq, minimisant une borne sur l'erreur du vote de majorité en classification binaire. Cette extension permet de prendre en compte une connaissance a priori sur les performances des votants à combiner sous la forme d'une distribution alignée. Nous illustrons son intérêt dans une optique de combinaison de classifieurs de type plus proches voisins, puis dans une perspective de fusion de classifieurs pour l'indexation sémantique de documents multimédia. Nous proposons ensuite une contribution théorique pour des problèmes de classification multiclasse. Cette approche repose sur une analyse PAC-Bayésienne originale en considérant la norme opérateur de la matrice de confusion comme mesure de risque. Notre seconde série de contributions concerne la problématique de l'adaptation de domaine. Dans cette situation, nous présentons notre troisième apport visant à combiner des similarités permettant d'inférer un espace de représentation de manière à rapprocher les distributions des données d'apprentissage et des données à traiter. Cette contribution se base sur la théorie des fonctions de similarités (epsilon,gamma,tau)-bonnes et se justifie par la minimisation d'une borne classique en adaptation de domaine. Pour notre quatrième et dernière contribution, nous proposons la première analyse PAC-Bayésienne appropriée à l'adaptation de domaine. Cette analyse se base sur une mesure consistante de divergence entre distributions permettant de dériver une borne en généralisation pour l'apprentissage de votes de majorité en classification binaire. Elle nous permet également de proposer un algorithme adapté aux classifieurs linéaires capable de minimiser cette borne de manière directe.

APA, Harvard, Vancouver, ISO, and other styles

31

Charon, Clara. "Classification probabiliste pour la prédiction et l'explication d'événements de santé défavorables et évitables en EHPAD." Electronic Thesis or Diss., Sorbonne université, 2024. https://accesdistant.sorbonne-universite.fr/login?url=https://theses-intra.sorbonne-universite.fr/2024SORUS200.pdf.

Full text

Abstract:

L'EHPAD, établissement d'hébergement pour personnes âgées dépendantes, constitue une option à laquelle a recours une population nombreuse et croissante, lorsque pour diverses raisons, et notamment de santé, il n'est plus possible de vivre à domicile.Avec le développement des nouvelles technologies informatiques dans le domaine de la santé, un nombre croissant d'établissements de santé sont équipés de systèmes d'information regroupant les données administratives et médicales des patients ainsi que des informations sur les soins qui leur sont prodigués.Parmi ces systèmes, les dossiers médicaux électroniques (DME) émergent comme des outils essentiels, offrant un accès rapide et aisé aux informations des patients dans le but d'améliorer la qualité et la sécurité des soins.Dans ce travail, nous utilisons les données anonymisées des DME de NETSoins, un logiciel largement utilisé dans les EHPAD en France, afin de proposer et d'analyser des classifieurs capables de prédire plusieurs événements de santé défavorables chez les personnes âgées qui sont potentiellement modifiables par des interventions de santé appropriées.Notre démarche se concentre notamment sur l'utilisation de méthodes capables de fournir des explications, notamment les modèles graphiques probabilistes tels que les réseaux bayésiens.Après un prétraitement complexe pour adapter des données d'une base événementielle en données utilisables par un apprentissage statistique, tout en conservant leur cohérence médicale, nous avons développé une méthodologie d'apprentissage mise en œuvre dans trois expériences de classification probabiliste utilisant des réseaux bayésiens distincts, ciblant différents événements : le risque de survenue de la première escarre, le risque d'hospitalisation en urgence à l'entrée du résident en EHPAD, et le risque de fracture dans les premiers mois d'hébergement.Pour chaque cible, nous avons comparé les performances de notre classifieur de réseaux bayésiens selon divers critères avec d'autres méthodes de machine learning ainsi qu'avec les pratiques actuellement utilisées en EHPAD pour prédire ces risques. Nous avons aussi confronté les résultats des réseaux bayésiens à l'expertise clinique.Cette étude démontre la possibilité de prédire ces événements à partir des données déjà collectées en routine par les soignants, ouvrant ainsi la voie à de nouveaux outils de prédiction intégrables directement dans le logiciel déjà utilisé par ces professionnels
Nursing homes, which provide housing for dependent elderly people,are an option used by a large and growing population when, for a variety of reasons, including health, it is no longer possible for them to live at home.With the development of new information technologies in the health sector, an increasing number of health care facilities are equipped with information systems that group together administrative and medical data of patients as well as information on the care they receive. Among these systems, electronic health records (EHRs) have emerged as essential tools, providing quick and easy access to patient information in order to improve the quality and safety of care.We use the anonymized data of the EHRs from NETSoins, a software widely used in nursing homes in France, to propose and analyze classifiers capable of predicting several adverse health events in the elderly that are potentially modifiable by appropriate health interventions. Our approach focuses in particular on the use of methods that can provide explanations, such as probabilistic graphical models, including Bayesian networks.After a complex preprocessing step to adapt event-based data into data suitable for statistical learning while preserving their medical coherence, we have developed a learning method applied in three probabilistic classification experiments using Bayesian networks, targeting different events: the risk of occurrence of the first pressure ulcer, the risk of emergency hospitalization upon the resident's entry into the nursing home, and the risk of fracture in the first months of housing.For each target, we have compared the performance of our Bayesian network classifier according to various criteria with other machine learning methods as well as with the practices currently used in nursing homes to predict these risks. We have also compared the results of the Bayesian networks with clinical expertise.This study demonstrates the possibility of predicting these events from the data already collected in routine by caregivers, thus paving the way for new predictive tools that can be integrated directly into the software already used by these professionals

APA, Harvard, Vancouver, ISO, and other styles

32

Rouillard, Louis. "Bridging Simulation-based Inference and Hierarchical Modeling : Applications in Neuroscience." Electronic Thesis or Diss., université Paris-Saclay, 2024. http://www.theses.fr/2024UPASG024.

Full text

Abstract:

La neuroimagerie étudie l'architecture et le fonctionnement du cerveau à l'aide de la résonance magnétique (IRM). Pour comprendre le signal complexe observé, les neuroscientifiques émettent des hypothèses sous la forme de modèles explicatifs, régis par des paramètres interprétables. Cette thèse étudie l'inférence statistique : deviner quels paramètres auraient pu produire le signal à travers le modèle.L'inférence en neuroimagerie est complexifiée par au moins trois obstacles : une grande dimensionnalité, une grande incertitude et la structure hiérarchique des données. Pour s'attaquer à ce régime, nous utlisons l'inférence variationnelle (VI), une méthode basée sur l'optimisation.Plus précisément, nous combinons l'inférence variationnelle stochastique structurée et les flux de normalisation (NF) pour concevoir des familles variationnelles expressives et adaptées à la large dimensionnalité. Nous appliquons ces techniques à l'IRM de diffusion et l'IRM fonctionnelle, sur des tâches telles que la parcellation individuelle, l'inférence de la microstructure et l'estimation du couplage directionnel. Via ces applications, nous soulignons l'interaction entre les divergences de Kullback-Leibler (KL) forward et reverse comme outils complémentaires pour l'inférence. Nous démontrons également les capacité de l'inférence variationelle automatique (AVI) comme méthode d'inférence robuste et adaptée à la large dimensionnalité, apte à relever les défis de la modélisation en neuroscience
Neuroimaging investigates the brain's architecture and function using magnetic resonance (MRI). To make sense of the complex observed signal, Neuroscientists posit explanatory models, governed by interpretable parameters. This thesis tackles statistical inference : guessing which parameters could have yielded the signal through the model.Inference in Neuroimaging is complexified by at least three hurdles : a large dimensionality, a large uncertainty, and the hierarchcial structure of data. We look into variational inference (VI) as an optimization-based method to tackle this regime.Specifically, we conbine structured stochastic VI and normalizing flows (NFs) to design expressive yet scalable variational families. We apply those techniques in diffusion and functional MRI, on tasks including individual parcellation, microstructure inference and directional coupling estimation. Through these applications, we underline the interplay between the forward and reverse Kullback-Leibler (KL) divergences as complemen-tary tools for inference. We also demonstrate the ability of automatic VI (AVI) as a reliable and scalable inference method to tackle the challenges of model-driven Neuroscience

APA, Harvard, Vancouver, ISO, and other styles

33

Fond, Antoine. "Localisation par l'image en milieu urbain : application à la réalité augmentée." Electronic Thesis or Diss., Université de Lorraine, 2018. http://www.theses.fr/2018LORR0028.

Full text

Abstract:

Dans cette thèse on aborde le problème de la localisation en milieux urbains. Inférer un positionnement précis en ville est important dans nombre d’applications comme la réalité augmentée ou la robotique mobile. Or les systèmes basés sur des capteurs inertiels (IMU) sont sujets à des dérives importantes et les données GPS peuvent souffrir d’un effet de vallée qui limite leur précision. Une solution naturelle est de s’appuyer le calcul de pose de caméra en vision par ordinateur. On remarque que les bâtiments sont les repères visuels principaux de l’humain mais aussi des objets d’intérêt pour les applications de réalité augmentée. On cherche donc à partir d’une seule image à calculer la pose de la caméra par rapport à une base de données de bâtiments références connus. On décompose le problème en deux parties : trouver les références visibles dans l’image courante (reconnaissance de lieux) et calculer la pose de la caméra par rapport à eux. Les approches classiques de ces deux sous-problèmes sont mises en difficultés dans les environnements urbains à cause des forts effets perspectives, des répétitions fréquentes et de la similarité visuelle entre façades. Si des approches spécifiques à ces environnements ont été développés qui exploitent la grande régularité structurelle de tels milieux, elles souffrent encore d’un certain nombre de limitations autant pour la détection et la reconnaissance de façades que pour le calcul de pose par recalage de modèle. La méthode originale développée dans cette thèse s’inscrit dans ces approches spécifiques et vise à dépasser ces limitations en terme d’efficacité et de robustesse aux occultations, aux changements de points de vue et d’illumination. Pour cela, l’idée principale est de profiter des progrès récents de l’apprentissage profond par réseaux de neurones convolutionnels pour extraire de l’information de haut-niveau sur laquelle on peut baser des modèles géométriques. Notre approche est donc mixte Bottom-Up/Top-Down et se décompose en trois étapes clés. Nous proposons tout d’abord une méthode d’estimation de la rotation de la pose de caméra. Les 3 points de fuite principaux des images en milieux urbains, dits points de fuite de Manhattan sont détectés grâce à un réseau de neurones convolutionnels (CNN) qui fait à la fois une estimation de ces points de fuite mais aussi une segmentation de l’image relativement à eux. Une second étape de raffinement utilise ces informations et les segments de l’image dans une formulation bayésienne pour estimer efficacement et plus précisément ces points. L’estimation de la rotation de la caméra permet de rectifier les images et ainsi s’affranchir des effets de perspectives pour la recherche de la translation. Dans une seconde contribution, nous visons ainsi à détecter les façades dans ces images rectifiées et à les reconnaître parmi une base de bâtiments connus afin d’estimer une translation grossière. Dans un soucis d’efficacité, on a proposé une série d’indices basés sur des caractéristiques spécifiques aux façades (répétitions, symétrie, sémantique) qui permettent de sélectionner rapidement des candidats façades potentiels. Ensuite ceux-ci sont classifiés en façade ou non selon un nouveau descripteur CNN contextuel. Enfin la mise en correspondance des façades détectées avec les références est opérée par un recherche au plus proche voisin relativement à une métrique apprise sur ces descripteurs [...]
This thesis addresses the problem of localization in urban areas. Inferring accurate positioning in the city is important in many applications such as augmented reality or mobile robotics. However, systems based on inertial sensors (IMUs) are subject to significant drifts and GPS data can suffer from a valley effect that limits their accuracy. A natural solution is to rely on the camera pose estimation in computer vision. We notice that buildings are the main visual landmarks of human beings but also objects of interest for augmented reality applications. We therefore aim to compute the camera pose relatively to a database of known reference buildings from a single image. The problem is twofold : find the visible references in the current image (place recognition) and compute the camera pose relatively to them. Conventional approaches to these two sub-problems are challenged in urban environments due to strong perspective effects, frequent repetitions and visual similarity between facades. While specific approaches to these environments have been developed that exploit the high structural regularity of such environments, they still suffer from a number of limitations in terms of detection and recognition of facades as well as pose computation through model registration. The original method developed in this thesis is part of these specific approaches and aims to overcome these limitations in terms of effectiveness and robustness to clutter and changes of viewpoints and illumination. For do so, the main idea is to take advantage of recent advances in deep learning by convolutional neural networks to extract high-level information on which geometric models can be based. Our approach is thus mixed Bottom- Up/Top-Down and is divided into three key stages. We first propose a method to estimate the rotation of the camera pose. The 3 main vanishing points of the image of urban environnement, known as Manhattan vanishing points, are detected by a convolutional neural network (CNN) that estimates both these vanishing points and the image segmentation relative to them. A second refinement step uses this information and image segmentation in a Bayesian model to estimate these points effectively and more accurately. By estimating the camera’s rotation, the images can be rectified and thus free from perspective effects to find the translation. In a second contribution, we aim to detect the facades in these rectified images to recognize them among a database of known buildings and estimate a rough translation. For the sake of efficiency, a series of cues based on facade specific characteristics (repetitions, symmetry, semantics) have been proposed to enable the fast selection of facade proposals. Then they are classified as facade or non-facade according to a new contextual CNN descriptor. Finally, the matching of the detected facades to the references is done by a nearest neighbor search using a metric learned on these descriptors. Eventually we propose a method to refine the estimation of the translation relying on the semantic segmentation inferred by a CNN for its robustness to changes of illumination ans small deformations. If we can already estimate a rough translation from these detected facades, we choose to refine this result by relying on the se- mantic segmentation of the image inferred from a CNN for its robustness to changes of illuminations and small deformations. Since the facade is identified in the previous step, we adopt a model-based approach by registration. Since the problems of registration and segmentation are linked, a Bayesian model is proposed which enables both problems to be jointly solved. This joint processing improves the results of registration and segmentation while remaining efficient in terms of computation time. These three parts have been validated on consistent community data sets. The results show that our approach is fast and more robust to changes in shooting conditions than previous methods

APA, Harvard, Vancouver, ISO, and other styles

34

Faour, Ahmad. "Une architecture semi-supervisée et adaptative pour le filtrage d'alarmes dans les systèmes de détection d'intrusions sur les réseaux." Phd thesis, INSA de Rouen, 2007. http://tel.archives-ouvertes.fr/tel-00917605.

Full text

Abstract:

Nous étudions les limites actuelles des systèmes de traitement des alarmes générées par les systèmes de détection d'intrusion (NIDS) dans les réseaux et proposons une nouvelle approche automatique qui améliore le mécanisme de filtrage. Nos principales contributions se résument ainsi : 1. Proposition d'une architecture de filtrage : nous avons proposé une architecture de filtrage des alarmes qui analyse les journaux d'alertes d'un NIDS et essaye de filtrer les faux positifs. 2. Etude de l'évolutivité de cette architecture : dans cette phase, nous étudions l'aspect dynamique de l'architecture proposée. L'exploitation de l'architecture en temps réel pose plusieurs défis sur l'adaptation de cette architecture par rapport aux changements qui peuvent arriver au cours du temps. Nous avons distingué trois problème à résoudre : (1) adaptation de l'architecture vis à vis de l'évolution du réseau surveillé : intégration des nouvelles machines, des nouveaux routeurs, etc., (2) adaptation de l'architecture vis à vis de l'apparition de nouveaux types d'attaques et (3) adaptation de l'architecture avec l'apparition ou le glissement des comportements types. Pour résoudre ces problèmes, nous utilisons la notion de rejet en distance proposée en reconnaissance des formes et les tests d'hypothèses statistiques . Toutes nos propositions sont implémentées et ont donné lieu à des expérimentations que nous décrivons tout au long du document. Ces expériences utilisent des alarmes générées par SNORT, un système de détection des intrusions basé-réseau qui surveille le réseau du Rectorat de Rouen et qui est déployé dans un environnement opérationnel. Ce point est important pour la validation de notre architecture puisque elle utilise des alarmes issues d'un environnement réel plutôt qu'un environnement simulé ou de laboratoires qui peuvent avoir des limitations significatives.

APA, Harvard, Vancouver, ISO, and other styles

35

Dulac, Adrien. "Etude des modèles à composition mixée pour l'analyse de réseaux complexes." Thesis, Université Grenoble Alpes (ComUE), 2018. http://www.theses.fr/2018GREAM080/document.

Full text

Abstract:

Les données relationnelles sont omniprésentes dans la nature et leur accessibilité ne cesse d'augmenter depuis ces dernières années. Ces données, vues comme un tout, forment un réseau qui peut être représenté par une structure de données appelée graphe où chaque nœud du graphe est une entité et chaque arête représente une relation ou connexion entre ces entités. Les réseaux complexes en général, tels que le Web, les réseaux de communications ou les réseaux sociaux sont connus pour exhiber des propriétés structurelles communes qui émergent aux travers de leurs graphes. Dans cette thèse, nous mettons l'accent sur deux importantes propriétés appelées *homophilie* et *attachement préférentiel* qui se produisent dans un grand nombre de réseaux réels. Dans une première phase, nous étudions une classe de modèles de graphes aléatoires dans un contexte Bayésien non-paramétrique, appelé *modèle de composition mixée*, et nous nous concentrons à montrer si ces modèles satisfont ou non les propriétés mentionnées, après avoir proposé des définitions formelles pour ces dernières. Nous conduisons ensuite une évaluation empirique pour mettre à l'épreuve nos résultats sur des jeux de données de réseaux synthétiques et réels. Dans une seconde phase, nous proposons un nouveau modèle, qui généralise un précédent modèle à composition mixée stochastique, adapté pour les réseaux pondérés et nous développons un algorithme d'inférence efficace capable de s'adapter à des réseaux de grande échelle
Relational data are ubiquitous in the nature and their accessibility has not ceased to increase in recent years. Those data, see as a whole, form a network, which can be represented by a data structure called a graph, where each vertex of the graph is an entity and each edge a connection between pair of vertices. Complex networks in general, such as the Web, communication networks or social network, are known to exhibit common structural properties that emerge through their graphs. In this work we emphasize two important properties called *homophilly* and *preferential attachment* that arise on most of the real-world networks. We firstly study a class of powerful *random graph models* in a Bayesian nonparametric setting, called *mixed-membership model* and we focus on showing whether the models in this class comply with the mentioned properties, after giving formal definitions in a probabilistic context of the latter. Furthermore, we empirically evaluate our findings on synthetic and real-world network datasets. Secondly, we propose a new model, which extends the former Stochastic Mixed-Membership Model, for weighted networks and we develop an efficient inference algorithm able to scale to large-scale networks

APA, Harvard, Vancouver, ISO, and other styles

36

Fond, Antoine. "Localisation par l'image en milieu urbain : application à la réalité augmentée." Thesis, Université de Lorraine, 2018. http://www.theses.fr/2018LORR0028/document.

Full text

Abstract:

Dans cette thèse on aborde le problème de la localisation en milieux urbains. Inférer un positionnement précis en ville est important dans nombre d’applications comme la réalité augmentée ou la robotique mobile. Or les systèmes basés sur des capteurs inertiels (IMU) sont sujets à des dérives importantes et les données GPS peuvent souffrir d’un effet de vallée qui limite leur précision. Une solution naturelle est de s’appuyer le calcul de pose de caméra en vision par ordinateur. On remarque que les bâtiments sont les repères visuels principaux de l’humain mais aussi des objets d’intérêt pour les applications de réalité augmentée. On cherche donc à partir d’une seule image à calculer la pose de la caméra par rapport à une base de données de bâtiments références connus. On décompose le problème en deux parties : trouver les références visibles dans l’image courante (reconnaissance de lieux) et calculer la pose de la caméra par rapport à eux. Les approches classiques de ces deux sous-problèmes sont mises en difficultés dans les environnements urbains à cause des forts effets perspectives, des répétitions fréquentes et de la similarité visuelle entre façades. Si des approches spécifiques à ces environnements ont été développés qui exploitent la grande régularité structurelle de tels milieux, elles souffrent encore d’un certain nombre de limitations autant pour la détection et la reconnaissance de façades que pour le calcul de pose par recalage de modèle. La méthode originale développée dans cette thèse s’inscrit dans ces approches spécifiques et vise à dépasser ces limitations en terme d’efficacité et de robustesse aux occultations, aux changements de points de vue et d’illumination. Pour cela, l’idée principale est de profiter des progrès récents de l’apprentissage profond par réseaux de neurones convolutionnels pour extraire de l’information de haut-niveau sur laquelle on peut baser des modèles géométriques. Notre approche est donc mixte Bottom-Up/Top-Down et se décompose en trois étapes clés. Nous proposons tout d’abord une méthode d’estimation de la rotation de la pose de caméra. Les 3 points de fuite principaux des images en milieux urbains, dits points de fuite de Manhattan sont détectés grâce à un réseau de neurones convolutionnels (CNN) qui fait à la fois une estimation de ces points de fuite mais aussi une segmentation de l’image relativement à eux. Une second étape de raffinement utilise ces informations et les segments de l’image dans une formulation bayésienne pour estimer efficacement et plus précisément ces points. L’estimation de la rotation de la caméra permet de rectifier les images et ainsi s’affranchir des effets de perspectives pour la recherche de la translation. Dans une seconde contribution, nous visons ainsi à détecter les façades dans ces images rectifiées et à les reconnaître parmi une base de bâtiments connus afin d’estimer une translation grossière. Dans un soucis d’efficacité, on a proposé une série d’indices basés sur des caractéristiques spécifiques aux façades (répétitions, symétrie, sémantique) qui permettent de sélectionner rapidement des candidats façades potentiels. Ensuite ceux-ci sont classifiés en façade ou non selon un nouveau descripteur CNN contextuel. Enfin la mise en correspondance des façades détectées avec les références est opérée par un recherche au plus proche voisin relativement à une métrique apprise sur ces descripteurs [...]
This thesis addresses the problem of localization in urban areas. Inferring accurate positioning in the city is important in many applications such as augmented reality or mobile robotics. However, systems based on inertial sensors (IMUs) are subject to significant drifts and GPS data can suffer from a valley effect that limits their accuracy. A natural solution is to rely on the camera pose estimation in computer vision. We notice that buildings are the main visual landmarks of human beings but also objects of interest for augmented reality applications. We therefore aim to compute the camera pose relatively to a database of known reference buildings from a single image. The problem is twofold : find the visible references in the current image (place recognition) and compute the camera pose relatively to them. Conventional approaches to these two sub-problems are challenged in urban environments due to strong perspective effects, frequent repetitions and visual similarity between facades. While specific approaches to these environments have been developed that exploit the high structural regularity of such environments, they still suffer from a number of limitations in terms of detection and recognition of facades as well as pose computation through model registration. The original method developed in this thesis is part of these specific approaches and aims to overcome these limitations in terms of effectiveness and robustness to clutter and changes of viewpoints and illumination. For do so, the main idea is to take advantage of recent advances in deep learning by convolutional neural networks to extract high-level information on which geometric models can be based. Our approach is thus mixed Bottom- Up/Top-Down and is divided into three key stages. We first propose a method to estimate the rotation of the camera pose. The 3 main vanishing points of the image of urban environnement, known as Manhattan vanishing points, are detected by a convolutional neural network (CNN) that estimates both these vanishing points and the image segmentation relative to them. A second refinement step uses this information and image segmentation in a Bayesian model to estimate these points effectively and more accurately. By estimating the camera’s rotation, the images can be rectified and thus free from perspective effects to find the translation. In a second contribution, we aim to detect the facades in these rectified images to recognize them among a database of known buildings and estimate a rough translation. For the sake of efficiency, a series of cues based on facade specific characteristics (repetitions, symmetry, semantics) have been proposed to enable the fast selection of facade proposals. Then they are classified as facade or non-facade according to a new contextual CNN descriptor. Finally, the matching of the detected facades to the references is done by a nearest neighbor search using a metric learned on these descriptors. Eventually we propose a method to refine the estimation of the translation relying on the semantic segmentation inferred by a CNN for its robustness to changes of illumination ans small deformations. If we can already estimate a rough translation from these detected facades, we choose to refine this result by relying on the se- mantic segmentation of the image inferred from a CNN for its robustness to changes of illuminations and small deformations. Since the facade is identified in the previous step, we adopt a model-based approach by registration. Since the problems of registration and segmentation are linked, a Bayesian model is proposed which enables both problems to be jointly solved. This joint processing improves the results of registration and segmentation while remaining efficient in terms of computation time. These three parts have been validated on consistent community data sets. The results show that our approach is fast and more robust to changes in shooting conditions than previous methods

APA, Harvard, Vancouver, ISO, and other styles

37

Jouffroy, Emma. "Développement de modèles non supervisés pour l'obtention de représentations latentes interprétables d'images." Electronic Thesis or Diss., Bordeaux, 2024. http://www.theses.fr/2024BORD0050.

Full text

Abstract:

Le Laser Mégajoule (LMJ) est un instrument d’envergure qui simule des conditions de pression et de température similaires à celles des étoiles. Lors d’expérimentations, plusieurs diagnostics sont guidés dans la chambre d’expériences et il est essentiel qu’ils soient positionnés de manière précise. Afin de minimiser les risques liés à l’erreur humaine dans un tel contexte expérimental, la mise en place d'un système anti-collision automatisé est envisagée. Cela passe par la conception d’outils d’apprentissage automatique offrant des niveaux de décision fiables à partir de l’interprétation d’images issues de caméras positionnées dans la chambre. Nos travaux de recherche se concentrent sur des méthodes neuronales génératives probabilistes, en particulier les auto-encodeurs variationnels (VAEs). Le choix de cette classe de modèles est lié au fait qu’elle rende possible l’accès à un espace latent lié directement aux propriétés des objets constituant la scène observée. L’enjeu majeur est d’étudier la conception de modèles de réseaux profonds permettant effectivement d’accéder à une telle représentation pleinement informative et interprétable dans un objectif de fiabilité du système. Le formalisme probabiliste intrinsèque du VAE nous permet, si nous pouvons remonter à une telle représentation, d’accéder à une analyse d’incertitudes des informations encodées
The Laser Megajoule (LMJ) is a large research device that simulates pressure and temperature conditions similar to those found in stars. During experiments, diagnostics are guided into an experimental chamber for precise positioning. To minimize the risks associated with human error in such an experimental context, the automation of an anti-collision system is envisaged. This involves the design of machine learning tools offering reliable decision levels based on the interpretation of images from cameras positioned in the chamber. Our research focuses on probabilistic generative neural methods, in particular variational auto-encoders (VAEs). The choice of this class of models is linked to the fact that it potentially enables access to a latent space directly linked to the properties of the objects making up the observed scene. The major challenge is to study the design of deep network models that effectively enable access to such a fully informative and interpretable representation, with a view to system reliability. The probabilistic formalism intrinsic to VAE allows us, if we can trace back to such a representation, to access an analysis of the uncertainties of the encoded information

APA, Harvard, Vancouver, ISO, and other styles

38

Cottet, Vincent R. "Theoretical study of some statistical procedures applied to complex data." Electronic Thesis or Diss., Université Paris-Saclay (ComUE), 2017. http://www.theses.fr/2017SACLG002.

Full text

Abstract:

La partie principale de cette thèse s'intéresse à développer les aspects théoriques et algorithmiques pour trois procédures statistiques distinctes. Le premier problème abordé est la complétion de matrices binaires. Nous proposons un estimateur basé sur une approximation variationnelle pseudo-bayésienne en utilisant une fonction de perte différente de celles utilisées auparavant. Nous pouvons calculer des bornes non asymptotiques sur le risque intégré. L'estimateur proposé est beaucoup plus rapide à calculer qu'une estimation de type MCMC et nous montrons sur des exemples qu'il est efficace en pratique. Le deuxième problème abordé est l'étude des propriétés théoriques du minimiseur du risque empirique pénalisé pour des fonctions de perte lipschitziennes. Nous pouvons ensuite appliquer les résultats principaux sur la régression logistique avec la pénalisation SLOPE ainsi que sur la complétion de matrice. Le troisième chapitre développe une approximation de type Expectation-Propagation quand la vraisemblance n'est pas explicite. On utilise alors l'approximation ABC dans un second temps. Cette procédure peut s'appliquer à beaucoup de modèles et est beaucoup plus précise et rapide. Elle est appliquée à titre d'exemple sur un modèle d'extrêmes spatiaux
The main part of this thesis aims at studying the theoretical and algorithmic aspects of three distinct statistical procedures. The first problem is the binary matrix completion. We propose an estimator based on a variational approximation of a pseudo-Bayesian estimator. We use a different loss function of the ones used in the literature. We are able to compute non asymptotic risk bounds. It is much faster to compute the estimator than a MCMC method and we show on examples that it is efficient in practice. In a second part we study the theoretical properties of the regularized empirical risk minimizer for Lipschitz loss functions. We are therefore able to apply it on the logistic regression with the SLOPE regularization and on the matrix completion as well. The third chapter develops an Expectation-Propagation approximation when the likelihood is not explicit. We then use an ABC approximation in a second stage. This procedure may be applied to many models and is more precise and faster than the classic ABC approximation. It is used in a spatial extremes model

APA, Harvard, Vancouver, ISO, and other styles

39

Remy, Benjamin. "Generative modeling for weak lensing inverse problems." Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPASP163.

Full text

Abstract:

Le lentillage gravitationnelle, qui génère un effet de déformation des images de galaxies lointaines à travers l'influence de densités de matières massives dans la ligne de visée, est très prometteur pour répondre aux questions relatives à la matière noire et à l'énergie sombre. Cet effet permet de sonder directement la distribution de matière noire dans l'Univers, qui est invisible autrement. Dans le régime où ces déformations sont faibles, il est possible de cartographier la distribution de matières projetées dans la ligne de visée, appelée carte de masse, à partir de la mesure de la déformation d'un grand nombre de galaxies. Cependant, la reconstruction de ces cartes de masse est un problème inverse qui est mal posé, à cause de données manquantes et de bruits dans le signal mesuré, et nécessite donc de l'information à priori pour être résolu. L'objectif principal de cette thèse est d'utiliser les récentes avancées sur les modèles génératifs qui permettent de modéliser des distributions complexes dans des espaces de très haute dimension. Nous proposons en particulier une nouvelle méthode pour résoudre les problème inverses de hautes dimensions et mal posés en en caractérisant la distribution a posteriori complète. En apprenant la distribution a priori à partir de de simulations cosmologiques, nous pouvons reconstruire des cartes de masses de très hautes résolution, y compris aux petites échelles, tout en en quantifiant les incertitudes associées. L'objectif principal de cette thèse est d'utiliser les récentes avancées sur les modèles génératifs qui permettent de modéliser des distributions complexes dans des espaces de très haute dimension. Nous proposons en particulier une nouvelle méthode pour résoudre les problèmes inverses de haute dimension et mal posés en en caractérisant la distribution a posteriori complète. En apprenant la distribution a priori à partir de simulations cosmologiques, nous pouvons reconstruire des cartes de masse de très haute résolution, y compris aux petites échelles, tout en en quantifiant les incertitudes associées. De plus, nous présentons une nouvelle méthode de mesure du cisaillement gravitationnel en créant un modèle décrivant les données observées au niveau des pixels. Contrairement aux méthodes standards, cette méthode ne repose pas sur la mesure d'ellipticité des galaxies et introduit donc un nouveau paradigme pour la mesure du cisaillement gravitationnel. Nous proposons en particulier un modèle hiérarchique Bayésien, avec des composantes génératives apprises et des composantes analytiques physiques. Nous montrons que cela permet de résoudre le biais de modèles dans l'estimation du cisaillement gravitationnel
Gravitational lensing, which is the effect of the distortion of distant galaxy images through the influence of massive matter densities in the line of sight, holds significant promise in addressing questions about dark matter and dark energy. It reflects the distribution of total matter of the Universe and is therefore a promising probe for cosmological models. In the case where these distortions are small, we call it the weak gravitational lensing regime and a straightforward mapping exists between the matter distribution projected in the line of sight, called mass-map, and the measured lensing effect. However, when attempting to reconstruct matter mass-maps under conditions involving missing data and high noise corruption, this linear inverse problem becomes ill-posed and may lack a meaningful solution without additional prior knowledge. The main objective of this thesis is to employ recent breakthroughs in the generative modeling literature that enable the modeling of complex distribution in high-dimensional spaces. We propose in particular a novel methodology to solve high-dimensional ill-posed inverse problems, characterizing the full posterior distribution of the problem. By learning the high dimensional prior from cosmological simulations, we demonstrate that we are able to reconstruct high-resolution 2D mass-maps alongside uncertainty quantification. Additionally, we present a new method for cosmic shear estimation based on forward modeling of the observation at the pixel level. This represents a new paradigm for weak lensing measurement as it does not rely on galaxy ellipticities anymore. In particular, we propose to build a hybrid generative and physical hierarchical Bayesian model and demonstrate that we can remove the source of model bias in the estimation of the cosmic shear

APA, Harvard, Vancouver, ISO, and other styles

40

Cumin, Julien. "Reconnaissance et prédiction d'activités dans la maison connectée." Thesis, Université Grenoble Alpes (ComUE), 2018. http://www.theses.fr/2018GREAM071/document.

Full text

Abstract:

Comprendre le contexte ambiant d'une maison est essentiel pour pouvoir proposer à ses occupants des services adaptés à leurs situations de vie, et qui répondent donc à leurs besoins. Un exemple de tel service est un assistant de communication, qui pourrait par exemple informer les personnes hors de la maison à propos de la disponibilité des habitants de celle-ci pour communiquer. Pour implémenter un tel service, il est en effet nécessaire que la maison prenne en compte les situations de ses occupants, pour ensuite en déduire leurs disponibilités.Dans cette thèse, nous nous intéressons dans un premier temps à définir ce qu'est le contexte dans une maison. Nous défendons que l'activité des occupants est l'une des dimensions principales du contexte d'une maison, nécessaire à la mise en œuvre de systèmes sensibles au contexte. C'est pourquoi nous étudions dans un second temps le problème de la reconnaissance automatique d'activités humaines, à partir des données de capteurs ambiants installés dans la maison. Nous proposons une nouvelle approche d'apprentissage automatique supervisé basée sur les lieux de la maison, qui améliore à la fois les performances de reconnaissance correcte d'activités ainsi que les temps de calcul nécessaires, par rapport aux approches de l'état de l'art.Par ailleurs, ces services sensibles au contexte auront probablement besoin de pouvoir anticiper les situations futures de la maison. En particulier, ils doivent pouvoir anticiper les activités futures réalisées par les occupants. C'est pourquoi nous proposons un nouveau modèle de prédiction supervisée d'activités, basé sur des modèles de l'état de l'art. Nous introduisons un certain nombre d'extensions à ce modèle afin d'améliorer les performances de prédiction, en se basant sur des spécificités des environnements de maisons instrumentées.Enfin, nous nous intéressons à l'estimation de la disponibilité des occupants à communiquer, afin d'illustrer la faisabilité de notre exemple de service d'assistance à la communication. Nous suggérons que la disponibilité peut être inférée à partir des dimensions primaires du contexte, comme le lieu et l'activité (que l'on peut reconnaitre et prédire à l'aide de nos contributions précédentes), mais en prenant également en compte le correspondant initiant la communication, ainsi que la modalité utilisée. Nous discutons de l'impact de l'étape de reconnaissance d'activités sur l'estimation de la disponibilité.Nous évaluons expérimentalement ces contributions sur différents jeux de données de l'état de l'art, ainsi que sur un nouveau jeu de données d'activités et de disponibilités dans la maison que nous avons spécifiquement construit durant cette thèse : Orange4Home. À travers nos contributions à ces trois problèmes, nous démontrons l'implémentabilité d'un service d'assistance à la communication, pouvant conseiller des correspondants extérieurs sur les futures disponibilités des occupants de la maison. De manière plus générale, nous montrons comment des dimensions secondaires du contexte, comme la disponibilité, peuvent être inférées d'autres dimensions du contexte, comme l'activité. Il est donc essentiel pour qu'une maison devienne sensible au contexte, que celle-ci dispose de systèmes de reconnaissance et de prédiction d'activités les plus fiables possibles
Understanding the context of a home is essential in order to provide services to occupants that fit their situations and thus fulfil their needs. One example of service that such a context-aware smart home could provide is that of a communication assistant, which can for example advise correspondents outside the home on the availability for communication of occupants. In order to implement such a service, it is indeed required that the home understands the situations of occupants, in order to derive their availability.In this thesis, we first propose a definition of context in homes. We argue that one of the primary context dimensions necessary for a system to be context-aware is the activity of occupants. As such, we then study the problem of recognizing activities, from ambient smart home sensors. We propose a new supervised place-based approach which both improves activity recognition accuracy as well as computing times compared to standard approaches.Smart home services, such as our communication assistance example, may often need to anticipate future situations. In particular, they need to anticipate future activities of occupants. Therefore, we design a new supervised activity prediction model, based on previous state-of-the-art work. We propose a number of extensions to improve prediction accuracy based on the specificities of smart home environments.Finally, we study the problem of inferring the availability of occupants for communication, in order to illustrate the feasibility of our communication assistant example. We argue that availability can be inferred from primary context dimensions such as place and activity (which can be recognized or predicted using our previous contributions), and by taking into consideration the correspondent initiating the communication as well as the modality of communication used. We discuss the impact of the activity recognition step on availability inference.We evaluate those contributions on various state-of-the-art datasets, as well as on a new dataset of activities and availabilities in homes which we constructed specifically for the purposes of this thesis: Orange4Home. Through our contributions to these 3 problems, we demonstrate the way in which an example context-aware communication assistance service can be implemented, which can advise on future availability for communication of occupants. More generally, we show how secondary context dimensions such as availability can be inferred from other context dimensions, in particular from activity. Highly accurate activity recognition and prediction are thus mandatory for a smart home to achieve context awareness

APA, Harvard, Vancouver, ISO, and other styles

41

Ndour, Cheikh. "Modélisation statistique de la mortalité maternelle et néonatale pour l'aide à la planification et à la gestion des services de santé en Afrique Sub-Saharienne." Phd thesis, Université de Pau et des Pays de l'Adour, 2014. http://tel.archives-ouvertes.fr/tel-00996996.

Full text

Abstract:

L'objectif de cette thèse est de proposer une méthodologie statistique permettant de formuler une règle de classement capable de surmonter les difficultés qui se présentent dans le traitement des données lorsque la distribution a priori de la variable réponse est déséquilibrée. Notre proposition est construite autour d'un ensemble particulier de règles d'association appelées "class association rules". Dans le chapitre II, nous avons exposé les bases théoriques qui sous-tendent la méthode. Nous avons utilisé les indicateurs de performance usuels existant dans la littérature pour évaluer un classifieur. A chaque règle "class association rule" est associée un classifieur faible engendré par l'antécédent de la règle que nous appelons profils. L'idée de la méthode est alors de combiner un nombre réduit de classifieurs faibles pour constituer une règle de classement performante. Dans le chapitre III, nous avons développé les différentes étapes de la procédure d'apprentissage statistique lorsque les observations sont indépendantes et identiquement distribuées. On distingue trois grandes étapes: (1) une étape de génération d'un ensemble initial de profils, (2) une étape d'élagage de profils redondants et (3) une étape de sélection d'un ensemble optimal de profils. Pour la première étape, nous avons utilisé l'algorithme "apriori" reconnu comme l'un des algorithmes de base pour l'exploration des règles d'association. Pour la deuxième étape, nous avons proposé un test stochastique. Et pour la dernière étape un test asymptotique est effectué sur le rapport des valeurs prédictives positives des classifieurs lorsque les profils générateurs respectifs sont emboîtés. Il en résulte un ensemble réduit et optimal de profils dont la combinaison produit une règle de classement performante. Dans le chapitre IV, nous avons proposé une extension de la méthode d'apprentissage statistique lorsque les observations ne sont pas identiquement distribuées. Il s'agit précisément d'adapter la procédure de sélection de l'ensemble optimal lorsque les données ne sont pas identiquement distribuées. L'idée générale consiste à faire une estimation bayésienne de toutes les valeurs prédictives positives des classifieurs faibles. Par la suite, à l'aide du facteur de Bayes, on effectue un test d'hypothèse sur le rapport des valeurs prédictives positives lorsque les profils sont emboîtés. Dans le chapitre V, nous avons appliqué la méthodologie mise en place dans les chapitres précédents aux données du projet QUARITE concernant la mortalité maternelle au Sénégal et au Mali.

APA, Harvard, Vancouver, ISO, and other styles

42

Kiendrébéogo, Ramodgwendé Weizmann. "Développements pour l'observation et la caractérisation des sources multi-messagers d'ondes gravitationnelles lors des campagnes d'observation LIGO-Virgo-KAGRA." Electronic Thesis or Diss., Université Côte d'Azur, 2024. http://www.theses.fr/2024COAZ5034.

Full text

Abstract:

Les campagnes d'observation d'Advanced LIGO/Virgo ont révélé la physique complexe des fusions d'étoiles à neutrons binaires (BNS) et de trous noirs binaires. En 2017, la découverte simultanée des ondes gravitationnelles (OG) et des contreparties électromagnétiques (EM) d'une fusion de BNS a offert une vision détaillée de ce phénomène, avec de nombreux résultats en astrophysique, notamment sur la matière ultra-dense. Cependant, depuis lors, aucune nouvelle détection multi-messagers n'a été réalisée. Cela est dû aux défis des alertes rapides des OG, de la réactivité des télescopes et du traitement des données pour identifier les contreparties EM.L'identification des contreparties EM permet des études scientifiques majeures, comme les contraintes sur l'équation d'état des étoiles à neutrons, la mesure du taux d'expansion de l'univers et la nucléosynthèse des éléments lourds lors d'une kilonova. Pour un suivi rapide, il est essentiel de réduire la zone de localisation du ciel. Les sensibilités variées des détecteurs montrent la complexité du suivi des OG, notamment lors des campagnes LIGO/Virgo/KAGRA (LVK). De nombreux signaux d'OG issus de fusions de binaires compactes sont masqués par le bruit des détecteurs et peuvent être détectés si ce bruit est réduit. Pour maximiser les résultats scientifiques des détecteurs d'OG de LVK, il est crucial de diminuer ce bruit, causé par le bruit environnemental, les artefacts instrumentaux et des bruits plus fondamentaux et irréductibles. L'identification d'événements supplémentaires dépend de notre capacité à réduire ce bruit. Le bruit et la sensibilité influencent directement notre capacité à extraire des informations des signaux d'OG.Pour atténuer ces effets, j'ai développé de nouveaux outils et techniques, tout en améliorant plusieurs anciens. Ces outils d'analyse incluent : i) l'amélioration des capacités du Nuclear Multi-messenger Astronomy (NMMA), une bibliothèque Python pour sonder la physique nucléaire et la cosmologie par une analyse multi-messagers ; ii) la mise à jour et la configuration de télescopes comme le Zwicky Transient Facility (ZTF), le Vera C. Rubin Observatory's Legacy Survey of Space and Time (LSST) et l'Ultraviolet Transient Astronomy Satellite (ULTRASAT) au sein du Gravitational-wave Electromagnetic Optimization (gwemopt), un outil de simulation de détection de contrepartie EM, à travers un télescope et des informations sur la carte du ciel de l'événement ; iii) l'injection d'une nouvelle distribution, PBD/GWTC-3, dans Ligo.Skymap pour les scénarios d'observation, définissant toutes les populations de coalescence de binaires compacts ; iv) le développement du NMMA-Skyportal, une pipeline intégrant les alertes du ZTF, l'outil Skyportal, une plate-forme collaborative pour l'astronomie temporelle, et NMMA pour discriminer la nature des courbes de lumière en temps réel.De plus, ce travail fournit des projections aux astronomes intéressés par les données produites par les détecteurs d'OG et des contraintes attendues sur le taux d'expansion de l'univers basées sur les données à venir. Ces résultats sont utiles pour ceux qui analysent les données d'OG et recherchent des contreparties EM aux fusions d'étoiles à neutrons. Enfin, pour répondre à la problématique des "signaux astrophysiques noyés" sous le seuil du bruit, j'ai appliqué l'algorithme DeepClean, un réseau de neurones convolutif unidimensionnel, pour estimer, analyser et soustraire les bruits stationnaires et non-stationnaires dans le détecteur Virgo. Une première pour Virgo. En plus de préserver l'intégrité du signal astrophysique, l'algorithme améliore le rapport signal sur bruit du détecteur
The Advanced LIGO/Virgo observation campaigns have revealed the rich and diverse physics of binary neutron star (BNS) and binary black hole mergers. In 2017, the simultaneous discovery of GWs and electromagnetic (EM) counterparts from a BNS merger provided an exceptionally detailed view of this extreme phenomenon, yielding numerous results in both astrophysics and physics, particularly on the behavior of ultra-dense matter. However, despite enormous efforts, no new multi-messenger detections have been made since. This is due to the formidable observational challenge posed by the rapid and precise alerts of GWs, the immediate reactivity of a network of telescopes, and the online data processing required for the identification of EM counterparts.The identification of EM counterparts enables numerous high-priority scientific studies, such as constraints on the equation of state of neutron stars, the measurement of the universe's expansion rate, and the r-process nucleosynthesis of heavy elements produced during a kilonova. For a rapid follow-up of possible counterparts to these events, we must reduce the sky-localization area where the event occurs. However, the significantly different sensitivities of the detectors demonstrate how challenging gravitational-wave (GW) follow-up can be. This is the case for the fourth (ongoing) and fifth LIGO/Virgo/KAGRA (LVK) observation campaigns. Many GW signals from compact binary mergers are hidden by detector noise and can be detected if the noise is sufficiently reduced. To maximize the scientific outcome of the LVK GW detectors, such as the detectability of pre-merger signals, noise must be significantly reduced. Several factors contribute to this noise, undermining the detector's sensitivity, including environmental noise, instrumental artifacts, and some more fundamental and irreducible noises. The identification of additional sub-threshold events is therefore linked to our ability to reduce noise in the instruments. Noise and sensitivity directly influence our capacity to extract information from GW signals.To mitigate these effects, I initially developed new tools and techniques while also making several improvements to existing ones. These analysis tools include, among others, i) enhancing the capabilities of the Nuclear Multi-messenger Astronomy (NMMA), a Python library for probing nuclear physics and cosmology with multi-messenger analysis; ii) updating and configuring telescopes such as the Zwicky Transient Facility (ZTF), the Vera C. Rubin Observatory's Legacy Survey of Space and Time (LSST), and the Ultraviolet Transient Astronomy Satellite (ULTRASAT) within Gravitational-wave Electromagnetic Optimization (gwemopt), a tool for simulating detections using a telescope and event sky map information; iii) injecting a new distribution, PBD/GWTC-3, into Ligo.Skymap for "observing scenarios". This new distribution can define all populations of compact binary coalescences with a single law; iv) developing NMMA-Skyportal, a pipeline that integrates ZTF alerts, the Skyportal tool, a collaborative platform for time-domain astronomy, and NMMA to discriminate the nature of light curves in real-time.Moreover, this work provides projections for astronomers interested in data produced by GW detectors, as well as expected constraints on the universe's expansion rate based on forthcoming data. These results are useful to those analyzing GW data and those seeking EM counterparts to neutron star mergers. Finally, to address the problem of "astrophysical signals bathing" below the noise threshold, I applied the DeepClean algorithm, a one-dimensional convolutional neural network, to estimate, analyze and subtract stationary and non-stationary noises in the Virgo detector. A first for the Virgo detector. In addition to preserving the integrity of the astrophysical signal, the algorithm improves the detector's signal-to-noise ratio

APA, Harvard, Vancouver, ISO, and other styles

43

Deregnaucourt, Thomas. "Prédiction spatio-temporelle de surfaces issues de l'imagerie en utilisant des processus stochastiques." Thesis, Université Clermont Auvergne‎ (2017-2020), 2019. http://www.theses.fr/2019CLFAC088.

Full text

Abstract:

La prédiction de surface est désormais une problématique importante dans de multiples domaines, tels que la vision par ordinateur, la simulation d'avatars en cinématographie ou dans les jeux vidéo, etc. Une surface pouvant être statique ou dynamique, c'est-à-dire évoluant dans le temps, le problème peut être séparé en deux catégories : un problème de prédiction spatial et un problème de prédiction spatio-temporel. Afin de proposer une nouvelle approche à chacune de ces problématiques, ce travail de thèse a été séparé en deux parties.Nous avons d'abord cherché à prédire une surface statique, qui est supposée cylindrique, en la connaissant partiellement sous la forme de courbes. L'approche que nous avons proposée consiste à déformer un cylindre sur les courbes connues afin de reconstruire la surface d'intérêt. Tout d'abord, une correspondance entre les courbes connues et le cylindre est générée à l'aide d'outils d'analyse de forme. Une fois cette étape effectuée, une interpolation du champ de déformation, qui a été supposé gaussien, a été estimée en se basant sur le maximum de vraisemblance d'une part, et par inférence bayésienne d'autre part. La méthodologie a par la suite été appliquée à des données réelles provenant de deux domaines de l'imagerie : l'imagerie médicale et l'infographie. Les divers résultats obtenus montrent que la méthode proposée surpasse les méthodes existantes dans la littérature, avec de meilleurs résultats en utilisant l'inférence bayésienne.Dans un second temps, nous nous sommes intéressés à la prédiction spatio-temporelle de surfaces dynamiques. L'objectif était de prédire entièrement une surface dynamique à partir de sa surface initiale. La prédiction nécessitant une phase d'apprentissage à partir d'observations connues, nous avons tout d'abord développé un outil d'analyse spatio-temporel de surfaces. Cette analyse se base sur des outils d'analyse de forme, et permet un meilleur apprentissage pour la prédiction. Une fois cette étape préliminaire effectuée, nous avons estimé la déformation temporelle de la surface dynamique à prédire. Plus précisément, une adaptation, applicable sur l'espace des surfaces, des estimateurs couramment utilisés en statistique a été utilisée. En appliquant la déformation estimée sur la surface initiale, une estimation de la surface dynamique a ainsi été créée. Cette méthodologie a par la suite été utilisée pour prédire des expressions 4D du visage, ce qui permet de générer des expressions visuellement convaincantes
The prediction of a surface is now an important problem due to its use in multiple domains, such as computer vision, the simulation of avatars for cinematography or video games, etc. Since a surface can be static or dynamic, i.e. evolving with time, this problem can be separated in two classes: a spatial prediction problem and a spatio-temporal one. In order to propose a new approach for each of these problems, this thesis works have been separated in two parts.First of all, we have searched to predict a static surface, which is supposed cylindrical, knowing it partially from curves. The proposed approach consisted in deforming a cylinder on the known curves in order to reconstruct the surface of interest. First, a correspondence between known curves and the cylinder is generated with the help of shape analysis tools. Once this step done, an interpolation of the deformation field, which is supposed Gaussian, have been estimated using maximum likelihood and Bayesian inference. This methodology has then been applied to real data from two domains of imaging: medical imaging and infography. The obtained results show that the proposed approach exceeds the existing methods in the literature, with better results using Bayesian inference.In a second hand, we have been interested in the spatio-temporal prediction of dynamic surfaces. The objective was to predict a dynamic surface based on its initial surface. Since the prediction needs to learn on known observations, we first have developed a spatio-temporal surface analysis tool. This analysis is based on shape analysis tools, and allows a better learning. Once this preliminary step done, we have estimated the temporal deformation of the dynamic surface of interest. More precisely, an adaptation, with is usable on the space of surfaces, of usual statistical estimators has been used. Using this estimated deformation on the initial surface, an estimation of the dynamic surface has been created. This process has then been applied for predicting 4D expressions of faces, which allow us to generate visually convincing expressions

APA, Harvard, Vancouver, ISO, and other styles

44

Gerchinovitz, Sébastien. "Prédiction de suites individuelles et cadre statistique classique : étude de quelques liens autour de la régression parcimonieuse et des techniques d'agrégation." Phd thesis, Université Paris Sud - Paris XI, 2011. http://tel.archives-ouvertes.fr/tel-00653550.

Full text

Abstract:

Cette thèse s'inscrit dans le domaine de l'apprentissage statistique. Le cadre principal est celui de la prévision de suites déterministes arbitraires (ou suites individuelles), qui recouvre des problèmes d'apprentissage séquentiel où l'on ne peut ou ne veut pas faire d'hypothèses de stochasticité sur la suite des données à prévoir. Cela conduit à des méthodes très robustes. Dans ces travaux, on étudie quelques liens étroits entre la théorie de la prévision de suites individuelles et le cadre statistique classique, notamment le modèle de régression avec design aléatoire ou fixe, où les données sont modélisées de façon stochastique. Les apports entre ces deux cadres sont mutuels : certaines méthodes statistiques peuvent être adaptées au cadre séquentiel pour bénéficier de garanties déterministes ; réciproquement, des techniques de suites individuelles permettent de calibrer automatiquement des méthodes statistiques pour obtenir des bornes adaptatives en la variance du bruit. On étudie de tels liens sur plusieurs problèmes voisins : la régression linéaire séquentielle parcimonieuse en grande dimension (avec application au cadre stochastique), la régression linéaire séquentielle sur des boules L1, et l'agrégation de modèles non linéaires dans un cadre de sélection de modèles (régression avec design fixe). Enfin, des techniques stochastiques sont utilisées et développées pour déterminer les vitesses minimax de divers critères de performance séquentielle (regrets interne et swap notamment) en environnement déterministe ou stochastique.

APA, Harvard, Vancouver, ISO, and other styles

45

Frichot, Eric. "Modèles à facteurs latents pour les études d'association écologique en génétique des populations." Thesis, Grenoble, 2014. http://www.theses.fr/2014GRENS018/document.

Full text

Abstract:

Nous introduisons un ensemble de modèles à facteurs latents dédié à la génomique du paysage et aux tests d'associations écologiques. Cela comprend des méthodes statistiques pour corriger des effets d'autocorrélation spatiale sur les cartes de composantes principales en génétique des populations (spFA), des méthodes pour estimer rapidement et efficacement les coefficients de métissage individuel à partir de matrices de génotypes de grande taille et évaluer le nombre de populations ancestrales (sNMF) et des méthodes pour identifier les polymorphismes génétiques qui montrent de fortes corrélations avec des gradients environnementaux ou avec des variables utilisées comme des indicateurs pour des pressions écologiques (LFMM). Nous avons aussi développé un ensemble de logiciels libres associés à ces méthodes, basés sur des programmes optimisés en C qui peuvent passer à l'échelle avec la dimension de très grand jeu de données, afin d'effectuer des analyses de structures de population et des cribles génomiques pour l'adaptation locale
We introduce a set of latent factor models dedicated to landscape genomics and ecological association tests. It includes statistical methods for correcting principal component maps for effects of spatial autocorrelation (spFA); methods for estimating ancestry coefficients from large genotypic matrices and evaluating the number of ancestral populations (sNMF); and methods for identifying genetic polymorphisms that exhibit high correlation with some environmental gradient or with the variables used as proxies for ecological pressures (LFMM). We also developed a set of open source softwares associated with the methods, based on optimized C programs that can scale with the dimension of very large data sets, to run analyses of population structure and genome scans for local adaptation

APA, Harvard, Vancouver, ISO, and other styles

46

Willot, Hénoïk. "Certified explanations of robust models." Electronic Thesis or Diss., Compiègne, 2024. http://www.theses.fr/2024COMP2812.

Full text

Abstract:

Avec l'utilisation croissante des systèmes d'aide à la décision, automatisés ou semi-automatisés, en intelligence artificielle se crée le besoin de les rendre fiables et transparents pour un utilisateur final. Tandis que le rôle des méthodes d'explicabilité est généralement d'augmenter la transparence, la fiabilité peut être obtenue en fournissant des explications certifiées, dans le sens qu'elles sont garanties d'être vraies, et en considérant des modèles robustes qui peuvent s'abstenir quand l'information disponible est trop insuffisante, plutôt que de forcer une décision dans l'unique but d'éviter l'indécision. Ce dernier aspect est communément appelé "inférence sceptique". Ce travail s'inscrit dans ces considérations, en étudiant deux cas : - Le premier se focalise sur un modèle classique de décision utilisé pour intégrer de l'équité, les Sommes Pondérées Ordonnées (Ordered Weighted Averaging -- OWA) à poids décroissants. Notre principale contribution est de caractériser d'un point de vue axiomatique un ensemble convexe de ces règles, et de proposer à partir de cette caractérisation un schéma explicatif correct et complet des décisions prises qui peuvent être obtenues efficacement à partir d'heuristiques. Ce faisant, nous proposons aussi un cadre unifiant les dominances de Lorenz restreintes et généralisées, deux critères qualitatifs, et les OWA décroissants précis. - Le second se focalise sur le cas où la règle de décision est un modèle de classification obtenu à partir d'une procédure d'apprentissage sous forme d'un ensemble convexe de probabilités. Nous étudions et traitons le problème de fournir des impliquants premiers comme explication dans ce contexte, où en plus d'expliquer les préférences d'une classe sur une autre, nous avons aussi à traiter le cas où deux classes sont considérées incomparables. Nous décrivons ces problèmes de manière générale avant de les étudier en détail pour la version robuste du classifieur de Bayes Naïf
With the advent of automated or semi-automated decision systems in artificial intelligence comes the need of making them more reliable and transparent for an end-user. While the role of explainable methods is in general to increase transparency, reliability can be achieved by providing certified explanations, in the sense that those are guaranteed to be true, and by considering robust models that can abstain when having insufficient information, rather than enforcing precision for the mere sake of avoiding indecision. This last aspect is commonly referred to as skeptical inference. This work participates to this effort, by considering two cases: - The first one considers classical decision rules used to enforce fairness, which are the Ordered Weighted Averaging (OWA) with decreasing weights. Our main contribution is to fully characterise from an axiomatic perspective convex sets of such rules, and to provide together with this sound and complete explanation schemes that can be efficiently obtained through heuristics. Doing so, we also provide a unifying framework between the restricted and generalized Lorenz dominance, two qualitative criteria, and precise decreasing OWA. - The second one considers that our decision rule is a classification model resulting from a learning procedure, where the resulting model is a set of probabilities. We study and discuss the problem of providing prime implicant as explanations in such a case, where in addition to explaining clear preferences of one class over the other, we also have to treat the problem of declaring two classes as being incomparable. We describe the corresponding problems in general ways, before studying in more details the robust counter-part of the Naive Bayes Classifier

APA, Harvard, Vancouver, ISO, and other styles

47

Khomh, Foutse. "Patterns and quality of object-oriented software systems." Thèse, 2010. http://hdl.handle.net/1866/4601.

Full text

Abstract:

Lors de ces dix dernières années, le coût de la maintenance des systèmes orientés objets s'est accru jusqu' à compter pour plus de 70% du coût total des systèmes. Cette situation est due à plusieurs facteurs, parmi lesquels les plus importants sont: l'imprécision des spécifications des utilisateurs, l'environnement d'exécution changeant rapidement et la mauvaise qualité interne des systèmes. Parmi tous ces facteurs, le seul sur lequel nous ayons un réel contrôle est la qualité interne des systèmes. De nombreux modèles de qualité ont été proposés dans la littérature pour contribuer à contrôler la qualité. Cependant, la plupart de ces modèles utilisent des métriques de classes (nombre de méthodes d'une classe par exemple) ou des métriques de relations entre classes (couplage entre deux classes par exemple) pour mesurer les attributs internes des systèmes. Pourtant, la qualité des systèmes par objets ne dépend pas uniquement de la structure de leurs classes et que mesurent les métriques, mais aussi de la façon dont celles-ci sont organisées, c'est-à-dire de leur conception, qui se manifeste généralement à travers les patrons de conception et les anti-patrons. Dans cette thèse nous proposons la méthode DEQUALITE, qui permet de construire systématiquement des modèles de qualité prenant en compte non seulement les attributs internes des systèmes (grâce aux métriques), mais aussi leur conception (grâce aux patrons de conception et anti-patrons). Cette méthode utilise une approche par apprentissage basée sur les réseaux bayésiens et s'appuie sur les résultats d'une série d'expériences portant sur l'évaluation de l'impact des patrons de conception et des anti-patrons sur la qualité des systèmes. Ces expériences réalisées sur 9 grands systèmes libres orientés objet nous permettent de formuler les conclusions suivantes: • Contre l'intuition, les patrons de conception n'améliorent pas toujours la qualité des systèmes; les implantations très couplées de patrons de conception par exemple affectent la structure des classes et ont un impact négatif sur leur propension aux changements et aux fautes. • Les classes participantes dans des anti-atrons sont beaucoup plus susceptibles de changer et d'être impliquées dans des corrections de fautes que les autres classes d'un système. • Un pourcentage non négligeable de classes sont impliquées simultanément dans des patrons de conception et dans des anti-patrons. Les patrons de conception ont un effet positif en ce sens qu'ils atténuent les anti-patrons. Nous appliquons et validons notre méthode sur trois systèmes libres orientés objet afin de démontrer l'apport de la conception des systèmes dans l'évaluation de la qualité.
Maintenance costs during the past decades have reached more than 70% of the overall costs of object-oriented systems, because of many factors, such as changing software environments, changing users' requirements, and the overall quality of systems. One factor on which we have a control is the quality of systems. Many object-oriented software quality models have been introduced in the literature to help assess and control quality. However, these models usually use metrics of classes (such as number of methods) or of relationships between classes (for example coupling) to measure internal attributes of systems. Yet, the quality of object-oriented systems does not depend on classes' metrics solely: it also depends on the organisation of classes, i.e. the system design that concretely manifests itself through design styles, such as design patterns and antipatterns. In this dissertation, we propose the method DEQUALITE to systematically build quality models that take into account the internal attributes of the systems (through metrics) but also their design (through design patterns and antipatterns). This method uses a machine learning approach based on Bayesian Belief Networks and builds on the results of a series of experiments aimed at evaluating the impact of design patterns and antipatterns on the quality of systems. These experiments, performed on 9 large object-oriented open source systems enable us to draw the following conclusions: • Counter-intuitively, design patterns do not always improve the quality of systems; tangled implementations of design patterns for example significantly affect the structure of classes and negatively impact their change- and fault-proneness. • Classes participating in antipatterns are significantly more likely to be subject to changes and to be involved in fault-fixing changes than other classes. • A non negligible percentage of classes participate in co-occurrences of antipatterns and design patterns in systems. On these classes, design patterns have a positive effect in mitigating antipatterns. We apply and validate our method on three open-source object-oriented systems to demonstrate the contribution of the design of system in quality assessment.

APA, Harvard, Vancouver, ISO, and other styles

Dissertations / Theses on the topic 'Machine Learning Bayésien'

Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles