Academic literature on the topic 'Apprentissage profond Bayésien'

Au cours de la dernière décennie, l'apprentissage profond a atteint un niveau de maturité suffisant pour devenir le choix privilégié pour résoudre les problèmes liés à l'apprentissage automatique ou pour aider les processus de prise de décision.En même temps, l'apprentissage profond n'a généralement pas la capacité de quantifier avec précision l'incertitude de ses prédictions, ce qui rend ces modèles moins adaptés aux applications critiques en matière de risque.Une solution possible pour résoudre ce problème est d'utiliser une formulation bayésienne ; cependant, bien que cette solution soit élégante, elle est analytiquement difficile à mettre en œuvre et nécessite des approximations. Malgré les énormes progrès réalisés au cours des dernières années, il reste encore beaucoup de chemin à parcourir pour rendre ces approches largement applicables. Dans cette thèse, nous adressons certains des défis de l'apprentissage profond bayésien moderne, en proposant et en étudiant des solutions pour améliorer la scalabilité et l'inférence de ces modèles.La première partie de la thèse est consacrée aux modèles profonds où l'inférence est effectuée en utilisant l'inférence variationnelle (VI).Plus précisément, nous étudions le rôle de l'initialisation des paramètres variationnels et nous montrons comment des stratégies d'initialisation prudentes peuvent permettre à l'inférence variationnelle de fournir de bonnes performances même dans des modèles à grande échelle.Dans cette partie de la thèse, nous étudions également l'effet de sur-régularisation de l'objectif variationnel sur les modèles sur-paramétrés.Pour résoudre ce problème, nous proposons une nouvelle paramétrisation basée sur la transformée de Walsh-Hadamard ; non seulement cela résout l'effet de sur-régularisation de l'objectif variationnel mais cela nous permet également de modéliser des postérités non factorisées tout en gardant la complexité temporelle et spatiale sous contrôle.La deuxième partie de la thèse est consacrée à une étude sur le rôle des prieurs.Bien qu'étant un élément essentiel de la règle de Bayes, il est généralement difficile de choisir de bonnes prieurs pour les modèles d'apprentissage profond.Pour cette raison, nous proposons deux stratégies différentes basées (i) sur l'interprétation fonctionnelle des réseaux de neurones et (ii) sur une procédure évolutive pour effectuer une sélection de modèle sur les hyper-paramètres antérieurs, semblable à la maximisation de la vraisemblance marginale.Pour conclure cette partie, nous analysons un autre type de modèle bayésien (processus Gaussien) et nous étudions l'effet de l'application d'un a priori sur tous les hyperparamètres de ces modèles, y compris les variables supplémentaires requises par les approximations du inducing points.Nous montrons également comment il est possible d'inférer des a posteriori de forme libre sur ces variables, qui, par convention, auraient été autrement estimées par point
Throughout the last decade, deep learning has reached a sufficient level of maturity to become the preferred choice to solve machine learning-related problems or to aid decision making processes.At the same time, deep learning is generally not equipped with the ability to accurately quantify the uncertainty of its predictions, thus making these models less suitable for risk-critical applications.A possible solution to address this problem is to employ a Bayesian formulation; however, while this offers an elegant treatment, it is analytically intractable and it requires approximations.Despite the huge advancements in the last few years, there is still a long way to make these approaches widely applicable.In this thesis, we address some of the challenges for modern Bayesian deep learning, by proposing and studying solutions to improve scalability and inference of these models.The first part of the thesis is dedicated to deep models where inference is carried out using variational inference (VI).Specifically, we study the role of initialization of the variational parameters and we show how careful initialization strategies can make VI deliver good performance even in large scale models.In this part of the thesis we also study the over-regularization effect of the variational objective on over-parametrized models.To tackle this problem, we propose an novel parameterization based on the Walsh-Hadamard transform; not only this solves the over-regularization effect of VI but it also allows us to model non-factorized posteriors while keeping time and space complexity under control.The second part of the thesis is dedicated to a study on the role of priors.While being an essential building block of Bayes' rule, picking good priors for deep learning models is generally hard.For this reason, we propose two different strategies based (i) on the functional interpretation of neural networks and (ii) on a scalable procedure to perform model selection on the prior hyper-parameters, akin to maximization of the marginal likelihood.To conclude this part, we analyze a different kind of Bayesian model (Gaussian process) and we study the effect of placing a prior on all the hyper-parameters of these models, including the additional variables required by the inducing-point approximations.We also show how it is possible to infer free-form posteriors on these variables, which conventionally would have been otherwise point-estimated

Dans cette thèse, nous abordons le problème de la confiance que nous pouvons avoir en des systèmes prédictifs de type réseaux profonds selon deux directions de recherche complémentaires. Le premier axe s'intéresse à la capacité d'une IA à estimer de la façon la plus juste possible son degré d'incertitude liée à sa prise de décision. Le second axe quant à lui se concentre sur l'explicabilité de ces systèmes, c'est-à-dire leur capacité à convaincre l'utilisateur humain du bien fondé de ses prédictions. Le problème de l'estimation des incertitudes est traité à l'aide de l'apprentissage profond bayésien. Les réseaux de neurones bayésiens admettent une distribution de probabilité sur leurs paramètres, qui leur permettent d'estimer différents types d'incertitudes. Tout d'abord, l'incertitude aléatoire qui est liée aux données, mais également l'incertitude épistémique qui quantifie le manque de connaissance que le modèle possède sur la distribution des données. Plus précisément, cette thèse propose un modèle de réseau de neurones bayésien capable d'estimer ces incertitudes dans le cadre d'un problème de régression multivarié. Ce modèle est appliqué dans le contexte du projet ANR "AstroDeep'' à la régression des ellipticités complexes sur des images de galaxies. Ces dernières peuvent être corrompues par différences sources de perturbation et de bruit qui peuvent être estimées de manière fiable par les différentes incertitudes. L'exploitation de ces incertitudes est ensuite étendue à la cartographie de galaxies, puis au "coaching'' du réseau de neurones bayésien. Cette dernière technique consiste à générer des données de plus en plus complexes durant l'apprentissage du modèle afin d'en améliorer les performances. Le problème de l'explicabilité est quant à lui abordé via la recherche d'explications contrefactuelles. Ces explications consistent à identifier quels changements sur les paramètres en entrée auraient conduit à une prédiction différente. Notre contribution dans ce domaine s'appuie sur la génération d'explications contrefactuelles basées sur un autoencodeur variationnel (VAE) et sur un ensemble de prédicteurs entrainés sur l'espace latent généré par le VAE. Cette méthode est plus particulièrement adaptée aux données en haute dimension, telles que les images. Dans ce cas précis, nous parlerons d'explications contrefactuelles visuelles. En exploitant à la fois l'espace latent et l'ensemble de prédicteurs, nous arrivons à produire efficacement des explications contrefactuelles visuelles atteignant un degré de réalisme supérieur à plusieurs méthodes de l'état de l'art
In this thesis, we address the issue of trust in deep learning predictive systems in two complementary research directions. The first line of research focuses on the ability of AI to estimate its level of uncertainty in its decision-making as accurately as possible. The second line, on the other hand, focuses on the explainability of these systems, that is, their ability to convince human users of the soundness of their predictions.The problem of estimating the uncertainties is addressed from the perspective of Bayesian Deep Learning. Bayesian Neural Networks assume a probability distribution over their parameters, which allows them to estimate different types of uncertainties. First, aleatoric uncertainty which is related to the data, but also epistemic uncertainty which quantifies the lack of knowledge the model has on the data distribution. More specifically, this thesis proposes a Bayesian neural network can estimate these uncertainties in the context of a multivariate regression task. This model is applied to the regression of complex ellipticities on galaxy images as part of the ANR project "AstroDeep''. These images can be corrupted by different sources of perturbation and noise which can be reliably estimated by the different uncertainties. The exploitation of these uncertainties is then extended to galaxy mapping and then to "coaching'' the Bayesian neural network. This last technique consists of generating increasingly complex data during the model's training process to improve its performance.On the other hand, the problem of explainability is approached from the perspective of counterfactual explanations. These explanations consist of identifying what changes to the input parameters would have led to a different prediction. Our contribution in this field is based on the generation of counterfactual explanations relying on a variational autoencoder (VAE) and an ensemble of predictors trained on the latent space generated by the VAE. This method is particularly adapted to high-dimensional data, such as images. In this case, they are referred as counterfactual visual explanations. By exploiting both the latent space and the ensemble of classifiers, we can efficiently produce visual counterfactual explanations that reach a higher degree of realism than several state-of-the-art methods

La structure d'un réseau de neurones détermine dans une large mesure son coût d'entraînement et d'utilisation, ainsi que sa capacité à apprendre. Ces deux aspects sont habituellement en compétition : plus un réseau de neurones est grand, mieux il remplira la tâche qui lui a été assignée, mais plus son entraînement nécessitera des ressources en mémoire et en temps de calcul. L'automatisation de la recherche des structures de réseaux efficaces - de taille raisonnable, mais performantes dans l'accomplissement de la tâche - est donc une question très étudiée dans ce domaine. Dans ce contexte, des réseaux de neurones aux structures variées doivent être entraînés, ce qui nécessite un nouveau jeu d'hyperparamètres d'entraînement à chaque nouvelle structure testée. L'objectif de la thèse est de traiter différents aspects de ce problème. La première contribution est une méthode d'entraînement de réseau qui fonctionne dans un vaste périmètre de structures de réseaux et de tâches à accomplir, sans nécessité de régler le taux d'apprentissage. La deuxième contribution est une technique d'entraînement et d'élagage de réseau, conçue pour être insensible à la largeur initiale de celui-ci. La dernière contribution est principalement un théorème qui permet de traduire une pénalité d'entraînement empirique en a priori bayésien, théoriquement bien fondé. Ce travail résulte d'une recherche des propriétés que doivent théoriquement vérifier les algorithmes d'entraînement et d'élagage pour être valables sur un vaste ensemble de réseaux de neurones et d'objectifs
The structure of a neural network determines to a large extent its cost of training and use, as well as its ability to learn. These two aspects are usually in competition: the larger a neural network is, the better it will perform the task assigned to it, but the more it will require memory and computing time resources for training. Automating the search of efficient network structures -of reasonable size and performing well- is then a very studied question in this area. Within this context, neural networks with various structures are trained, which requires a new set of training hyperparameters for each new structure tested. The aim of the thesis is to address different aspects of this problem. The first contribution is a training method that operates within a large perimeter of network structures and tasks, without needing to adjust the learning rate. The second contribution is a network training and pruning technique, designed to be insensitive to the initial width of the network. The last contribution is mainly a theorem that makes possible to translate an empirical training penalty into a Bayesian prior, theoretically well founded. This work results from a search for properties that theoretically must be verified by training and pruning algorithms to be valid over a wide range of neural networks and objectives

L'importance renouvelée de la prise de décisions dans un contexte d'incertitude exige une réévaluation de techniques d'inférence bayésiennes appliquées aux grands jeux de données. Les processus gaussiens (GPs) sont une composante fondamentale de nombreux algorithmes probabilistes ; cependant, l'application des GPs est entravée par leur complexité de calcul cubique due aux opérations d'algèbre linéaire impliquées. Nous étudions d'abord l'efficacité de l'inférence exacte des GPs à budget de calcul donné en proposant un nouveau procédé qui applique le préconditionnement aux matrices noyaux. En prenant en considération le domaine du calcul numérique probabiliste, nous montrons également comment l'incertitude numérique introduite par ces techniques d'approximation doit être identifiée et évaluée de manière raisonnable. La deuxième grande contribution de cette thèse est d'établir et de renforcer le rôle des GPs, et leurs extension profondes (DGPs), en vu des exigences et contraintes posées par les grands jeux de données. Alors que les GPs et DGPs étaient autrefois jugés inaptes à rivaliser avec les techniques d'apprentissage profond les plus modernes, les modèles présentés dans cette thèse ont contribué à un changement de perspective sur leur capacités et leur limites
The renewed importance of decision making under uncertainty calls for a re-evaluation of Bayesian inference techniques targeting this goal in the big data regime. Gaussian processes (GPs) are a fundamental building block of many probabilistic kernel machines; however, the computational and storage complexity of GPs hinders their scaling to large modern datasets. The contributions presented in this thesis are two-fold. We first investigate the effectiveness of exact GP inference on a computational budget by proposing a novel scheme for accelerating regression and classification by way of preconditioning. In the spirit of probabilistic numerics, we also show how the numerical uncertainty introduced by approximate linear algebra should be adequately evaluated and incorporated. Bridging the gap between GPs and deep learning techniques remains a pertinent research goal, and the second broad contribution of this thesis is to establish and reinforce the role of GPs, and their deep counterparts (DGPs), in this setting. Whereas GPs and DGPs were once deemed unfit to compete with alternative state-of-the-art methods, we demonstrate how such models can also be adapted to the large-scale and complex tasks to which machine learning is now being applied

L'apprentissage profond a joué un rôle significatif dans l'établissement de l'apprentissage automatique comme un instrument indispensable dans plusieurs domaines. L'utilisation de l'apprentissage profond pose plusieurs défis. L'apprentissage profond nécessite beaucoup de puissance de calcul pour entraîner et appliquer des modèles. Un autre problème de l'apprentissage profond est son incapacité à estimer l'incertitude des prédictions, ce qui crée des obstacles dans les applications sensibles aux risques. Cette thèse présente quatre projets pour résoudre ces problèmes: Nous proposons une approche faisant appel à des unités de traitement optique pour réduire la consommation d'énergie et accélérer l'inférence des modèles profonds. Nous abordons le problème des estimations d'incertitude pour la classification avec l'inférence bayésienne. Nous introduisons des techniques pour les modèles profonds qui réduisent le coût de l'inférence bayésienne. Nous avons développé un nouveau cadre pour accélérer la régression des processus gaussiens. Nous proposons une technique pour imposer des priorités fonctionnelles significatives pour les modèles profonds à travers des processus gaussiens
Deep learning played a significant role in establishing machine learning as a must-have instrument in multiple areas. The use of deep learning poses several challenges. Deep learning requires a lot of computational power for training and applying models. Another problem with deep learning is its inability to estimate the uncertainty of the predictions, which creates obstacles in risk-sensitive applications. This thesis presents four projects to address these problems: We propose an approach making use of Optical Processing Units to reduce energy consumption and speed up the inference of deep models. We address the problem of uncertainty estimates for classification with Bayesian inference. We introduce techniques for deep models that decreases the cost of Bayesian inference. We developed a novel framework to accelerate Gaussian Process regression. We propose a technique to impose meaningful functional priors for deep models through Gaussian Processes

Au fur et à mesure que les relevés cosmologiques progressent et deviennent plus sophistiquées, ils fournissent des données de meilleure résolution, et de plus grand volume. La forêt Lyman-α est apparue comme une sonde puissante pour étudier les propriétés du milieu intergalactique (MIG) jusqu’à des redshift très élevés. L’analyse de ces données massives nécessite des simulations hydrodynamiques avancées capables d’atteindre une résolution comparable à celles des observations, ce qui exige des ordinateurs puissants et une quantité considérable de temps de calcul. Les développements récents dans le domaine de l’apprentissage automatique, notamment les réseaux de neurones, offrent de potentielles alternatives. Avec leur capacité à fonctionner comme des mécanismes d’ajustement universels, les réseaux de neurones gagnent du terrain dans diverses disciplines, y compris l’astrophysique et la cosmologie. Dans cette thèse de doctorat, nous explorons un cadre d’apprentissage automatique, plus précisément un réseau de neurones artificiels qui émule des simulations hydrodynamiques à partir de simulations N-corps de matière noire. Le principe fondamental de ce travail est basé sur l’approximation fluctuante de Gunn-Peterson (AFGP), un cadre couramment utilisé pour émuler la forêt Lyman-α à partir de la matière noire. Bien qu’utile pour la compréhension physique, l’AFGP ne parvient pas à prédire correctement l’absorption en négligeant la non-localité dans la construction du MIG. Au lieu de cela, notre méthode prend en compte la diversité du MIG, ce qui ne profite pas exclusivement à la forêt Lyman-α et s’étend à d’autres applications, tout en étant transparente dans son fonctionnement. Elle offre également une solution plus efficace pour générer des simulations, réduisant considérablement le temps de calcul par rapport aux simulations hydrodynamiques standard. Nous testons également la résilience du modèle en l’entraînant sur des données produites avec différentes hypothèses concernant la physique du MIG, via une méthode d’apprentissage par transfert. Nous comparons nos résultats à ceux d’autres méthodes existantes. Enfin, les simulateurs Lyman-α standards construisent généralement le volume d’observation en utilisant une seule époque des simulations cosmologiques. Cela implique un environnement astrophysique identique partout, ce qui ne reflète pas l’univers réel. Nous explorons la possibilité d’aller au-delà de cette limitation en prenant en compte dans notre émulateur des effets baryoniques variables le long de la ligne de visée. Bien que préliminaire, cette méthode pourrait servir à la construction de cônes de lumière cohérents. Afin de fournir des observables simulées plus réalistes, ce qui nous permettrait de mieux comprendre la nature du MIG et de contraindre les paramètres du modèle ΛCDM, nous envisageons d’utiliser des réseaux de neurones pour interpoler la rétroaction astrophysique à travers différentes cellules dans les simulations
As cosmological surveys advance and become more sophisticated, they provide data with increasing resolution and volume. The Lyman-α forest has emerged as a powerful probe to study the intergalactic medium (IGM) properties up to a very high redshift. Analysing this extensive data requires advanced hydrodynamical simulations capable of resolving the observational data, which demands robust hardware and a considerable amount of computational time. Recent developments in machine learning, particularly neural networks, offer potential solutions. With their ability to function as universal fitting mechanisms, neural networks are gaining traction in various disciplines, including astrophysics and cosmology. In this doctoral thesis, we explore a machine learning framework, specifically, an artificial neural network to emulate hydrodynamical simulations from N-body simulations of dark matter. The core principle of this work is based on the fluctuating Gunn-Peterson approximation (FGPA), a framework commonly used to emulate the Lyman-α forest from dark matter. While useful for physical understanding, the FGPA misses to properly predict the absorption by neglecting non-locality in the construction of the IGM. Instead, our method includes the diversity of the IGM while being interpretable, which does not exclusively benefit the Lyman-α forest and extends to other applications. It also provides a more efficient solution to generate simulations, significantly reducing time compared to standard hydrodynamical simulations. We also test its resilience and explore the potential of using this framework to generalise to various astrophysical hypotheses of the IGM physics using a transfer learning method. We discuss how the results relate to other existing methods. Finally, the Lyman-α simulator typically constructs the observational volume using a single timestep of the cosmological simulations. This implies an identical astrophysical environment everywhere, which does not reflect the real universe. We explore and experiment to go beyond this limitation with our emulator, accounting for variable baryonic effects along the line of sight. While this is still preliminary, it could become a framework for constructing consistent light-cones. We apply neural networks to interpolate astrophysical feedback across different cells in simulations to provide mock observables more realistic to the real universe, which would allow us to understand the nature of IGM better and to constrain the ΛCDM model

L'intégration des Convolutional Neural Networks (CNNs) et des GPs est une solution prometteuse pour améliorer le pouvoir de représentation des méthodes contemporaines. Dans notre première étude, nous utilisons des diagrammes de fiabilité pour montrer que les combinaisons actuelles de cnns et GPs sont mal calibrées, ce qui donne lieu à des prédictions trop confiantes. En utilisant des Random Feature et la technique d'inférence variationnelle, nous proposons une nouvelle solution correctement calibrée pour combinaisons des CNNs et des GPs. Nous proposons également une extension intuitive de cette solution, utilisant des Structured Random Features afin d'améliorer la précision du modèle et réduire la complexité des calculs. En termes de coût de calcul, la complexité du GPs exact est cubique en la taille de l'ensemble d'entrainement, ce qui le rend inutilisable lorsque celle-ci dépasse quelques milliers d'éléments. Afin de faciliter l'extension des GPs à des quantités massives de données, nous sélectionnons un petit ensemble de points actifs ou points d'induction par une distillation globale à partir de toutes les observations. Nous utilisons ensuite ces points actifs pour faire des prédictions. Plusieurs travaux similaires se basent sur l'étude Titsias et al en 2009 [5] and Hensman et al en 2015 [6]. Cependant, il est encore difficile de traiter le cas général, et il est toujours possible que le nombre de points actifs requis dépasse un budget de calcul donné. Dans notre deuxième étude, nous proposons Sparse-within-Sparse Gaussian Processes (SWSGP) qui permet l'approximation avec un grand nombre de points inducteurs sans cout de calcul prohibitif
Gaussian Processes (GPs) are an attractive specific way of doing non-parametric Bayesian modeling in a supervised learning problem. It is well-known that GPs are able to make inferences as well as predictive uncertainties with a firm mathematical background. However, GPs are often unfavorable by the practitioners due to their kernel's expressiveness and the computational requirements. Integration of (convolutional) neural networks and GPs are a promising solution to enhance the representational power. As our first contribution, we empirically show that these combinations are miscalibrated, which leads to over-confident predictions. We also propose a novel well-calibrated solution to merge neural structures and GPs by using random features and variational inference techniques. In addition, these frameworks can be intuitively extended to reduce the computational cost by using structural random features. In terms of computational cost, the exact Gaussian Processes require the cubic complexity to training size. Inducing point-based Gaussian Processes are a common choice to mitigate the bottleneck by selecting a small set of active points through a global distillation from available observations. However, the general case remains elusive and it is still possible that the required number of active points may exceed a certain computational budget. In our second study, we propose Sparse-within-Sparse Gaussian Processes which enable the approximation with a large number of inducing points without suffering a prohibitive computational cost

L'analyse de modèles complexes tels que les marchés financiers aide les gestionnaires à élaborer des politiques raisonnables et les commerçants à choisir des stratégies de négociation efficaces. La modélisation basée sur les agents est une méthodologie de calcul pour modéliser des systèmes complexes et analyser l'influence de différentes hypothèses sur les comportements des agents. Dans le cadre de cette thèse, nous considérons un modèle de marché financier qui comprend 3 types d'agents : les agents techniques, les agents fondamentaux et les agents de bruit. Nous commençons par l'agent technique avec le défi d'optimiser une stratégie de trading basée sur l'analyse technique à travers un système de trading automatisé. Ensuite, les méthodes d'optimisation proposées sont appliquées avec des fonctions objectives appropriées pour optimiser les paramètres du modèle ABM. L'étude a été menée avec un modèle ABM simple incluant uniquement des agents de bruit, puis le modèle a été étendu pour inclure différents types d'agents. La première partie de la thèse étudie le comportement commercial des agents techniques. Différentes approches sont introduites telles que : l'algorithme génétique, l'optimisation bayésienne et l'apprentissage par renforcement profond. Les stratégies de trading sont construites sur la base d'un indicateur avancé, Relative Strength Index, et de deux indicateurs retardés, Bollinger Band et Moving Average Convergence-Divergence. De multiples expériences sont réalisées sur différents marchés, notamment : le marché des crypto-monnaies, le marché boursier et le marché des contrats à terme cryptographiques. Les résultats montrent que les stratégies optimisées à partir des approches proposées peuvent générer des rendements plus élevés que leur forme typique et la stratégie Buy and Hold. En utilisant les résultats de l'optimisation des stratégies de trading, nous proposons une nouvelle approche pour optimiser les paramètres du modèle à base d'agents. La deuxième partie de la thèse présente une application de la modélisation multiagents au marché boursier. En conséquence, nous avons montré que les modèles ABM peuvent être optimisés en utilisant la méthode d'optimisation bayésienne avec plusieurs fonctions objectives. Les faits stylisés du marché réel peuvent être reproduits en construisant soigneusement les fonctions objectives de l'agent. Notre travail comprend le développement d'un environnement, les comportements des différents agents et leurs interactions. La méthode d'optimisation bayésienne avec le test de Kolmogorov-Smirnov comme fonction objective a montré des avantages et un potentiel dans l'estimation d'un ensemble optimal de paramètres pour un modèle de marché financier artificiel. Le modèle que nous proposons est capable de reproduire les faits stylisés du marché réel. En outre, un nouveau fait stylisé sur la proportion de commerçants sur le marché est présenté. Avec les données empiriques de l'indice Dow Jones Industrial Average, nous avons constaté que les traders fondamentaux représentent 9%-11% de tous les traders du marché boursier. À l'avenir, davantage de recherches seront menées pour améliorer le modèle et les méthodes d'optimisation, telles que l'application de modèles d'apprentissage automatique, l'apprentissage par renforcement multiagents ou l'examen de l'application sur différents marchés et instruments négociés
The analysis of complex models such as financial markets helps managers to make reasonable policies and traders to choose effective trading strategies. Agent-based modeling is a computational methodology to model complex systems and analyze the influence of different assumptions on the behaviors of agents. In the scope of this thesis, we consider a financial market model that includes 3 types of agent: technical agents, fundamental agents and noise agents. We start with the technical agent with the challenge of optimizing a trading strategy based on technical analysis through an automated trading system. Then, the proposed optimization methods are applied with suitable objective functions to optimize the parameters for the ABM model. The study was conducted with a simple ABM model including only noise agents, then the model was extended to include different types of agents. The first part of the thesis investigates the trading behavior of technical agents. Different approaches are introduced such as: Genetic Algorithm, Bayesian Optimization and Deep Reinforcement Learning. The trading strategies are built based on a leading indicator, Relative Strength Index, and two lagging indicators, Bollinger Band and Moving Average Convergence-Divergence. Multiple experiments are performed in different markets including: cryptocurrency market, stock market and crypto futures market. The results show that optimized strategies from proposed approaches can generate higher returns than their typical form and Buy and Hold strategy. Using the results from the optimization of trading strategies, we propose a new approach to optimize the parameters of the agent-based model. The second part of the thesis presents an application of agent-based modeling to the stock market. As a result, we have shown that ABM models can be optimized using the Bayesian Optimization method with multiple objective functions. The stylized facts of the actual market can be reproduced by carefully constructing the objective functions of the agent. Our work includes the development of an environment, the behaviors of different agents and their interactions. Bayesian optimization method with Kolmogorov-Smirnov test as objective function has shown advantages and potential in estimating an optimal set of parameters for an artificial financial market model. The model we propose is capable of reproducing the stylized facts of the real market. Furthermore, a new stylized fact about the proportion of traders in the market is presented. With empirical data of the Dow Jones Industrial Average index, we found that fundamental traders account for 9%-11% of all traders in the stock market. In the future, more research will be done to improve the model and optimization methods, such as applying machine learning models, multi-agent reinforcement learning or considering the application in different markets and traded instruments

Cette thèse a pour vocation le développement et l’application de nouvelles techniques d’inférence statistique bayésienne et d’apprentissage profond pour relever les défis statistiques imposés par les gros volumes de données complexes des missions du fond diffus cosmologique (CMB) ou des relevés profonds de galaxies de la prochaine génération, dans le but d'optimiser l’exploitation des données scientifiques afin d’améliorer, à terme, notre compréhension de l’Univers. La première partie de cette thèse concerne l'extraction des modes E et B du signal de polarisation du CMB à partir des données. Nous avons développé une méthode hiérarchique à haute performance, nommée algorithme du dual messenger, pour la reconstruction du champ de spin sur la sphère et nous avons démontré les capacités de cet algorithme à reconstruire des cartes E et B pures, tout en tenant compte des modèles de bruit réalistes. La seconde partie porte sur le développement d’un cadre d'inférence bayésienne pour contraindre les paramètres cosmologiques en s’appuyant sur une nouvelle implémentation du test géométrique d'Alcock-Paczyński et nous avons présenté nos contraintes cosmologiques sur la densité de matière et l'équation d'état de l'énergie sombre. Etant donné que le contrôle des effets systématiques est un facteur crucial, nous avons également présenté une fonction de vraisemblance robuste, qui résiste aux contaminations inconnues liées aux avant-plans. Finalement, dans le but de construire des émulateurs de dynamiques complexes dans notre modèle, nous avons conçu un nouveau réseau de neurones qui apprend à peindre des distributions de halo sur des champs approximatifs de matière noire en 3D
The essence of this doctoral research constitutes the development and application of novel Bayesian statistical inference and deep learning techniques to meet statistical challenges of massive and complex data sets from next-generation cosmic microwave background (CMB) missions or galaxy surveys and optimize their scientific returns to ultimately improve our understanding of the Universe. The first theme deals with the extraction of the E and B modes of the CMB polarization signal from the data. We have developed a high-performance hierarchical method, known as the dual messenger algorithm, for spin field reconstruction on the sphere and demonstrated its capabilities in reconstructing pure E and B maps, while accounting for complex and realistic noise models. The second theme lies in the development of various aspects of Bayesian forward modelling machinery for optimal exploitation of state-of-the-art galaxy redshift surveys. We have developed a large-scale Bayesian inference framework to constrain cosmological parameters via a novel implementation of the Alcock-Paczyński test and showcased our cosmological constraints on the matter density and dark energy equation of state. With the control of systematic effects being a crucial limiting factor for modern galaxy redshift surveys, we also presented an augmented likelihood which is robust to unknown foreground and target contaminations. Finally, with a view to building fast complex dynamics emulators in our above Bayesian hierarchical model, we have designed a novel halo painting network that learns to map approximate 3D dark matter fields to realistic halo distributions