Academic literature on the topic 'Optimisation des hyperparamètres'

L'optimisation des hyperparamètres est une étape cruciale dans le processus de développement de modèles de machine learning performants. Parmi les approches d'optimisation les plus populaires, on retrouve l'optimisation bayésienne et le CMA-ES (Covariance Matrix Adaptation Evolution Strategy), deux méthodes puissantes qui visent à explorer efficacement l'espace des hyperparamètres et à identifier les combinaisons optimales. Dans cet article, nous nous pencherons sur la comparaison entre l'optimisation bayésienne et le CMA-ES dans le cadre de l'optimisation des hyperparamètres en machine learning.

En première partie, nous avons présenté et illustré le fonctionnement de deux algorithmes d'optimisation: l'optimisation bayésienne et le CMA-ES. Si le premier est très connu de la sphère data scientist notamment via la bibliothèque Hyperopt de Python, le deuxième est moins utilisé dans le processus de recherche des meilleurs hyperparamètres pour un modèle donné afin d'améliorer ses performances. Il est donc intéressant de se demander si cet algorithme a son utilité en ML notamment dans la recherche des hyperparamètres. Nous allons analyser dans cet article les différents facteurs dont dépend la pertinence de l'utilisation du CMA-ES en ML en comparant son efficacité avec Hyperopt.

Cette thèse est axée sur l'optimisation des hyperparamètres des réseaux de neurones à convolution (CNN) dans le domaine médical, proposant une approche innovante visant à améliorer la performance des modèles décisionnels dans le domaine biomédical. Grâce à l'utilisation d'une approche hybride, GS-TPE, pour ajuster efficacement les hyperparamètres des modèles de réseaux de neurones complexes , cette recherche a démontré des améliorations significatives dans la classification des signaux biomédicaux temporels, à savoir les états de vigilance, à partir de signaux physiologiques tels que l'électroencéphalogramme (EEG). De plus, grâce à l'introduction d'une nouvelle architecture de DNN, STGCN, pour la classification de gestes associés à des pathologies telles que l'arthrose du genou et la maladie de Parkinson à partir d'analyses vidéo de la marche, ces travaux offrent de nouvelles perspectives pour l'amélioration du diagnostic et de la prise en charge médicale grâce aux progrès dans le domaine de l'IA
This thesis focuses on optimizing the hyperparameters of convolutional neural networks (CNNs) in the medical domain, proposing an innovative approach to improve the performance of decision-making models in the biomedical field. Through the use of a hybrid approach, GS-TPE, to effectively adjust the hyperparameters of complex neural network models, this research has demonstrated significant improvements in the classification of temporal biomedical signals, such as vigilance states, from physiological signals such as electroencephalogram (EEG). Furthermore, by introducing a new DNN architecture, STGCN, for the classification of gestures associated with pathologies such as knee osteoarthritis and Parkinson's disease from video gait analysis, these works offer new perspectives for enhancing medical diagnosis and management through advancements in artificial intelligence

La TEP est une modalité d’imagerie fonctionnelle utilisée en oncologie permettant de réaliser une imagerie quantitative de la distribution d’un traceur radioactif injecté au patient. Les données brutes TEP présentent un niveau de bruit intrinsèquement élevé et une résolution spatiale modeste, en comparaison avec les modalités d’imagerie anatomiques telles que l’IRM et la TDM. Par ailleurs, les méthodes standards de reconstruction des images TEP à partir des données brutes introduisent du biais positif dans les régions de faible activité, en particulier dans le cas de faibles statistiques d'acquisition (données très bruitées). Dans ce travail, un nouvel algorithme de reconstruction, appelé DNA, a été développé. Par l'intermédiaire de l’algorithme ADMM, le DNA combine la récente méthode du Deep Image Prior (DIP) pour limiter la propagation du bruit et améliorer la résolution spatiale par l’apport d’informations anatomiques, et une méthode de réduction de biais développée pour l’imagerie TEP à faibles statistiques. En revanche, l’utilisation du DIP et d’ADMM requiert l’ajustement de nombreux hyperparamètres, souvent choisis manuellement. Une étude a été menée pour en optimiser certains de façon automatique, avec des méthodes pouvant être étendues à d’autres algorithmes. Enfin, l’utilisation d’informations anatomiques, notamment avec le DIP, permet d’améliorer la qualité des images TEP mais peut générer des artéfacts lorsque les informations des modalités ne concordent pas spatialement. C’est le cas notamment lorsque les tumeurs présentent des contours anatomiques et fonctionnels différents. Deux méthodes ont été développées pour éliminer ces artéfacts tout en préservant au mieux les informations utiles apportées par l’imagerie anatomique
PET is a functional imaging modality used in oncology to obtain a quantitative image of the distribution of a radiotracer injected into a patient. The raw PET data are characterized by a high level of noise and modest spatial resolution, compared to anatomical imaging modalities such as MRI or CT. In addition, standard methods for image reconstruction from the PET raw data introduce a positive bias in low activity regions, especially when dealing with low statistics acquisitions (highly noisy data). In this work, a new reconstruction algorithm, called DNA, has been developed. Using the ADMM algorithm, DNA combines the recently proposed Deep Image Prior (DIP) method to limit noise propagation and improve spatial resolution by using anatomical information, and a bias reduction method developed for low statistics PET imaging. However, the use of DIP and ADMM algorithms requires the tuning of many hyperparameters, which are often selected manually. A study has been carried out to tune some of them automatically, using methods that could benefit other algorithms. Finally, the use of anatomical information, especially with DIP, allows an improvement of the PET image quality, but can generate artifacts when information from one modality does not spatially match with the other. This is particularly the case when tumors have different anatomical and functional contours. Two methods have been developed to remove these artifacts while trying to preserve the useful information provided by the anatomical modality

Les algorithmes d'inférence ou d'optimisation possèdent généralement des hyperparamètres qu'il est nécessaire d'ajuster. Nous nous intéressons ici à l'automatisation de cette étape d'ajustement et considérons différentes méthodes qui y parviennent en apprenant en ligne la structure du problème considéré.La première moitié de cette thèse explore l'ajustement des hyperparamètres en apprentissage artificiel. Après avoir présenté et amélioré le cadre générique de l'optimisation séquentielle à base de modèles (SMBO), nous montrons que SMBO s'applique avec succès à l'ajustement des hyperparamètres de réseaux de neurones profonds. Nous proposons ensuite un algorithme collaboratif d'ajustement qui mime la mémoire qu'ont les humains d'expériences passées avec le même algorithme sur d'autres données.La seconde moitié de cette thèse porte sur les algorithmes MCMC adaptatifs, des algorithmes d'échantillonnage qui explorent des distributions de probabilité souvent complexes en ajustant leurs paramètres internes en ligne. Pour motiver leur étude, nous décrivons d'abord l'observatoire Pierre Auger, une expérience de physique des particules dédiée à l'étude des rayons cosmiques. Nous proposons une première partie du modèle génératif d'Auger et introduisons une procédure d'inférence des paramètres individuels de chaque événement d'Auger qui ne requiert que ce premier modèle. Ensuite, nous remarquons que ce modèle est sujet à un problème connu sous le nom de label switching. Après avoir présenté les solutions existantes, nous proposons AMOR, le premier algorithme MCMC adaptatif doté d'un réétiquetage en ligne qui résout le label switching. Nous présentons une étude empirique et des résultats théoriques de consistance d'AMOR, qui mettent en lumière des liens entre le réétiquetage et la quantification vectorielle.

Les algorithmes d'inférence ou d'optimisation possèdent généralement des hyperparamètres qu'il est nécessaire d'ajuster. Nous nous intéressons ici à l'automatisation de cette étape d'ajustement et considérons différentes méthodes qui y parviennent en apprenant en ligne la structure du problème considéré.La première moitié de cette thèse explore l'ajustement des hyperparamètres en apprentissage artificiel. Après avoir présenté et amélioré le cadre générique de l'optimisation séquentielle à base de modèles (SMBO), nous montrons que SMBO s'applique avec succès à l'ajustement des hyperparamètres de réseaux de neurones profonds. Nous proposons ensuite un algorithme collaboratif d'ajustement qui mime la mémoire qu'ont les humains d'expériences passées avec le même algorithme sur d'autres données.La seconde moitié de cette thèse porte sur les algorithmes MCMC adaptatifs, des algorithmes d'échantillonnage qui explorent des distributions de probabilité souvent complexes en ajustant leurs paramètres internes en ligne. Pour motiver leur étude, nous décrivons d'abord l'observatoire Pierre Auger, une expérience de physique des particules dédiée à l'étude des rayons cosmiques. Nous proposons une première partie du modèle génératif d'Auger et introduisons une procédure d'inférence des paramètres individuels de chaque événement d'Auger qui ne requiert que ce premier modèle. Ensuite, nous remarquons que ce modèle est sujet à un problème connu sous le nom de label switching. Après avoir présenté les solutions existantes, nous proposons AMOR, le premier algorithme MCMC adaptatif doté d'un réétiquetage en ligne qui résout le label switching. Nous présentons une étude empirique et des résultats théoriques de consistance d'AMOR, qui mettent en lumière des liens entre le réétiquetage et la quantification vectorielle
Inference and optimization algorithms usually have hyperparameters that require to be tuned in order to achieve efficiency. We consider here different approaches to efficiently automatize the hyperparameter tuning step by learning online the structure of the addressed problem. The first half of this thesis is devoted to hyperparameter tuning in machine learning. After presenting and improving the generic sequential model-based optimization (SMBO) framework, we show that SMBO successfully applies to the task of tuning the numerous hyperparameters of deep belief networks. We then propose an algorithm that performs tuning across datasets, mimicking the memory that humans have of past experiments with the same algorithm on different datasets. The second half of this thesis deals with adaptive Markov chain Monte Carlo (MCMC) algorithms, sampling-based algorithms that explore complex probability distributions while self-tuning their internal parameters on the fly. We start by describing the Pierre Auger observatory, a large-scale particle physics experiment dedicated to the observation of atmospheric showers triggered by cosmic rays. The models involved in the analysis of Auger data motivated our study of adaptive MCMC. We derive the first part of the Auger generative model and introduce a procedure to perform inference on shower parameters that requires only this bottom part. Our model inherently suffers from label switching, a common difficulty in MCMC inference, which makes marginal inference useless because of redundant modes of the target distribution. After reviewing existing solutions to label switching, we propose AMOR, the first adaptive MCMC algorithm with online relabeling. We give both an empirical and theoretical study of AMOR, unveiling interesting links between relabeling algorithms and vector quantization

Au cours de la dernière décennie, l'apprentissage automatique a connu une croissance exponentielle, portée par l'abondance de jeux de données, les avancées algorithmiques et l'augmentation de la puissance de calcul.Simultanément, le calcul haute performance (HPC) a évolué pour répondre à la demande croissante en calculs, offrant des ressources pour relever des défis scientifiques complexes. Cependant, les processus d'apprentissage machines sont souvent séquentiels, ce qui rend difficile leur mise à l'échelle sur les systèmes HPC qui sont eux parallèles par nature. Les processus d'apprentissage machines sont construits à partir de modules qui offrent de nombreux paramètres configurables, des politiques d'augmentation des données, aux procédures d'entraînement et aux architectures de modèles. Cette thèse se concentre sur l'optimisation des hyperparamètres des processus d'apprentissage sur des systèmes HPC, tels que Polaris à Argonne National Laboratory. Les principales contributions comprennent (1) l'optimisation Bayésienne parallèle décentralisée et asynchrone, (2) son extension à plusieurs objectifs, (3) l'intégration de méthodes de rejet précoce et (4) la quantification de l'incertitude des réseaux de neurones profonds. De plus, un logiciel en libre accès, DeepHyper, est fourni, encapsulant les algorithmes proposés pour faciliter la recherche et l'application. La thèse met en évidence l'importance des méthodes d'optimisation Bayésienne des hyperparamètres pour les processus d'apprentissage, cruciales pour exploiter efficacement les vastes ressources de calcul des systèmes HPC modernes
In the past decade, machine learning has experienced exponential growth, propelled by abundant datasets, algorithmic advancements, and increased computational power. Simultaneously, high-performance computing (HPC) has evolved to meet rising computational demands, offering resources to tackle complex scientific challenges.However, machine learning is often a sequential process, making it difficult to scale on HPC systems. Machine learning workflows are built from modules offering numerous configurable parameters, from data augmentation policies to training procedures and model architectures. This thesis focuses on the hyperparameter optimization of learning workflows on large-scale HPC systems, such as the Polaris at the Argonne Leadership Computing Facility.Key contributions include (1) asynchronous decentralized parallel Bayesian optimization, (2) extension to multi-objective, (3) integration of early discarding, and (4) uncertainty quantification of deep neural networks. Furthermore, an open-source software, DeepHyper, is provided, encapsulating the proposed algorithms to facilitate research and application. The thesis highlights the importance of scalable Bayesian optimization methods for the hyperparameter optimization of learning workflows, which is crucial for effectively harnessing the vast computational resources of modern HPC systems