Academic literature on the topic 'Recherche d'Architectures de Réseaux de Neurones Artificiels'

Au cours de la dernière décennie, l'apprentissage automatique a connu une croissance exponentielle, portée par l'abondance de jeux de données, les avancées algorithmiques et l'augmentation de la puissance de calcul.Simultanément, le calcul haute performance (HPC) a évolué pour répondre à la demande croissante en calculs, offrant des ressources pour relever des défis scientifiques complexes. Cependant, les processus d'apprentissage machines sont souvent séquentiels, ce qui rend difficile leur mise à l'échelle sur les systèmes HPC qui sont eux parallèles par nature. Les processus d'apprentissage machines sont construits à partir de modules qui offrent de nombreux paramètres configurables, des politiques d'augmentation des données, aux procédures d'entraînement et aux architectures de modèles. Cette thèse se concentre sur l'optimisation des hyperparamètres des processus d'apprentissage sur des systèmes HPC, tels que Polaris à Argonne National Laboratory. Les principales contributions comprennent (1) l'optimisation Bayésienne parallèle décentralisée et asynchrone, (2) son extension à plusieurs objectifs, (3) l'intégration de méthodes de rejet précoce et (4) la quantification de l'incertitude des réseaux de neurones profonds. De plus, un logiciel en libre accès, DeepHyper, est fourni, encapsulant les algorithmes proposés pour faciliter la recherche et l'application. La thèse met en évidence l'importance des méthodes d'optimisation Bayésienne des hyperparamètres pour les processus d'apprentissage, cruciales pour exploiter efficacement les vastes ressources de calcul des systèmes HPC modernes
In the past decade, machine learning has experienced exponential growth, propelled by abundant datasets, algorithmic advancements, and increased computational power. Simultaneously, high-performance computing (HPC) has evolved to meet rising computational demands, offering resources to tackle complex scientific challenges.However, machine learning is often a sequential process, making it difficult to scale on HPC systems. Machine learning workflows are built from modules offering numerous configurable parameters, from data augmentation policies to training procedures and model architectures. This thesis focuses on the hyperparameter optimization of learning workflows on large-scale HPC systems, such as the Polaris at the Argonne Leadership Computing Facility.Key contributions include (1) asynchronous decentralized parallel Bayesian optimization, (2) extension to multi-objective, (3) integration of early discarding, and (4) uncertainty quantification of deep neural networks. Furthermore, an open-source software, DeepHyper, is provided, encapsulating the proposed algorithms to facilitate research and application. The thesis highlights the importance of scalable Bayesian optimization methods for the hyperparameter optimization of learning workflows, which is crucial for effectively harnessing the vast computational resources of modern HPC systems

Les objectifs poursuivis dans cette thèse sont les suivants : - élucider les concepts nouveaux lies aux théories de la complexité en s'aidant des développements récents de la théorie du chaos déterministe. - ébaucher une interprétation visant à leur application aux théories de l'apprentissage humain et commencer à explorer sur le terrain pédagogique la pertinence de l'application de ces principes et de ces modèles. - utiliser les modèles connexionnistes de réseaux de neurones artificiels et particulièrement les plus dynamiques d'entre eux pour comprendre les mécanismes de la cognition naturelle. L'apprentissage sera envisagé comme une trajectoire dans l'espace des phases du système cognitif de l'individu. Dans cet espace de phases : (a) les concepts émergent de la convergence créée par les bassins d'attraction existants, lorsque l'apprenant tente d'assimiler le réel aux schèmes qu'il s'est déjà construit. (b) en même temps que les nouveaux attracteurs, qui se forment dans un désordre chaotique en s'accommodant aux variations imprévisibles de l'environnement, remodèlent constamment ce paysage. Pendant l'apprentissage, l'émergence d'un nouveau concept apparait comme une transition de phase entre l'état cognitif antérieur et le nouvel état. L'apprenant doit sans cesse affronter cette dualité stabilité-plasticité aussi riche en frustrations éventuelles qu'en
The aim of this thesis is to explore the following areas: - to set out the many new concepts linked to complexity theory, using recent developments in determinist chaos theory. - To evolve means of applying them to theories of human learning and to begin exploring the relevance of these principles and models in the educational field. - The use of connectionist models of artificial neural networks, especially the most dynamic of them, to understand the processes of human cognition. Learning can be seen as a trajectory in the phase’s space of cognitive system of the individual. Into this phase’s space: (a) concepts emerge from the convergence created by existing basins of attraction while the student tries to apply the real to the schemata he has already constructed for himself. (b) At the same time new attractors are formed in the chaotic disorder by adapting to the unpredictable variations of the environment and constantly reshape this landscape. During the learning period the emergence of a new concept appears as a transition of phase from the earlier state of knowledge to the new state. The student has to continuously confront the duality of stability-plasticity which contains as many potential frustrations as successful solutions. This duality cannot be temporarily resolved without taking action, and so we can say with von foerster "if you want knowledge learn to act"

L'augmentation de la puissance de calcul et de la quantité de données disponible ont permis la montée en popularité de l'apprentissage profond. Cependant, l'expertise et les ressources nécessaires pour construire de tels algorithmes ainsi que l'empreinte mémoire et le temps d'inférence lors de l'utilisation sont autant d'obstacles à l'utilisation de ces méthodes. Dans cette thèse, nous proposons de construire des modèles d'apprentissage profond de manière plus efficace et automatisée. Tout d'abord, nous nous concentrons sur l'apprentissage d'une architecture efficace pour les problèmes de traitement d'images. Nous proposons un modèle dans lequel nous pouvons guider la procédure d'apprentissage d'architecture en spécifiant un budget et une fonction de coût fixes. Ensuite, nous considérons le problème de la classification de séquences, où un modèle peut être encore plus efficace en adaptant dynamiquement sa taille à la complexité du signal à venir. Enfin, nous abordons le problème de l'efficacité sous l'angle de l'apprentissage par transfert, une procédure d'apprentissage pouvant être rendue encore plus efficace si elle s'appuie sur des connaissances acquises lors d'expériences précédentes. Nous explorons les architectures modulaires dans le scénario de l'apprentissage continuel et présentons un nouveau benchmark permettant une évaluation fine des différents types de transfert
The recent increase in computation power and the ever-growing amount of data available ignited the rise in popularity of deep learning. However, the expertise, the amount of data, and the computing power necessary to build such algorithms as well as the memory footprint and the inference latency of the resulting system are all obstacles preventing the widespread use of these methods. In this thesis, we propose several methods allowing to make a step towards a more efficient and automated procedure to build deep learning models. First, we focus on learning an efficient architecture for image processing problems. We propose a new model in which we can guide the architecture learning procedure by specifying a fixed budget and cost function. Then, we consider the problem of sequence classification, where a model can be even more efficient by dynamically adapting its size to the complexity of the signal to come. We show that both approaches result in significant budget savings. Finally, we tackle the efficiency problem through the lens of transfer learning. Arguing that a learning procedure can be made even more efficient if, instead of starting tabula rasa, it builds on knowledge acquired during previous experiences. We explore modular architectures in the continual learning scenario and present a new benchmark allowing a fine-grained evaluation of different kinds of transfer

L’utilisation de la climatisation automobile engendre physiquement une surconsommation de carburant. Pour diminuer cette surconsommation, il existe deux leviers principaux. Le premier consiste à travailler en amont sur la définition technique de l’habitacle et du système de climatisation. Le second levier consiste à optimiser les stratégies de contrôle. Dans les deux cas, il s’avère incontournable de construire des modèles de thermique habitacle précis et rapides à évaluer. Ce qui fait l’objet de cette thèse CIFRE du Groupe Renault. Dans un premier temps, une méthodologie de réduction de modèles est exploitée pour passer d’un modèle éléments finis 3D à un modèle 0D. Ce modèle 0D est basé sur des bilans de masse et d’énergie sur les différentes parois et zones d’air de la cabine. Il prend la forme d’un système d’équations algébro-différentielles non-linéaire qui peut être transcrit en Bond Graph. De plus, le modèle 0D exploite un couplage faible entre la thermique et la mécanique des fluides issue des calculs CFD (aéraulique et aérodynamique externe). Dans un deuxième temps, on applique une méthode d’apprentissage automatique aux données générées par le modèle 0D en vue de construire un modèle 0D réduit. Un plan d’expériences est considéré à cette étape. Du fait de la non-linéarité des échanges thermiques, nous avons développé une approche qui s’inspire des méthodes Gappy POD et EIM. La base réduite utilisée est une base multiphysique qui tient compte de plusieurs contributions (températures, enthalpies, flux thermiques et humidités). Le modèle réduit obtenu est un modèle hybride qui couple quelques équations physiques d’origine à un réseau de neurones artificiel. La méthodologie de réduction a été déployée sur des véhicules Renault. Les modèles réduits ont été intégrés dans la plateforme GREEN de synthèse énergétique qui modélise différentes thermiques (moteur, transmission, circuit de refroidissement, batterie, HVAC, boucle froide, sous-capot) en vue de faire des études de gestion thermique qui revêtent une importance particulière pour les véhicules électriques et hybrides. Les modèles réduits ont été validés sur plusieurs scénarios (boucle de régulation pour le confort thermique, cycle d’homologation, couplage HVAC) et ont permis d’obtenir des gains CPU allant jusqu’à 99% avec des erreurs moyennes de 0,5°C sur les températures et 0,6% sur les humidités relatives
The use of automotive air conditioning leads to a fuel overconsumption. To reduce this overconsumption, we can either work upstream on the technical definitions of the cabin and the HVAC system or optimize control strategies. In both cases, it is essential to build a cabin thermal model that well balances accuracy and complexity. This is the topic of this PhD thesis driven by Renault Group. First, a model reduction methodology is used to build a 0D model starting from a 3D finite element cabin thermal model. This 0D model is based on mass and energy balances on the different cabin walls and air zones. It consists of a nonlinear differential algebraic equations system which can be reinterpreted as a Bond Graph. In addition, the 0D model is based on a weak coupling between the thermal equations and the fluid mechanics ones resulting from CFD calculations (internal airflow and external aerodynamics). Secondly, we apply a machine learning method to the data generated by the 0D model in order to build a reduced 0D model. A design of experiment is considered at this stage. Due to the nonlinearity of the heat exchanges, we have developed an approach which is inspired by the Gappy POD and EIM methods. We use a multiphysics reduced basis that takes several contributions into account (temperatures, enthalpies, heat fluxes and humidities). The resulting reduced model is a hybrid model that couples some of the original physical equations to an artificial neural network. The reduction methodology has been validated on Renault vehicles. The reduced order models have been integrated into a vehicle system-level energetic simulation platform (GREEN) which models different thermics (engine, transmission, cooling system, battery, HVAC, refrigerant circuit, underhood) in order to perform thermal management studies which are of particular importance for electric and hybrid vehicles. The reduced order models have been validated on several scenarios (temperature control for thermal comfort, driving cycles, HVAC coupling) and have achieved CPU gains of up to 99% with average errors of 0.5 °C on temperatures and 0.6% on relative humidities

L'épuisement annoncé dans les prochaines décennies des ressources fossiles qui fournissent actuellement plus de 70% du carburant consommé dans les transports terrestres, aériens et maritimes au niveau mondial, incite à l'identification et le développement de nouvelles sources d'énergies renouvelables. La production de biocarburants issue de l'exploitation de la biomasse représente une des voies de recherche les plus prometteuses. Si la première génération des biocarburants (production à partir de plantes sucrières, de céréales ou d'oléagineux) atteint ses limites (concurrence avec les usages alimentaires, en particulier), la deuxième génération, produite à partir de ressources carbonées non alimentaires (lignocellulosique, mélasse, vinasse...), pourrait prendre le relais, une fois que les procédés de conversion seront suffisamment maîtrisés. À plus long terme, une troisième génération pourrait voir le jour, qui reposerait sur l'exploitation de la biomasse marine (microalgues, en particulier) mais où de nombreux verrous restent toutefois à lever : optimisation des procédés de culture et de récolte, extraction à coût réduit, optimisation des voies métaboliques etc. Il est à retenir que la stratégie nationale de recherche et d'innovation (SNRI) a retenu quatre « domaines clés » pour l'énergie : le nucléaire, le solaire photovoltaïque, les biocarburants de deuxième génération et les énergies marines. Ceux-ci sont complétés, au nom de leur contribution potentielle à la lutte contre le changement climatique, par le stockage du CO2, la conversion de l'énergie (dont les piles à combustible) et l'hydrogène. Le présent projet de recherche s'intéresse à explorer des voies d'amélioration de l'efficacité de la biotransformation de matière organique non alimentaire de nature industrielle en biocarburants de deuxième génération. En particulier, on s'intéressera à deux aspects complémentaires : l'optimisation des organismes microbiens et des voies métaboliques pour l'amélioration du rendement biologique de fabrication de biocarburants ; l'optimisation des procédés de mise en culture des microorganismes et d'extraction des biocarburant. Le projet de thèse consiste à mettre en œuvre les biotechnologies blanches, la biologie de synthèse et le génie des procédés pour la caractérisation de souches bactériennes, de leurs voies métaboliques et de prototypes expérimentaux pour la fabrication de biocarburants, de méthane et d'hydrogène à partir de rejets provenant de l'industrie sucrière de La Réunion, à savoir la mélasse ou la vinasse. Ce projet permettrait d'envisager de nouvelles perspectives de valorisation pour ces déchets industriels et de participer à la construction, à terme, d'une industrie réunionnaise durable des biocarburants et de l'hydrogène
Hydrogen is a candidate for the next generation fuel with a high energy density and an environment friendly behavior in the energy production phase. Micro-organism based biological production of hydrogen currently suffers low hydrogen production yields because the living cells must sustain different cellular activities other than the hydrogen production to survive. To circumvent this, a team have designed a synthetic cell-free system by combining 13 different enzymes to synthesize hydrogen from cellobiose. This assembly has better yield than microorganism-based systems. We used methods based on differential equations calculations to investigate how the initial conditions and the kinetic parameters of the enzymes influenced the productivity of a such system and, through simulations, to identify those conditions that would optimize hydrogen production starting with cellobiose as substrate. Further, if the kinetic parameters of the component enzymes of such a system are not known, we showed how, using artificial neural network, it is possible to identify alternative models that allow to have an idea of the kinetics of hydrogen production. During our study on the system using cellobiose, other cell-free assemblies were engineered to produce hydrogen from different raw materials. Interested in the reconstruction of synthetic systems, we decided to conceive various tools to help the automation of the assembly and the modelling of these new synthetic networks. This work demonstrates how modeling can help in designing and characterizing cell-free systems in synthetic biology