Littérature scientifique sur le sujet « Modèles génératifs de séquences »

La croissance continue de la population mondiale et l'augmentation du niveau de vie dans certaines parties de la planète exercent une pression de plus en plus forte sur la demande quantitative et qualitative de la ressource hydrique, nécessitant ainsi une gestion plus adéquate. Afin d'évaluer la fiabilité d'un système de ressources en eau et de déterminer son mode de gestion durant un étiage, il est utile d'avoir un outil de modélisation. Nous présentons ici une synthèse des travaux de modélisation réalisés dans le cadre de l'approche stochastique. Nous faisons d'abord le point sur la différence entre une sécheresse et un étiage, termes qui sont souvent confondus dans les publications, pour ensuite en présenter quelques indicateurs. L'approche stochastique peut être subdivisée en deux catégories: l'étude fréquentielle et les processus stochastiques. La plupart des études d'analyse de fréquence ont pour objet de calculer des débits d'étiage critiques xT correspondant à une certaine période de retour T, tel que P(X<xT)=1/T. L'approche par les processus stochastiques consiste à modéliser les événements de déficit ou les variables d'intérêt sans utiliser directement des modèles de débit. L'analyse de fréquence des débits ne tient pas compte des durées et émet des hypothèses trop simplistes de stationnarité. L'analyse des séquences permet l'obtention des lois de durées uniquement pour des processus de débits très simples. L'avantage de l'approche des processus ponctuels par rapport à l'analyse des séquences est qu'elle permet d'étudier des processus complexes, dépendants et non stationnaires. De plus, les processus ponctuels alternés permettent la modélisation des durée et la génération synthétique des temps d'occurrence des séries de surplus et de déficit. Nous présentons dans cet article les travaux de modélisation des étiages basés sur l'analyse fréquentielle, la théorie des séquences et sur les processus ponctuels. Nous n'avons pas inclus les études qui développent des distributions des faibles débits à partir de modèles physiques, ni les études de type régional.

AbstractLe but de cet article est de donner un panorama synthétique d'un certain nombre de concepts et d'idées qui caractérisent la phonologie générative moderne et d'examiner quelques applications à l'étude du français. Derrière le foisonnement de la terminologie et des modèles, il y a quelques idées clefs qui sont partagées par de nombreux chercheurs qui travaillent dans ce qu'on appelle souvent ‘phonologie non-linéaire’, ‘phonologie multilinéaire’ ou ‘phonologie multidimensionnelle’. On partira ici de l'approche de Chomsky et Halle dans leSound Pattern of English(1968), illustré dans de nombreux travaux sur le français, pour déboucher sur des cadres tels que la Phonologie du Gouvernement, la Phonologie de Dépendance ou la Phonologie Moraïque. On verra alors qu'à un système bâti sur des structures relativement pauvres (séquences de traits simultanés et de frontières) que les règles phonologiques manipulent pour produire des formes de surface, on a substitué des approches plus ‘configurationnelles’ où les règles sont écartées en faveur de ‘principes’ et de ‘paramètres’.

Dans cet article seront présentés plusieurs modèles d'effet publicitaire. Alors que les modèles traditionnels partaient d'un processus « ordonné » de plusieurs phases d'action, ou de plusieurs niveaux d'action, le passage aux trois modèles distincts de hiérarchie des effets met en cause la validité générale de certaines de ces séquences. Aussi bien le modèle intégré d'information-réaction que le modèle des chemins alternatifs spécifient des conditions sous lesquelles les changements d'attitude sont le résultat, et non la condition, des changements de comportement. En dernier lieu seront présentés des modèles qui examinent l'importance de l'attitude envers la publicité.

Les modèles de lecture, proposés en psychologie cognitive, se proposent de décrire les connaissances et opérations cognitives qui sous-tendent la prononciation des séquences écrites. De nombreux modèles ont été élaborés qui tentent de rendre compte tant de la lecture adulte experte que des comportements pathologiques de lecture. Cet article a pour but d’exposer les principales conceptions théoriques proposées jusqu’ici. Seront ainsi successivement présentées les conceptions développées dans le cadre des modèles cognitivistes de lecture dits «à deux-voies», des modèles analogiques et des modèles connexionnistes. L’intérêt et les limites de chacune de ces approches seront discutés, nous amenant à proposer un modèle connexionniste original de la lecture.

Phase equilibria modelling has played a key role in enhancing our understanding of metamorphic processes. An important breakthrough in the last three decades has been the ability to construct phase diagrams by integrating internally consistent datasets of the thermodynamic properties of minerals, fluids and melts with activity–composition models for mixed phases that calculate end-member activities from end-member proportions. A major advance in applying phase equilibria modelling to natural rocks is using isochemical phase diagrams to explore the phase assemblages and reaction sequences applicable for a particular sample. The chemical systems used for modelling phase equilibria are continually evolving to provide closer approximations to the natural compositions of rocks and allow wider varieties of compositions to be modelled. Phase diagrams are now routinely applied to metasedimentary rocks, metabasites and intermediate to felsic intrusive rocks and more recently to ultramafic rocks and meteorites. While the principal application of these phase diagrams is quantifying the pressure and temperature evolution of metamorphic rocks, workers are now applying them to other fields across the geosciences. For example, phase equilibria modelling of hydrothermal alteration and the metamorphism of hydrothermally altered rocks can be used to determine ‘alteration vectors’ to hydrothermal mineral deposits. Combining the results of phase equilibria of rock-forming minerals with solubility equations of accessory minerals has provided new insights into the geological significance of U–Pb ages of accessory minerals commonly used in geochronology (e.g. zircon and monazite). Rheological models based on the results of phase equilibria modelling can be used to evaluate how the strength of the crust and mantle can change through metamorphic and metasomatic processes, which has implications for a range of orogenic processes, including the localization of earthquakes. Finally, phase equilibria modelling of fluid generation and consumption during metamorphism can be used to explore links between metamorphism and global geochemical cycles of carbon and sulphur, which may provide new insights into the secular change of the lithosphere, hydrosphere and atmosphere.RÉSUMÉLa modélisation des équilibres de phases a joué un rôle clé dans l’amélioration de notre compréhension des processus métamorphiques. Une percée importante au cours des trois dernières décennies a été la capacité de construire des diagrammes de phase en y intégrant des ensembles de données cohérentes des propriétés thermodynamiques des minéraux, des fluides et des bains magmatiques avec des modèles d'activité-composition pour des phases mixtes qui déduisent l’activité des membres extrêmes à partir des proportions des membres extrêmes. Une avancée majeure dans l'application de la modélisation d'équilibre de phase aux roches naturelles consiste à utiliser des diagrammes de phases isochimiques pour étudier les assemblages de phase et les séquences de réaction applicables pour un échantillon particulier. Les systèmes chimiques utilisés pour la modélisation des équilibres de phase évoluent continuellement pour fournir des approximations plus proches des compositions naturelles des roches et permettent de modéliser de plus grandes variétés de compositions. Les diagrammes de phase sont maintenant appliqués de façon routinière aux roches métasédimentaires, aux métabasites et aux roches intrusives intermédiaires à felsiques et plus récemment aux roches ultramafiques et aux météorites. Bien que l'application principale de ces diagrammes de phase consiste à quantifier l'évolution de la pression et de la température des roches métamorphiques, les utilisateurs les appliquent maintenant à d'autres spécialités des géosciences. Par exemple, la modélisation des équilibres de phase de l'altération hydrothermale et du métamorphisme des roches d’altération hydrothermale peut être utilisée pour déterminer les « vecteurs d'altération » des gisements minéraux hydrothermaux. La combinaison des résultats des équilibres de phase des minéraux constitutifs des roches avec des équations de solubilité des minéraux accessoires a permis d’en savoir davantage sur la signification géologique des âges U–Pb des minéraux accessoires couramment utilisés en géochronologie (par exemple zircon et monazite). Les modèles rhéologiques basés sur les résultats de la modélisation des équilibres de phase peuvent être utilisés pour évaluer comment la résistance de la croûte et du manteau peut changer à travers des processus métamorphiques et métasomatiques, ce qui a des implications sur une gamme de processus orogéniques, y compris la localisation des séismes. Enfin, la modélisation des équilibres de phase de la génération et de l’absorption des fluides pendant le métamorphisme peut être utilisée pour explorer les liens entre le métamorphisme et les cycles géochimiques globaux du carbone et du soufre, ce qui peut fournir de nouvelles perspectives sur le changement séculaire de la lithosphère, de l'hydrosphère et de l'atmosphère.

Présentée dans le passé comme une approche visant à imiter l’intelligence biologique, l’adaptation et l’évolution dans la résolution de problèmes, l’intelligence artificielle (IA) mobilise massivement la communauté scientifique, et se redéfinit constamment dans ses ambitions, voire son essence même, surpassant les précédents modèles analytiques, prédictifs et génératifs en parallèle avec une constante et rapide évolution des équipements de calcul dédiés. Si l’IA excelle depuis quelques années dans la résolution de problèmes touchant de nombreux champs de l’activité humaine, ses applications aux domaines architectural et urbain n’en sont qu’aux balbutiements. Mais depuis 2017, l’IA générative est convoquée pour répondre à des objectifs non quantifiables ou difficilement mesurables (comme l’esthétique) et stimuler la créativité des concepteurs, et ses algorithmes, en particulier les GANs, commencent à être mis à profit pour l’aide à la conception en phase d’idéation architecturale.

L’objet de cette contribution est de saisir les représentations sociales (théorie du noyau central) que les enseignants d’histoire se font de la préparation de séquences, des logiques didactiques qui les organisent et de la place qu’y revêt éventuellement la problématisation des contenus d’enseignement. L’étude se fonde sur des données issues d’un échantillon représentatif de 175 enseignants d’histoire belges et luxembourgeois. Partant de l’hypothèse que les représentations sont historiquement construites et socialement situées, les données sont analysées en fonction de l’adhésion des enseignants aux différents modèles d’enseignement de l’histoire inscrits au coeur des prescriptions curriculaires depuis la fin des années 1960. L’hypothèse est que ces modèles ont formé un contexte didactique dans lequel les pratiques et les significations associées à ces pratiques se sont construites.

Dans une perspective d’exploration et d’invention de nouveaux processus de conception alternatifs, nous avons mis en place un dispositif robotique qui agit et communique avec un milieu biotique évolutif. Notre démarche s’inscrit dans le besoin urgent d’alternatives pour lutter contre la catastrophe écologique qui devient de plus en plus menaçante. Elle questionne l’impact du domaine de l’architecture et de la construction en général, dont les modèles de conception sont inscrits dans des logiques ultra-libérales et anthropocentrées qui participent ainsi de manière active à l’aggravation du problème climatique. Notre objectif a été de requestionner le rôle de l’architecte concepteur tel qu’il est perçu aujourd’hui, et de proposer à la place des démarches de conception plus douces, non-déterminées, aléatoires et inspirées du monde numérique et biologique. C’est ainsi que notre dispositif bio-robotique tente d’explorer une de ces voies ouvertes aux architectes à travers un système génératif, guidé par l’évolution de la matière vivante. Son but final est de reproduire et appliquer au domaine de la conception, les logiques d’auto-organisation préexistantes dans les écosystèmes naturels.

Face à la diminution des ressources et afin de réduire l’impact carbone du secteur de la construction, il est important d’envisager la fin de vie des bâtiments. Il faut considérer les constructions et leur structure comme des éléments pouvant être démontés ou désassemblés pour être recyclés ou réutilisés. Cette recherche s’intéresse aux assemblages non-séquentiels, permettant une réversibilité pour répondre à ces enjeux. Pour démontrer l’intérêt de ces assemblages, un prototype de Nexorade échelle 1 a été construit et illustre l’article. La première partie définit l’assemblage non-séquentiel et ses cinématiques possibles. La recherche du pavage et de la géométrie sont évoquées dans la seconde partie. L’article continue sur la génération de la nexorade et son analyse mécanique mettant en évidence l'intérêt d’incliner les poutres de la nexorade, pour réduire la flèche de 35%. La séquence d’assemblage est développée dans la partie 5. Enfin, la construction du pavillon est détaillée, permettant le passage d’un modèle numérique à la fabrication du prototype. Pour conclure cet article, les auteurs discutent des résultats obtenus sur les assemblages non-séquentiels et sur l’inclinaison des poutres. Des extensions possibles et futures recherches sont suggérées.

La mise en évidence des mécanismes de sélection agissant sur les données génomiques structurées (ARN, Protéines, ADN...) nécessite l'élaboration de modèles de séquences. Une fois un tel modèle élaboré, il est possible, au prix d'une analyse mathématique parfois complexe ou par le biais de la
génération aléatoire, d'évaluer la significativité d'un phénomène observé. Tout d'abord, nous nous intéressons aux propriétés des grammaires pondérées, un formalisme particulièrement adapté à la modélisation de la structure des ARN, dérivant des algorithmes de génération aléatoire efficaces implémentés au sein du prototype GenRGenS. Nous abordons le calcul automatique des pondérations réalisant des valeurs observées pour les paramètres du modèle, ainsi qu'une implémentation basée sur une approche optimisation. Dans un second temps, nous abordons la modélisation de la structure secondaire d'ARN. Après quelques rappels de biologie moléculaire, nous proposons plusieurs modèles basés sur des grammaires pondérées permettant la génération de structures d'ARN réalistes. L'utilisation d'un algorithme d'optimisation permet le calculer des pondérations correspondant à certaines familles d'ARN. Nous proposons enfin un algorithme d'extraction de structure secondaire maximale dans une structure générale, qui permet de profiter des données récentes issues de la cristallographie. Le dernier chapitre de cette thèse s'intéresse à l'analyse d'un algorithme de recherche de similarité heuristique, dont la sensibilité s'avère étroitement liée à la probabilité de présence d'un motif au sein de marches aléatoires particulières, les chemins culminants. Ces marches restent positives, et atteignent une altitude maximale en leur dernier pas. Nous proposons un algorithme récursif de génération aléatoire pour ces chemins. En combinant des techniques issues de la combinatoire énumérative, l'analyse asymptotique et la théorie des langages, nous dérivons des algorithmes de génération aléatoire par rejet linéaires dans de nombreux cas.

Le travail de cette thèse s'intéresse au problème du diagnostic débarqué dans le domaine automobile. Il a consisté à proposer et à mettre en œuvre une méthode opérationnelle à base de modèles qui détermine les meilleures séquences de tests que doit réaliser le garagiste afin de localiser un composant défaillant sur un véhicule. Nous proposons une approche de représentation multi-modèle des systèmes mécatronique afin de prendre en compte la complexité fonctionnelle des architectures embarquées actuelles et de relier des symptômes fonctionnels de haut niveau à un ensemble de défauts portant sur des composants matériels et logiciels. Le séquencement des tests est réalisé à partir d'un critère du prochain meilleur test. Cette stratégie interactive laisse l'initiative à l'opérateur humain d'accepter ou de refuser le test proposé. Un prototype logiciel a été développé et testé avec succès sur la fonction essuyage arrière de véhicules réels. Cette thèse a été réalisée dans le cadre d'une convention CIFRE entre le LAAS-CNRS et la société ACTIA ainsi que dans le cadre du Laboratoire Commun Autodiag (LAAS, IRIT, ACTIA) dont l'objectif est de développer de nouvelles méthodes de diagnostic pour le domaine automobile
This thesis deals with the problem of off-board diagnosis in the automotive domain. The work has consisted in proposing and implementing an operational model based approach that determines the best sequences of tests to be performed by the garage mechanic to localise a faulty component on a vehicle. A multi-model approach is proposed for the description of mechatronic systems, which allows us to handle the functional complexity of embedded systems and to match functional symptoms with a set of faults on hardware / software components. The test sequencing problem is approached along a next best test strategy based on a local heuristic. This strategy enables an interactive diagnostic session, allowing more flexibility and leaving with the human operator the initiative to accept or reject the proposed test. A software prototype has been developed and tested on the rear wiper system of real vehicles. This thesis, supported by a CIFRE grant, is the result of collaboration between the company ACTIA and the research center LAAS-CNRS in the framework of the common laboratory Autodiag (LAAS, IRIT, ACTIA) which aims at developing new methods for diagnosis in the automotive domain

Les Machines de Boltzmann restreintes (RBM) sont des modèles graphiques capables d’apprendre simultanément une distribution de probabilité et une représentation des données. Malgré leur architecture relativement simple, les RBM peuvent reproduire très fidèlement des données complexes telles que la base de données de chiffres écrits à la main MNIST. Il a par ailleurs été montré empiriquement qu’elles peuvent produire des représentations compositionnelles des données, i.e. qui décomposent les configurations en leurs différentes parties constitutives. Cependant, toutes les variantes de ce modèle ne sont pas aussi performantes les unes que les autres, et il n’y a pas d’explication théorique justifiant ces observations empiriques. Dans la première partie de ma thèse, nous avons cherché à comprendre comment un modèle si simple peut produire des distributions de probabilité si complexes. Pour cela, nous avons analysé un modèle simplifié de RBM à poids aléatoires à l’aide de la méthode des répliques. Nous avons pu caractériser théoriquement un régime compositionnel pour les RBM, et montré sous quelles conditions (statistique des poids, choix de la fonction de transfert) ce régime peut ou ne peut pas émerger. Les prédictions qualitatives et quantitatives de cette analyse théorique sont en accord avec les observations réalisées sur des RBM entraînées sur des données réelles. Nous avons ensuite appliqué les RBM à l’analyse et à la conception de séquences de protéines. De part leur grande taille, il est en effet très difficile de simuler physiquement les protéines, et donc de prédire leur structure et leur fonction. Il est cependant possible d’obtenir des informations sur la structure d’une protéine en étudiant la façon dont sa séquence varie selon les organismes. Par exemple, deux sites présentant des corrélations de mutations importantes sont souvent physiquement proches sur la structure. A l’aide de modèles graphiques tels que les Machine de Boltzmann, on peut exploiter ces signaux pour prédire la proximité spatiale des acides-aminés d’une séquence. Dans le même esprit, nous avons montré sur plusieurs familles de protéines que les RBM peuvent aller au-delà de la structure, et extraire des motifs étendus d’acides aminés en coévolution qui reflètent les contraintes phylogénétiques, structurelles et fonctionnelles des protéines. De plus, on peut utiliser les RBM pour concevoir de nouvelles séquences avec des propriétés fonctionnelles putatives par recombinaison de ces motifs. Enfin, nous avons développé de nouveaux algorithmes d’entraînement et des nouvelles formes paramétriques qui améliorent significativement la performance générative des RBM. Ces améliorations les rendent compétitives avec l’état de l’art des modèles génératifs tels que les réseaux génératifs adversariaux ou les auto-encodeurs variationnels pour des données de taille intermédiaires
Restricted Boltzmann machines (RBM) are graphical models that learn jointly a probability distribution and a representation of data. Despite their simple architecture, they can learn very well complex data distributions such the handwritten digits data base MNIST. Moreover, they are empirically known to learn compositional representations of data, i.e. representations that effectively decompose configurations into their constitutive parts. However, not all variants of RBM perform equally well, and little theoretical arguments exist for these empirical observations. In the first part of this thesis, we ask how come such a simple model can learn such complex probability distributions and representations. By analyzing an ensemble of RBM with random weights using the replica method, we have characterised a compositional regime for RBM, and shown under which conditions (statistics of weights, choice of transfer function) it can and cannot arise. Both qualitative and quantitative predictions obtained with our theoretical analysis are in agreement with observations from RBM trained on real data. In a second part, we present an application of RBM to protein sequence analysis and design. Owe to their large size, it is very difficult to run physical simulations of proteins, and to predict their structure and function. It is however possible to infer information about a protein structure from the way its sequence varies across organisms. For instance, Boltzmann Machines can leverage correlations of mutations to predict spatial proximity of the sequence amino-acids. Here, we have shown on several synthetic and real protein families that provided a compositional regime is enforced, RBM can go beyond structure and extract extended motifs of coevolving amino-acids that reflect phylogenic, structural and functional constraints within proteins. Moreover, RBM can be used to design new protein sequences with putative functional properties by recombining these motifs at will. Lastly, we have designed new training algorithms and model parametrizations that significantly improve RBM generative performance, to the point where it can compete with state-of-the-art generative models such as Generative Adversarial Networks or Variational Autoencoders on medium-scale data

Les travaux présentés dans ce manuscrit portent sur la conduite de systèmes complexes critiques. Ils s'inscrivent dans le cadre du projet CONNEXION (Investissements d'Avenir, BGLE2) qui réunit les principaux acteurs de la filière nucléaire française autour de la conception des systèmes de contrôle-commande des centrales et de leur exploitation. Dans le domaine de la conduite, les actions développées par le projet concernent la phase d'ingénierie avec pour objectif d'intégrer le point de vue de l'exploitant au plus tôt dans la validation des architectures de contrôle de commande, et la phase d'exploitation avec pour objectif de fournir une aide à la préparation et à l'exécution des procédures de conduite. Dans ce contexte, la contribution présentée dans ce mémoire porte sur la génération et la vérification de séquences d'actions de conduite répondant à un objectif donné et pouvant être opérées en toute sécurité sur le procédé. L'approche proposée repose la vérification d'une propriété d'atteignabilité sur un réseau d'automates temporisés modélisant le comportement des architectures. L'originalité réside dans la définition d’un cadre formel de modélisation sous la forme de patrons favorisant la réutilisabilité des modèles ainsi que dans la proposition d'algorithmes d'abstraction et de recherche d'atteignabilité itératifs exploitant la hiérarchisation intrinsèque des architectures afin de permettre le passage à l'échelle de l'approche proposée. La contribution a été éprouvée sur la plate-forme d'expérimentation CISPI du CRAN puis sur un cas d'étude à échelle industrielle proposé dans le cadre du projet CONNEXION
The works presented in this manuscript deals with critical complex systems operation. They are part of the CONNEXION project (Investissements d'Avenir, BGLE2), which involves the main actors in the French nuclear industry around the design of control systems for power plants and their operation. In the operation field, the actions developed by the project concern the engineering phase with the aim of integrating the operator's point of view as soon as possible in the validation of control architectures, and the operation phase with the aim of providing assistance in the preparation and execution of operation procedures. In this context, the contribution presented in this manuscript deals with the generation and verification of action sequences that meet a given objective and that can be safely operated on the process. The proposed approach relies on verifying a reachability property on a network of timed automata modelling the behavior of architectures. The originality is in the definition of a formal modelling framework using patterns promoting the reusability of models, as well as in the proposition of abstraction and reachability iterative analysis algorithms exploiting the intrinsic hierarchization of architectures in order to scale-up of the proposed approach. The contribution was evaluated on the CISPI experimental platform of the CRAN, and on an industrial scale case study proposed within the framework of the CONNEXION project

Au cours des dernières décennies, des techniques de séquençage de protéines ont été développées et des expériences continues ont été menées. Grâce à tous ces efforts, de nos jours, nous avons obtenu plus de deux-cents millions données relative à des séquences de protéines. Afin de traiter une telle quantité de données biologiques, nous avons maintenant besoin de théories et de technologies pour extraire des informations de ces données que nous pouvons comprendre et pour apporter des idées. L'idée clé pour résoudre ce problème est la physique statistique et l'état de l'art de le Machine Learning (ML). La physique statistique est un domaine de la physique qui peut décrire avec succès de nombreux systèmes complexes en extrayant ou en réduisant les variables pour en faire des variables interprétables basées sur des principes simples.ML, d'autre part, peut représenter des données (par exemple en les reconstruisant ou en les classifiant) sans comprendre comment les données ont été générées, c'est-à-dire le phénomène physique à l'origine de la création de ces données. Dans cette thèse, nous rapportons des études de modélisation générative de séquences protéiques et de prédictions de contacts protéines-résidus à l'aide de la modélisation statistique inspirée de la physique et de méthodes orientées ML. Dans la première partie, nous passons en revue le contexte général de la biologie et de la génomique. Ensuite, nous discutons des modélisations statistiques pour la séquence des protéines. En particulier, nous passons en revue l'analyse de couplage direct (DCA), qui est la technologie de base de notre recherche
Over the last few decades, protein sequencing techniques have been developed and continuous experiments have been done. Thanks to all of these efforts, nowadays, we have obtained more than two hundred million protein sequence data. In order to deal with such a huge amount of biological data, now, we need theories and technologies to extract information that we can understand and interpret.The key idea to resolve this problem is statistical physics and the state of the art of machine learning (ML). Statistical physics is a field of physics that can successfully describe many complex systems by extracting or reducing variables to be interpretable variables based on simple principles. ML, on the other hand, can represent data (such as reconstruction and classification) without assuming how the data was generated, i.e. physical phenomenon behind of data. In this dissertation, we report studies of protein sequence generative modeling and protein-residue contact predictions using statistical physics-inspired modeling and ML-oriented methods. In the first part, we review the general background of biology and genomics. Then we discuss statistical modelings for protein sequence. In particular, we review Direct Coupling Analysis (DCA), which is the core technology of our research. We also discuss the effects of higher-order statistics contained in protein sequences and introduces deep learning-based generative models as a model that can go beyond pairwise interaction

Cette dissertation explore le sujet des modèles génératifs appliqués aux images naturelles.Cette tâche consiste a modéliser la distribution des données observées, et peut permettre de générer des données artificielles semblables aux données d'origine, où de compresser des images.Les modèles à variable latentes, qui sont au cœur de cette thèse, cherchent a résumer les principaux facteurs de variation d'une image en une variable qui peut être manipulée.En particulier, nos contributions sont basées sur deux modèles génératifs a variable latentes: le modèle génératif adversarial (GAN) et l' encodeur variationel (VAE).Récemment, les GAN ont significativement amélioré la qualité des images générées par des modèles profonds, générant des images très convaincantes.Malheureusement ces modèles ont du mal à modéliser tous les modes de la distribution d'origine, ie ils ne couvrent pas les données dans toute leur variabilité.A l'inverse, les modèles basés sur le maximum de vraisemblance tels que les VAEs couvrent typiquement toute la variabilité des données, et en offrent une mesure objective.Mais ces modèles produisent des échantillons de qualité visuelle inférieure, qui sont plus facilement distingués de vrais images.Le travail présenté dans cette thèse a pour but d'obtenir le meilleur des deux mondes: des échantillons de bonne qualité tout en modélisant tout le support de la distribution.La première contribution de ce manuscrit est un modèle génératif profond qui encode la structure globale des images dans une variable latente, basé sur le VAE, et utilise un modèle autoregressif pour modéliser les détails de bas niveau.Nous proposons une procédure d'entrainement qui utilise une fonction de perte auxiliaire pour contrôler quelle information est capturée par la variable latent et quelle information est laissée à un décodeur autoregressif.Au contraire des précédentes approches pour construire des modèles hybrides de ce genre, notre modèle de nécessite pas de contraindre la capacité du décodeur autoregressif pour empêcher des modèles dégénérés qui ignorent la variable latente.La deuxième contribution est bâtie sur le modèle du GAN standard, qui utilise un discriminateur pour guider le modèle génératif.Le discriminateur évalue généralement la qualité d'échantillons individuels, ce qui rend la tache d'évaluer la variabilité des données difficile.A la place, nous proposons de fournir au discriminateur des ensembles de données, ou batches, qui mélangent des vraies images et des images générées.Nous l'entrainons à prédire le ratio de vrais et de faux éléments dans l'ensemble.Ces batches servent d'approximation de la vrai distribution des images générées et permettent au discriminateur d'approximer des statistiques sur leur distributionLes lacunes mutuelles des VAEs et des GANs peuvent, en principe, être réglées en entrainant des modèles hybrides qui utilisent les deux types d'objectif.Dans notre troisième contribution, nous montrons que les hypothèses paramétriques habituelles faites par les VAE produisent un conflit entre les deux, menant à des performances décevantes pour les modèles hybrides.Nous proposons une solution basée sur des modèles profonds inversibles, qui entraine un espace de features dans lequel les hypothèses habituelles peuvent être faites sans poser problème.Notre approche fourni des évaluations e vraisemblance dans l'espace des images tout en étant capable de tirer profit de l'entrainement adversaire.Elle obtient des échantillons de qualité équivalente au modèle pleinement adversaires tout en améliorant les scores de maximum de vraisemblance au moment de la publication, ce qui constitue une amélioration significative
This dissertation explores the topic of generative modelling of natural images,which is the task of fitting a data generating distribution.Such models can be used to generate artificial data resembling the true data, or to compress images.Latent variable models, which are at the core of our contributions, seek to capture the main factors of variations of an image into a variable that can be manipulated.In particular we build on two successful latent variable generative models, the generative adversarial network (GAN) and Variational autoencoder (VAE) models.Recently GANs significantly improved the quality of images generated by deep models, obtaining very compelling samples.Unfortunately these models struggle to capture all the modes of the original distribution, ie they do not cover the full variability of the dataset.Conversely, likelihood based models such as VAEs typically cover the full variety of the data well and provide an objective measure of coverage.However these models produce samples of inferior visual quality that are more easily distinguished from real ones.The work presented in this thesis strives for the best of both worlds: to obtain compelling samples while modelling the full support of the distribution.To achieve that, we focus on i) the optimisation problems used and ii) practical model limitations that hinder performance.The first contribution of this manuscript is a deep generative model that encodes global image structure into latent variables, built on the VAE, and autoregressively models low level detail.We propose a training procedure relying on an auxiliary loss function to control what information is captured by the latent variables and what information is left to an autoregressive decoder.Unlike previous approaches to such hybrid models, ours does not need to restrict the capacity of the autoregressive decoder to prevent degenerate models that ignore the latent variables.The second contribution builds on the standard GAN model, which trains a discriminator network to provide feedback to a generative network.The discriminator usually assesses the quality of individual samples, which makes it hard to evaluate the variability of the data.Instead we propose to feed the discriminator with emph{batches} that mix both true and fake samples, and train it to predict the ratio of true samples in the batch.These batches work as approximations of the distribution of generated images and allows the discriminator to approximate distributional statistics.We introduce an architecture that is well suited to solve this problem efficiently,and show experimentally that our approach reduces mode collapse in GANs on two synthetic datasets, and obtains good results on the CIFAR10 and CelebA datasets.The mutual shortcomings of VAEs and GANs can in principle be addressed by training hybrid models that use both types of objective.In our third contribution, we show that usual parametric assumptions made in VAEs induce a conflict between them, leading to lackluster performance of hybrid models.We propose a solution based on deep invertible transformations, that trains a feature space in which usual assumptions can be made without harm.Our approach provides likelihood computations in image space while being able to take advantage of adversarial training.It obtains GAN-like samples that are competitive with fully adversarial models while improving likelihood scores over existing hybrid models at the time of publication, which is a significant advancement

Ce mémoire traite des modèles génératifs profonds appliqués à la génération automatique de musique symbolique. Nous nous attacherons tout particulièrement à concevoir des modèles génératifs interactifs, c'est-à-dire des modèles instaurant un dialogue entre un compositeur humain et la machine au cours du processus créatif. En effet, les récentes avancées en intelligence artificielle permettent maintenant de concevoir de puissants modèles génératifs capables de générer du contenu musical sans intervention humaine. Il me semble cependant que cette approche est stérile pour la production artistique dans le sens où l'intervention et l'appréciation humaines en sont des piliers essentiels. En revanche, la conception d'assistants puissants, flexibles et expressifs destinés aux créateurs de contenus musicaux me semble pleine de sens. Que ce soit dans un but pédagogique ou afin de stimuler la créativité artistique, le développement et le potentiel de ces nouveaux outils de composition assistée par ordinateur sont prometteurs. Dans ce manuscrit, je propose plusieurs nouvelles architectures remettant l'humain au centre de la création musicale. Les modèles proposés ont en commun la nécessité de permettre à un opérateur de contrôler les contenus générés. Afin de rendre cette interaction aisée, des interfaces utilisateurs ont été développées ; les possibilités de contrôle se manifestent sous des aspects variés et laissent entrevoir de nouveaux paradigmes compositionnels. Afin d'ancrer ces avancées dans une pratique musicale réelle, je conclue cette thèse sur la présentation de quelques réalisations concrètes (partitions, concerts) résultant de l'utilisation de ces nouveaux outils
This thesis discusses the use of deep generative models for symbolic music generation. We will be focused on devising interactive generative models which are able to create new creative processes through a fruitful dialogue between a human composer and a computer. Recent advances in artificial intelligence led to the development of powerful generative models able to generate musical content without the need of human intervention. I believe that this practice cannot be thriving in the future since the human experience and human appreciation are at the crux of the artistic production. However, the need of both flexible and expressive tools which could enhance content creators' creativity is patent; the development and the potential of such novel A.I.-augmented computer music tools are promising. In this manuscript, I propose novel architectures that are able to put artists back in the loop. The proposed models share the common characteristic that they are devised so that a user can control the generated musical contents in a creative way. In order to create a user-friendly interaction with these interactive deep generative models, user interfaces were developed. I believe that new compositional paradigms will emerge from the possibilities offered by these enhanced controls. This thesis ends on the presentation of genuine musical projects like concerts featuring these new creative tools

Ce mémoire traite des modèles génératifs profonds appliqués à la génération automatique de musique symbolique. Nous nous attacherons tout particulièrement à concevoir des modèles génératifs interactifs, c'est-à-dire des modèles instaurant un dialogue entre un compositeur humain et la machine au cours du processus créatif. En effet, les récentes avancées en intelligence artificielle permettent maintenant de concevoir de puissants modèles génératifs capables de générer du contenu musical sans intervention humaine. Il me semble cependant que cette approche est stérile pour la production artistique dans le sens où l'intervention et l'appréciation humaines en sont des piliers essentiels. En revanche, la conception d'assistants puissants, flexibles et expressifs destinés aux créateurs de contenus musicaux me semble pleine de sens. Que ce soit dans un but pédagogique ou afin de stimuler la créativité artistique, le développement et le potentiel de ces nouveaux outils de composition assistée par ordinateur sont prometteurs. Dans ce manuscrit, je propose plusieurs nouvelles architectures remettant l'humain au centre de la création musicale. Les modèles proposés ont en commun la nécessité de permettre à un opérateur de contrôler les contenus générés. Afin de rendre cette interaction aisée, des interfaces utilisateurs ont été développées ; les possibilités de contrôle se manifestent sous des aspects variés et laissent entrevoir de nouveaux paradigmes compositionnels. Afin d'ancrer ces avancées dans une pratique musicale réelle, je conclue cette thèse sur la présentation de quelques réalisations concrètes (partitions, concerts) résultant de l'utilisation de ces nouveaux outils
This thesis discusses the use of deep generative models for symbolic music generation. We will be focused on devising interactive generative models which are able to create new creative processes through a fruitful dialogue between a human composer and a computer. Recent advances in artificial intelligence led to the development of powerful generative models able to generate musical content without the need of human intervention. I believe that this practice cannot be thriving in the future since the human experience and human appreciation are at the crux of the artistic production. However, the need of both flexible and expressive tools which could enhance content creators' creativity is patent; the development and the potential of such novel A.I.-augmented computer music tools are promising. In this manuscript, I propose novel architectures that are able to put artists back in the loop. The proposed models share the common characteristic that they are devised so that a user can control the generated musical contents in a creative way. In order to create a user-friendly interaction with these interactive deep generative models, user interfaces were developed. I believe that new compositional paradigms will emerge from the possibilities offered by these enhanced controls. This thesis ends on the presentation of genuine musical projects like concerts featuring these new creative tools

Une preoccupation majeure dans le domaine des reseaux et systemes repartis est le test. Nous nous sommes interesses au test de conformite qui a pour but de verifier si une implantation est conforme a une specification de protocole donnee. Nous avons elabore des methodes permettant de repondre aux questions fondamentales du test de conformite: comment generer et selectionner des cas de test ? quelle est la couverture d'une suite de test ? la methode de generation proposee utilise la theorie des langages formels et en particulier la theorie du monoide. Les specifications sont representees par des automates. Un langage permet de decrire des objectifs de test. A partir des objectifs de test, on calcule les sous-specifications cibles correspondantes. Des criteres de generation sont exprimes sous forme de regles que doivent respecter les sequences generees. La couverture est etudiee en fonction de criteres de couverture exprimes grace au meme langage que les objectifs de test. La mesure de couverture consiste dans un premier temps a verifier qu'un critere de couverture est teste par au moins une sequence de test. Dans un deuxieme temps, une metrique de couverture est definie permettant de mieux apprecier la qualite d'une suite de test. La particularite commune a ces deux methodes est leur adaptabilite a un probleme de test particulier (modele de fautes, architecture de test, objectifs de test)

L'essor de l'apprentissage profond trouve notamment sa source dans les avancées scientifiques qu'il a permises en termes d'apprentissage de représentations et de modèles génératifs. Dans leur grande majorité, ces progrès ont cependant été obtenus sur des données textuelles et visuelles statiques, les données temporelles demeurant un défi pour ces méthodes. Compte tenu de leur importance pour l'automatisation croissante de multiples tâches, de plus en plus de travaux en apprentissage automatique s'intéressent aux problématiques d'évolution temporelle. Dans cette thèse, nous étudions ainsi plusieurs aspects de la temporalité et des systèmes dynamiques dans les réseaux de neurones profonds pour l'apprentissage non supervisé de représentations et de modèles génératifs. Premièrement, nous présentons une méthode générale d'apprentissage de représentations non supervisée pour les séries temporelles prenant en compte des besoins pratiques d'efficacité et de flexibilité. Dans un second temps, nous nous intéressons à l'apprentissage pour les séquences structurées de nature spatio-temporelle, couvrant les vidéos et phénomènes physiques. En les modélisant par des équations différentielles paramétrisées par des réseaux de neurones, nous montrons la corrélation entre la découverte de représentations pertinentes d'un côté, et de l'autre la fabrique de modèles prédictifs performants sur ces données. Enfin, nous analysons plus généralement dans une troisième partie les populaires réseaux antagonistes génératifs dont nous décrivons la dynamique d'apprentissage par des équations différentielles, nous permettant d'améliorer la compréhension de leur fonctionnement
The recent rise of deep learning has been motivated by numerous scientific breakthroughs, particularly regarding representation learning and generative modeling. However, most of these achievements have been obtained on image or text data, whose evolution through time remains challenging for existing methods. Given their importance for autonomous systems to adapt in a constantly evolving environment, these challenges have been actively investigated in a growing body of work. In this thesis, we follow this line of work and study several aspects of temporality and dynamical systems in deep unsupervised representation learning and generative modeling. Firstly, we present a general-purpose deep unsupervised representation learning method for time series tackling scalability and adaptivity issues arising in practical applications. We then further study in a second part representation learning for sequences by focusing on structured and stochastic spatiotemporal data: videos and physical phenomena. We show in this context that performant temporal generative prediction models help to uncover meaningful and disentangled representations, and conversely. We highlight to this end the crucial role of differential equations in the modeling and embedding of these natural sequences within sequential generative models. Finally, we more broadly analyze in a third part a popular class of generative models, generative adversarial networks, under the scope of dynamical systems. We study the evolution of the involved neural networks with respect to their training time by describing it with a differential equation, allowing us to gain a novel understanding of this generative model

Une approche syntagmatique des productions langagières effectives, normales ou pathologiques, met en évidence une alternance de séquences stables, au déroulement prévisible car elles sont proches d’une phraséologie, et de zones de bifurcation, caractérisées par une baisse brutale de la prévisibilité. On propose ici une interprétation de ce phénomène, en l’articulant sur l’histoire des modèles syntaxiques contemporains.

Un modèle d'évolution permet d'associer une probabilité à l'évènement « passer de l'état A à l'état B en un temps donné » pour le caractère d'intérêt. Le calcul des arbres d'évolution repose pour l'essentiel sur des modèles d'évolution de séquences génétiques, où le caractère d'intérêt est le nucléotide ou l'acide aminé présent à un site donné. Ce chapitre présente les modèles de Markov en temps continu qui sont à la base des principaux modèles d’évolution de séquences et de caractères discrets.

Ce chapitre montre que l’évolution temporelle des groupes de séismes identifiés est cohérente avec celles obtenues par des études antérieures de séquences sismiques sélectionnées, et que les états cachés des taux de sismicité les plus élevés sont principalement associés à des séquences AM et de type essaim.

Focalisé sur les séquences d'ARN, ce chapitre présente les méthodes d'inférence des repliements en structure secondaire. Il s'intéresse d'une part aux approches d'optimisation (énergie minimale), et d'autre part aux approches ensemblistes et probabilistes, et enfin au modèle de Turner s'intéressant aux motifs, avant d'aborder les différentes implémentations de ces modèles.

Une approche intuitive pour reconstruire les arbres évolutifs consiste à regrouper les espèces ou les séquences génétiques selon leur ressemblance. Différentes méthodes formelles ont été développées afin de déterminer un arbre phylogénétique à partir d'une mesure de dissimilarité. Celles-ci ont l'avantage d'être beaucoup plus rapides que les méthodes basées sur des modèles d'évolution et sont donc couramment utilisées.

Les modifications des contraintes induites par les tremblements de terre sont connues pour leur capacité à produire des séquences d’événements ultérieurs que l’on appelle communément des répliques. Les processus des répliques semblent être les meilleurs exemples de l’augmentation du taux de sismicité à la suite d’un événement déclencheur. La capacité d’un tremblement de terre à produire des événements ultérieurs se caractérise par la productivité, qui est comprise comme le nombre d’événements initiés.

« Faire » un énoncé artistique, c’est toujours, au départ « faire un point », fût-il grain du pigment archaïque, point de la peinture (Kandinsky), point-écran de la vidéo (Kuntzel) ou pixel de l’écran informatique. Ce grain-point qui détermine la genèse du visuel procède de pratiques différentes selon qu’il manifeste une intentionnalité rituelle (Leroi-Gourhan) ou esthétique. Il suggère également des rapports distincts à l’énonciation et plusieurs définitions épistémologiques : le grain est posé ; avec un liant, il devient peinture et se dispose au geste du peintre tandis que le pixel, échangeur entre l’image et le calcul mathématique, se « fait » à l’écran.Qui « fait » ? (quelle instance) et que « fait »-il (poser, tracer, composer à l’écran…) ? On voit aussi que le lien intime qui relie, par-delà les âges, le pigment de la Préhistoire au pixel d’aujourd’hui, sous-tend des modèles génératifs et des régimes sémiotiques distincts (l’alternative représentation/simulation de Couchot). La différence porte de même sur les rapports à la perception, l’effet « pelliculaire » du pixel renouant avec celui du pigment mais s’opposant résolument aux profondeurs de la peinture. Pourtant, en dépit de ces différences, une ressemblance essentielle subsiste qui tient au caractère veridictoire du grain-point. En effet, c’est toujours ce grain-point qui, devenu ligne (Kandinsky) et figure, déclare l’image comme telle, qu’il trahisse sa fiction au travers du flou ou du carré insistant du pixel-art. Par cet effet métadiscursif, il révèle que l’image a été faite et relève bien d’un « faire » poïétique séparé de l’être, quand bien même elle paraît-être. En ce sens, la « vérité » des images tiendrait moins à la collusion du paraître et de l’être que consacre le carré de la véridiction qu’à une déhiscence fondamentale entre l’être et le « faire ».