Letteratura scientifica selezionata sul tema "Apprentissage machine adversarial"

Ces dernières années, on a assisté à une augmentation spectaculaire de l’intérêt académique et sociétal pour l’apprentissage automatique équitable. En conséquence, des travaux significatifs ont été réalisés pour inclure des contraintes d’équité dans les algorithmes d’apprentissage automatique. Le but principal est de s’assurer que les prédictions des modèles ne dépendent d’aucun attribut sensible comme le genre ou l’origine d’une personne par exemple. Bien que cette notion d’indépendance soit incontestable dans un contexte général, elle peut théoriquement être définie de manière totalement différente selon la façon dont on voit l’équité. Par conséquent, de nombreux articles récents abordent ce défi en utilisant leurs "propres" objectifs et notions d’équité. Les objectifs sont catégorisés en deux familles différentes : L’équité individuelle et l’équité de groupe. Cette thèse donne d’une part, une vue d’ensemble des méthodologies appliquées dans ces différentes familles afin d’encourager les bonnes pratiques. Ensuite, nous identifions et complétons les lacunes en présentant de nouvelles métriques et des algorithmes de machine learning équitables qui sont plus appropriés pour des contextes spécifiques
The past few years have seen a dramatic rise of academic and societal interest in fair machine learning. As a result, significant work has been done to include fairness constraints in the training objective of machine learning algorithms. Its primary purpose is to ensure that model predictions do not depend on any sensitive attribute as gender or race, for example. Although this notion of independence is incontestable in a general context, it can theoretically be defined in many different ways depending on how one sees fairness. As a result, many recent papers tackle this challenge by using their "own" objectives and notions of fairness. Objectives can be categorized in two different families: Individual and Group fairness. This thesis gives an overview of the methodologies applied in these different families in order to encourage good practices. Then, we identify and complete gaps by presenting new metrics and new Fair-ML algorithms that are more appropriate for specific contexts

Cette thèse se concentre sur la question de la robustesse en apprentissage automatique, en examinant spécifiquement deux types d'attaques : les attaques de contamination pendant l'apprentissage et les attaques d'évasion pendant l'inférence.L'étude des attaques de contamination remonte aux années soixante et a été unifiée sous la théorie des statistiques robustes. Cependant, les recherches antérieures se sont principalement concentrées sur des types de données classiques, comme les nombres réels. Dans cette thèse, les statistiques robustes sont étendues aux données de classement, qui ne possèdent pas de structure d'espace vectoriel et ont une nature combinatoire. Les contributions de la thèse comprennent notamment un algorithme pour mesurer la robustesse des statistiques pour la tâche qui consiste à trouver un rang consensus dans un ensemble de données de rangs, ainsi que deux statistiques robustes pour résoudre ce même problème.En revanche, depuis 2013, les attaques d'évasion ont suscité une attention considérable dans le domaine de l'apprentissage profond, en particulier pour la classification d'images. Malgré la prolifération des travaux de recherche sur les exemples adversaires, le problème reste difficile à analyser sur le plan théorique et manque d'unification. Pour remédier à cela, cette thèse apporte des contributions à la compréhension et à l'atténuation des attaques d'évasion. Ces contributions comprennent l'unification des caractéristiques des exemples adversaires grâce à l'étude des paramètres sous-optimisés et à la circulation de l'information au travers des réseaux de neurones, ainsi que l'établissement de bornes théoriques caractérisant le taux de succès des attaques, récemment créées, de faible dimension
This thesis focuses on the question of robustness in machine learning, specifically examining two types of attacks: poisoning attacks at training time and evasion attacks at inference time.The study of poisoning attacks dates back to the sixties and has been unified under the theory of robust statistics. However, prior research was primarily focused on classical data types, mainly real-numbered data, limiting the applicability of poisoning attack studies. In this thesis, robust statistics are extended to ranking data, which lack a vector space structure and have a combinatorial nature. The work presented in this thesis initiates the study of robustness in the context of ranking data and provides a framework for future extensions. Contributions include a practical algorithm to measure the robustness of statistics for the task of consensus ranking, and two robust statistics to solve this task.In contrast, since 2013, evasion attacks gained significant attention in the deep learning field, particularly for image classification. Despite the proliferation of research works on adversarial examples, the theoretical analysis of the problem remains challenging and it lacks unification. To address this matter, the thesis makes contributions to understanding and mitigating evasion attacks. These contributions involve the unification of adversarial examples' characteristics through the study of under-optimized edges and information flow within neural networks, and the establishment of theoretical bounds characterizing the success rate of modern low-dimensional attacks for a wide range of models

De nombreux problèmes traités par l'IA sont des problèmes de classification de données d'entrées complexes qui doivent être séparées en différentes classes. Les fonctions transformant l'espace complexe des valeurs d'entrées en un espace plus simple, linéairement séparable, se font soit par apprentissage (réseaux convolutionels profonds), soit par projection dans un espace de haute dimension afin d'obtenir une représentation non-linéaire 'riche' des entrées puis un appariement linaire entre l'espace de haute dimension et les unités de sortie, tels qu'utilisés dans les Support Vector Machines (travaux de Vapnik 1966-1995). L'objectif de la thèse est de réaliser une architecture optimisée, générique dans un domaine d'application donné, permettant de pré-traiter des données afin de les préparer pour une classification en un minimum d'opérations. En outre, cette architecture aura pour but d'augmenter l'autonomie du modèle en lui permettant par exemple d'apprendre en continu, d'être robuste aux données corrompues ou d'identifier des données que le modèle ne pourrait pas traiter
Many issues addressed by AI involve the classification of complex input data that needs to be separated into different classes. The functions that transform the complex input values into a simpler, linearly separable space are achieved either through learning (deep convolutional networks) or by projecting into a high-dimensional space to obtain a 'rich' non-linear representation of the inputs, followed by a linear mapping between the high-dimensional space and the output units, as used in Support Vector Machines (Vapnik's work 1966-1995). The thesis aims to create an optimized, generic architecture capable of preprocessing data to prepare them for classification with minimal operations required. Additionally, this architecture aims to enhance the model's autonomy by enabling continuous learning, robustness to corrupted data, and the identification of data that the model cannot process

Les réseaux de neurones convolutifs et les réseaux neurones récurrents (RNN) ont été largement utilisés dans de nombreux domaines tels que la vision par ordinateur, le traitement naturel du langage et le traitement du signal. Néanmoins, la charge de calcul et le besoin en bande passante mémoire impliqués dans l'inférence des réseaux de neurones profonds empêchent souvent leur déploiement sur des cibles embarquées à faible ressources. De plus, la vulnérabilité des réseaux de neurones profonds à de petites perturbations sur les entrées remet en question leur déploiement pour des applications impliquant des décisions de haute criticité. Pour relever ces défis, cette thèse propose deux principales contributions. D'une part, nous proposons des méthodes de compression pour rendre les réseaux de neurones profonds plus adaptés aux systèmes embarqués ayant de faibles ressources. D'autre part, nous proposons une nouvelle stratégie pour rendre les réseaux de neurones profonds plus robustes aux attaques adverses en tenant compte des ressources limitées des systèmes embarqués. Dans un premier temps, nous présentons une revue de la littérature sur des principes et des outils de bases de l'apprentissage profond, des types de réseaux de neurones reconnus et un état de l'art sur des méthodes de compression de réseaux de neurones. Ensuite, nous présentons deux contributions autour de la compression des réseaux de neurones profonds : une étude de transférabilité du Lottery Ticket sur les RNN et une méthode de quantification à l’apprentissage. L’étude de transférabilité du Lottery Ticket sur les RNN analyse la convergence des RNN et étudie son impact sur l'élagage des paramètres pour des taches de classification d'images et de modélisation du langage. Nous proposons aussi une méthode de prétraitement basée sur le sous-échantillonnage des données qui permet une convergence plus rapide des LSTM tout en préservant les performances applicatives. Avec la méthode Disentangled Loss Quantization Aware Training (DL-QAT), nous proposons d'améliorer une méthode de quantification avancée avec des fonctions de coût favorables à la quantification afin d'atteindre des paramètres binaires. Les expériences sur ImageNet-1k avec DL-QAT montrent une amélioration de près de 1 % sur la précision du score de ResNet-18 avec des poids binaires et des activations de 2 bits. Il apparaît clairement que DL-QAT fournit le meilleur profil du compromis entre l'empreinte mémoire et la performance applicative. Ce travail étudie ensuite la robustesse des réseaux de neurones face aux attaques adverses. Après avoir présenté l'état de l'art sur les attaques adverses et les mécanismes de défense, nous proposons le mécanisme de défense Ensemble Hash Defense (EHD). EHD permet une meilleure résistance aux attaques adverses basées sur l'approximation du gradient tout en préservant les performances de l'application et en ne nécessitant qu'une surcharge de mémoire au moment de l'inférence. Dans la meilleure configuration, notre système réalise des gains de robustesse significatifs par rapport aux modèles de base et à une approche de robustesse basée sur la fonction de coût. De plus, le principe de l'EHD la rend complémentaire à d'autres méthodes d'optimisation robuste qui permettraient d'améliorer encore la robustesse du système final. Dans la perspective de l'inférence sur cible embarquée, la surcharge mémoire introduite par l'EHD peut être réduite par la quantification ou le partage de poids. En conclusion, les travaux de cette thèse ont proposé des méthodes de compression de réseaux de neurones et un système de défense pour résoudre des défis importants, à savoir comment rendre les réseaux de neurones profonds plus robustes face aux attaques adverses et plus faciles à déployer sur les plateformes à ressources limitées. Ces travaux réduisent davantage l'écart entre l'état de l'art des réseaux neurones profonds et leur exécution sur des cibles embarquées à faible ressources
Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) have been broadly used in many fields such as computer vision, natural language processing and signal processing. Nevertheless, the computational workload and the heavy memory bandwidth involved in deep neural networks inference often prevents their deployment on low-power embedded devices. Moreover, deep neural networks vulnerability towards small input perturbations questions their deployment for applications involving high criticality decisions. This PhD research project objective is twofold. On the one hand, it proposes compression methods to make deep neural networks more suitable for embedded systems with low computing resources and memory requirements. On the other hand, it proposes a new strategy to make deep neural networks more robust towards attacks based on crafted inputs with the perspective to infer on edge. We begin by introducing common concepts for training neural networks, convolutional neural networks, recurrent neural networks and review the state of the art neural on deep neural networks compression methods. After this literature review we present two main contributions on compressing deep neural networks: an investigation of lottery tickets on RNNs and Disentangled Loss Quantization Aware Training (DL-QAT) on CNNs. The investigation of lottery tickets on RNNs analyze the convergence of RNNs and study its impact when subject to pruning on image classification and language modelling. Then we present a pre-processing method based on data sub-sampling that enables faster convergence of LSTM while preserving application performance. With the Disentangled Loss Quantization Aware Training (DL-QAT) method, we propose to further improve an advanced quantization method with quantization friendly loss functions to reach low bit settings like binary parameters where the application performance is the most impacted. Experiments on ImageNet-1k with DL-QAT show improvements by nearly 1\% on the top-1 accuracy of ResNet-18 with binary weights and 2-bit activations, and also show the best profile of memory footprint over accuracy when compared with other state-of-the art methods. This work then studies neural networks robustness toward adversarial attacks. After introducing the state of the art on adversarial attacks and defense mechanisms, we propose the Ensemble Hash Defense (EHD) defense mechanism. EHD enables better resilience to adversarial attacks based on gradient approximation while preserving application performance and only requiring a memory overhead at inference time. In the best configuration, our system achieves significant robustness gains compared to baseline models and a loss function-driven approach. Moreover, the principle of EHD makes it complementary to other robust optimization methods that would further enhance the robustness of the final system and compression methods. With the perspective of edge inference, the memory overhead introduced by EHD can be reduced with quantization or weight sharing. The contributions in this thesis have concerned optimization methods and a defense system to solve an important challenge, that is, how to make deep neural networks more robust towards adversarial attacks and easier to deployed on the resource limited platforms. This work further reduces the gap between state of the art deep neural networks and their execution on edge devices

La popularisation des smartphones et leur caractère indispensable les rendent aujourd'hui indéniables. Leur croissance exponentielle est également à l'origine de l'apparition de nombreux logiciels malveillants et fait trembler le prospère écosystème mobile. Parmi tous les systèmes d'exploitation des smartphones, Android est le plus ciblé par les auteurs de logiciels malveillants en raison de sa popularité, de sa disponibilité en tant que logiciel libre, et de sa capacité intrinsèque à accéder aux ressources internes. Les approches basées sur l'apprentissage automatique ont été déployées avec succès pour combattre les logiciels malveillants polymorphes et évolutifs. Au fur et à mesure que le classificateur devient populaire et largement adopté, l'intérêt d'échapper au classificateur augmente également. Les chercheurs et les adversaires se livrent à une course sans fin pour renforcer le système de détection des logiciels malveillants androïd et y échapper. Afin de lutter contre ces logiciels malveillants et de contrer les attaques adverses, nous proposons dans cette thèse un système de détection de logiciels malveillants android basé sur le codage d'images, un système qui a prouvé sa robustesse contre diverses attaques adverses. La plateforme proposée construit d'abord le système de détection des logiciels malveillants android en transformant intelligemment le fichier Android Application Packaging (APK) en une image RGB légère et en entraînant un réseau neuronal convolutif (CNN) pour la détection des logiciels malveillants et la classification des familles. Notre nouvelle méthode de transformation génère des modèles pour les APK bénins et malveillants plus faciles à classifier en images de couleur. Le système de détection ainsi conçu donne une excellente précision de 99,37% avec un Taux de Faux Négatifs (FNR) de 0,8% et un Taux de Faux Positifs (FPR) de 0,39% pour les anciennes et les nouvelles variantes de logiciels malveillants. Dans la deuxième phase, nous avons évalué la robustesse de notre système de détection de logiciels malveillants android basé sur l'image. Pour valider son efficacité contre les attaques adverses, nous avons créé trois nouveaux modèles d'attaques. Notre évaluation révèle que les systèmes de détection de logiciels malveillants basés sur l'apprentissage les plus récents sont faciles à contourner, avec un taux d'évasion de plus de 50 %. Cependant, le système que nous avons proposé construit un mécanisme robuste contre les perturbations adverses en utilisant son espace continu intrinsèque obtenu après la transformation intelligente des fichiers Dex et Manifest, ce qui rend le système de détection difficile à contourner
The exhilarating proliferation of smartphones and their indispensability to human life is inevitable. The exponential growth is also triggering widespread malware and stumbling the prosperous mobile ecosystem. Among all handheld devices, Android is the most targeted hive for malware authors due to its popularity, open-source availability, and intrinsic infirmity to access internal resources. Machine learning-based approaches have been successfully deployed to combat evolving and polymorphic malware campaigns. As the classifier becomes popular and widely adopted, the incentive to evade the classifier also increases. Researchers and adversaries are in a never-ending race to strengthen and evade the android malware detection system. To combat malware campaigns and counter adversarial attacks, we propose a robust image-based android malware detection system that has proven its robustness against various adversarial attacks. The proposed platform first constructs the android malware detection system by intelligently transforming the Android Application Packaging (APK) file into a lightweight RGB image and training a convolutional neural network (CNN) for malware detection and family classification. Our novel transformation method generates evident patterns for benign and malware APKs in color images, making the classification easier. The detection system yielded an excellent accuracy of 99.37% with a False Negative Rate (FNR) of 0.8% and a False Positive Rate (FPR) of 0.39% for legacy and new malware variants. In the second phase, we evaluate the robustness of our secured image-based android malware detection system. To validate its hardness and effectiveness against evasion, we have crafted three novel adversarial attack models. Our thorough evaluation reveals that state-of-the-art learning-based malware detection systems are easy to evade, with more than a 50% evasion rate. However, our proposed system builds a secure mechanism against adversarial perturbations using its intrinsic continuous space obtained after the intelligent transformation of Dex and Manifest files which makes the detection system strenuous to bypass

Les systèmes de détection d'intrusion (IDS) sont des composants essentiels dans l'infrastructure de sécurité des réseaux. Pour faire face aux problèmes de scalabilité des IDS utilisant des règles de détection artisanales, l'apprentissage automatique est utilisé pour concevoir des IDS formés sur des ensembles de données. Cependant, ils sont de plus en plus mis au défi par des méta-attaques, appelées attaques d'évasion adverses, qui modifient les attaques existantes pour améliorer leurs capacités d'évasion. Par exemple, ces approches utilisent les réseaux antagonistes génératifs (GAN) pour automatiser la modification. Différentes approches ont été proposées pour rendre ces IDS robustes : les solutions basées sur l'entraînement antagoniste se sont avérées assez réussies.Néanmoins, l'évasion des IDS demeure pertinente car de nombreuses contributions montrent également que les attaques d'évasion adverses restent efficaces malgré l'utilisation de l'entraînement antagoniste sur les IDS. Dans cette thèse, nous étudions cette situation et présentons des contributions qui améliorent la compréhension de l'une de ses causes profondes et des directives pour l'atténuer. La première étape est de mieux comprendre les sources possibles de variabilité dans les performances des IDS ou des attaques d'évasion. Trois sources potentielles sont considérées : les problèmes d'évaluation méthodologique, la course inhérente conduisant à dépenser davantage de ressources informatiques en attaque ou en défense, ainsi que les problèmes d'entraînement et d'acquisition de données lors de l'entraînement des IDS.La première contribution consiste en des directives pour mener des évaluations robustes des IDS au-delà de la simple recommandation pour une analyse empirique. Ces directives couvrent à la fois la conception d'une seule expérience mais aussi les campagnes d'analyse de sensibilité. La conséquence de l'application de ces directives est d'obtenir des résultats plus stables lors du changement de paramètres liés aux ressources d'entraînement. L'élimination des artefacts dus à des procédures d'évaluation inadéquates nous amène à enquêter sur les raisons pour lesquelles certaines parties sélectionnées de l'ensemble de données considérées tendent à n'être presque pas affectées par les attaques adverses.La deuxième contribution est la formalisation des milieux adverses en proposant une autre façon de caractériser les échantillons contradictoires. Cette formalisation nous permet de revisiter un critère de qualité des données, à savoir l'absence d'échantillons contradictoires, qui porte habituellement sur les échantillons non contradictoires, et de l'adapter aux ensembles de données d'échantillons contradictoires. À partir de cette démarche, quatre situations de menace ont été identifiées avec des impacts qualitatifs clairs soit sur l'entraînement d'un IDS robuste, soit sur la capacité de l'attaquant à trouver des attaques d'évasion plus réussies.Enfin, nous proposons des contre-mesures aux menaces mentionnées ci-dessus et effectuons ensuite une évaluation quantitative empirique de ces menaces et des contre-mesures proposées. Les résultats de ces expérimentations confirment l'importance de vérifier et d'atténuer de manière appropriée les menaces liées à un ensemble contradictoire étendu non vide. En effet, il s'agit d'une vulnérabilité non triviale qui peut être vérifiée et atténuée avant l'entraînement des IDS
Intrusion Detection Systems (IDSs) serve as critical components in network security infrastructure.In order to cope with the scalability issues of IDSs using handcrafted detection rules, machine learning is used to design IDSs trained on datasets.Yet, they are increasingly challenged by meta-attacks, called adversarial evasion attacks, that alter existing attacks to improve their evasion capabilities.These approaches, for instance, employ Generative Adversarial Networks (GANs) to automate the alteration process.Several strategies have been proposed to enhance the robustness of IDSs against such attacks, with significant success in strategies based on adversarial training.However, IDSs evasion remains relevant as many contributions also show that adversarial evasion attacks are still efficient despite using adversarial training on IDSs. In this thesis, we investigate this situation and present contributions that improve the understanding of one of its root causes and guidelines to mitigate it.The first step is to better understand the possible sources of variability in IDS or evasion attack performances. Three potential sources are considered: methodological assessment issues, the inherent race to spend more computational resources in attack or defense, or issues in training and dataset acquisition when training IDSs.The first contribution consists of guidelines to conduct robust IDSs assessments beyond the simple recommendation for empirical analysis. These guidelines cover both single experiment design but also sensitivity analysis campaigns.The consequence of applying such guidelines is to obtain more stable results when changing training resource related parameters. Removing artifacts due to inadequate assessment procedures leads us to investigate why some selected parts of the considered dataset tend to be almost not affected by adversarial attacks.The second contribution is the formalization of adversarial neighborhoods: an alternative way to characterize adversarial samples. This formalization allows us to adapt and evaluate data quality criteria used for non-adversarial samples, such as the absence of contradictory samples, and apply similar criteria to adversarial sample datasets. From this concept, four threat situations have been identified with clear qualitative impacts either on the training of a robust IDS or the attacker's ability to find more successful evasion attacks.Finally, we propose countermeasures to the identified threats and then perform an empirical quantitative assessment of both threats and countermeasures.The findings of these experiments highlight the need to identify and mitigate threats associated with a non-empty extended contradictory set. Indeed, this crucial vulnerability should be identified and addressed prior to IDS training

Cette thèse étudie le problème de dose de radiation dans les études de Tomographie par Émission de Positons (PET). Trois aspects du PET-scan sont analysées. La première partie de cette thèse est dédiée à la technologie PET-scan. Deux techniques sont développées pour le PET-scan à faible dose : l’AR-PET. Une première stratégie de sélection et de placement de photomultiplicateurs est proposée, augmentant la résolution énergétique. Une technique de localisation d’impacts des photons gamma dans les cristaux solides de scintillation est développé. Cette technique est basée sur des réseaux de neurones artificiels et sur une acquisition unique de champ. Nous montrons qu’une augmentation de la sensibilité du détecteur est obtenue. Dans la deuxième partie de cette thèse, la reconstruction de l’image PET avec l’aide de maillages est étudiée. Un algorithme de reconstruction qui utilise une série de maillages 2D pour décrire la distribution 3D du radiotraceur est proposé, résultant en une diminution du nombre de points d’échantillonnage et rendant possible l’optimisation et la parallélisation des maillages. Enfin, la génération de l’image d’atténuation au moyen de réseaux de neurones artificiels profonds est explorée. L’apprentissage du réseau de neurones se fait à travers une transformation d’images PET FDG sans correction d’atténuation pour produire une image de tomodensitométrie (CT) synthétique. La conclusion des travaux de cette thèse pose la base pour l’usage de PET-scan à bas coût et a faible dose, via l’usage d’une image d’atténuation artificielle
This thesis explores the reduction of the patient radiation dose in screening Positron Emission Tomography (PET) studies. It analyses three aspects of PET imaging, which can reduce the patient dose: the data acquisition, the image reconstruction and the attenuation map generation. The first part of the thesis is dedicated to the PET scanner technology. Two optimization techniques are developed for a novel low-cost and low-dose scanner, the AR-PET scanner. First a photomultiplier selection and placement strategy is created, improving the energy resolution. The second work focuses on the localization of gamma events on solid scintillation crystals. The method is based on neural networks and a single flood acquisition, resulting in an increased detector’s sensitivity. In the second part, the PET image reconstruction on mesh support is studied. A mesh-based reconstruction algorithm is proposed which uses a series of 2D meshes to describe the 3D radiotracer distribution. It is shown that with this reconstruction strategy the number of sample points can be reduced without loosing accuracy and enabling parallel mesh optimization. Finally the attenuation map generation using deep neural networks is explored. A neural network is trained to learn the mapping from non attenuation corrected FDG PET images to a synthetic Computerized Tomography. With these approaches, this thesis lays a base for a low-cost and low-dose PET screening system, dispensing the need of a computed tomography image in exchange of an artificial attenuation map

De nos jours, nous sommes entourés de périphériques intelligents autonomes qui interagissent avec de nombreux services dans le but d'améliorer notre niveau de vie. Ces périphériques font partie d'écosystèmes plus larges, dans lesquels de nombreuses entreprises collaborent pour faciliter la distribution d'applications entre les développeurs et les utilisateurs. Cependant, des personnes malveillantes en profitent illégalement pour infecter les appareils des utilisateurs avec des application malveillantes. Malgré tous les efforts mis en œuvre pour défendre ces écosystèmes, le taux de périphériques infectés par des malware est toujours en augmentation en 2020.Dans cette thèse, nous explorons trois axes de recherche dans le but d'améliorer globalement la détection de malwares dans l'écosystème Android. Nous démontrons d'abord que la précision des systèmes de détection basés sur le machine learning peuvent être améliorés en automatisant leur évaluation et en ré-utilisant le concept d'AutoML pour affiner les paramètres des algorithmes d'apprentissage. Nous proposons une approche pour créer automatiquement des variantes de malwares à partir de combinaisons de techniques d'évasion complexes pour diversifier les datasets de malwares expérimentaux dans le but de mettre à l'épreuve les systèmes de détection. Enfin, nous proposons des méthodes pour améliorer la qualité des datasets expérimentaux utilisés pour entrainer et tester les systèmes de détection
Nowadays, many of us are surrounded by smart devices that seamlessly operate interactively and autonomously together with multiple services to make our lives more comfortable. These smart devices are part of larger ecosystems, in which various companies collaborate to ease the distribution of applications between developers and users. However malicious attackers take advantage of them illegitimately to infect users' smart devices with malicious applications. Despite all the efforts made to defend these ecosystems, the rate of devices infected with malware is still increasing in 2020. In this thesis, we explore three research axes with the aim of globally improving malware detection in the Android ecosystem. We demonstrate that the accuracy of machine learning-based detection systems can be improved by automating their evaluation and by reusing the concept of AutoML to fine-tune learning algorithms parameters. We propose an approach to automatically create malware variants from combinations of complex evasion techniques to diversify experimental malware datasets in order to challenge existing detection systems. Finally, we propose methods to globally increase the quality of experimental datasets used to train and test detection systems

Rendre les analyseurs sémantiques robustes aux variations lexicales et stylistiques est un véritable défi pour de nombreuses applications industrielles. De nos jours, l'analyse sémantique nécessite de corpus annotés spécifiques à chaque domaine afin de garantir des performances acceptables. Les techniques d'apprenti-ssage par transfert sont largement étudiées et adoptées pour résoudre ce problème de manque de robustesse et la stratégie la plus courante consiste à utiliser des représentations de mots pré-formés. Cependant, les meilleurs analyseurs montrent toujours une dégradation significative des performances lors d'un changement de domaine, mettant en évidence la nécessité de stratégies d'apprentissage par transfert supplémentaires pour atteindre la robustesse. Ce travail propose une nouvelle référence pour étudier le problème de dépendance de domaine dans l'analyse sémantique. Nous utilisons un nouveau corpus annoté pour évaluer les techniques classiques d'apprentissage par transfert et pour proposer et évaluer de nouvelles techniques basées sur les réseaux antagonistes. Toutes ces techniques sont testées sur des analyseurs sémantiques de pointe. Nous affirmons que les approches basées sur les réseaux antagonistes peuvent améliorer les capacités de généralisation des modèles. Nous testons cette hypothèse sur différents schémas de représentation sémantique, langages et corpus, en fournissant des résultats expérimentaux à l'appui de notre hypothèse
Making semantic parsers robust to lexical and stylistic variations is a real challenge with many industrial applications. Nowadays, semantic parsing requires the usage of domain-specific training corpora to ensure acceptable performances on a given domain. Transfer learning techniques are widely studied and adopted when addressing this lack of robustness, and the most common strategy is the usage of pre-trained word representations. However, the best parsers still show significant performance degradation under domain shift, evidencing the need for supplementary transfer learning strategies to achieve robustness. This work proposes a new benchmark to study the domain dependence problem in semantic parsing. We use this bench to evaluate classical transfer learning techniques and to propose and evaluate new techniques based on adversarial learning. All these techniques are tested on state-of-the-art semantic parsers. We claim that adversarial learning approaches can improve the generalization capacities of models. We test this hypothesis on different semantic representation schemes, languages and corpora, providing experimental results to support our hypothesis

Parmi tous les jeux de société joués par les humains au cours de l’histoire, le jeu de go était considéré comme l’un des plus difficiles à maîtriser par un programme informatique [Van Den Herik et al., 2002]; Jusqu’à ce que ce ne soit plus le cas [Silveret al., 2016]. Cette percée révolutionnaire [Müller, 2002, Van Den Herik et al., 2002] fût le fruit d’une combinaison sophistiquée de Recherche arborescente Monte-Carlo et de techniques d’apprentissage automatique pour évaluer les positions du jeu, mettant en lumière le grand potentiel de l’apprentissage automatique pour résoudre des jeux. L’apprentissage antagoniste, un cas particulier de l’optimisation multiobjective, est un outil de plus en plus utile dans l’apprentissage automatique. Par exemple, les jeux à deux joueurs et à somme nulle sont importants dans le domain des réseaux génératifs antagonistes [Goodfellow et al., 2014] ainsi que pour maîtriser des jeux comme le Go ou le Poker en s’entraînant contre lui-même [Silver et al., 2017, Brown andSandholm, 2017]. Un résultat classique de la théorie des jeux indique que les jeux convexes-concaves ont toujours un équilibre [Neumann, 1928]. Étonnamment, les praticiens en apprentissage automatique entrainent avec succès une seule paire de réseaux de neurones dont l’objectif est un problème de minimax non-convexe et non-concave alors que pour une telle fonction de gain, l’existence d’un équilibre de Nash n’est pas garantie en général. Ce travail est une tentative d'établir une solide base théorique pour l’apprentissage dans les jeux. La première contribution explore le théorème minimax pour une classe particulière de jeux non-convexes et non-concaves qui englobe les réseaux génératifs antagonistes. Cette classe correspond à un ensemble de jeux à deux joueurs et a somme nulle joués avec des réseaux de neurones. Les deuxième et troisième contributions étudient l’optimisation des problèmes minimax, et plus généralement, les inégalités variationnelles dans le cadre de l’apprentissage automatique. Bien que la méthode standard de descente de gradient ne parvienne pas à converger vers l’équilibre de Nash de jeux convexes-concaves simples, il existe des moyens d’utiliser des gradients pour obtenir des méthodes qui convergent. Nous étudierons plusieurs techniques telles que l’extrapolation, la moyenne et la quantité de mouvement à paramètre négatif. La quatrième contribution fournit une étude empirique du comportement pratique des réseaux génératifs antagonistes. Dans les deuxième et troisième contributions, nous diagnostiquons que la méthode du gradient échoue lorsque le champ de vecteur du jeu est fortement rotatif. Cependant, une telle situation peut décrire un pire des cas qui ne se produit pas dans la pratique. Nous fournissons de nouveaux outils de visualisation afin d’évaluer si nous pouvons détecter des rotations dans comportement pratique des réseaux génératifs antagonistes.
Among all the historical board games played by humans, the game of go was considered one of the most difficult to master by a computer program [Van Den Heriket al., 2002]; Until it was not [Silver et al., 2016]. This odds-breaking break-through [Müller, 2002, Van Den Herik et al., 2002] came from a sophisticated combination of Monte Carlo tree search and machine learning techniques to evaluate positions, shedding light upon the high potential of machine learning to solve games. Adversarial training, a special case of multiobjective optimization, is an increasingly useful tool in machine learning. For example, two-player zero-sum games are important for generative modeling (GANs) [Goodfellow et al., 2014] and mastering games like Go or Poker via self-play [Silver et al., 2017, Brown and Sandholm,2017]. A classic result in Game Theory states that convex-concave games always have an equilibrium [Neumann, 1928]. Surprisingly, machine learning practitioners successfully train a single pair of neural networks whose objective is a nonconvex-nonconcave minimax problem while for such a payoff function, the existence of a Nash equilibrium is not guaranteed in general. This work is an attempt to put learning in games on a firm theoretical foundation. The first contribution explores minimax theorems for a particular class of nonconvex-nonconcave games that encompasses generative adversarial networks. The proposed result is an approximate minimax theorem for two-player zero-sum games played with neural networks, including WGAN, StarCrat II, and Blotto game. Our findings rely on the fact that despite being nonconcave-nonconvex with respect to the neural networks parameters, the payoff of these games are concave-convex with respect to the actual functions (or distributions) parametrized by these neural networks. The second and third contributions study the optimization of minimax problems, and more generally, variational inequalities in the context of machine learning. While the standard gradient descent-ascent method fails to converge to the Nash equilibrium of simple convex-concave games, there exist ways to use gradients to obtain methods that converge. We investigate several techniques such as extrapolation, averaging and negative momentum. We explore these techniques experimentally by proposing a state-of-the-art (at the time of publication) optimizer for GANs called ExtraAdam. We also prove new convergence results for Extrapolation from the past, originally proposed by Popov [1980], as well as for gradient method with negative momentum. The fourth contribution provides an empirical study of the practical landscape of GANs. In the second and third contributions, we diagnose that the gradient method breaks when the game’s vector field is highly rotational. However, such a situation may describe a worst-case that does not occur in practice. We provide new visualization tools in order to exhibit rotations in practical GAN landscapes. In this contribution, we show empirically that the training of GANs exhibits significant rotations around Local Stable Stationary Points (LSSP), and we provide empirical evidence that GAN training converges to a stable stationary point, which is a saddle point for the generator loss, not a minimum, while still achieving excellent performance.