Добірка наукової літератури з теми "Méthodes d’apprentissage automatique"

La problématique de l’évaluation des apprentissages au sein d’un MOOC suscite un grand débat. Ce type d’environnements d’apprentissage offre des cours limités dans le temps, organisés en ligne et ouverts à tous. L’apprentissage au sein des MOOC consiste en l’échange du savoir entre les participants et l’interaction avec les concepteurs (forum, chat, etc.) en se libérant des contraintes de temps et d’espace. En effet, le MOOC est un outil d’apprentissage en ligne et rythmés. L’évaluation des apprentissages au sein des MOOC représente un pilier essentiel pour la favorisation d’un apprentissage rythmé. Cet apprentissage libère les apprenants dans le temps et dans l’espace. Les concepteurs des MOOC ont largement investi sur des modalités d’évaluation automatisées, tels que des modes de la correction automatique (les quiz ou les questionnaires à choix multiples). Pourtant, ces modalités restent très limitées face au développement d’une pensée critique au cours d’une séquence d’apprentissage. Dans ce papier nous allons aborder les techniques et les méthodes d’évaluation qui permettent de mesurer l’atteinte des objectifs d’apprentissage dans un MOOC. Ensuite, nous présentons l’architecture d’un modèle d’apprentissage basé sur les agents susceptibles de fournir une évaluation formative et personnalisé de cours en ligne massifs.

Les protéine kinases ont été rapidement identifiées comme favorisant l’apparition de cancers, à travers leur implication dans la régulation du développement et du cycle cellulaire. Il y a une vingtaine d’années, la mise sur le marché des premiers traitements par inhibiteur de protéine kinase, ouvrait la voie vers de nouvelles solutions médicamenteuses plus ciblées contre le cancer. Depuis, nombreuses sont les données structurales et fonctionnelles acquises sur ces cibles thérapeutiques. Les techniques informatiques ont elles aussi évolué, notamment les méthodes d’apprentissage automatique. En tirant parti de la grande quantité d’informations disponibles aujourd’hui, ces méthodes devraient permettre prochainement la prédiction fine de l’interaction d’un inhibiteur donné avec chaque protéine kinase humaine et donc, à terme, la construction d’outils de profilage de leurs inhibiteurs spécifiques. Cette approche intégrative devrait aider la découverte de solutions thérapeutiques anti-cancéreuses plus efficaces et plus sûres.

La conception d’EIAH (Environnements Informatiques d’Apprentissage Humain) s’adaptant aux difficultés des élèves, nécessite le développement de mécanismes automatiques capables de diagnostiquer leurs connaissances à partir de l’observation de leur activité. Dans cette thèse, une base de données a été constituée, à partir de traces de comportements d’élèves résolvant des exercices d’algèbre dans le micromonde Aplusix. Notre travail consiste à extraire automatiquement des régularités comportementales de cette base, dans le but d’aider à la conception d’un tuteur artificiel. Pour cela, nous utilisons des méthodes d’apprentissage machine permettant de détecter des similarités dans les données, et proposons deux approches de modélisation complémentaires. D’une part, nous identifions des groupes d’élèves ayant des comportements homogènes pour un exercice donné, à l’aide d’un algorithme de classification non supervisée. D’autre part, en se plaçant dans un cadre théorique de représentation des connaissances, nous mettons en évidence des régularités d’actions dans l’ensemble de la production de chaque élève. Cette caractérisation individuelle obtenue à l’aide d’un algorithme de généralisation symbolique peut servir de support à une remédiation adaptée
Building an Intelligent Tutoring System which adapts to student difficulties, needs to develop automatic tools that diagnose their knowledge level. This work is based on a database containing behaviours of students, who are learning algebra with the Aplusix software. We aim at automatically extracting behavioural regularities from this database, in order to support the developpement of an intelligent tutor. To achieve this goal, we apply machine learning methods that detect similarities in datasets, and we propose two distinct approaches to student modelling issues. One one hand, we identify clusters of students that share behavioural similarities on a given exercise, with an unsupervised clustering algorithm. On the other hand, an analysis of procedural regularities in the production of each student, inspired from a theoretical framework of knowledge representation and based on a symbolic learning algorithm, leads to individual models that could be used for adapted remediation

L’explosion récente des volumes de données disponibles a fait de la complexité algorithmique un élément central des méthodes d’apprentissage automatique. Les algorithmes d’optimisation stochastique ainsi que les méthodes distribuées et décentralisées ont été largement développés durant les dix dernières années. Ces méthodes ont permis de faciliter le passage à l’échelle pour optimiser des risques empiriques dont la formulation est séparable en les observations associées. Pourtant, dans de nombreux problèmes d’apprentissage statistique, l’estimation précise du risque s’effectue à l’aide de U-statistiques, des fonctions des données prenant la forme de moyennes sur des d-uplets. Nous nous intéressons tout d’abord au problème de l’échantillonnage pour la minimisation du risque empirique. Nous montrons que le risque peut être remplacé par un estimateur de Monte-Carlo, intitulé U-statistique incomplète, basé sur seulement O(n) termes et permettant de conserver un taux d’apprentissage du même ordre. Nous établissons des bornes sur l’erreur d’approximation du U-processus et les simulations numériques mettent en évidence l’avantage d’une telle technique d’échantillonnage. Nous portons par la suite notre attention sur l’estimation décentralisée, où les observations sont désormais distribuées sur un réseau connexe. Nous élaborons des algorithmes dits gossip, dans des cadres synchrones et asynchrones, qui diffusent les observations tout en maintenant des estimateurs locaux de la U-statistique à estimer. Nous démontrons la convergence de ces algorithmes avec des dépendances explicites en les données et la topologie du réseau. Enfin, nous traitons de l’optimisation décentralisée de fonctions dépendant de paires d’observations. De même que pour l’estimation, nos méthodes sont basées sur la concomitance de la propagation des observations et l’optimisation local du risque. Notre analyse théorique souligne que ces méthodes conservent une vitesse de convergence du même ordre que dans le cas centralisé. Les expériences numériques confirment l’intérêt pratique de notre approche
With the increasing availability of large amounts of data, computational complexity has become a keystone of many machine learning algorithms. Stochastic optimization algorithms and distributed/decentralized methods have been widely studied over the last decade and provide increased scalability for optimizing an empirical risk that is separable in the data sample. Yet, in a wide range of statistical learning problems, the risk is accurately estimated by U-statistics, i.e., functionals of the training data with low variance that take the form of averages over d-tuples. We first tackle the problem of sampling for the empirical risk minimization problem. We show that empirical risks can be replaced by drastically computationally simpler Monte-Carlo estimates based on O(n) terms only, usually referred to as incomplete U-statistics, without damaging the learning rate. We establish uniform deviation results and numerical examples show that such approach surpasses more naive subsampling techniques. We then focus on the decentralized estimation topic, where the data sample is distributed over a connected network. We introduce new synchronous and asynchronous randomized gossip algorithms which simultaneously propagate data across the network and maintain local estimates of the U-statistic of interest. We establish convergence rate bounds with explicit data and network dependent terms. Finally, we deal with the decentralized optimization of functions that depend on pairs of observations. Similarly to the estimation case, we introduce a method based on concurrent local updates and data propagation. Our theoretical analysis reveals that the proposed algorithms preserve the convergence rate of centralized dual averaging up to an additive bias term. Our simulations illustrate the practical interest of our approach

La classification automatique des messages courts est de plus en plus employée de nos jours dans diverses applications telles que l'analyse des sentiments ou la détection des « spams ». Par rapport aux textes traditionnels, les messages courts, comme les tweets et les SMS, posent de nouveaux défis à cause de leur courte taille, leur parcimonie et leur manque de contexte, ce qui rend leur classification plus difficile. Nous présentons dans cette thèse deux nouvelles approches visant à améliorer la classification de ce type de message. Notre première approche est nommée « forêts sémantiques ». Dans le but d'améliorer la qualité des messages, cette approche les enrichit à partir d'une source externe construite au préalable. Puis, pour apprendre un modèle de classification, contrairement à ce qui est traditionnellement utilisé, nous proposons un nouvel algorithme d'apprentissage qui tient compte de la sémantique dans le processus d'induction des forêts aléatoires. Notre deuxième contribution est nommée « IGLM » (Interactive Generic Learning Method). C'est une méthode interactive qui met récursivement à jour les forêts en tenant compte des nouvelles données arrivant au cours du temps, et de l'expertise de l'utilisateur qui corrige les erreurs de classification. L'ensemble de ce mécanisme est renforcé par l'utilisation d'une méthode d'abstraction permettant d'améliorer la qualité des messages. Les différentes expérimentations menées en utilisant ces deux méthodes ont permis de montrer leur efficacité. Enfin, la dernière partie de la thèse est consacrée à une étude complète et argumentée de ces deux prenant en compte des critères variés tels que l'accuracy, la rapidité, etc
Automatic short text classification is more and more used nowadays in various applications like sentiment analysis or spam detection. Short texts like tweets or SMS are more challenging than traditional texts. Therefore, their classification is more difficult owing to their shortness, sparsity and lack of contextual information. We present two new approaches to improve short text classification. Our first approach is "Semantic Forest". The first step of this approach proposes a new enrichment method that uses an external source of enrichment built in advance. The idea is to transform a short text from few words to a larger text containing more information in order to improve its quality before building the classification model. Contrarily to the methods proposed in the literature, the second step of our approach does not use traditional learning algorithm but proposes a new one based on the semantic links among words in the Random Forest classifier. Our second contribution is "IGLM" (Interactive Generic Learning Method). It is a new interactive approach that recursively updates the classification model by considering the new data arriving over time and by leveraging the user intervention to correct misclassified data. An abstraction method is then combined with the update mechanism to improve short text quality. The experiments performed on these two methods show their efficiency and how they outperform traditional algorithms in short text classification. Finally, the last part of the thesis concerns a complete and argued comparative study of the two proposed methods taking into account various criteria such as accuracy, speed, etc

Les méthodes d'apprentissage semi-supervisé constituent une catégorie de méthodes d'apprentissage automatique qui combinent points étiquetés et données non labellisées pour construire le classifieur. Dans la première partie de la thèse, nous proposons un formalisme d'optimisation général, commun à l'ensemble des méthodes d'apprentissage semi-supervisé et en particulier aux Laplacien Standard, Laplacien Normalisé et PageRank. En utilisant la théorie des marches aléatoires, nous caractérisons les différences majeures entre méthodes d'apprentissage semi-supervisé et nous définissons des critères opérationnels pour guider le choix des paramètres du noyau ainsi que des points étiquetés. Nous illustrons la portée des résultats théoriques obtenus sur des données synthétiques et réelles, comme par exemple la classification par le contenu et par utilisateurs des systèmes pair-à-pair. Cette application montre de façon édifiante que la famille de méthodes proposée passe parfaitement à l’échelle. Les algorithmes développés dans la deuxième partie de la thèse peuvent être appliquées pour la sélection des données étiquetées, mais également aux autres applications dans la recherche d'information. Plus précisément, nous proposons des algorithmes randomisés pour la détection rapide des nœuds de grands degrés et des nœuds avec de grandes valeurs de PageRank personnalisé. A la fin de la thèse, nous proposons une nouvelle mesure de centralité, qui généralise à la fois la centralité d'intermédiarité et PageRank. Cette nouvelle mesure est particulièrement bien adaptée pour la détection de la vulnérabilité de réseau
Semi-supervised learning methods constitute a category of machine learning methods which use labelled points together with unlabeled data to tune the classifier. The main idea of the semi-supervised methods is based on an assumption that the classification function should change smoothly over a similarity graph. In the first part of the thesis, we propose a generalized optimization approach for the graph-based semi-supervised learning which implies as particular cases the Standard Laplacian, Normalized Laplacian and PageRank based methods. Using random walk theory, we provide insights about the differences among the graph-based semi-supervised learning methods and give recommendations for the choice of the kernel parameters and labelled points. We have illustrated all theoretical results with the help of synthetic and real data. As one example of real data we consider classification of content and users in P2P systems. This application demonstrates that the proposed family of methods scales very well with the volume of data. The second part of the thesis is devoted to quick detection of network central nodes. The algorithms developed in the second part of the thesis can be applied for the selections of quality labelled data but also have other applications in information retrieval. Specifically, we propose random walk based algorithms for quick detection of large degree nodes and nodes with large values of Personalized PageRank. Finally, in the end of the thesis we suggest new centrality measure, which generalizes both the current flow betweenness centrality and PageRank. This new measure is particularly well suited for detection of network vulnerability

Dans cette thèse, nous étudions deux problèmes d'apprentissage automatique : (I) la détection des communautés et (II) l'appariement adaptatif. I) Il est bien connu que beaucoup de réseaux ont une structure en communautés. La détection de ces communautés nous aide à comprendre et exploiter des réseaux de tout genre. Cette thèse considère principalement la détection des communautés par des méthodes spectrales utilisant des vecteurs propres associés à des matrices choisiesavec soin. Nous faisons une analyse de leur performance sur des graphes artificiels. Au lieu du modèle classique connu sous le nom de « Stochastic Block Model » (dans lequel les degrés sont homogènes) nous considérons un modèle où les degrés sont plus variables : le « Degree-Corrected Stochastic Block Model » (DC-SBM). Dans ce modèle les degrés de tous les nœuds sont pondérés - ce qui permet de générer des suites des degrés hétérogènes. Nous étudions ce modèle dans deux régimes: le régime dense et le régime « épars », ou « dilué ». Dans le régime dense, nous prouvons qu'un algorithme basé sur une matrice d'adjacence normalisée réussit à classifier correctement tous les nœuds sauf une fraction négligeable. Dans le régime épars il existe un seuil en termes de paramètres du modèle en-dessous lequel n'importe quel algorithme échoue par manque d'information. En revanche, nous prouvons qu'un algorithme utilisant la matrice « non-backtracking » réussit jusqu'au seuil - cette méthode est donc très robuste. Pour montrer cela nous caractérisons le spectre des graphes qui sont générés selon un DC-SBM dans son régime épars. Nous concluons cette partie par des tests sur des réseaux sociaux. II) Les marchés d'intermédiation en ligne tels que des plateformes de Question-Réponse et des plateformes de recrutement nécessitent un appariement basé sur une information incomplète des deux parties. Nous développons un modèle de système d'appariement entre tâches et serveurs représentant le comportement de telles plateformes. Pour ce modèle nous donnons une condition nécessaire et suffisante pour que le système puisse gérer un certain flux de tâches. Nous introduisons également une politique de « back-pressure » sous lequel le débit gérable par le système est maximal. Nous prouvons que cette politique atteint un débit strictement plus grand qu'une politique naturelle « gloutonne ». Nous concluons en validant nos résultats théoriques avec des simulations entrainées par des données de la plateforme Stack-Overflow
In this thesis, we study two problems of machine learning: (I) community detection and (II) adaptive matching. I) It is well-known that many networks exhibit a community structure. Finding those communities helps us understand and exploit general networks. In this thesis we focus on community detection using so-called spectral methods based on the eigenvectors of carefully chosen matrices. We analyse their performance on artificially generated benchmark graphs. Instead of the classical Stochastic Block Model (which does not allow for much degree-heterogeneity), we consider a Degree-Corrected Stochastic Block Model (DC-SBM) with weighted vertices, that is able to generate a wide class of degree sequences. We consider this model in both a dense and sparse regime. In the dense regime, we show that an algorithm based on a suitably normalized adjacency matrix correctly classifies all but a vanishing fraction of the nodes. In the sparse regime, we show that the availability of only a small amount of information entails the existence of an information-theoretic threshold below which no algorithm performs better than random guess. On the positive side, we show that an algorithm based on the non-backtracking matrix works all the way down to the detectability threshold in the sparse regime, showing the robustness of the algorithm. This follows after a precise characterization of the non-backtracking spectrum of sparse DC-SBM's. We further perform tests on well-known real networks. II) Online two-sided matching markets such as Q&A forums and online labour platforms critically rely on the ability to propose adequate matches based on imperfect knowledge of the two parties to be matched. We develop a model of a task / server matching system for (efficient) platform operation in the presence of such uncertainty. For this model, we give a necessary and sufficient condition for an incoming stream of tasks to be manageable by the system. We further identify a so-called back-pressure policy under which the throughput that the system can handle is optimized. We show that this policy achieves strictly larger throughput than a natural greedy policy. Finally, we validate our model and confirm our theoretical findings with experiments based on user-contributed content on an online platform

Le développement socio-économique au Vietnam est associé à l'existence des grands deltas fluviaux. En outre, les facteurs environnementaux tels que la sécheresse et l’inondation jouent un rôle important dans le changement de l’occupation du sol au niveau de ces deltas. Ces changements ne sont pas sans impact sur l’équilibre naturel et économique du pays. Dans cette optique, cette thèse a pour objectifs de proposer des méthodes de traitement des données satellites pour une cartographie et suivi efficaces de l’occupation du sol au niveau des deux principaux deltas du Viêt- Nam, fleuve rouge et du Mékong. En effet, un travail expérimental a été effectué en vérifiant et évaluant l’apport du traitement d’images multi-capteurs par de nombreuses approches de segmentation d’image et d’apprentissage automatique peu profond et profond. Ainsi, un modèle de Convolutional Neural Network (CNN) adapté au contexte de l’étude, a démontré sa robustesse pour la détection et la cartographie de l’occupation du sol afin de caractériser l’aléa de l’inondation et d’analyser les enjeux
Socio-economic development in Vietnam is associated with the existence of large fluvial deltas. Furthermore, environmental factors such as dryness and flooding have an important role in the change of land use/land cover within these deltas. These changes have an impact on the natural and economic balance of the country. In this perspective, the objectives of the present thesis are to suggest processing methods of satellite data for an efficient mapping and monitoring of land use in the two main deltas of Vietnam, the Red River and the Mekong Delta. Indeed, experimental work has been carried out by verifying and evaluating the contribution of multi-sensor image processing through various image segmentation approaches and machine/deep learning algorithms. Thus, a Convolutional Neural Network (CNN) model adapted to the context of the study demonstrated its robustness for the detection and mapping of land use in order to characterise the flood hazard and analyse the issues at risk

Les réseaux sur puces (SoCs - Networks-on-chip) sont apparus durant la dernière décennie en tant que solution flexible et efficace pour interconnecter le nombre toujours croissant d'éléments inclus dans les systèmes sur puces (SoCs - Systems-on-chip). Les réseaux sur puces sont en mesure de répondre aux besoins grandissants en bande-passante et en scalabilité tout en respectant des contraintes fortes de performances. Cependant, ils sont habituellement caractérisés par un grand nombre de paramètres architecturaux et d'implémentation qui forment un vaste espace de conception. Dans ces conditions, trouver une architecture de NoC adaptée aux besoins d'une plateforme précise est un problème difficile. De plus, la plupart des grands choix architecturaux (topologie, routage, qualité de service) sont généralement faits au niveau architectural durant les premières étapes du flot de conception, mais mesurer les effets de ces décisions majeures sur les performances finales du système est complexe à un tel niveau d'abstraction. Les analyses statiques (méthodes non basées sur des simulations) sont apparues pour répondre à ce besoin en méthodes d'estimations des performances des SoCs fiables et disponibles rapidement dans le flot de conception. Au vu du haut niveau d'abstraction utilisé, il est irréaliste de s'attendre à une estimation précise des performances et coûts de la puce finale. L'objectif principal est alors la fidélité (caractérisation des grandes tendances d'une métrique permettant une comparaison équitable des alternatives) plutôt que la précision. Cette thèse propose une méthodologie de modélisation pour concevoir des analyses statiques des coûts des composants des NoCs. La méthode proposée est principalement orientée vers la généralité. En particulier, aucune hypothèse n'est faite ni sur le nombre de paramètres des composants ni sur la nature des dépendances de la métrique considérée sur ces mêmes paramètres. Nous sommes alors en mesure de modéliser des composants proposant des millions de possibilités de configurations (ordre de 1e+30 possibilités de configurations) et d'estimer le coût de réseaux sur puce composés d'un grand nombre de ces composants au niveau architectural. Il est complexe de modéliser ce type de composants avec des modèles analytiques expérimentaux à cause du trop grand nombre de possibilités de configurations. Nous proposons donc un flot entièrement automatisé qui peut être appliqué tel quel à n'importe quelles architectures et technologies. Le flot produit des prédicteurs de coûts des composants des réseaux sur puce capables d'estimer les différentes métriques pour n'importe quelles configurations de l'espace de conception en quelques secondes. Le flot conçoit des modèles analytiques à grains fins sur la base de résultats obtenus au niveau porte et d'une méthode d'apprentissage automatique. Il est alors capable de concevoir des modèles présentant une meilleure fidélité que les méthodes basées uniquement sur des théories mathématiques tout en conservant leurs qualités principales (basse complexité, disponibilité précoce). Nous proposons d'utiliser une méthode d'interpolation basée sur la théorie de Kriging. La théorie de Kriging permet de minimiser le nombre d'exécutions du flot d'implémentation nécessaires à la modélisation tout en caractérisant le comportement des métriques à la fois localement et globalement dans l'espace. La méthode est appliquée pour modéliser la surface logique des composants clés des réseaux sur puces. L'inclusion du trafic dans la méthode est ensuite traitée et un modèle de puissance statique et dynamique moyenne des routeurs est conçu sur cette base
In the last decade, Networks-on-chip (NoCs) have emerged as an efficient and flexible interconnect solution to handle the increasing number of processing elements included in Systems-on-chip (SoCs). NoCs are able to handle high-bandwidth and scalability needs under tight performance constraints. However, they are usually characterized by a large number of architectural and implementation parameters, resulting in a vast design space. In these conditions, finding a suitable NoC architecture for specific platform needs is a challenging issue. Moreover, most of main design decisions (e.g. topology, routing scheme, quality of service) are usually made at architectural-level during the first steps of the design flow, but measuring the effects of these decisions on the final implementation at such high level of abstraction is complex. Static analysis (i.e. non-simulation-based methods) has emerged to fulfill this need of reliable performance and cost estimation methods available early in the design flow. As the level of abstraction of static analysis is high, it is unrealistic to expect an accurate estimation of the performance or cost of the chip. Fidelity (i.e. characterization of the main tendencies of a metric) is thus the main objective rather than accuracy. This thesis proposes a modeling methodology to design static cost analysis of NoC components. The proposed method is mainly oriented towards generality. In particular, no assumption is made neither on the number of parameters of the components nor on the dependences of the modeled metric on these parameters. We are then able to address components with millions of configurations possibilities (order of 1e+30 configuration possibilities) and to estimate cost of complex NoCs composed of a large number of these components at architectural-level. It is difficult to model that kind of components with experimental analytical models due to the huge number of configuration possibilities. We thus propose a fully-automated modeling flow which can be applied directly to any architecture and technology. The output of the flow is a NoC component cost predictor able to estimate a metric of interest for any configuration of the design space in few seconds. The flow builds fine-grained analytical models on the basis of gate-level results and a machine-learning method. It is then able to design models with a better fidelity than purely-mathematical methods while preserving their main qualities (i.e. low complexity, early availability). Moreover, it is also able to take into account the effects of the technology on the performance. We propose to use an interpolation method based on Kriging theory. By using Kriging methodology, the number of implementation flow runs required in the modeling process is minimized and the main characteristics of the metrics in space are modeled both globally and locally. The method is applied to model logic area of key NoC components. The inclusion of traffic is then addressed and a NoC router leakage and average dynamic power model is designed on this basis