Literatura académica sobre el tema "Apprentissage automatique interprétable"

Les contributions présentées dans cette thèse sont doubles. Nous fournissons d'abord un aperçu général de l'apprentissage automatique interprétable, en établissant des liens avec différents domaines, en introduisant une taxonomie des approches d'explicabilité. Nous nous concentrons sur l'apprentissage des règles et proposons une nouvelle approche de classification, LIBRE, basée sur la synthèse de fonction booléenne monotone. LIBRE est une méthode ensembliste qui combine les règles candidates apprises par plusieurs apprenants faibles ascendants avec une simple union, afin d'obtenir un ensemble final de règles interprétables. LIBRE traite avec succès des données équilibrés et déséquilibrés, atteignant efficacement des performances supérieures et une meilleure interprétabilité par rapport aux plusieurs approches. L'interprétabilité des représentations des données constitue la deuxième grande contribution à ce travail. Nous limitons notre attention à l'apprentissage des représentations démêlées basées sur les autoencodeurs variationnels pour apprendre des représentations sémantiquement significatives. Des contributions récentes ont démontré que le démêlage est impossible dans des contextes purement non supervisés. Néanmoins, nous présentons une nouvelle méthode, IDVAE, avec des garanties théoriques sur le démêlage, dérivant de l'emploi d'une distribution a priori exponentiel optimal factorisé, conditionnellement dépendant de variables auxiliaires complétant les observations d'entrée. Nous proposons également une version semi-supervisée de notre méthode. Notre campagne expérimentale montre qu'IDVAE bat souvent ses concurrents selon plusieurs métriques de démêlage
The contributions presented in this work are two-fold. We first provide a general overview of explanations and interpretable machine learning, making connections with different fields, including sociology, psychology, and philosophy, introducing a taxonomy of popular explainability approaches and evaluation methods. We subsequently focus on rule learning, a specific family of transparent models, and propose a novel rule-based classification approach, based on monotone Boolean function synthesis: LIBRE. LIBRE is an ensemble method that combines the candidate rules learned by multiple bottom-up learners with a simple union, in order to obtain a final intepretable rule set. Our method overcomes most of the limitations of state-of-the-art competitors: it successfully deals with both balanced and imbalanced datasets, efficiently achieving superior performance and higher interpretability in real datasets. Interpretability of data representations constitutes the second broad contribution to this work. We restrict our attention to disentangled representation learning, and, in particular, VAE-based disentanglement methods to automatically learn representations consisting of semantically meaningful features. Recent contributions have demonstrated that disentanglement is impossible in purely unsupervised settings. Nevertheless, incorporating inductive biases on models and data may overcome such limitations. We present a new disentanglement method - IDVAE - with theoretical guarantees on disentanglement, deriving from the employment of an optimal exponential factorized prior, conditionally dependent on auxiliary variables complementing input observations. We additionally propose a semi-supervised version of our method. Our experimental campaign on well-established datasets in the literature shows that IDVAE often beats its competitors according to several disentanglement metrics

Les décisions de justice contiennent des informations déterministes (dont le contenu est récurrent d'une décision à une autre) et des informations aléatoires (à caractère probabiliste). Ces deux types d'information rentrent en ligne de compte dans la prise de décision d’un juge. Les premières peuvent la conforter dans la mesure où l’information déterministe est un élément récurrent et bien connu de la jurisprudence (i.e. des résultats d’affaires passées). Les secondes, apparentées à des caractères rares ou exceptionnels, peuvent rendre la prise de décision difficile et peuvent elles-mêmes modifier la jurisprudence. L’objet de cette thèse est de proposer un modèle d’apprentissage profond mettant en évidence ces deux types d’information afin d’en étudier leur impact (contribution) dans la prise de décision d’un juge. L'objectif est d’analyser des décisions similaires, de mettre en évidence les informations aléatoires et déterministes dans un corpus de décisions et de quantifier leur importance dans le processus de jugement
Judicial decisions contain deterministic information (whose content is recurrent from one decision to another) and random information (probabilistic). Both types of information come into play in a judge's decision-making process. The former can reinforce the decision insofar as deterministic information is a recurring and well-known element of case law (ie past business results). The latter, which are related to rare or exceptional characters, can make decision-making difficult, since they can modify the case law. The purpose of this thesis is to propose a deep learning model that would highlight these two types of information and study their impact (contribution) in the judge’s decision-making process. The objective is to analyze similar decisions in order to highlight random and deterministic information in a body of decisions and quantify their importance in the judgment process

Energiency est une entreprise qui vend à des industriels une plate-forme pour leur permettre d’analyser leurs données de consommation d’énergie, représentées sous la forme de séries temporelles. Cette plate-forme intègre des modèles d’apprentissage automatique pour répondre aux besoins des clients. L’application de tels modèles sur des séries temporelles rencontre deux problèmes : d’une part certaines approches classiques d’apprentissage automatique ont été conçues pour des données tabulaires et doivent être adaptées aux séries temporelles, d’autre part les résultats de certaines approches sont difficilement compréhensibles par les utilisateurs finaux. Dans la première partie, nous adaptons une méthode de recherche d’occurrences de règles temporelles sur des séries temporelles issues de machines et d’infrastructures industrielles. Une règle temporelle capture des relations de succession entre des comportements dans les séries temporelles. Dans des séries industrielles, à cause de la présence de nombreux facteurs extérieurs, ces comportements réguliers peuvent présenter des perturbations. Les méthodes de recherche d’occurrences de règles temporelles actuelles utilisent une mesure de distance pour évaluer la similarité entre des sous-séries. Cependant, ces mesures ne sont pas adaptées pour évaluer la similarité de séries déformées tel que dans les séries temporelles industrielles. La première contribution de cette thèse est la proposition d’une méthode de recherche d’occurrences de règles temporelles capable de capturer cette variabilité dans des séries temporelles industrielles. Pour cela la méthode intègre l’utilisation de mesures de distance élastiques capables d’évaluer la similarité entre des séries temporelles légèrement déformées
Energiency is a company that sells a platform to allow manufacturers to analyze their energy consumption data represented in the form of time series. This platform integrates machine learning models to meet customer needs. The application of such models to time series encounters two problems: on the one hand, some classical machine learning approaches have been designed for tabular data and must be adapted to time series, on the other hand, the results of some approaches are difficult for end users to understand. In the first part, we adapt a method to search for occurrences of temporal rules on time series from machines and industrial infrastructures. A temporal rule captures successional relationships between behaviors in time series . In industrial series, due to the presence of many external factors, these regular behaviours can be disruptive. Current methods for searching the occurrences of a rule use a distance measure to assess the similarity between sub-series. However, these measurements are not suitable for assessing the similarity of distorted series such as those in industrial settings. The first contribution of this thesis is the proposal of a method for searching for occurrences of temporal rules capable of capturing this variability in industrial time series. For this purpose, the method integrates the use of elastic distance measurements capable of assessing the similarity between slightly deformed time series. The second part of the thesis is devoted to the interpretability of time series classification methods, i.e. the ability of a classifier to return explanations for its results. These explanations must be understandable by a human. Classification is the task of associating a time series with a category. For an end user inclined to make decisions based on a classifier’s results, understanding the rationale behind those results is of great importance. Otherwise, it is like having blind confidence in the classifier. The second contribution of this thesis is an interpretable time series classifier that can directly provide explanations for its results. This classifier uses local information on time series to discriminate against them. The third and last contribution of this thesis, a method to explain a posteriori any result of any classifier. We carried out a user study to evaluate the interpretability of our method

L'objectif du travail présenté dans ce mémoire est l'induction de règles floues interprétables à partir de données dans le but de la coopération homme machine. Dans l'état de l'art que nous avons réalisé, les méthodes d'induction de règles floues sont organisées en trois familles. Leur comparaison montre que l'interprétabilité n'est pas garantie par le formalisme flou. La partie principale de ce mémoire décrit la méthode d'induction de règles floues que nous proposons. Elle vise à satisfaire trois conditions d'interprétabilité : lisibilité du partitionnement, nombre de règles minimal, règles incomplètes. La procédure est décomposée en trois étapes : une phase intradimensionnelle pour générer une famille de partitions par variable d'entrée, une composition multidimensionnelle pour construire un premier système performant, et une simplification de la base de règles. Elle s'appuie sur des concepts originaux tels qu'une distance entre observations qui prenne en compte la structure de la partition, ou encore le contexte défini par un groupe de règles. Elle est guidée par des indices, indice de couverture et d'hétérogénéité, que nous avons introduits en complément de l'index de performance numérique. Après une validation sur des exemples connus, la méthodologie est appliquée à la conception d'un système d'aide à la décision. Il s'agit d'induire les actions de conduite, sous forme de règles, qui accentuent la couleur du vin rouge au cours de la vinification
This report deals with interpretable fuzzy rule induction from data for human-computer cooperation purposes. A review of fuzzy rule induction methods shows that they can be grouped into three families. Their comparison highlights the fact that the interpretability is not guaranteed. The central part of our work is a new fuzzy rule induction method. It aims to fulfill three interpretability conditions: readable fuzzy partitions, a number of rules as small as possible, incomplete rules. This is achieved through a three step procedure: generating a family of fuzzy partitions for each input variable, building an accurate fuzzy inference system, simplifying the rule base. The procedure is based on original concepts such as a metric distance suitable for fuzzy partitioning, and the input context defined by a set of rules. We introduced coverage and heterogeneity related indices to guide the prodedure, complementary with a numerical performance index. The method is first validated using well known data and then applied to decison making in a complex system. This application means to extract winemaking rules which enhance the color of red wine

Le Laser Mégajoule (LMJ) est un instrument d’envergure qui simule des conditions de pression et de température similaires à celles des étoiles. Lors d’expérimentations, plusieurs diagnostics sont guidés dans la chambre d’expériences et il est essentiel qu’ils soient positionnés de manière précise. Afin de minimiser les risques liés à l’erreur humaine dans un tel contexte expérimental, la mise en place d'un système anti-collision automatisé est envisagée. Cela passe par la conception d’outils d’apprentissage automatique offrant des niveaux de décision fiables à partir de l’interprétation d’images issues de caméras positionnées dans la chambre. Nos travaux de recherche se concentrent sur des méthodes neuronales génératives probabilistes, en particulier les auto-encodeurs variationnels (VAEs). Le choix de cette classe de modèles est lié au fait qu’elle rende possible l’accès à un espace latent lié directement aux propriétés des objets constituant la scène observée. L’enjeu majeur est d’étudier la conception de modèles de réseaux profonds permettant effectivement d’accéder à une telle représentation pleinement informative et interprétable dans un objectif de fiabilité du système. Le formalisme probabiliste intrinsèque du VAE nous permet, si nous pouvons remonter à une telle représentation, d’accéder à une analyse d’incertitudes des informations encodées
The Laser Megajoule (LMJ) is a large research device that simulates pressure and temperature conditions similar to those found in stars. During experiments, diagnostics are guided into an experimental chamber for precise positioning. To minimize the risks associated with human error in such an experimental context, the automation of an anti-collision system is envisaged. This involves the design of machine learning tools offering reliable decision levels based on the interpretation of images from cameras positioned in the chamber. Our research focuses on probabilistic generative neural methods, in particular variational auto-encoders (VAEs). The choice of this class of models is linked to the fact that it potentially enables access to a latent space directly linked to the properties of the objects making up the observed scene. The major challenge is to study the design of deep network models that effectively enable access to such a fully informative and interpretable representation, with a view to system reliability. The probabilistic formalism intrinsic to VAE allows us, if we can trace back to such a representation, to access an analysis of the uncertainties of the encoded information

Le suivi longitudinal individuel, dont l'objectif est de suivre l'évolution de l'état d'un individu au cours du temps, est au cœur de nombreuses problématiques de santé publique, particulièrement dans le domaine de la prévention médicale. L'accès croissant à des capteurs non invasifs permettant de mesurer divers bio-signaux (glycémie, fréquence cardiaque, mouvements des yeux, etc.) a encouragé la quantification de la physiologie, de la sensorimotricité ou du comportement humain dans le but de construire des marqueurs pour le suivi individuel. Cet objectif soulève toutefois plusieurs difficultés liées à la modélisation des signaux. Ce type particulier de données est en effet complexe à interpréter tel quel, et, a fortiori, à comparer au cours du temps. Dans cette thèse nous étudions la question de la représentation interprétable des bio-signaux pour le suivi longitudinal à travers la problématique du suivi de l'équilibre en consultation médicale. Cette problématique a des implications déterminantes dans la prévention des chutes et de la fragilité chez les personnes âgées. Nous nous focalisons en particulier sur l'utilisation des plateformes de force, qui sont communément utilisées pour enregistrer des mesures de posturographie, et peuvent être facilement déployées dans le contexte clinique grâce au développement de plateformes peu onéreuses comme la Wii Balance Board. Pour cette application particulière, nous étudions les avantages et les inconvénients de l'utilisation de méthodes d'extraction de caractéristiques ou de la recherche d'un modèle génératif des trajectoires. Nos contributions incluent premièrement la revue et l'étude d'un large ensemble de variables qui sont utilisées pour évaluer le risque de chute chez les personnes âgées, dérivées de la trajectoire du centre de pression (CoP). Ce signal est couramment analysé dans la littérature clinique pour inférer des informations sur le contrôle de l'équilibre. Ensuite, nous développons un nouveau modèle génératif, "Total Recall", basé sur un précédent modèle stochastique du CoP, qui s'est avéré reproduire plusieurs caractéristiques des trajectoires mais n'intègre pas la dynamique entre le CoP et le centre de masse (CoM) -- une dynamique considérée centrale dans le contrôle moteur de la posture. Par ailleurs, la comparaison des méthodes fréquemment utilisées pour l'estimation du CoM en équilibre statique debout permet de conclure qu'il est possible d'obtenir une estimation précise avec la Wii Balance Board. Les résultats montrent la pertinence potentielle du modèle Total Recall pour le suivi longitudinal du contrôle postural dans un contexte clinique. Dans l'ensemble, nous soulignons l'avantage d'utiliser des modèles génératifs, tout en mettant en évidence la complémentarité des deux approches, extraction de caractéristiques et modèles génératifs. En outre, cette thèse s'intéresse à l'apprentissage de représentations sur des données labellisées et adaptées à un objectif particulier de suivi. Nous introduisons de nouveaux algorithmes de classification qui tirent avantage des connaissances a priori pour améliorer les performances tout en conservant une interprétabilité complète. Notre approche s'appuie sur des algorithmes intrinsèquement interprétables et une régularisation sur l'espace des modèles basée sur des heuristiques médicales. Cette méthode est appliquée à la quantification du risque de chute et de la fragilité. Cette thèse défend l'importance de la recherche de méthodes interprétables, conçues pour des applications spécifiques et intégrant des a-priori fondés sur des connaissances expertes. Ces approches montrent des résultats positifs pour l'intégration des bio-signaux sélectionnés et de méthodes d'apprentissage statistique dans le cadre du suivi longitudinal du contrôle postural
Individual longitudinal follow-up, which aims at following the evolution of an individual state in time, is at the heart of numerous public health issues, particularly in the field of medical prevention. The increasing availability of non-invasive sensors that record various biosignals (e.g., blood glucose, heart rate, eye movements), has encouraged the quantification of human physiology, sensorimotricity, or behavior with the purpose of deriving markers for individual follow-up. This objective raises however several challenges related to signal modelling. Indeed, this particular type of data is complex to interpret, and, a fortiori, to compare across time. This thesis studies the issue of extracting interpretable representations from biosignals through the problematic of balance control follow-up in medical consultation, which has crucial implications for the prevention of falls and frailty in older adults. We focus in particular on the use of force platforms, which are commonly used to record posturography measures, and can be easily deployed in the clinical setting thanks to the development of low cost platforms such as the Wii Balance Board. For this particular application, we investigate the pros and cons of using feature extraction methods or alternatively searching for a generative model of the trajectories. Our contributions include first the review and study of a wide range of state-of-the-art variables that are used to assess fall risk in older adults, derived from the center of pressure (CoP) trajectory. This signal is commonly analyzed in the clinical literature to infer information about balance control. Secondly, we develop a new generative model, ``Total Recall'', based on a previous stochastic model of the CoP, which has shown to reproduce several characteristics of the trajectories but does not integrate the dynamic between the CoP and the center of mass (CoM) -- a dynamic which is considered to be central in postural control. We also review and compare the main methods of estimation of the CoM in quiet standing and conclude that it is possible to obtain an accurate estimation using the Wii Balance Board. The results show the potential relevance of the Total Recall model for the longitudinal follow-up of postural control in a clinical setting. Overall, we highlight the benefit of using generative models, while pointing out the complementarity of features-based and generative-based approachs. Furthermore, this thesis is interested in introducing representations learned on labeled data and tailored for a particular objective of follow-up. We propose new classification algorithms that take advantage of a priori knowledge to improve performances while maintaining complete interpretability. Our approach relies on bagging-based algorithms that are intrinsically interpretable, and a model-space regularization based on medical heuristics. The method is applied to the quantification of fall risk and frailty. This dissertation argues for the importance of researching interpretable methods, designed for specific applications, and incorporating a-priori based on expert knowledge. This approach shows positive results for the integration of the selected biosignals and statistical learning methods in the longitudinal follow-up of postural control. The results encourage the continuation of this work, the further development of the methods, especially in the context of other types of follow-up such as continuous monitoring, and the extension to the study of new biosignals

De nombreux algorithmes d'estimation fonctionnelle existent pour l'apprentissage statistique supervisé. Cependant, ils ont pour la plupart été développés dans le but de fournir des estimateurs précis, sans considérer l'interprétabilité de la solution. Les modèles additifs permettent d'expliquer les prédictions simplement, en ne faisant intervenir qu'une variable explicative à la fois, mais ils sont difficiles à mettre en ouvre. Cette thèse est consacrée au développement d'un algorithme d'estimation des modèles additifs. D'une part, leur utilisation y est simplifiée, car le réglage de la complexité est en grande partie intégré dans la phase d'estimation des paramètres. D'autre part, l'interprétabilité est favorisée par une tendance à éliminer automatiquement les variables les moins pertinentes. Des stratégies d'accélération des calculs sont également proposées. Une approximation du nombre effectif de paramètres permet l'utilisation de critères analytiques de sélection de modèle. Sa validité est testée par des simulations et sur des données réelles.