Добірка наукової літератури з теми "Apprentissage profond avec incertitude"

Les cartes tactiles photoréalistes sont un des outils mobilisés par les personnes en situation de déficience visuelle pour appréhender leur environnement urbain proche, notamment dans le cadre de la mobilité, pour la traversée de carrefours par exemple. Ces cartes sont aujourd’hui principalement fabriquées artisanalement. Dans cet article, nous proposons une approche permettant de produire une segmentation sémantique d’une imagerie aérienne de précision, étape centrale de cette fabrication. Les différents éléments d’intérêt tels que trottoirs, passages piétons, ou îlots centraux sont ainsi localisés et tracés dans l’espace urbain. Nous présentons en particulier comment l’augmentation de cette imagerie par des données vectorielles issues d’OpenStreetMap permet d’obtenir par une technique d’apprentissage profond (réseau adverse génératif conditionnel) des résultats significatifs. Après avoir présenté les enjeux de ce travail et un état de l’art des techniques existantes, nous détaillons l’approche proposée, et nous étudions les résultats obtenus, en comparant en particulier les segmentations obtenues sans et avec enrichissement par données vectorielles. Les résultats sont très prometteurs.

Depuis les années 1970, les normes relatives à l’éducation sexuelle des enfants au sein de la famille ont profondément évolué. Contre le « régime de non-dit » qui dominait jusqu’alors, les parents sont désormais invités à parler de sexualité avec leurs enfants avant même l’entrée dans la puberté. Cette parole constitue aujourd’hui une marque de bonne parentalité, tandis que son absence apparaît souvent comme le signe d’un manque de « modernité » éducative. À partir d’une enquête auprès de familles d’enfants de 10-11 ans, l’article étudie comment les parents s’approprient – ou non – cette norme de discussion sur la sexualité dans la famille, et montre que cette appropriation repose sur des ressources et des intérêts socialement situés. Il analyse également ce que l’application de cette norme – ou son absence – produit sur les enfants en termes de socialisation, en démontrant que les pratiques des parents sont inégalement propices à l’acquisition précoce des savoirs savants sur la sexualité et à l’apprentissage de la manière légitime de parler de ce sujet.

Le changement climatique a pour conséquence l’apparition de forts événements pluvieux de plus en plus fréquents, occasionnant de fortes variations de débit et de concentrations à l’influent des stations d’épuration. La connaissance des risques d’orage et des débits potentiels plusieurs heures ou plusieurs jours en avance permettrait d’anticiper les adaptations opérationnelles pour préparer la station et protéger les différents ouvrages des risques de défaillance. Dans cette étude, les données météorologiques (pluies, température, vents, humidités, précipitations…) et l’historique des données d’influent de la station sont utilisés pour entraîner un algorithme d’intelligence artificielle, d’apprentissage automatique et d’apprentissage profond pour prédire les débits entrants sur la station jusqu’à une semaine en avance. Trois jeux de données journalières et horaires, de 1 à 3 ans, sont utilisés pour entraîner un modèle de Forêt aléatoire à 30 arbres, un modèle LSTM (long short-term memory) et un modèle GRU (gate recurrent unit) à trois couches de 100 neurones suivis chacun d’un dropout de 20 % et une couche de sortie entièrement connectée. Les données sont préalablement nettoyées pour supprimer les valeurs aberrantes et sont réparties à 80 % pour les données pour l’apprentissage et 20 % pour les données de test afin d’obtenir des modèles avec les meilleures prédictions. Les algorithmes utilisés dans cette étude sont simples et détectent bien les pics. La durée de l’entraînement sur les données de trois ans se fait en moins de deux minutes pour la Forêt aléatoire et en moins d’une demi-heure pour les réseaux de neurones LSTM et GRU. Les résultats montrent que les données horaires et la prise en compte de l’effet de l’historique par l’utilisation des réseaux de neurones récurrents LSTM et GRU permettent d’obtenir une meilleure prédiction des débits d’influent. Les séries de données plus longues permettent également un meilleur apprentissage des algorithmes et une meilleure prédiction du modèle.

Le reboisement du peuplier hybride sur monticules de plantation est une technique recommandée au Québec pour faciliter la croissance rapide de l’arbre. Toutefois, afin de faciliter la planification et les opérations de reboisement, il est important de connaître le nombre précis de monticules de plantation lors du transport des nouveaux plants vers les terrains à reboiser. Des images acquises par drone ont été utilisées pour concevoir une méthode de dénombrement automatique de monticules de plantation. Cette méthode, basée sur la vision par ordinateur et l’apprentissage profond, permet de détecter les monticules avec une précision moyenne de 95,5 %, et ce dans diverses conditions d’acquisition d’images et sur une grande variété de types de terrain. La méthode développée a été répliquée de manière opérationnelle, prouvant la robustesse de la méthode et permettant d’optimiser le travail de planification du reboisement.

Selon le rapport annuel de la Fédération Mondiale du Cœur de 2023, les maladies cardiovasculaires (MCV) représentaient près d'un tiers de tous les décès mondiaux en 2021. Comparativement aux pays à revenu élevé, plus de 80% des décès par MCV surviennent dans les pays à revenu faible et intermédiaire. La répartition inéquitable des ressources de diagnostic et de traitement des MCV demeure toujours non résolue. Face à ce défi, les dispositifs abordables d'échographie de point de soins (POCUS) ont un potentiel significatif pour améliorer le diagnostic des MCV. Avec l'aide de l'intelligence artificielle (IA), le POCUS permet aux non-experts de contribuer, améliorant ainsi largement l'accès aux soins, en particulier dans les régions moins desservies.L'objectif de cette thèse est de développer des algorithmes robustes et automatiques pour analyser la fonction cardiaque à l'aide de dispositifs POCUS, en mettant l'accent sur l'échocardiographie et l'électrocardiogramme. Notre premier objectif est d'obtenir des caractéristiques cardiaques explicables à partir de chaque modalité individuelle. Notre deuxième objectif est d'explorer une approche multimodale en combinant les données d'échocardiographie et d'électrocardiogramme.Nous commençons par présenter deux nouvelles structures d'apprentissage profond (DL) pour la segmentation de l'échocardiographie et l'estimation du mouvement. En incorporant des connaissance a priori de forme et de mouvement dans les modèles DL, nous démontrons, grâce à des expériences approfondies, que de tels a priori contribuent à améliorer la précision et la généralisation sur différentes séries de données non vues. De plus, nous sommes en mesure d'extraire la fraction d'éjection du ventricule gauche (FEVG), la déformation longitudinale globale (GLS) et d'autres indices utiles pour la détection de l'infarctus du myocarde (IM).Ensuite, nous proposons un modèle DL explicatif pour la décomposition non supervisée de l'électrocardiogramme. Ce modèle peut extraire des informations explicables liées aux différentes sous-ondes de l'ECG sans annotation manuelle. Nous appliquons ensuite ces paramètres à un classificateur linéaire pour la détection de l'infarctus du myocarde, qui montre une bonne généralisation sur différentes séries de données.Enfin, nous combinons les données des deux modalités pour une classification multimodale fiable. Notre approche utilise une fusion au niveau de la décision intégrant de l'incertitude, permettant l'entraînement avec des données multimodales non appariées. Nous évaluons ensuite le modèle entraîné à l'aide de données multimodales appariées, mettant en évidence le potentiel de la détection multimodale de l'IM surpassant celle d'une seule modalité.Dans l'ensemble, nos algorithmes proposés robustes et généralisables pour l'analyse de l'échocardiographie et de l'ECG démontrent un potentiel significatif pour l'analyse de la fonction cardiaque portable. Nous anticipons que notre cadre pourrait être davantage validé à l'aide de dispositifs portables du monde réel
According to the 2023 annual report of the World Heart Federation, cardiovascular diseases (CVD) accounted for nearly one third of all global deaths in 2021. Compared to high-income countries, more than 80% of CVD deaths occurred in low and middle-income countries. The inequitable distribution of CVD diagnosis and treatment resources still remains unresolved. In the face of this challenge, affordable point-of-care ultrasound (POCUS) devices demonstrate significant potential to improve the diagnosis of CVDs. Furthermore, by taking advantage of artificial intelligence (AI)-based tools, POCUS enables non-experts to help, thus largely improving the access to care, especially in less-served regions.The objective of this thesis is to develop robust and automatic algorithms to analyse cardiac function for POCUS devices, with a focus on echocardiography (ECHO) and electrocardiogram (ECG). Our first goal is to obtain explainable cardiac features from each single modality respectively. Our second goal is to explore a multi-modal approach by combining ECHO and ECG data.We start by presenting two novel deep learning (DL) frameworks for echocardiography segmentation and motion estimation tasks, respectively. By incorporating shape prior and motion prior into DL models, we demonstrate through extensive experiments that such prior can help improve the accuracy and generalises well on different unseen datasets. Furthermore, we are able to extract left ventricle ejection fraction (LVEF), global longitudinal strain (GLS) and other useful indices for myocardial infarction (MI) detection.Next, we propose an explainable DL model for unsupervised electrocardiogram decomposition. This model can extract interpretable information related to different ECG subwaves without manual annotation. We further apply those parameters to a linear classifier for myocardial infarction detection, which showed good generalisation across different datasets.Finally, we combine data from both modalities together for trustworthy multi-modal classification. Our approach employs decision-level fusion with uncertainty, allowing training with unpaired multi-modal data. We further evaluate the trained model using paired multi-modal data, showcasing the potential of multi-modal MI detection to surpass that from a single modality.Overall, our proposed robust and generalisable algorithms for ECHO and ECG analysis demonstrate significant potential for portable cardiac function analysis. We anticipate that our novel framework could be further validated using real-world portable devices. We envision that such advanced integrative tools may significantly contribute towards better identification of CVD patients

Ce projet doctoral se focalise sur les problématiques associées à l'identification d'images et de documents dans les applications de réalité augmentée utilisant des marqueurs, en particulier lors de l'utilisation d'appareils photo. La recherche s'inscrit dans un contexte technologique où l'interaction via la réalité augmentée est essentielle dans plusieurs domaines, y compris l'industrie, qui requièrent des méthodologies d'identification fiables.Dans une première phase, le projet évalue diverses méthodologies d'identification et de traitement d'image au moyen d'une base de données spécialement conçue pour refléter les défis du contexte industriel. Cette recherche permet une analyse approfondie des méthodologies existantes, révélant ainsi leurs potentiels et leurs limites dans divers scénarios d'application.Par la suite, le projet propose un système de détection de documents visant à améliorer les solutions existantes, optimisé pour des environnements tels que les navigateurs web. Ensuite, une méthodologie innovante pour la recherche d'images est introduite, s'appuyant sur une analyse de l'image en sous-parties afin d'accroître la précision de l'identification et d'éviter les confusions d'images. Cette approche permet une identification plus précise et adaptative, notamment en ce qui concerne les variations de la mise en page de l'image cible.Enfin, dans le cadre de travaux en collaboration avec la société ARGO, un moteur de suivi d'image en temps réel a été développé, optimisé pour des appareils à basse puissance et pour les environnements web. Ceci assure le déploiement d'applications web en réalité augmentée et leur fonctionnement sur un large éventail de dispositifs, y compris ceux dotés de capacités de traitement limitées.Il est à noter que les travaux issus de ce projet doctoral ont été appliqués et valorisés concrètement par la société Argo à des fins commerciales, confirmant ainsi la pertinence et la viabilité des méthodologies et solutions développées, et attestant de leur contribution significative au domaine technologique et industriel de la réalité augmentée
This doctoral project focuses on issues related to the identification of images and documents in augmented reality applications using markers, particularly when using cameras. The research is set in a technological context where interaction through augmented reality is essential in several domains, including industry, which require reliable identification methodologies.In an initial phase, the project assesses various identification and image processing methodologies using a database specially designed to reflect the challenges of the industrial context. This research allows an in-depth analysis of existing methodologies, thus revealing their potentials and limitations in various application scenarios.Subsequently, the project proposes a document detection system aimed at enhancing existing solutions, optimized for environments such as web browsers. Then, an innovative image research methodology is introduced, relying on an analysis of the image in sub-parts to increase the accuracy of identification and avoid image confusions. This approach allows for more precise and adaptive identification, particularly with respect to variations in the layout of the target image.Finally, in the context of collaborative work with ARGO company, a real-time image tracking engine was developed, optimized for low-power devices and web environments. This ensures the deployment of augmented reality web applications and their operation on a wide range of devices, including those with limited processing capabilities.It is noteworthy that the works resulting from this doctoral project have been concretely applied and valorized by the Argo company for commercial purposes, thereby confirming the relevance and viability of the developed methodologies and solutions, and attesting to their significant contribution to the technological and industrial field of augmented reality

Ces dernières années, la reconnaissance d’action humaine (HAR) a attiré l’attention de la recherche grâce à ses diverses applications telles que les systèmes de surveillance intelligents, l’indexation vidéo, l’analyse des activités humaines, les interactions homme-machine, et ainsi de suite. Les problèmes typiques que les chercheurs envisagent sont la complexité des mouvements humains, les variations spatio-temporelles, l'encombrement, l'occlusion et le changement des conditions d'éclairage. Cette thèse porte sur la reconnaissance automatique des actions humaines en cours dans une vidéo. Nous abordons ce problème de recherche en utilisant à la fois des approches d'apprentissage traditionnel peu profond et d'apprentissage profond.Premièrement, nous avons commencé les travaux de recherche avec des méthodes d’apprentissage traditionnelles peu profondes, fondées sur des caractéristiques créées manuellement, en introduisant un nouveau fonctionnalité appelée descripteur MOMP (Motion of Oriented Magnitudes Patterns). Nous avons ensuite intégré ce descripteur discriminant aux techniques de représentation simples mais puissantes telles que le sac de mots visuels, le vecteur de descripteurs agrégés localement (VLAD) et le vecteur de Fisher pour mieux représenter les actions. En suite l'PCA (Principal Component Analysis) et la sélection des caractéristiques (la dépendance statistique, l'information mutuelle) sont appliquées pour rechercher le meilleur sous-ensemble des caractéristiques afin d'améliorer les performances et de réduire les coûts de calcul. La méthode proposée a permis d'obtenir les résultats d'état de l'art sur plusieurs bases de données communes.Les approches d'apprentissage profond récentes nécessitent des calculs intensifs et une utilisation importante de la mémoire. Ils sont donc difficiles à utiliser et à déployer sur des systèmes aux ressources limitées. Dans la deuxième partie de cette thèse, nous présentons un nouvel algorithme efficace pour compresser les modèles de réseau de neurones convolutionnels afin de réduire à la fois le coût de calcul et l’empreinte mémoire au moment de l’exécution. Nous mesurons la redondance des paramètres en fonction de leurs relations à l'aide des critères basés sur la théorie de l'information, puis nous éliminons les moins importants. La méthode proposée réduit considérablement la taille des modèles de différents réseaux tels qu'AlexNet, ResNet jusqu'à 70% sans perte de performance pour la tâche de classification des images à grande échelle.L'approche traditionnelle avec le descripteur proposé a permis d'obtenir d'excellentes performances pour la reconnaissance de l'action humaine mais seulement sur de petits bases de données. Afin d'améliorer les performances de la reconnaissance sur les bases de données de grande échelle, dans la dernière partie de cette thèse, nous exploitons des techniques d'apprentissage profond pour classifier les actions. Nous introduisons les concepts de l'image MOMP en tant que couche d'entrée de CNN et incorporons l'image MOMP dans des réseaux de neurones profonds. Nous appliquons ensuite notre algorithme de compression réseau pour accélérer et améliorer les performances du système. La méthode proposée réduit la taille du modèle, diminue le sur-apprentissage et augmente ainsi la performance globale de CNN sur les bases de données d'action à grande échelle.Tout au long de la thèse, nous avons montré que nos algorithmes obtenaient de bonnes performances sur bases de données d'action complexes (Weizmann, KTH, UCF Sports, UCF-101 et HMDB51) avec des ressources limitées
In recent years, human action recognition (HAR) has attracted the research attention thanks to its various applications such as intelligent surveillance systems, video indexing, human activities analysis, human-computer interactions and so on. The typical issues that the researchers are envisaging can be listed as the complexity of human motions, the spatial and temporal variations, cluttering, occlusion and change of lighting condition. This thesis focuses on automatic recognizing of the ongoing human actions in a given video. We address this research problem by using both shallow learning and deep learning approaches.First, we began the research work with traditional shallow learning approaches based on hand-scrafted features by introducing a novel feature named Motion of Oriented Magnitudes Patterns (MOMP) descriptor. We then incorporated this discriminative descriptor into simple yet powerful representation techniques such as Bag of Visual Words, Vector of locally aggregated descriptors (VLAD) and Fisher Vector to better represent actions. Also, PCA (Principal Component Analysis) and feature selection (statistical dependency, mutual information) are applied to find out the best subset of features in order to improve the performance and decrease the computational expense. The proposed method obtained the state-of-the-art results on several common benchmarks.Recent deep learning approaches require an intensive computations and large memory usage. They are therefore difficult to be used and deployed on the systems with limited resources. In the second part of this thesis, we present a novel efficient algorithm to compress Convolutional Neural Network models in order to decrease both the computational cost and the run-time memory footprint. We measure the redundancy of parameters based on their relationship using the information theory based criteria, and we then prune the less important ones. The proposed method significantly reduces the model sizes of different networks such as AlexNet, ResNet up to 70% without performance loss on the large-scale image classification task.Traditional approach with the proposed descriptor achieved the great performance for human action recognition but only on small datasets. In order to improve the performance on the large-scale datasets, in the last part of this thesis, we therefore exploit deep learning techniques to classify actions. We introduce the concepts of MOMP Image as an input layer of CNNs as well as incorporate MOMP image into deep neural networks. We then apply our network compression algorithm to accelerate and improve the performance of system. The proposed method reduces the model size, decreases the over-fitting, and thus increases the overall performance of CNN on the large-scale action datasets.Throughout the thesis, we have showed that our algorithms obtain good performance in comparison to the state-of-the-art on challenging action datasets (Weizmann, KTH, UCF Sports, UCF-101 and HMDB51) with low resource required

Nous sommes entourés de données hétérogènes et interdépendantes. L’hypothèse i. I. D. A montré ses limites dans les algorithmes considérant des jeux de données tabulaires, constitués d’individus dotés du même domaine de définition et sans influence mutuelle. L’apprentissage relationnel statistique a pour objectif la représentation de connaissances, le raisonnement et l’apprentissage dans des contextes de jeux de données multi relationnels avec incertitude et les modèles graphiques probabilistes de second ordre sont une solution pour l’apprentissage génératif dans ce contexte. Nous étudions dans cette thèse un type de modèles graphiques probabilistes de second ordre dirigés, appelés modèles relationnels probabilistes, dans un contexte d’incertitude de références, c. -à-d. Où les individus d’un jeu de données peuvent présenter à la fois une incertitude sur la valeurs de leurs attributs descriptifs, et sur leurs implications dans des associations avec d’autres individus, et ayant la particularité de s’appuyer sur des fonctions de partitionnement des individus pour découvrir des connaissances générales. Nous présentons les limites des modèles existant pour l’apprentissage dans ce contexte et proposons des extensions présentant l’intérêt de pouvoir utiliser des méthodes de partitionnement relationnel, plus adaptées au problème, et proposant un biais de représentation simplifié autorisant la découverte de connaissances supplémentaires, notamment entre les différents typ
We are surrounded by heterogeneous and interdependent data. The i. I. D. Assumption has shown its limits in the algorithms considering tabular datasets, containing individuals with same data domain and without mutual influence on each other. Statistical relational learning aims at representing knowledge, reasoning, and learning in multi-relational datasets with uncertainty and lifted probabilistic graphical models offer a solution for generative learning in this context. We study in this thesis a type of directed lifted graphical model, called probabilistic relational models, in the context of reference uncertainty, i. E. Where dataset’s individuals can have uncertainty over both their internal attributes description and their external memberships in associations with others, having the particularity of relying on individuals partitioning functions in order to find out general knowledge. We show existing models’ limits for learning in this context and propose extensions allowing to use relational clustering methods, more adequate for the problem, and offering a less constrained representation bias permitting extra knowledge discovery, especially between associations types in the relational data domain

Les systèmes d’apprentissage machine, et en particulier les systèmes dits d’apprentissage profond, nécessitent de grandes quantités de données pour l’entraînement. En vision par ordinateur, les réseaux de neurones convolutionnels utilisés pour la classification d’images, la reconnaissance de scènes et la détection d’objets notamment sont entrainés sur des jeux de données dont la taille se situe entre quelques dizaines de milliers et quelques milliards d’exemples. Les modèles paramétriques ont une très large capacité, souvent du même ordre de grandeur que le nombre d’exemples. Dans cette thèse, nous nous intéressons aux aspects de mémorisation présents dans les réseaux de neurones, sous deux angles complémentaires:la mémorisation explicite, c’est-à-dire la mémorisation de tous les éléments d’un jeu de données et la mémorisation implicite, qui apparaît de façon non intentionnelle pendant l’apprentissage. Concernant la mémorisation explicite, nous proposons dans cette thèse un réseau de neurones qui approxime la fonction indicatrice d’un ensemble, et nous montrons que la capacité d’un tel réseau passe à l’échelle linéairement avec la taille de l’ensemble. Nous proposons alors une construction alternative pour l’appartenance à un ensemble, dans laquelle nous construisons un réseau de neurones qui produit des codes compacts, puis un système de recherche de plus proches voisins parmi ces codes compacts, séparant l’apprentissage de la distribution (fait par le réseau) du stockage des points individuels(les codes compacts), le premier étant indépendant du nombre d’exemples,et le deuxième passant à l’échelle linéairement en le nombre d’exemples.Ce système de recherche de plus proches voisins implémente une fonction plus générale, et peut être utilisé pour inférer l’appartenance à un ensemble.Dans la deuxième partie de cette thèse, nous nous intéressons à la mémorisation involontaire, et déterminons pour chaque exemple s’il faisait partie du jeu de données d’entraînement (inférence de l’appartenance). Nous effectuons une inférence empirique de l’appartenance sur de gros réseaux, à la fois sur des exemples isolés et sur des groupes d’exemples. Nous développons une analyse de l’inférence de l’appartenance, qui conduit à l’inférence Bayes-optimale; nous construisons plusieurs approximations qui donnent lieu à des résultats état de l’art en attaques d’appartenance. Enfin, nous élaborons une nouvelle technique dite de données radioactives, qui modifie légèrement des jeux de données afin que n’importe quel modèle entraîné sur ces données porte une marque identifiable
Machine learning systems, and in particular deep neural networks, aretrained on large quantities of data. In computer vision for instance, convolutionalneural networks used for image classification, scene recognition,and object detection, are trained on datasets which size ranges from tensof thousands to billions of samples. Deep parametric models have a largecapacity, often in the order of magnitude of the number of datapoints.In this thesis, we are interested in the memorization aspect of neuralnetworks, under two complementary angles: explicit memorization,i.e. memorization of all samples of a set, and implicit memorization,that happens inadvertently while training models. Considering explicitmemorization, we build a neural network to perform approximate setmembership, and show that the capacity of such a neural network scaleslinearly with the number of data points. Given such a linear scaling, weresort to another construction for set membership, in which we build aneural network to produce compact codes, and perform nearest neighborsearch among the compact codes, thereby separating “distribution learning”(the neural network) from storing samples (the compact codes), theformer being independent of the number of samples and the latter scalinglinearly with a small constant. This nearest neighbor system performs amore generic task, and can be plugged in to perform set membership.In the second part of this thesis, we analyze the “unintended” memorizationthat happens during training, and assess if a particular data pointwas used to train a model (membership inference). We perform empiricalmembership inference on large networks, on both individual and groupsof samples. We derive the Bayes-optimal membership inference, andconstruct several approximations that lead to state-of-the-art results inmembership attacks. Finally, we design a new technique, radioactive data,that slightly modifies datasets such that any model trained on them bearsan identifiable mark

Cette thèse présente de nouvelles méthodes d’apprentissage structuré et parcimonieux sur les graphes, ce qui permet de résoudre une large variété de problèmes d’imagerie cérébrale, ainsi que d’autres problèmes en haute dimension avec peu d’échantillon. La première partie de cette thèse propose des relaxation convexe de pénalité discrète et combinatoriale impliquant de la parcimonie et bounded total variation d’un graphe, ainsi que la bounded `2. Ceux-ci sont dévelopé dansle but d’apprendre un modèle linéaire interprétable et on démontre son efficacacité sur des données d’imageries cérébrales ainsi que sur les problèmes de reconstructions parcimonieux.Les sections successives de cette thèse traite de la découverte de structure sur des modèles graphiques “undirected” construit à partir de peu de données. En particulier, on se concentre sur des hypothèses de parcimonie et autres hypothèses de structures dans les modèles graphiques gaussiens. Deux contributions s’en dégagent. On construit une approche pour identifier les différentes entre des modèles graphiques gaussiens (GGMs) qui partagent la même structure sous-jacente. On dérive la distribution de différences de paramètres sous une pénalité jointe quand la différence des paramètres est parcimonieuse. On montre ensuite comment cette approche peut être utilisée pour obtenir des intervalles de confiances sur les différences prises par le GGM sur les arêtes. De là, on introduit un nouvel algorithme d’apprentissage lié au problème de découverte de structure sur les modèles graphiques non dirigées des échantillons observés. On démontre que les réseaux de neurones peuvent être utilisés pour apprendre des estimateurs efficacaces de ce problèmes. On montre empiriquement que ces méthodes sont une alternatives flexible et performantes par rapport aux techniques existantes
This dissertation presents novel structured sparse learning methods on graphs that address commonly found problems in the analysis of neuroimaging data as well as other high dimensional data with few samples. The first part of the thesis proposes convex relaxations of discrete and combinatorial penalties involving sparsity and bounded total variation on a graph as well as bounded `2 norm. These are developed with the aim of learning an interpretable predictive linear model and we demonstrate their effectiveness on neuroimaging data as well as a sparse image recovery problem.The subsequent parts of the thesis considers structure discovery of undirected graphical models from few observational data. In particular we focus on invoking sparsity and other structured assumptions in Gaussian Graphical Models (GGMs). To this end we make two contributions. We show an approach to identify differences in Gaussian Graphical Models (GGMs) known to have similar structure. We derive the distribution of parameter differences under a joint penalty when parameters are known to be sparse in the difference. We then show how this approach can be used to obtain confidence intervals on edge differences in GGMs. We then introduce a novel learning based approach to the problem structure discovery of undirected graphical models from observational data. We demonstrate how neural networks can be used to learn effective estimators for this problem. This is empirically shown to be flexible and efficient alternatives to existing techniques

L'imagerie par résonance magnétique (IRM) permet l'acquisition d'images du cerveau pour l'étude de maladies neurologiques et psychiatriques. Les images IRM sont de plus en plus utilisées dans des études statistiques pour identifier des biomarqueurs et pour des modèles de prédiction. Pour gagner en puissance statistique, ces études agrègent parfois des données acquises avec différentes machines, ce qui peut introduire de la variabilité technique biaisant les analyses des variabilités biologiques. Ces dernières années, des méthodes d'harmonisation ont été proposées pour limiter l'impact de ces variabilités dans les analyses. De nombreuses études ont notamment travaillé sur des modèles génératifs basés sur de l'apprentissage profond non-supervisé. Le travail de thèse s'inscrit dans le cadre de ces modèles qui constituent un champ de recherche prometteur mais encore exploratoire. Dans la première partie de ce manuscrit, une revue des méthodes d'harmonisation rétrospective est proposée. Différentes méthodes de normalisation appliquées au niveau de l'image, de translation de domaines ou de transfert de style y sont décrites en vue de comprendre leurs enjeux respectifs, avec une attention particulière portée aux modèles génératifs non-supervisés. La deuxième partie porte sur les méthodes d'évaluation de l'harmonisation rétrospective. Une revue de ces méthodes est d'abord réalisée. Les plus communes reposent sur des sujets “voyageurs” pour présumer des vérités terrain à l'harmonisation. La revue présente également des évaluations employées en l'absence de tels sujets : étude de différences inter-domaine, de motifs biologiques et de performances de modèles prédictifs. Des expériences mettant en avant des limites de certaines approches couramment employées et des points d'attention nécessaires à leur utilisation sont ensuite proposées. La troisième partie présente un nouveau modèle d'harmonisation d'images IRM cérébrales basé sur une architecture CycleGAN. Contrairement aux précédents travaux, le modèle est tridimensionnel et traite les volumes complets. Des images IRM provenant de six jeux de données variables en termes de paramètres d'acquisition et de distribution d'âge sont utilisées pour expérimenter la méthode. Des analyses de distributions d'intensités, de volumes cérébraux, de métriques de qualité d'image et de caractéristiques radiomiques montrent une homogénéisation efficace entre les différents sites de l'étude. À côté de ça, la conservation et le renforcement de motifs biologiques sont montrés avec une analyse de l'évolution d'estimations de volumes de matière grise avec l'âge, des expériences de prédiction d'âge, la cotation de motifs radiologiques dans les images et une évaluation supervisée avec un jeu de données de sujets voyageurs. La quatrième partie présente également une méthode d'harmonisation originale avec des modifications majeures de la première en vue d'établir un générateur “universel” capable d'harmoniser des images sans connaître leur domaine d'origine. Après un entraînement exploitant des données acquises avec onze scanners IRM, des expériences sur des images de sites non-vus lors de l'entraînement montrent un renforcement de motifs cérébraux liés à l'âge et à la maladie d'Alzheimer après harmonisation. De plus, des comparaisons avec d'autres approches d'harmonisation d'intensités suggèrent que le modèle est plus efficace et plus robuste dans différentes tâches subséquentes à l'harmonisation. Ces différents travaux constituent une contribution significative au domaine de l'harmonisation rétrospective d'images IRM cérébrales. Les documentations bibliographiques fournissent en effet un corpus de connaissances méthodologiques pour les futurs études dans ce domaine, que ce soit pour l'harmonisation en elle-même ou pour la validation. De plus, les deux modèles développés sont deux outils robustes accessibles publiquement qui pourraient être intégrés à de futures études multicentriques en IRM
Magnetic resonance imaging (MRI) enables the acquisition of brain images used in the study of neurologic and psychiatric diseases. MR images are more and more used in statistical studies to identify biomarkers and for predictive models. To improve statistical power, these studies sometimes pool data acquired with different machines, which may introduce technical variability and bias into the analysis of biological variabilities. In the last few years, harmonization methods have been proposed to limit the impact of these variabilities. Many studies have notably worked on generative models based on unsupervised deep learning. The doctoral research is within the context of these models, which constitute a promising but still exploratory research field. In the first part of this manuscript, a review of the prospective harmonization methods is proposed. Different methods consisting in normalization applied at the image level, domain translation or style transfer are described to understand their respective issues, with a special focus on unsupervised generative models. The second part is about the methods for evaluation of retrospective harmonization. A review of these methods is first conducted. The most common rely on “traveling” subjects to assume ground truths for harmonization. The review also presents evaluations employed in the absence of such subjects: study of inter-domain differences, biological patterns and performances of predictive models. Experiments showing limits of some approaches commonly employed and important points to consider for their use are then proposed. The third part presents a new model for harmonization of brain MR images based on a CycleGAN architecture. In contrast with the previous works, the model is three-dimensional and processes full volumes. MR images from six datasets that vary in terms of acquisition parameters and age distributions are used to test the method. Analyses of intensity distributions, brain volumes, image quality metrics and radiomic features show an efficient homogenisation between the different sites of the study. Next, the conservation and the reinforcement of biological patterns are demonstrated with an analysis of the evolution of gray-matter volume estimations with age, experiments of age prediction, ratings of radiologic patterns in the images and a supervised evaluation with a traveling subject dataset. The fourth part also presents an original harmonization method with major updates of the first one in order to establish a “universal” generator able to harmonize images without knowing their domain of origin. After a training with data acquired on eleven MRI scanners, experiments on images from sites not seen during the training show a reinforcement of brain patterns relative to age and Alzheimer after harmonization. Moreover, comparisons with other intensity harmonization approaches suggest that the model is more efficient and more robust to different tasks subsequent to harmonization. These different works are a significant contribution to the domain of retrospective harmonization of brain MR images. The bibliographic documentations indeed provide a methodological knowledge base for the future studies in this domain, whether for harmonization in itself or for validation. In addition, the two developed models are two robust tools publicly available that may be integrated in future MRI multicenter studies

La dosimétrie biologique est la branche de la physique de la santé qui se préoccupe de l’estimation de doses de rayonnement ionisants à partir de biomarqueurs. Dans le procédé standard défini par l’AIEA, la dose est calculée en estimant la fréquence d’apparition de chromosomes dicentriques lors de la métaphase des lymphocytes périphériques. La variabilité morphologique des chromosomes, ainsi que celle des conditions d’acquisition des images rend ce problème de détection d’objets complexe. De plus, l’estimation fiable de cette fréquence nécessite le traitement d’un grand nombre d’image. Étant donné les limites du comptage humain (faible nombre de personnes qualifiées, charge cognitive), l’automatisation est une nécessité dans le contexte d’exposition de masse. Dans ce contexte, l’objectif de cette thèse est de tirer parti des progrès récents en vision par ordinateur (et plus spécifiquement en détection d’objets) apportés par l’apprentissage profond. La contribution principale de ce travail est une preuve de concept pour un modèle de détection de chromosomes dicentriques. Ce système repose sur l’agrégation de modèles pour parvenir à un haut niveau de performance, ainsi qu’a une bonne quantification de son incertitude, une exigence essentielle dans un contexte médical
Biological dosimetry is the branch of health physics dealing with the estimation of ionizing radiation doses from biomarkers. The current gold standard (defined by the IAEA) relies on estimating how frequently dicentric chromosomes appear in peripheral blood lymphocytes. Variations in acquisition conditions and chromosome morphology makes this a challenging object detection problem. Furthermore, the need for an accurate estimation of the average number of dicentric per cell means that a large number of image has to be processed. Human counting is intrinsically limited, as cognitive load is high and the number of specialist insufficient in the context of a large-scale exposition. The main goal of this PhD is to use recent developments in computer vision brought by deep learning, especially for object detection. The main contribution of this thesis is a proof of concept for a dicentric chromosome detection model. This model agregates several Unet models to reach a high level of performance and quantify its prediction uncertainty, which is a stringent requirement in a medical setting

Quels sont les points communs et les différences entre notre façon de percevoir notre environnement et celles des réseaux de neurones profonds ? Nous étudions cette question au travers d’un cas d’application concret, la détection des lésions issues de la maladie de Crohn dans des vidéos capsules endoscopiques. Dans un premier temps, nous avons développé une base de données, soigneusement annotée par plusieurs experts, que nous avons rendu publique afin de compenser le manque de données permettant l’évaluation et l’entraînement des algorithmes d’apprentissage profond dans ce domaine. Dans un second temps, pour rendre les réseaux plus transparents lors de leur prise de décision et leurs prédictions plus explicables, nous avons travaillé sur l’attention artificielle et établissons un parallèle entre celle-ci et l’attention visuelle humaine. Nous avons enregistré les mouvements oculaires de sujets de différents niveaux d’expertise lors d’une tâche de classification et montrons que les réseaux de neurones profonds, dont les performances sur la tâche de classification sont plus proches de celles des experts que de celles des novices, ont également un comportement attentionnel plus proche de ces premiers. Au travers de ce manuscrit, nous espérons fournir des outils permettant le développement d’algorithmes d’aide au diagnostic, ainsi qu’un moyen d’évaluer les méthodes d’attention artificielle. Ce travail permet d’approfondir les liens entre attention humaine et artificielle, dans le but d’aider les experts médicaux dans leur formation et d’aider au développement de nouvelles architectures d’algorithmes
What are the similarities and differences between the way we perceive our environment and that of deep neural networks? We study this question through a concrete application case, the detection of lesions from Crohn’s disease in endoscopic video capsules. In a first step, we have developed a database, carefully annotated by several experts, which we have made public in order to compensate for the lack of data allowing the evaluation and training of deep learning algorithms in this domain. In a second step, to make the networks more transparent in their decision making and their predictions more explainable, we worked on artificial attention and establish a parallel between it and human visual attention. We have recorded the eye movements of subjects of different levels of expertise during a classification task and show that deep neural networks, whose performance on the classification task is closer to that of experts than to novices, also have an attentional behavior closer to the former. Through this manuscript, we hope to provide tools for the development of diagnostic assistance algorithms, as well as a way to evaluate artificial attention methods. This work provides a deeper understanding of the links between human and artificial attention, with the goal of assisting medical experts in their training and helping to develop new algorithm architectures

La détection d'observation s'écartant d'un cas de référence est cruciale dans de nombreuses applications. Cette problématique est présente dans la détection de fraudes, l'imagerie médicale, voire même la surveillance vidéo avec des données allant d'image aux sons. La détection d'anomalie profonde a été introduite dans cette optique, en modélisant la classe normale et en considérant tout ce qui est significativement différent comme étant anormal. Dans la mesure où la classe anormale n'est pas bien définie, une classification binaire classique manquerait de robustesse et de fiabilité sur des données hors de son domaine d'apprentissage. Néanmoins, les approches de détection d'anomalies les plus performantes se généralisent encore mal à différents types d'anomalies. Aucune méthode ne permet de simultanément détecter des anomalies d'objets à grande échelle, et des anomalies locales à petite échelle.Dans ce contexte, nous introduisons un premier détecteur d'anomalies plus générique par tâche prétexte. Le modèle, nommé OC-MQ, calcule un score d'anomalie en apprenant à résoudre une tâche prétexte complexe sur la classe normale. La tâche prétexte est composée de plusieurs sous-tâches, séparées en tâche discriminatives et génératives, lui permettant de capturer une grande variété de caractéristiques visuelles.Néanmoins, un ensemble de données d'anomalies supplémentaires est en pratique souvent disponible. Dans cette optique, nous explorons deux approches intégrant des données d'anomalie afin de mieux traiter les cas limites. Tout d'abord, nous généralisons le concept de tâche de prétexte au cas semi-supervisé en apprenant aussi dynamiquement la tâche de prétexte avec des échantillons normaux et anormaux. Nous proposons les modèles SadTPS et SadRest, qui apprennent respectivement une tâche prétexte de reconnaissance de TPS et une tâche de restauration d'image. De plus, nous présentons un nouveau modèle de distance d'anomalie, SadCLR, où l'entraînement est stabilisé par une régularisation contrastive sur la direction des représentations apprises. Nous enrichissons davantage les anomalies existantes en générant plusieurs types de pseudo-anomalies.Enfin, nous prolongeons les deux approches précédentes pour les rendre utilisables avec ou sans données d'anomalies. Premièrement, nous introduisons le modèle AnoMem, qui mémorise un ensemble de prototypes normaux à plusieurs échelles en utilisant des couches de Hopfield modernes. Des estimateurs de distance d'anomalie sont ensuite appris sur les disparités entre l'entrée observée et les prototypes normaux. Deuxièmement, nous reformulons les tâches prétextes apprenables afin qu'elles soient apprises uniquement à partir d'échantillons normaux. Notre modèle proposé, HEAT, apprend de manière adverse la tâche prétexte afin de maintenir de bonnes performance sur les échantillons normaux, tout en échouant sur les anomalies. De plus, nous choisissons la distance de Busemann, récemment proposée dans le modèle du disque de Poincaré, pour calculer le score d'anomalie.Des évaluations approfondies sont réalisées pour chaque méthode proposée, incluant des anomalies grossières, fines ou locales avec comme application l'antifraude visage. Les résultats obtenus dépassant l'état de l'art démontrent le succès de nos méthodes
Detecting observations straying apart from a baseline case is becoming increasingly critical in many applications. It is found in fraud detection, medical imaging, video surveillance or even in manufacturing defect detection with data ranging from images to sound. Deep anomaly detection was introduced to tackle this challenge by properly modeling the normal class, and considering anything significantly different as anomalous. Given the anomalous class is not well-defined, classical binary classification will not be suitable and lack robustness and reliability outside its training domain. Nevertheless, the best-performing anomaly detection approaches still lack generalization to different types of anomalies. Indeed, each method is either specialized on high-scale object anomalies or low-scale local anomalies.In this context, we first introduce a more generic one-class pretext-task anomaly detector. The model, named OC-MQ, computes an anomaly score by learning to solve a complex pretext task on the normal class. The pretext task is composed of several sub-tasks allowing it to capture a wide variety of visual cues. More specifically, our model is made of two branches each representing discriminative and generative tasks.Nevertheless, an additional anomalous dataset is in reality often available in many applications and can provide harder edge-case anomalous examples. In this light, we explore two approaches for outlier-exposure. First, we generalize the concept of pretext task to outlier-exposure by dynamically learning the pretext task itself with normal and anomalous samples. We propose two the models SadTPS and SadRest that respectively learn a discriminative pretext task of thin plate transform recognition and generative task of image restoration. In addition, we present a new anomaly-distance model SadCLR, where the training of previously unreliable anomaly-distance models is stabilized by adding contrastive regularization on the representation direction. We further enrich existing anomalies by generating several types of pseudo-anomalies.Finally, we extend the two previous approaches to be usable in both one-class and outlier-exposure setting. Firstly, we introduce the AnoMem model which memorizes a set of multi-scale normal prototypes by using modern Hopfield layers. Anomaly distance estimators are then fitted on the deviations between the input and normal prototypes in a one-class or outlier-exposure manner. Secondly, we generalize learnable pretext tasks to be learned only using normal samples. Our proposed model HEAT adversarially learns the pretext task to be just challenging enough to keep good performance on normal samples, while failing on anomalies. Besides, we choose the recently proposed Busemann distance in the hyperbolic Poincaré ball model to compute the anomaly score.Extensive testing was conducted for each proposed method, varying from coarse and subtle style anomalies to a fraud detection dataset of face presentation attacks with local anomalies. These tests yielded state-of-the-art results, showing the significant success of our methods