Academic literature on the topic 'Réseaux de neuronnes à convolution'

Les algorithmes de classification constituent un outil essentiel pour le calcul de cartes d'occupation des sols. Les récents progrès en apprentissage automatique ont montré les très grandes performances des réseaux de neurones convolutifs pour de nombreuses applications, y compris la classification d'images aériennes et satellites. Ce travail établit une stratégie quant à l'utilisation d'un réseau de neurone convolutif pour la classification d'images satellites à très haute résolution spatiale, couvrant de très larges régions géographiques, avec pour perspective future le calcul de cartes d'occupation des sols à l'échelle d'un pays.

Nous présentons un ensemble de travaux pratiques qui seront dispensés au sein du Master EEA - Électronique Embarquée à l’université de Lorraine dans le cadre des modules Modélisation SystemC et Conception VLSI. Ces TP sont destinés à initier les étudiants à la compréhension, modélisation et conception des réseaux de neurones convolutifs dans des langages de description de matériel au niveau RTL (VHDL, le module Conception VLSI) et dans un langage de haut niveau (C++/SystemC, le module Modélisation SystemC). Ils sont organisés autour d’un ensemble d’outils de modélisation et de synthèse de Mentor Graphics (Modelsim, Catapult HLS) et spécifiques aux plateformes FPGA Xilinx et à l’environnement Pynq pour la simulation, test et vérification.

Les caméras acoustiques sont des sonars multifaisceaux à très haute fréquence permettent d'obtenir des images de poissons sur lesquelles des caractéristiques morphologiques et comportementales peuvent être extraites. L’utilisation de ces outils en rivière permet une observation du comportement naturel des poissons sans structure porteuse, même en eau turbide. Pour l’heure, l’analyse de ces données passe par une visualisation intégrale des images par des opérateurs, procédure fastidieuse et très coûteuse en temps. Une automatisation du traitement de ces images est donc une avancée indispensable pour continuer à développer l’utilisation de ces outils via une détection des passages de poissons et une identification des espèces en fonction de critères morphologiques et comportementaux. L'étude vise à développer une méthode innovante d'automatisation de l'analyse d'images provenant des caméras acoustiques DIDSON et ARIS par un réseau de neurones convolutifs (CNN). L'étude s’appuie sur un riche jeu de données d'entraînement pour optimiser le modèle, puis évalue ses performances sur un jeu de validation. Les résultats montrent une bonne détection des passages de poissons, bien que les performances varient en fonction de leur taille. Le taux de faux positifs d’espèces d’intérêt comme le saumon atlantique ou l’anguille est cependant encore très élevé.

La fusion d'images multispectrales à très haute résolution spatiale (THR) avec des séries temporelles d'images moins résolues spatialement mais comportant plus de bandes spectrales permet d'améliorer la classification de l'occupation du sol. Elle tire en effet le meilleur parti des points forts géométriques et sémantiques de ces deux sources. Ce travail s'intéresse à un processus d'extraction automatique de la tache urbaine fondé sur la fusion tardive de classifications calculées respectivement à partir d'images satellitaires Sentinel-2 et SPOT-6/7. Ces deux sources sont d'abord classées indépendamment selon 5 classes, respectivement par forêts aléatoires et réseaux de neurones convolutifs. Les résultats sont alors fusionnés afin d'extraire les bâtiments le plus finement possible. Cette étape de fusion inclut une fusion au niveau pixellaire suivie d'une étape de régularisation spatiale intégrant un terme lié au contraste de l'image. Le résultat obtenu connaît ensuite une seconde fusion afin d'en déduire une tache urbaine : une mesure a priori de se trouver en zone urbaine est calculée à partir des objets bâtiments détectés précédemment et est fusionnée avec une classification binaire dérivée de la classification originale des données Sentinel-2.

La fabrication additive, métallique en particulier, est en plein essor, mais les pièces ainsi produites peuvent présenter des défauts tels que des anomalies d'impression, de la rétention de poudre ou des fissures. Pour contrôler l'intégrité de ces pièces, la tomographie par transmission haute résolution reste la méthode de référence. Cependant, pour inspecter des pièces massives et fortement absorbantes, la tomographie haute énergie avec un accélérateur linéaire d'électrons est nécessaire. Le Laboratoire de Mesures Nucléaires du CEA IRESNE dispose d'un tomographe haute énergie et a souhaité améliorer la qualité des projections acquises en mettant en place des post-traitements numériques. Afin d’essayer de dépasser les performances des méthodes de restauration classiques, basées sur des algorithmes de déconvolution, une approche de post-traitement novatrice a été étudiée : la déconvolution de flou par réseaux de neurones convolutifs. Pour ce faire, un jeu de données d’images a tout d’abord été généré par simulation. Un réseau de neurones convolutifs, basé sur la structure du réseau SRCNN (Super-Resolution Convolutional Neural Network), a ensuite été adapté, entraîné et évalué. Chaque hyperparamètre du réseau a alors été spécialement optimisé. Enfin, ce réseau a été validé sur des tomographies à 9 MeV d’objets réels afin d’évaluer les performances finales obtenues, mais aussi comprendre les limitations de ce type d’approche. Le réseau de neurones convolutifs ainsi optimisé démontre de bonnes performances de défloutage tout en limitant l’amplification du bruit.

Objective Blood DNA methylation (DNAm) alterations have been widely reported in the onset and progression of mild cognitive impairment (MCI) and Alzheimer's disease (AD); however, DNAm is underutilized as a diagnostic biomarker for these diseases. We aimed to evaluate the diagnostic performance of DNAm for MCI and AD, both individually and in combination with well-established AD biosignatures. Methods A total of 1,891 blood samples from Alzheimer's Disease Neuroimaging Initiative (ADNI) studies were used to identify potential candidate DNAm biomarkers. Multimodal clinical data from 635 samples (normal control (NC), n = 193; MCI, n = 352; AD, n = 90) in the TADPOLE dataset were utilized to construct eight different classification models using a graph convolutional network, a machine learning framework. Results After feature selection, 17 DNAm sites were selected for subsequent analysis. Remarkable differences in DNAm levels were observed at the screened DNAm loci in all three cohorts. Adopting DNAm features into multimodal models significantly improved the classification performance for three dichotomous subtasks (NC vs. non-NC, MCI vs. non-MCI, and AD vs. non-AD), especially when combined with cerebrospinal fluid (CSF) features for NC (area under the curve (AUC): 0.8534) and MCI classification (AUC: 0.7675). A weak correlation between DNAm and both magnetic resonance imaging and CSF features in the NC and MCI cohorts suggests good complementarity between modalities (correlation coefficient ≤0.2). Conclusions Our study offers new insights into peripheral DNAm in MCI and AD and suggests promising diagnostic performance of models integrating epigenomics, imaging, or CSF biomarkers.

Dans cette thèse, nous avons développé et étudié la méthode de convolution dilatée avec espacements apprenables (Dilated Convolution with Learnable Spacings en anglais, qu'on abrégera par le sigle DCLS). La méthode DCLS peut être considérée comme une extension de la méthode de convolution dilatée standard, mais dans laquelle les positions des poids d'un réseau de neurones sont apprises grâce à l'algorithme de rétropropagation du gradient, et ce, à l'aide d'une technique d'interpolation. Par suite, nous avons démontré empiriquement l'efficacité de la méthode DCLS en fournissant des preuves concrètes, issues de nombreuses expériences en apprentissage supervisé. Ces expériences sont issues des domaines de la vision par ordinateur, de l'audio et du traitement de la parole et toutes montrent que la méthode DCLS a un avantage compétitif sur les techniques standards de convolution ainsi que sur plusieurs méthodes de convolution avancées. Notre approche s'est faite en plusieurs étapes, en commençant par une analyse de la littérature et des techniques de convolution existantes qui ont précédé le développement de la méthode DCLS. Nous nous sommes particulièrement intéressés aux méthodes étroitement liées à la nôtre et qui demeurent essentielles pour saisir les nuances ainsi que le caractère unique de notre approche. La pierre angulaire de notre étude repose sur l'introduction et l'application de la méthode DCLS aux réseaux neuronaux convolutifs (CNN), mais aussi aux architectures hybrides qui se basent à la fois sur des méthodes convolutives et des méthodes d'attention visuelle. La méthode DCLS est particulièrement remarquable pour ses capacités dans les tâches supervisées de vision par ordinateur telles que la classification, la segmentation et la détection d'objets, qui sont toutes des tâches essentielles dans ce domaine. Ayant développé la méthode DCLS à l'origine avec une interpolation bilinéaire, nous avons entrepris l'exploration d'autres méthodes d'interpolation susceptibles de remplacer l'interpolation bilinéaire, traditionnellement utilisée dans DCLS, ainsi que d'autres méthodes de convolution, et qui visent à rendre différentiables les paramètres de positions des poids dans le noyau de convolution. L'interpolation gaussienne s'est avérée être légèrement meilleure en termes de performances. Notre recherche nous a amené par la suite à appliquer la méthode DCLS dans le domaine des réseaux de neurones à spikes (SNN) afin de permettre l'apprentissage des délais synaptiques à l'intérieur d'un réseau de neurones qui pourrait être éventuellement transféré à des puces dites neuromorphiques. Les résultats montrent que la méthode DCLS se tient comme nouvel état de l'art des SNNs en classification audio pour certaines tâches de référence dans ce domaine. Ces dernières tâches portent sur des ensembles de données connus pour avoir une composante temporelle importante. En outre, nous montrons aussi que DCLS permet d'améliorer de manière significative la précision des réseaux neuronaux artificiels pour la tâche de classification audio multi-label, un aboutissement clé dans l'un des benchmarks de classification audio les plus importants. Enfin, nous concluons par une discussion sur le dispositif expérimental choisi, ses limites, les limites de notre méthode et nos résultats
In this thesis, we develop and study the Dilated Convolution with Learnable Spacings (DCLS) method. The DCLS method can be considered as an extension of the standard dilated convolution method, but in which the positions of the weights of a neural network are learned during training by the gradient backpropagation algorithm, thanks to an interpolation technique. We empirically demonstrate the effectiveness of the DCLS method by providing concrete evidence from numerous supervised learning experiments. These experiments are drawn from the fields of computer vision, audio, and speech processing, and all show that the DCLS method has a competitive advantage over standard convolution techniques, as well as over several advanced convolution methods. Our approach is structured in several steps, starting with an analysis of the literature and existing convolution techniques that preceded the development of the DCLS method. We were particularly interested in the methods that are closely related to our own and that remain essential to capture the nuances and uniqueness of our approach. The cornerstone of our study is the introduction and application of the DCLS method to convolutional neural networks (CNNs), as well as to hybrid architectures that rely on both convolutional and visual attention approaches. The DCLS method is particularly noteworthy for its capabilities in supervised computer vision tasks such as classification, semantic segmentation, and object detection, all of which are essential tasks in the field. Having originally developed the DCLS method with bilinear interpolation, we explored other interpolation methods that could replace the bilinear interpolation conventionally used in DCLS, and which aim to make the position parameters of the weights in the convolution kernel differentiable. Gaussian interpolation proved to be slightly better in terms of performance. Our research then led us to apply the DCLS method in the field of spiking neural networks (SNNs) to enable synaptic delay learning within a neural network that could eventually be transferred to so-called neuromorphic chips. The results show that the DCLS method stands out as a new state-of-the-art technique in SNN audio classification for certain benchmark tasks in this field. These tasks involve datasets with a high temporal component. In addition, we show that DCLS can significantly improve the accuracy of artificial neural networks for the multi-label audio classification task, a key achievement in one of the most important audio classification benchmarks. We conclude with a discussion of the chosen experimental setup, its limitations, the limitations of our method, and our results

La prolifération des capteurs d'images dans de nombreux appareils électroniques, et l'évolution des capacités de traitements à proximité de ces capteurs ouvrent un champ d'exploration pour l'implantation et l'optimisation d'algorithmes complexes de traitement d'images afin de proposer des systèmes de vision artificielle embarquée. Ces travaux s'inscrivent dans la problématique dite d'adéquation algorithme-architecture (A3). Ils portent sur une classe d'algorithmes appelée réseau de neurones à convolutions (ConvNet) et ses applications en analyse de visages embarquée. La chaîne d'analyse de visages, introduite par Garcia et al., a été choisie d'une part pour ses performances en taux de détection/reconnaissance au niveau de l'état de l'art, et d'autre part pour son caractère homogène reposant sur des ConvNets. La première contribution de ces travaux porte sur une étude d'adéquation de cette chaîne d'analyse de visages aux processeurs embarqués. Nous proposons plusieurs adaptations algorithmiques des ConvNets, et montrons que celles-ci permettent d'obtenir des facteurs d'accélération importants (jusqu'à 700) sur un processeur embarqué pour mobile, sans dégradation des performances en taux de détection/reconnaissance. Nous présentons ensuite une étude des capacités de parallélisation des ConvNets, au travers des travaux de thèse de N. Farrugia. Une exploration "gros-grain" du parallélisme des ConvNets, suivie d'une étude de l'ordonnancement interne des processeurs élémentaires, conduisent à une architecture parallèle paramétrable, capable de détecter des visages à plus de 10 images VGA par seconde sur FPGA. Nous proposons enfin une extension de ces études à la phase d'apprentissage de ces réseaux de neurones. Nous étudions des restrictions de l'espace des hypothèses d'apprentissage, et montrons, sur un cas d'application, que les capacités d'apprentissage des ConvNets ne sont pas dégradées, et que le temps d'apprentissage peut être réduit jusqu'à un facteur cinq
Proliferation of image sensors in many electronic devices, and increasing processing capabilities of such sensors, open a field of exploration for the implementation and optimization of complex image processing algorithms in order to provide embedded vision systems. This work is a contribution in the research domain of algorithm-architecture matching. It focuses on a class of algorithms called convolution neural network (ConvNet) and its applications in embedded facial analysis. The facial analysis framework, introduced by Garcia et al., was chosen for its state of the art performances in detection/recognition, and also for its homogeneity based on ConvNets. The first contribution of this work deals with an adequacy study of this facial analysis framework with embedded processors. We propose several algorithmic adaptations of ConvNets, and show that they can lead to significant speedup factors (up to 700) on an embedded processor for mobile phone, without performance degradation. We then present a study of ConvNets parallelization capabilities, through N. Farrugia's PhD work. A coarse-grain parallelism exploration of ConvNets, followed by study of internal scheduling of elementary processors, lead to a parameterized parallel architecture on FPGA, able to detect faces at more than 10 VGA frames per second. Finally, we propose an extension of these studies to the learning phase of neural networks. We analyze several hypothesis space restrictions for ConvNets, and show, on a case study, that classification rate performances are almost the same with a training time divided by up to five

Les médecins radiologues utilisent des séries d’images issues de la tomodensitométrie (TDM) abdominale pour examiner le foie et diagnostiquer les éventuelles pathologies. Cependant, ce processus est souvent long, complexe et sujet à des risques d’erreurs humaines. Les études des récentes années démontrent que l’intelligence artificielle (IA) a ouvert de nouvelles perspectives en imagerie médicale, permettant de détecter plus tôt les cancers du foie et d’optimiser l’ensemble du processus diagnostique. En Afrique, et particulièrement au Bénin, peu d’études ont été menées sur l’utilisation de ces techniques, notamment en raison du manque d’équipements et de données locales. Cette thèse s’inscrit dans cette perspective en proposant des techniques d’IA pour détecter et classifier automatiquement les lésions du foie à partir de la TDM. Plus précisément, elle présente un outil qui inclut : (i) un modèle de segmentation du foie et des lésions basé sur un réseau de neurones, (ii) une signature radiomique pour mieux caractériser l’état du foie, (iii) un modèle de classification des lésions utilisant des réseaux neuronaux convolutifs, et (iv) une plateforme d’aide au diagnostic pour améliorer la prise en charge des patients. Les résultats obtenus montrent des améliorations par rapport aux solutions existantes, ouvrant la voie à une adoption plus large de ces technologies, avec l’objectif d’améliorer la qualité des soins et de réduire les erreurs médicales
Radiologists use a series of images from abdominal computed tomography (CT) scans to examine the liver and diagnose potential pathologies. However, this process is often lengthy, complex, and prone to human error. Recent studies have shown that artificial intelligence (AI) has opened new horizons in medical imaging, allowing for earlier detection of liver cancers and optimizing the entire diagnostic process. In Africa, particularly in Benin, few studies have been conducted on the use of these techniques, largely due to a lack of equipment and local data. This thesis addresses this gap by proposing AI techniques for automatically detecting and classifying liver lesions from CT scans. Specifically, it presents a tool that includes: (i) a liver and lesion segmentation model based on a neural network, (ii) a radiomic signature to better characterize liver conditions, (iii) a lesion classification model using convolutional neural networks, and (iv) a diagnostic assistance platform to improve patient care. The results demonstrate improvements over existing solutions, paving the way for broader adoption of these technologies, with the aim of improving healthcare quality and reducing medical errors

La reconnaissance des actions à partir de vidéos est l'un des principaux problèmes de vision par ordinateur. Malgré des recherches intensives, la différenciation et la reconnaissance d'actions similaires restent un défi. Cette thèse porte sur la classification des gestes sportifs à partir de vidéos, avec comme cadre applicatif le tennis de table.Nous proposons une méthode d’apprentissage profond pour segmenter et classifier automatiquement les différents coup de Tennis de Table. Notre objectif est de concevoir un système intelligent permettant d'analyser les performances des élèves pongistes, et de donner la possibilité à l’entraîneur d'adapter ses séances d'entraînement pour améliorer leurs performances.Dans ce but, nous avons élaboré la base de données “TTStroke-21”, constituée de clips vidéo d'exercices de tennis de table, enregistrés par les étudiants de la faculté de sport de l'Université de Bordeaux – STAPS. Cette base de données a ensuite été annotée par des professionnels du domaine à l'aide d'une plateforme crowdsourcing. Les annotations consistent en une description des coups effectués (début, fin et type de coup). Au total, 20 différents coups de tennis de table sont considérés plus une classe de rejet.La reconnaissance des actions similaires présente des différences avec la reconnaissance d’actions classique. En effet, dans les bases de données classiques, le contexte de l’arrière plan fournit souvent des informations discriminantes que les méthodes peuvent utiliser pour classer l'action plutôt que de se concentrer sur l'action elle-même. Dans notre cas, la similarité entre classes est élevée, les caractéristiques visuelles discriminantes sont donc plus difficiles à extraire et le mouvement joue un rôle clef dans la caractérisation de l’action.Dans cette thèse, nous introduisons un réseau de neurones spatio-temporel convolutif avec une architecture Jumelle. Ce réseau d'apprentissage profond prend comme entrées une séquence d'images RVB et son flot optique estimé. Les données RVB permettent à notre modèle de capturer les caractéristiques d'apparence tandis que le flot optique capture les caractéristiques de mouvement. Ces deux flux sont traités en parallèle à l'aide de convolutions 3D, et sont fusionnés à la dernière étape du réseau. Les caractéristiques spatio-temporelles extraites dans le réseau permettent une classification efficace des clips vidéo de TTStroke-21. Notre méthode obtient une performance de classification de 93.2% sur l'ensemble des données tests. Appliquée à la tâche jointe de détection et de classification, notre méthode atteint une précision de 82.6%.Nous étudions les performances en fonction des types de données utilisés en entrée et la manière de les fusionner. Différents estimateurs de flot optique ainsi que leur normalisation sont testés afin d’améliorer la précision. Les caractéristiques de chaque branche de notre architecture sont également analysées afin de comprendre le chemin de décision de notre modèle. Enfin, nous introduisons un mécanisme d'attention pour aider le modèle à se concentrer sur des caractéristiques discriminantes et aussi pour accélérer le processus d’entraînement. Nous comparons notre modèle avec d'autres méthodes sur TTStroke-21 et le testons sur d'autres ensembles de données. Nous constatons que les modèles fonctionnant bien sur des bases de données d’actions classiques ne fonctionnent pas toujours aussi bien sur notre base de données d'actions similaires.Les travaux présentés dans cette thèse ont été validés par des publications dans une revue internationale, cinq papiers de conférences internationales, deux papiers d’un workshop international et une tâche reconductible dans le workshop MediaEval où les participants peuvent appliquer leurs méthodes de reconnaissance d'actions à notre base de données TTStroke-21. Deux autres papiers de workshop internationaux sont en cours de préparation, ainsi qu'un chapitre de livre
Action recognition in videos is one of the key problems in visual data interpretation. Despite intensive research, differencing and recognizing similar actions remains a challenge. This thesis deals with fine-grained classification of sport gestures from videos, with an application to table tennis.In this manuscript, we propose a method based on deep learning for automatically segmenting and classifying table tennis strokes in videos. Our aim is to design a smart system for students and teachers for analyzing their performances. By profiling the players, a teacher can therefore tailor the training sessions more efficiently in order to improve their skills. Players can also have an instant feedback on their performances.For developing such a system with fine-grained classification, a very specific dataset is needed to supervise the learning process. To that aim, we built the “TTStroke-21” dataset, which is composed of 20 stroke classes plus a rejection class. The TTStroke-21 dataset comprises video clips of recorded table tennis exercises performed by students at the sport faculty of the University of Bordeaux - STAPS. These recorded sessions were annotated by professional players or teachers using a crowdsourced annotation platform. The annotations consist in a description of the handedness of the player and information for each stroke performed (starting and ending frames, class of the stroke).Fine-grained action recognition has some notable differences with coarse-grained action recognition. In general, datasets used for coarse-grained action recognition, the background context often provides discriminative information that methods can use to classify the action, rather than focusing on the action itself. In fine-grained classification, where the inter-class similarity is high, discriminative visual features are harder to extract and the motion plays a key role for characterizing an action.In this thesis, we introduce a Twin Spatio-Temporal Convolutional Neural Network. This deep learning network takes as inputs an RGB image sequence and its computed Optical Flow. The RGB image sequence allows our model to capture appearance features while the optical flow captures motion features. Those two streams are processed in parallel using 3D convolutions, and fused at the last stage of the network. Spatio-temporal features extracted in the network allow efficient classification of video clips from TTStroke-21. Our method gets an average classification performance of 87.3% with a best run of 93.2% accuracy on the test set. When applied on joint detection and classification task, the proposed method reaches an accuracy of 82.6%.A systematic study of the influence of each stream and fusion types on classification accuracy has been performed, giving clues on how to obtain the best performances. A comparison of different optical flow methods and the role of their normalization on the classification score is also done. The extracted features are also analyzed by back-tracing strong features from the last convolutional layer to understand the decision path of the trained model. Finally, we introduce an attention mechanism to help the model focusing on particular characteristic features and also to speed up the training process. For comparison purposes, we provide performances of other methods on TTStroke-21 and test our model on other datasets. We notice that models performing well on coarse-grained action datasets do not always perform well on our fine-grained action dataset.The research presented in this manuscript was validated with publications in one international journal, five international conference papers, two international workshop papers and a reconductible task in MediaEval workshop in which participants can apply their action recognition methods to TTStroke-21. Two additional international workshop papers are in process along with one book chapter

Malgré leurs excellentes performances, les exigences élevées des réseaux de neurones artificiels en terme de volume de données et de puissance de calcul limitent leur adoption dans plusieurs domaines. C'est pourquoi il reste important de développer de nouvelles architectures moins voraces. Ce mémoire cherche à produire une architecture plus flexible et moins vorace en s'appuyant sur la théorie de l'apprentissage par renforcement. En considérant le réseau comme un agent suivant une politique, on réalise que cette politique est beaucoup plus rigide que celle suivie habituellement par les agents d'apprentissage par renforcement. Nous posons l'hypothèse qu'une architecture capable de formuler une politique plus flexible pourrait atteindre des performances similaires tout en limitant son utilisation de ressources. L'architecture que nous proposons s'inspire de la recherche faite en prédiction de paramètres, particulièrement de l'architecture hypernetwork, que nous utilisons comme base de référence. Nos résultats montrent que l'apprentissage d'une politique dynamique aussi performante que les politiques statiques suivies par les réseaux conventionnels n'est pas une tâche triviale. Nos meilleurs résultats indiquent une diminution du nombre de paramètres de 33%, une diminution des calculs de 12% au prix d'une baisse de l'exactitude des prédictions de 2%. Malgré ces résultats, nous croyons que notre architecture est un point de départ pouvant être amélioré de plusieurs manières que nous explorons rapidement en conclusion.
Despite their excellent performances, artificial neural networks high demand of both data and computational power limit their adoption in many domains. Developing less demanding architecture thus remain an important endeavor. This thesis seeks to produce a more flexible and less resource-intensive architecture by using reinforcement learning theory. When considering a network as an agent instead of a function approximator, one realize that the implicit policy followed by popular feed forward networks is extremely simple. We hypothesize that an architecture able to learn a more flexible policy could reach similar performances while reducing its resource footprint. The architecture we propose is inspired by research done in weight prediction, particularly by the hypernetwork architecture, which we use as a baseline model.Our results show that learning a dynamic policy achieving similar results to the static policies of conventional networks is not a trivial task. Our proposed architecture succeeds in limiting its parameter space by 20%, but does so at the cost of a 24% computation increase and loss of5% accuracy. Despite those results, we believe that this architecture provides a baseline that can be improved in multiple ways that we describe in the conclusion.

L’apprentissage par transfert de réseaux profonds réduit considérablement les coûts en temps de calcul et en données du processus d’entraînement des réseaux et améliore largement les performances de la tâche cible par rapport à l’apprentissage à partir de zéro. Cependant, l’apprentissage par transfert d’un réseau profond peut provoquer un oubli des connaissances acquises lors de l’apprentissage de la tâche source. Puisque l’efficacité de l’apprentissage par transfert vient des connaissances acquises sur la tâche source, ces connaissances doivent être préservées pendant le transfert. Cette thèse résout ce problème d’oubli en proposant deux schémas de régularisation préservant les connaissances pendant l’apprentissage par transfert. Nous examinons d’abord plusieurs formes de régularisation des paramètres qui favorisent toutes explicitement la similarité de la solution finale avec le modèle initial, par exemple, L1, L2, et Group-Lasso. Nous proposons également les variantes qui utilisent l’information de Fisher comme métrique pour mesurer l’importance des paramètres. Nous validons ces approches de régularisation des paramètres sur différentes tâches de segmentation sémantique d’image ou de calcul de flot optique. Le second schéma de régularisation est basé sur la théorie du transport optimal qui permet d’estimer la dissimilarité entre deux distributions. Nous nous appuyons sur la théorie du transport optimal pour pénaliser les déviations des représentations de haut niveau entre la tâche source et la tâche cible, avec le même objectif de préserver les connaissances pendant l’apprentissage par transfert. Au prix d’une légère augmentation du temps de calcul pendant l’apprentissage, cette nouvelle approche de régularisation améliore les performances des tâches cibles et offre une plus grande précision dans les tâches de classification d’images par rapport aux approches de régularisation des paramètres
Transfer learning with deep convolutional neural networks significantly reduces the computation and data overhead of the training process and boosts the performance on the target task, compared to training from scratch. However, transfer learning with a deep network may cause the model to forget the knowledge acquired when learning the source task, leading to the so-called catastrophic forgetting. Since the efficiency of transfer learning derives from the knowledge acquired on the source task, this knowledge should be preserved during transfer. This thesis solves this problem of forgetting by proposing two regularization schemes that preserve the knowledge during transfer. First we investigate several forms of parameter regularization, all of which explicitly promote the similarity of the final solution with the initial model, based on the L1, L2, and Group-Lasso penalties. We also propose the variants that use Fisher information as a metric for measuring the importance of parameters. We validate these parameter regularization approaches on various tasks. The second regularization scheme is based on the theory of optimal transport, which enables to estimate the dissimilarity between two distributions. We benefit from optimal transport to penalize the deviations of high-level representations between the source and target task, with the same objective of preserving knowledge during transfer learning. With a mild increase in computation time during training, this novel regularization approach improves the performance of the target tasks, and yields higher accuracy on image classification tasks compared to parameter regularization approaches

L’intelligence artificielle est un domaine de recherche relativement récent. Grâce à lui, plusieurs percées ont été faites sur une série de problèmes qui étaient autrefois considérés comme très difficiles. La classification fine est l’un de ces problèmes. Cependant, même si résoudre cette tâche pourrait représenter des avancées tant au niveau scientifique qu’au niveau industriel, peu de recherche y a été effectué. Dans ce mémoire, nous abordons la problématique de l’application de la classification fine sur des problèmes concrets, soit la classification d’essence d’arbres uniquement grâce à des images de l’écorce et la classification visuelle des moisissures en culture. Nous commençons par présenter plusieurs concepts sur lesquels se basent l’apprentissage profond, à la base de notre solution ainsi que plusieurs expériences qui ont été menées afin de tenter de résoudre le problème de classification d’essence d’arbres à partir d’images de l’écorce. Par la suite, nous détaillons le jeu de données nommé BarkNet 1. 0 que nous avons construit dans le cadre de ce projet. Grâce à celui-ci, nous avons été en mesure de développer une méthode permettant d’obtenir une précision de 93,88% en utilisant une seule crop aléatoire dans une image et une précision de 97,81% en utilisant un vote de majorité sur toutes les images d’un arbre. Finalement, nous concluons en démontrant la faisabilité d’appliquer notre méthode dans d’autres contextes en montrant quelques applications concrètes sur lesquelles nous l’avons essayée, soit la classification d’essence d’arbres en industrie et la classification de moisissures.
Artificial intelligence is a relatively recent research domain. With it, many breakthroughs were made on a number of problems that were considered very hard. Fine-grained classification is one of those problems. However, a relatively small amount of research has been done on this task even though itcould represent progress on a scientific, commercial and industrial level. In this work, we talk about applying fine-grained classification on concrete problems such as tree bark classification and mould classification in culture. We start by presenting fundamental deep learning concepts at the root of our solution. Then, we present multiple experiments made in order to try to solve the tree bark classification problem and we detail the novel dataset BarkNet 1.0 that we made for this project. With it, we were able to develop a method that obtains an accuracy of 93.88% on singlecrop in a single image, and an accuracy of 97.81% using a majority voting approach on all the images of a tree. We conclude by demonstrating the feasibility of applying our method on new problems by showing two concrete applications on which we tried our approach, industrial tree classification and mould classification.

Les travaux développés dans cette thèse s’intéressent à l’analyse fine des véhicules à partir d’une image. Nous définissons le terme d’analyse fine comme un regroupement des concepts suivants : la détection des véhicules dans l’image, l’estimation de leur point de vue (ou orientation), la caractérisation de leur visibilité, leur localisation 3D dans la scène et la reconnaissance de leur marque et de leur modèle. La construction de solutions fiables d’analyse fine de véhicules laisse place à de nombreuses applications notamment dans le domaine du transport intelligent et de la vidéo surveillance.Dans ces travaux, nous proposons plusieurs contributions permettant de traiter partiellement ou complètement cette problématique. Les approches mises en oeuvre se basent sur l’utilisation conjointe de l’apprentissage profond et de modèles 3D de véhicule. Dans une première partie, nous traitons le problème de reconnaissance de marques et modèles en prenant en compte la difficulté de la création de bases d’apprentissage. Dans une seconde partie, nous investiguons une méthode de détection et d’estimation du point de vue précis en nous basant sur l’extraction de caractéristiques visuelles locales et de la cohérence géométrique. La méthode utilise des modèles mathématiques uniquement appris sur des données synthétiques. Enfin, dans une troisième partie, un système complet d’analyse fine de véhicules dans le contexte de la conduite autonome est proposé. Celui-ci se base sur le concept d’apprentissage profond multi-tâches. Des résultats quantitatifs et qualitatifs sont présentés tout au long de ce manuscrit. Sur certains aspects de l’analyse fine de véhicules à partir d’une image, ces recherches nous ont permis de dépasser l’état de l’art
In this thesis, we are interested in fine-grained analysis of vehicle from an image. We define fine-grained analysis as the following concepts : vehicle detection in the image, vehicle viewpoint (or orientation) estimation, vehicle visibility characterization, vehicle 3D localization and make and model recognition. The design of reliable solutions for fine-grained analysis of vehicle open the door to multiple applications in particular for intelligent transport systems as well as video surveillance systems. In this work, we propose several contributions allowing to address partially or wholly this issue. Proposed approaches are based on joint deep learning technologies and 3D models. In a first section, we deal with make and model classification keeping in mind the difficulty to create training data. In a second section, we investigate a novel method for both vehicle detection and fine-grained viewpoint estimation based on local apparence features and geometric spatial coherence. It uses models learned only on synthetic data. Finally, in a third section, a complete system for fine-grained analysis is proposed. It is based on the multi-task concept. Throughout this report, we provide quantitative and qualitative results. On several aspects related to vehicle fine-grained analysis, this work allowed to outperform state of the art methods

Le développement de méthodes de la détection en temps réel de cellules anormales (pouvant être considérées comme des cellules cancéreuses) par captures et traitements bio-images sont des axes de recherche importants dans le domaine biomédical car cela contribue à diagnostiquer un cancer. C’est dans ce contexte que se situe ces travaux de thèse. Plus précisément, les travaux présentés dans ce manuscrit, se focalise sur le développement de procédures de lecture, de détection et de classification automatiques de bio-images de cellules anormales considérées comme des cellules cancéreuses. Par conséquent, une première étape du travail à consister à déterminer une solution de détection, à partir d’images microscopiques multispectrales permettant une répétitivité d’images sur une gamme de longueurs d'ondes de certains types de bio-images anormales associées à différents stades ou évolutions de cellules cancéreuses. L’approche développée dans ces travaux repose sur l’exploitation d’une nouvelle méthode de segmentation basée sur l'intensité de la couleur et pouvant être appliquée sur des séquences d'objets dans une image en reformant de manière adaptative et itérative la localisation et la couverture de contours réels de cellules. Cette étape préalable de segmentation est primordiale et permet une classification des tissus anormaux en utilisant la méthode de réseau de neurones à convolution (CNN) appliqué sur les images microscopiques segmenté de type snake. L’approche permet d’obtenir de bas résultats comparativement à une approche basée sur d’autres méthodes de segmentation de la littérature. En effet, cette méthode de classification atteint des valeurs de performance de 100% pour la phase d’apprentissage et de 99.168 % pour les phases de test. Cette méthode est comparée à différents travaux antérieurs et basée sur différentes fonctionnalités d'extraction, et a prouvé son efficacité par rapport à ces autres méthodes. En terme de perspectives, les travaux futurs visent à valider notre approche sur des ensembles de données plus larges, et à explorer différentes architectures CNN selon différents critères d’optimisation
Development of methods for help diagnosis of the real time detection of abnormal cells (which can be considered as cancer cells) through bio-image processing and detection are most important research directions in information science and technology. Our work has been concerned by developing automatic reading procedures of the normal and abnormal bio-images tissues. Therefore, the first step of our work is to detect a certain type of abnormal bio-images associated to many types evolution of cancer within a Microscopic multispectral image, which is an image, repeated in many wavelengths. And using a new segmentation method that reforms itself in an iterative adaptive way to localize and cover the real cell contour, using some segmentation techniques. It is based on color intensity and can be applied on sequences of objects in the image. This work presents a classification of the abnormal tissues using the Convolution neural network (CNN), where it was applied on the microscopic images segmented using the snake method, which gives a high performance result with respect to the other segmentation methods. This classification method reaches high performance values, where it reaches 100% for training and 99.168% for testing. This method was compared to different papers that uses different feature extraction, and proved its high performance with respect to other methods. As a future work, we will aim to validate our approach on a larger datasets, and to explore different CNN architectures and the optimization of the hyper-parameters, in order to increase its performance, and it will be applied to relevant medical imaging tasks including computer-aided diagnosis

L'extraction de catalogues de sources fiables à partir des images est cruciale pour un large éventail de recherches en astronomie.Cependant, l'efficacité des méthodes de détection de source actuelles est sérieusement limitée dans les champs encombrés, ou lorsque les images sont contaminées par des défauts optiques, électroniques et environnementaux.Les performances en termes de fiabilité et de complétude sont aujourd'hui souvent insuffisantes au regard des exigences scientifiques des grands relevés d'imagerie.Dans cette thèse, nous développons de nouvelles méthodes pour produire des catalogues sources plus robustes et fiables.Nous tirons parti des progrès récents en apprentissage supervisé profond pour concevoir des modèles génériques et fiables basés sur des réseaux de neurones à convolutions (CNNs).Nous présentons MaxiMask et MaxiTrack, deux réseaux de neurones à convolutions que nous avons entrainés pour identifier automatiquement 13 types différents de défauts d'image dans des expositions astronomiques.Nous présentons également un prototype de détecteur de sources multi-échelle et robuste vis-à-vis des défauts d'image, dont nous montrons qu'il surpasse largement les algorithmes existants en terme de performances.Nous discutons des limites actuelles et des améliorations potentielles de notre approche dans le cadre des prochains grands relevés tels que Euclid
Extracting reliable source catalogs from images is crucial for a broad range of astronomical research topics.However, the efficiency of current source detection methods becomes severely limited in crowded fields, or when images are contaminated by optical, electronic and environmental defects.Performance in terms of reliability and completeness is now often insufficient with regard to the scientific requirements of large imaging surveys.In this thesis, we develop new methods to produce more robust and reliable source catalogs.We leverage recent advances in deep supervised learning to design generic and reliable models based on convolutional neural networks (CNNs).We present MaxiMask and MaxiTrack, two convolutional neural networks that we trained to automatically identify 13 different types of image defects in astronomical exposures.We also introduce a prototype of a multi-scale CNN-based source detector robust to image defects, which we show to significantly outperform existing algorithms.We discuss the current limitations and potential improvements of our approach in the scope of forthcoming large scale surveys such as Euclid

Ce chapitre traite l'extraction d'attributs à partir d'ondelettes et de filtres ConvNet (réseaux de neurones à convolution) pour l'analyse non supervisée de séries chronologiques d'images. Nous exploitons les capacités des ondelettes et des filtres neuro-convolutifs à capturer des propriétés d'invariance non-triviales, ainsi que les nouvelles solutions de centroïdes proposées dans ce chapitre, pour l'analyse d'attributs de hauts niveaux par entropie relative. La détection d'anomalies et le clustering fonctionnel d'évolution sont développés à partir de ce cadre.

Ce chapitre traite des méthodes d’analyse de séries chronologiques denses en télédétection. Il présente les principales exigences en termes de prétraitements des données, puis un aperçu des quatre principaux axes en détection de changement basée sur l'analyse de séries chronologiques denses : carte de classification, classification de trajectoire, frontières statistiques et approches d'ensemble. Il fournit aussi les détails sur deux des algorithmes les plus largement utilisés dans ce contexte d’analyse. Il aborde également la question de l'apprentissage profond pour la télédétection, en détaillant trois types d'architectures de réseau adaptées à l'analyse de séries chronologiques d'images satellitaires : les réseaux de neurones récurrents, les réseaux de neurones convolutifs et les modèles hybrides combinant ces deux derniers modèles de réseau.

Les réseaux de neurones convolutifs (CNN) utilisés pour l’analyse des signaux vidéo sont très gourmands en calculs. De telles applications embarquées nécessitent des implémentations efficaces en termes de coût et de puissance. Ce chapitre présente une solution basée sur un processeur de jeu d’instructions spécifique à l’application (ASIP) qui représente un bon compromis entre efficacité et programmabilité.

Ce chapitre étudie les capacités de généralisation d’une bibliothèque de réseaux de neurones convolutifs pour la classification d’états de surface terrestre dans le temps, avec une granularité variable sur la nature des états. L’ensemble de données utilisé pour réaliser cette étude est constitué d'images à sémantique descriptible au sens de propriétés géophysiques et des impacts des conditions météorologiques en zone de glaciers.

« L’intelligence artificielle connaît un essor fulgurant depuis ces dernières années. Lapprentissage automatique et plus précisément lapprentissage profond grâce aux réseaux de neurones convolutifs ont permis des avancées majeures dans le domaine de la reconnaissance des formes. Cette présentation fait suite à mon travail de thèse. La première partie retrace lhistorique et décrit les principes de fonctionnement de ces réseaux. La seconde présente une revue de la littérature de leurs applications dans la pratique médicale de plusieurs spécialités, pour des tâches diagnostiques nécessitant une démarche visuelle (classification dimages et détection de lésions). Quinze articles, évaluant les performances de ces solutions dautomatisation, ont été analysés. La troisième partie est une discussion à propos des perspectives et des limites présentées par les réseaux de neurones convolutifs, ainsi que leurs possibles applications en chirurgie orale. »