Letteratura scientifica selezionata sul tema "Détection non supervisée d'anomalies"

Dans un contexte où le vandalisme de l’information géographique volontaire constitue une réelle menace pour la qualité des données, cet article propose une technique permettant de le détecter. Tout d’abord, nous examinons les différentes définitions du vandalisme, mettant en avant la complexité de cette notion. Une étude des cas déjà avérés de vandalisme dans OpenStreetMap (OSM) est présentée. Puis, nous expérimentons la détection du vandalisme des données OSM en utilisant une méthode de détection d’anomalie par classification non supervisée. L’analyse de nos résultats initiaux conduit alors à une discussion sur la pertinence de construire un corpus de vandalisme des données OSM utilisable dans un contexte de classification supervisée.

La mesure de la clarté nuquale est un marqueur subtil pour la détection de nombreuses anomalies fœtales. Dans les dernières années, la clarté nuquale est de plus en plus utilisée comme méthode de screening dans le dépistage d'anomalies chromosomiques, surtout la trisomie 21. Il existe non seulement une incidence élevée dans les anomalies chromosomiques, mais également un risque majoré pour une série de syndromes et d'autres malformations fœtales associées telles que des malformations cardiaques, des hernies diaphragmatiques ainsi que pour la mort in utero. Il est donc conseillé de procéder à des contrôles échographiques ciblés, en plus d'une analyse chromosomique. Dans ce travail, l'aboutissement de la grossesse est évalué après mesure de la clarté nuquale et compte tenu du taux d'avortements spontanés, du taux de détection d'anomalies chromosomiques et d'autres malformations foetales et syndromes rares; un concept pour le procédé à suivre est mis en place.

Le miel est traditionnellement consommé dans les îles de l’océan Indien et utilisé également pour ses propriétés cosmétiques et thérapeutiques. Ce produit, issu du nectar de fleurs ou de miellat d’insectes, est collecté et transformé par les abeilles produisant ainsi un miel unique caractéristique de la flore de chaque île. A l’issue de la récolte, l’apiculteur doit nor­malement veiller à ce que le miel soit conforme et respecte des caractéristiques physico-chimiques spécifiques selon les recom­mandations du Codex alimentarius. De plus, il doit indiquer des informations, comme l’origine botanique et géographique, sur chaque pot de miel vendu. En pratique il est toutefois très diffi­cile de vérifier l’exactitude de ces informations, d’autant qu’elles sont mises en avant comme argument de vente.La spectrométrie dans le proche infrarouge (SPIR), basée sur les propriétés physiques d’absorption de la lumière par les com­posés organiques, peut être un outil de contrôle et de traçabi­lité des miels mis sur le marché (1, 3). L’objectif principal de cette étude a été d’évaluer la faisabilité d’un contrôle qualité (authentification de l’origine botanique et/ou géographique et détection d’adultération) des miels commerciaux produits dans l’océan Indien. Les perspectives de cette méthode de laboratoire sont importantes dans le cadre du développement des filières apicoles, notamment lorsqu’elles sont orientées vers les marchés d’exportation et vers la promotion de leur qualité auprès de consommateurs désireux de profiter de produits d’excellence et fortement attachés à des territoires insulaires uniques.Au total, 625 miels des pays de l’océan Indien (tableau I) ayant diverses origines botaniques (tableau II) ont été mesurés sans ajustement à 30 °C et après ajustement à 70 °Brix avec de l’eau distillée (3). La mesure a été réalisée en réflexion diffuse à l’aide d’une cellule ronde avec un fond réflecteur doré (trajet optique 0,1 mm) sur un spectromètre FOSS NIRSystem 5000 (1 100–2 500 nm, 2 nm). En parallèle, les mesures du degré Brix, de l’humidité et de la conductivité des miels bruts ont été réalisées au laboratoire. Après l’analyse en composantes prin­cipales (ACP) de la base spectrale des 625 miels et le calcul des distances H de Mahalanobis, 83 miels ont été identifiés comme spectralement atypiques et retirés du jeu de données (tableau I). Sur la base des distances spectrales (H, Mahalanobis), 64 miels représentatifs des 542 miels retenus ont été sélectionnés, ajustés à 70 °Brix, puis adultérés avec du sirop de sucre de canne du commerce (Mascarin®) à 25 et à 10 p. 100 par pesée.Les modèles prédictifs des teneurs en humidité, Brix et conducti­vité ont été établis en utilisant la régression modified partial least square (M-PLS) du logiciel WinISI 3 (Infrasoft, Port Mathilda, PA, Etats-Unis). Les modèles PLS ont été réalisés sur la base des dérivées premières des spectres normalisés (SNV) et corri­gés pour la ligne de base (Detrend). Pour expliquer les critères géographiques et botaniques, nous avons utilisé une méthode non supervisée de discrimination (Cluster Analysis, Unscrumbler 10.3, CAMO, Oslo, Norvège), qui constitue des groupements naturels, sur la base des distances spectrales. Les spectres des miels non adultérés ont servi de base pour définir un espace multidimensionnel (ACP centrée, non réduite sur dérivée seconde des spectres bruts). La projection des spectres (dérivée seconde des spectres bruts) des miels adultérés sur cet espace a permis d’identifier un plan factoriel (CP1–CP7) expliquant 65 p. 100 de la variance totale, sur lequel les miels adultérés étaient nettement séparés des miels non adultérés. Les modèles d’étalonnage obtenus par régression PLS pour le degré Brix, l’humidité et la conductivité ont été performants avec des R² de l’ordre de 0,92 et des erreurs de validation croisée acceptables (tableau III) (figure 1).Les essais de groupement des individus sur la base de leur spectre (recherche de clusters), de même que l’utilisation d’autres méthodes mathématiques, comme l’analyse discrimi­nante linéaire (LDA) et la classification support vecteur machine (SVM) à partir des origines géographiques et botaniques n’ont pas donné de résultats satisfaisants (tableau IV). Cette impossi­bilité de discriminer les miels de l’océan Indien serait peut-être due à une identification botanique imprécise des miels. Sans analyses polliniques des échantillons de miels, les origines bota­niques ne peuvent être certifiées, en particulier les miels dits monofloraux. Plusieurs hypothèses peuvent expliquer l’impos­sibilité de discriminer les miels de l’océan Indien en fonction de leur origine géographique et/ou botanique. Parmi elles, les différences chimiques caractéristiques de l’origine géographique et/ou botanique correspondent à des classes de composés (aro­matiques par exemple) qui n’impactent pas suffisamment les empreintes spectrales, ne permettant pas de trouver des fac­teurs discriminants. La projection des miels adultérés à 25 p. 100 (figure 2), sur la base de miels non adultérés montre une sépara­tion nette des populations. En revanche, pour un niveau d’adul­tération à 10 p. 100, la séparation n’est pas évidente (figure 3).Les résultats obtenus montrent que la spectrométrie dans le proche infrarouge peut être utilisée pour prédire certains para­mètres physico-chimiques des miels. Ces premiers résultats montrent que la constitution d’une base spectrale de miels adultérés à différents niveaux au laboratoire, associée à des méthodes de régression ou de discrimination devrait permettre l’identification de miels non-conformes, comme montré précé­demment par Rios-Corripio et coll. (2).Ces résultats ne permettent pas, dans l’état actuel, de différencier l’origine géographique et botanique des miels collectés dans le commerce. La limite de détection des miels adultérés par du sucre de canne devra être déterminée. Elle se trouve entre 10 et 25 p. 100. Les fraudeurs adultérant fréquemment les miels avec du glucose, il serait important de poursuivre les essais avec ce produit. Il est donc possible de détecter, par la technique SPIR, des altérations importantes du miel par ajout de sucre de canne.

International audience Cet article décrit un nouvel algorithme non supervisé de classification des données multidimensionnelles. Il consiste à détecter les prototypes des classes présentes dans un échantillon et à appliquer l’algorithme KNN pour la classification de toutes les observations. La détection des prototypes des classes est basée sur les processus ponctuels marqués, c’est d’une part une adaptation de la méthode de Métropolis-Hasting-Green qui génère des mouvements manipulant les objets du processus (naissance, mort…) et d’autre part une modélisation de Gibbs qui introduit la fonction de potentiel matérialisant les interactions du processus en termes d’énergie. Plusieurs expérimentations ont été réalisées sur des données ponctuelles multidimensionnelles où les classes sont non linéairement séparables et des données réelles issues des puces à ADN. Une comparaison avec des méthodes de classification existantes a permis de montrer l’efficacité de ce nouvel algorithme.

Le procédé de fabrication additive par fusion laser sur lit de poudre (L-PBF) est couramment utilisé pour la fabrication de pièces métalliques complexes. Pour garantir la qualité des pièces, une surveillance continue pendant le processus de fabrication par un instrument est nécessaire. Les solutions industrielles existantes sont limitées dans la mesure où elles se limitent à la détection d'anomalies dans les paramètres de l'état de la machine ou dans les couches superficielles de la pièce en cours de fabrication. Le contrôle par courants de Foucault est une méthode prometteuse de contrôle non destructif qui pourrait être appliquée pour l'inspection couche par couche du matériau fusionné pendant la fabrication de la pièce. Cette inspection permet de suivre l'évaluation des défauts non seulement à la surface de la dernière couche fusionnée, mais aussi à l'échelle de plusieurs couches fusionnées. Un capteur à courants de Foucault a été développé et adapté pour effectuer des mesures dans une machine L-PBF pendant la phase de fabrication (in-situ). Les performances et le potentiel de la technique en termes d'intégration et d’évaluation des défauts dans la machine ont été étudiés. Les résultats obtenus ont permis d'évaluer les limites de détection en fonction de la largeur et de la hauteur des défauts pendant la fabrication de la pièce. L'influence de la présence de poudre autour de la zone fusionnée a également été étudiée.

La détection d'anomalies est une tâche critique de l'administration des réseaux. L'apparition continue de nouvelles anomalies et la nature changeante du trafic réseau compliquent de fait la détection d'anomalies. Les méthodes existantes de détection d'anomalies s'appuient sur une connaissance préalable du trafic : soit via des signatures créées à partir d'anomalies connues, soit via un profil de normalité. Ces deux approches sont limitées : la première ne peut détecter les nouvelles anomalies et la seconde requiert une constante mise à jour de son profil de normalité. Ces deux aspects limitent de façon importante l'efficacité des méthodes de détection existantes. Nous présentons une approche non-supervisée qui permet de détecter et caractériser les anomalies réseaux de façon autonome. Notre approche utilise des techniques de partitionnement afin d'identifier les flux anormaux. Nous proposons également plusieurs techniques qui permettent de traiter les anomalies extraites pour faciliter la tâche des opérateurs. Nous évaluons les performances de notre système sur des traces de trafic réel issues de la base de trace MAWI. Les résultats obtenus mettent en évidence la possibilité de mettre en place des systèmes de détection d'anomalies autonomes et fonctionnant sans connaissance préalable.

Dans ce présent mémoire, nous présenterons dans un premier temps l’algorithme d’arbres binaires de partitionnement et la forêt d’isolation. Les arbres binaires sont des classificateurs très populaires dans le domaine de l’apprentissage automatique supervisé. La forêt d’isolation appartient à la famille des méthodes non supervisées. Il s’agit d’un ensemble d’arbres binaires employés en commun pour isoler les instances qui semblent aberrantes ou anormales. Par la suite, nous présenterons l’approche que nous avons nommée "Exponential smoothig" (ou "pooling"). Cette technique consiste à encoder des séquences de variables de longueurs différentes en un seul vecteur de taille fixe. En effet, l’objectif de ce mémoire est d’appliquer l’algorithme des forêts d’isolation pour identifier les anomalies dans les réclamations et les formulaires d’assurances disponibles dans la base de données d’une grande compagnie d’assurances canadienne. Cependant, un formulaire est une séquence de réclamations. Chaque réclamation est caractérisée par un ensemble de variables. Ainsi, il serait impossible d’appliquer l’algorithme des forêts d’isolation directement sur ce genre de données. Pour cette raison, nous allons appliquer le pooling. Notre application parvient effectivement à isoler des réclamations et des formulaires anormaux. Nous constatons que ces derniers ont plus tendances à être audités parla compagnie que les formulaires normaux.
In this thesis, we will first present the binary tree partitioning algorithm and isolation forests. Binary trees are very popular classifiers in supervised machine learning. The isolation forest belongs to the family of unsupervised methods. It is an ensemble of binary trees used in common to isolate outlying instances. Subsequently, we will present the approach that we have named "Exponential smoothig" (or "pooling"). This technique consists in encoding sequences of variables of different lengths into a single vector of fixed size. Indeed, the objective of this thesis is to apply the algorithm of isolation forests to identify anomalies in insurance claim forms available in the database of a large Canadian insurance company in order to detect cases of fraud. However, a form is a sequence of claims. Each claim is characterized by a set of variables and thus it will be impossible to apply the isolation forest algorithm directly to this kind of data. It is for this reason that we are going to apply Exponential smoothing. Our application effectively isolates claims and abnormal forms, and we find that the latter tend to be audited by the company more often than regular forms.

La détection d'anomalies est une tâche critique de l'administration des réseaux. L'apparition continue de nouvelles anomalies et la nature changeante du trafic réseau compliquent de fait la détection d'anomalies. Les méthodes existantes de détection d'anomalies s'appuient sur une connaissance préalable du trafic : soit via des signatures créées à partir d'anomalies connues, soit via un profil de normalité. Ces deux approches sont limitées : la première ne peut détecter les nouvelles anomalies et la seconde requiert une constante mise à jour de son profil de normalité. Ces deux aspects limitent de façon importante l'efficacité des méthodes de détection existantes.Nous présentons une approche non-supervisée qui permet de détecter et caractériser les anomalies réseaux de façon autonome. Notre approche utilise des techniques de partitionnement afin d'identifier les flux anormaux. Nous proposons également plusieurs techniques qui permettent de traiter les anomalies extraites pour faciliter la tâche des opérateurs. Nous évaluons les performances de notre système sur des traces de trafic réel issues de la base de trace MAWI. Les résultats obtenus mettent en évidence la possibilité de mettre en place des systèmes de détection d'anomalies autonomes et fonctionnant sans connaissance préalable
Anomaly detection has become a vital component of any network in today’s Internet. Ranging from non-malicious unexpected events such as flash-crowds and failures, to network attacks such as denials-of-service and network scans, network traffic anomalies can have serious detrimental effects on the performance and integrity of the network. The continuous arising of new anomalies and attacks create a continuous challenge to cope with events that put the network integrity at risk. Moreover, the inner polymorphic nature of traffic caused, among other things, by a highly changing protocol landscape, complicates anomaly detection system's task. In fact, most network anomaly detection systems proposed so far employ knowledge-dependent techniques, using either misuse detection signature-based detection methods or anomaly detection relying on supervised-learning techniques. However, both approaches present major limitations: the former fails to detect and characterize unknown anomalies (letting the network unprotected for long periods) and the latter requires training over labeled normal traffic, which is a difficult and expensive stage that need to be updated on a regular basis to follow network traffic evolution. Such limitations impose a serious bottleneck to the previously presented problem.We introduce an unsupervised approach to detect and characterize network anomalies, without relying on signatures, statistical training, or labeled traffic, which represents a significant step towards the autonomy of networks. Unsupervised detection is accomplished by means of robust data-clustering techniques, combining Sub-Space clustering with Evidence Accumulation or Inter-Clustering Results Association, to blindly identify anomalies in traffic flows. Correlating the results of several unsupervised detections is also performed to improve detection robustness. The correlation results are further used along other anomaly characteristics to build an anomaly hierarchy in terms of dangerousness. Characterization is then achieved by building efficient filtering rules to describe a detected anomaly. The detection and characterization performances and sensitivities to parameters are evaluated over a substantial subset of the MAWI repository which contains real network traffic traces.Our work shows that unsupervised learning techniques allow anomaly detection systems to isolate anomalous traffic without any previous knowledge. We think that this contribution constitutes a great step towards autonomous network anomaly detection.This PhD thesis has been funded through the ECODE project by the European Commission under the Framework Programme 7. The goal of this project is to develop, implement, and validate experimentally a cognitive routing system that meet the challenges experienced by the Internet in terms of manageability and security, availability and accountability, as well as routing system scalability and quality. The concerned use case inside the ECODE project is network anomaly

Dans le cadre de la maintenance prédictive du constructeur automobile Renault, cette thèse vise à fournir des solutions à faible coût énergétique pour la détection non supervisée d'anomalies sur des séries temporelles. Avec l'évolution récente de l'automobile, de plus en plus de données sont produites et doivent être traitées par des algorithmes d'apprentissage automatique. Ce traitement peut être effectué dans le cloud ou directement à bord de la voiture. Dans un tel cas, la bande passante du réseau, les coûts des services cloud, la gestion de la confidentialité des données et la perte de données peuvent être économisés. L'intégration d'un modèle d'apprentissage automatique dans une voiture est un défi car elle nécessite des modèles frugaux en raison des contraintes de mémoire et de calcul. Dans ce but, nous étudions l'utilisation de réseaux de neurones impulsionnels (SNN) pour la detection d'anomalies, la prédiction et la classification sur des séries temporelles. Les performances et les coûts énergétiques des modèles d'apprentissage automatique sont évalués dans un scénario Edge à l'aide de modèles matériels génériques qui prennent en compte tous les coûts de calcul et de mémoire. Pour exploiter autant que possible l'activité neuronale parcimonieuse des SNN, nous proposons un modèle avec des connexions peu denses et entraînables qui consomme la moitié de l'énergie de sa version dense. Ce modèle est évalué sur des benchmarks publics de détection d'anomalies, un cas d'utilisation réel de détection d'anomalies sur les voitures de Renault Alpine, les prévisions météorologiques et le dataset Google Speech Command. Nous comparons également ses performances avec d'autres modèles d'apprentissage automatique existants. Nous concluons que, pour certains cas d'utilisation, les modèles SNN peuvent atteindre les performances de l'état de l'art tout en consommant 2 à 8 fois moins d'énergie. Pourtant, d'autres études devraient être entreprises pour évaluer ces modèles une fois embarqués dans une voiture. Inspirés par les neurosciences, nous soutenons que d'autres propriétés bio-inspirées telles que l'attention, l'activité parcimonieuse, la hiérarchie ou la dynamique des assemblées de neurons pourraient être exploités pour obtenir une meilleure efficacité énergétique et de meilleures performances avec des modèles SNN. Enfin, nous terminons cette thèse par un essai à la croisée des neurosciences cognitives, de la philosophie et de l'intelligence artificielle. En plongeant dans les difficultés conceptuelles liées à la conscience et en considérant les mécanismes déterministes de la mémoire, nous soutenons que la conscience et le soi pourraient être constitutivement indépendants de la mémoire. L'objectif de cet essai est de questionner la nature de l'humain par opposition à celle des machines et de l'IA
In the context of the predictive maintenance of the car manufacturer Renault, this thesis aims at providing low-power solutions for unsupervised anomaly detection on time-series. With the recent evolution of cars, more and more data are produced and need to be processed by machine learning algorithms. This processing can be performed in the cloud or directly at the edge inside the car. In such a case, network bandwidth, cloud services costs, data privacy management and data loss can be saved. Embedding a machine learning model inside a car is challenging as it requires frugal models due to memory and processing constraints. To this aim, we study the usage of spiking neural networks (SNNs) for anomaly detection, prediction and classification on time-series. SNNs models' performance and energy costs are evaluated in an edge scenario using generic hardware models that consider all calculation and memory costs. To leverage as much as possible the sparsity of SNNs, we propose a model with trainable sparse connections that consumes half the energy compared to its non-sparse version. This model is evaluated on anomaly detection public benchmarks, a real use-case of anomaly detection from Renault Alpine cars, weather forecasts and the google speech command dataset. We also compare its performance with other existing SNN and non-spiking models. We conclude that, for some use-cases, spiking models can provide state-of-the-art performance while consuming 2 to 8 times less energy. Yet, further studies should be undertaken to evaluate these models once embedded in a car. Inspired by neuroscience, we argue that other bio-inspired properties such as attention, sparsity, hierarchy or neural assemblies dynamics could be exploited to even get better energy efficiency and performance with spiking models. Finally, we end this thesis with an essay dealing with cognitive neuroscience, philosophy and artificial intelligence. Diving into conceptual difficulties linked to consciousness and considering the deterministic mechanisms of memory, we argue that consciousness and the self could be constitutively independent from memory. The aim of this essay is to question the nature of humans by contrast with the ones of machines and AI

Ce travail de thèse consiste au développement de méthodes statistiques pour détecter des com- portements anormaux dans les données fonctionnelles que produit le satellite tout au long de sa vie. Un premier travail a été de comprendre comment mettre en évidence les anomalies grâce à des projections sur des bases de fonctions. En complément de cette revue des projections, nous avons appliqué plusieurs méthodes de détection d’anomalies, telles que la One-Class SVM et le Local Outlier Factor (LOF). En plus de ces deux méthodes, nous avons développé notre propre méthode pour prendre en compte la saisonnalité des courbes que nous considérons. En se basant sur cette étude, nous avons développé une nouvelle procédure pour sélectionner automatiquement les coefficients les plus intéressants pour la détection d’anomalies dans un cadre semi-supervisé. Notre méthode est une procédure de tests multiples où nous appliquons un test à deux échantillons à tous les niveaux de coefficients. Nous nous sommes également intéressés aux covariances des télémesures entre elles pour la détection d’anomalies. Pour cela, nous cherchons à comparer les covariances entre un groupe de télémesures pour deux journées, ou périodes consécutives. Nous avons appliqué trois tests sta- tistiques ayant des angles d’approche différents. Nous avons également développé dans ce but un nouveau test asymptotique. Outre la démonstration de la convergence de notre test, nous démontrons par des exemples que ce test est dans la pratique le plus puissant sur les données dont nous disposons. Dans cette thèse, nous avons abordé plusieurs aspects de la détection d’anomalies dans les données fonctionnelles issues des satellites. Pour chacune des méthodes, nous avons pu détecter toutes les anomalies, améliorant sensiblement le taux de fausses alarmes
In this PhD, we have developed statistical methods to detect abnormal events in all the functional data produced by the satellite all through its lifecycle. The data we are dealing with come from two main phases in the satellite’s life, telemetries and test data. A first work on this thesis was to understand how to highlight the outliers thanks to projections onto functional bases. On these projections, we have also applied several outlier detection methods, such as the One-Class SVM, the Local Outlier Factor (LOF). In addition to these two methods, we have developed our own outlier detection method, by taking into account the seasonality of the data we consider. Based on this study, we have developed an original procedure to select automatically the most interesting coefficients in a semi-supervised framework for the outlier detection, from a given projection. Our method is a multiple testing procedure where we apply the two sample-test to all the levels of coefficients.We have also chosen to analyze the covariance matrices representing the covariance of the te- lemetries between themselves for the outlier detection in multivariate data. In this purpose, we are comparing the covariance of a cluster of several telemetries deriving from two consecutive days, or consecutive orbit periods. We have applied three statistical tests targeting this same issue with different approaches. We have also developed an original asymptotic test, inspired by both first tests. In addition to the proof of the convergence of this test, we demonstrate thanks to examples that this new test is the most powerful. In this PhD, we have tackled several aspects of the anomaly detection in the functional data deriving from satellites. For each of these methods, we have detected all the major anomalies, improving significantly the false discovery rate

La thèse aborde les défis du monitoring de l’environnement et de détection des anomalies, notamment des obstacles, pour un train de fret autonome. Bien que traditionnellement, les transports ferroviaires étaient sous la supervision humaine, les trains autonomes offrent des perspectives d’avantages en termes de coûts, de temps et de sécurité. Néanmoins, leur exploitation dans des environnements complexes pose d’importants enjeux de sûreté. Au lieu d’une approche supervisée nécessitant des données annotées onéreuses et limitées, cette recherche adopte une technique non supervisée, utilisant des données non étiquetées pour détecter les anomalies en s’appuyant sur des techniques capables d’identifier les comportements atypiques.Deux modèles de surveillance environnementale sont présentés : le premier, basé sur un autoencodeur convolutionnel (CAE), est dédié à l’identification d’obstacles sur la voie principale; le second, une version avancée incorporant le transformeur de vision (ViT), se concentre sur la surveillance générale de l’environnement. Tous deux exploitent des techniques d’apprentissage non supervisé pour la détection d’anomalies.Les résultats montrent que la méthode mise en avant apporte des éléments pertinents pour le monitoring de l’environnement du train de fret autonome, ayant un potentiel pour renforcer sa fiabilité et sécurité. L’utilisation de techniques non supervisées démontre ainsi l’utilité et la pertinence de leur adoption dans un contexte d’application pour le train autonome
The thesis addresses the challenges of monitoring the environment and detecting anomalies, especially obstacles, for an autonomous freight train. Although traditionally, rail transport was under human supervision, autonomous trains offer potential advantages in terms of costs, time, and safety. However, their operation in complex environments poses significant safety concerns. Instead of a supervised approach that requires costly and limited annotated data, this research adopts an unsupervised technique, using unlabeled data to detect anomalies based on methods capable of identifying atypical behaviors.Two environmental surveillance models are presented : the first, based on a convolutional autoencoder (CAE), is dedicated to identifying obstacles on the main track; the second, an advanced version incorporating the vision transformer (ViT), focuses on overall environmental surveillance. Both employ unsupervised learning techniques for anomaly detection.The results show that the highlighted method offers relevant insights for monitoring the environment of the autonomous freight train, holding potential to enhance its reliability and safety. The use of unsupervised techniques thus showcases the utility and relevance of their adoption in an application context for the autonomous train

Avec le développement des technologies de l’information et de la communication, les logements individuels et collectifs sont de plus en plus souvent équipés de solutions domotiques dont le coût décroît, augmentant ainsi le niveau de confort des habitants. Il en résulte de nombreux challenges mais aussi opportunités concernant les soins de santé et les services d’assistance pour les personnes dépendantes, qu’elles soient handicapées ou âgées. La domotique est une technologie simple d’utilisation et par ailleurs nous observons que la maîtrise des technologies de l’information progresse rapidement parmi les populations âgées. Les personnes dépendantes peuvent donc bénéficier de ces technologies pour compenser leurs handicaps et ainsi continuer à vivre mieux et plus longtemps chez elles. Outre l’intérêt économique, les statistiques montrent que le maintien à domicile est un critère favorisant l’autonomie et l’espérance de vie. Il en est de même pour les personnes handicapées qui souhaitent augmenter leur degré d’autonomie à travers l’utilisation de systèmes domotiques. Les services d’aide aux personnes en situation de handicap deviennent dès lors l’objet d’enjeux économiques et sociaux importants qui imposent de faire évoluer les systèmes de santé pour répondre à ces besoins grandissants. Dans ce contexte, les travaux de cette thèse visent à apporter une nouvelle contribution à l’assistance technique des personnes dépendantes à domicile. L’idée originale de notre approche réside dans le fait que les systèmes domotiques et multimédias existants apportent des informations suffisamment pertinentes pour être utilisées en tant que capteurs pour une télésurveillance, légère et peu intrusive, d’une personne à domicile. À travers l’analyse des habitudes de l’utilisateur, notre approche comprend deux étapes originales. Dans une première étape, nous réalisons une identification automatique de scénarios. La solution proposée repose sur une combinaison d’algorithmes de fouille de données (data mining), d’intelligence artificielle, de théorie des graphes et de recherche opérationnelle pour proposer des scénarios d’usage qui soient adaptés à la capacité motrice de l’utilisateur en lui facilitant l’accès aux services. Un scénario d’usage est une suite d’activations automatiques (ou pas à pas) de services multimédias et domotiques. Dans une deuxième étape, les informations de ces capteurs fictifs sont utilisées pour la gestion d’alertes qui s’appuie sur la détection automatique d’anomalies. Une anomalie correspond à une déviation par rapport à certaines habitudes de vie de la personne, ces habitudes sont une suite d’activités domotiques automatiquement identifiées comme très fortement probables et clairement caractérisées. Ces deux étapes permettent de proposer une télésurveillance à domicile non intrusive, simple à mettre en œuvre et peu coûteuse. Elle permet aux personnes en situation de handicap d’une part de retrouver un certain degré d’autonomie à travers la proposition automatique de services et d’autre part de gagner en confiance au sein d’un environnement plus simplement contrôlable et qui en quelque sorte peut veiller sur elles au travers de la notification d’alertes détectant les anomalies. Un simulateur, intégrant tous les modèles élaborés, a été développé dans une première phase pour la génération de la base de données de l’utilisateur, évitant ainsi l’attente de quelques mois d’observation. Ces données de simulation nous permettent de développer, régler, tester et évaluer différentes stratégies pour notre approche, avant de l’appliquer dans un contexte réel. Ensuite, une expérimentation, sur le site de Kerpape, a été mise en œuvre via l’enregistrement des signaux infrarouges et sur l’utilisation de systèmes domotiques et multimédias. Les résultats de ces données réelles nous permettent d’évaluer la performance ainsi que l’efficacité de notre solution. Une méthodologie simple de mise en œuvre a été proposée. Elle inclut dans la boucle l’utilisateur ainsi que les ergothérapeutes et le personnel médical qui doivent valider les scénarios ainsi que les alertes proposées et évaluées par le système. Le déploiement simple est aussi un point fort de l’approche dans le contexte de l’assistance à domicile. Le capteur étant le système domotique lui-même, l’installation est uniquement logicielle. Elle repose sur la définition de services Web génériques avec un nombre limité de paramètres à destination des différents utilisateurs. Ce travail s’inscrit dans le cadre de la collaboration entre le Lab-STICC, l’UBS et le centre de Kerpape, il se prolongera par la mise en œuvre de l’approche au sein des futures installations domotiques
With the development of technology and information, there are more and more opportunities and challenges for healthcare and assistance services for disabled people as well as the elderly. In this context, this PhD work proposes and demonstrates a new solution for home monitoring. Our approach is based on the idea that existing home automation and multimedia services provide some relevant information to be used as available sensors for remote monitoring. Through the analysis of user habits, our work includes two steps. In the first step, we automate a scenario identification, based on a combination of data mining, AI, graph theory and operational research algorithms to offer scenarios self adapting to user capabilities, while facilitating user access to the services. In the second step, this sensor information is used for alert management based on the anomaly detection, meaning a deviation of usual habits. These two steps provide a low level and non-intrusive personal monitoring while giving people more autonomy and confidence in their environments. A simulation model is developed in a first stage for the generation of user database without waiting for months monitoring user activities. This simulation data allows us to develop, tune and evaluate different aspects of our approach, before being applied in a real context. Then an experimentation through the IR recording is realized to monitor the user activities. The results of these real data allow us to evaluate the performance as well as the efficiency of our solution

L'apprentissage automatique répond au problème du traitement de tâches spécifiques pour une grande variété de données. Ces algorithmes peuvent être simples ou difficiles à mettre en place, et c'est par ailleurs le même constat qui peut être fait pour les données. Les données de faible dimension (2 ou 3 dimensions) avec une représentation intuitive (ex. moyenne du prix des baguette par années) sont plus faciles à interpréter/expliquer pour un humain que les données avec des milliers de dimensions. Pour les données à faible dimension, une donnée aberrantes conduit souvent à un décalage conséquent par rapport aux données normales, mais pour le cas des données à haute dimension, c'est différent. La détection des données aberrantes (ou détection d'anomalie, ou détection de nouveauté) est l'étude des observations singulières pour détecter ce qui est normal et anormal. Différentes familles d'approches peuvent être trouvées dans la littérature sur la détection des aberrations. Elles effectuent une analyse des valeurs aberrantes en détectant les comportements principaux de la majorité des observations. Ainsi, les données qui diffèrent de la distribution normale sont considérées comme bruit ou aberration. Nous nous intéressons à l'application de cette tâche au texte. Malgré les progrès récents dans le traitement du langage naturel il est difficile pour une machine de traiter certains contextes. Par exemple, la phrase "Un sourire est une courbe qui redresse tout" a plusieurs niveaux de compréhension, et une machine peut rencontrer des difficultés pour choisir le bon niveau de lecture. Cette thèse présente l'analyse des valeurs aberrantes de haute dimension, appliquée au texte. Peu de travaux s'intéressent à ce contexte précis et nous introduisons un formalisme dédié. Nous abordons également les méthodes d'ensemble qui sont quasiment inexistantes dans la littérature pour notre contexte. Enfin, nous pouvons voir que l'application de la détection de valeurs aberrantes amène des améliorations sur le résumé de texte automatique par abstraction. Dans nos travaux, nous proposons GenTO, une méthode qui prépare et génère un fractionnement des données dans lequel sont insérées des anomalies et des valeurs aberrantes. Sur la base de cette méthode, nous proposons une évaluation et un benchmark des approches de détection de valeurs aberrantes avec des documents. En outre, l'apprentissage sans supervision conduit souvent les modèles à se fier à certains hyperparamètres. À cet égard, nous explorons l'influence de ce genre de paramètre pour les données textuelles. Alors que le choix d'un seul modèle peut entraîner un biais évident par rapport aux données du monde réel, les méthodes d'ensemble permettent d'atténuer ce problème. Elles sont particulièrement efficaces pour l'analyse des valeurs aberrantes. En effet, la sélection de plusieurs valeurs pour un hyperparamètre peut aider à détecter des valeurs aberrantes fortes. L'importance est alors abordée et peut aider un humain à comprendre la sortie d'un modèle boîte noire. Ainsi, l'interprétabilité des modèles de détection de valeurs aberrantes est remise en question. L'association de modèles complets et de modèles restreints permet d'atténuer l'effet boîte noire de certaines approches. Dans certains cas, la détection des aberrations fait référence à la suppression du bruit ou à la détection des anomalies. Certaines applications peuvent bénéficier de la caractéristique d'une telle tâche. La détection des spams et des fake news en est un exemple, mais nous proposons d'utiliser les approches de détection des aberrations pour l'exploration des signaux faibles dans un projet de marketing (par exemple). Ainsi, nous observons que les modèles de la littérature aident à améliorer les approches de résumé de texte par abstraction, sans supervision. Ceux-ci permettent également de trouver les signaux faibles dans le texte
Machine learning answers to the problem of handling dedicated tasks with a wide variety of data. Such algorithms can be either simple or difficult to handle depending of the data. Low dimensional data (2-dimension or 3-dimension) with an intuitive representation (average of baguette price by years) are easier to interpret/explain for a human than data with thousands of dimensions. For low dimensional data, the error leads to a significant shift against normal data, but for the case of high dimensional data it is different. Outlier detection (or anomaly detection, or novelty detection) is the study of outlying observations for detecting what is normal and abnormal. Methods that perform such task are algorithms, methods or models that are based on data distributions. Different families of approaches can be found in the literature of outlier detection, and they are mainly independent of ground truth. They perform outlier analysis by detecting the principal behaviors of majority of observations. Thus, data that differ from normal distribution are considered noise or outlier. We detail the application of outlier detection with text. Despite recent progress in natural language processing, computer still lack profound understanding of human language in absence of information. For instance, the sentence "A smile is a curve that set everything straight" has several levels of understanding and a machine can encounter hardship to chose the right level of lecture. This thesis presents the analysis of high-dimensional outliers, applied to text. Recent advances in anomaly detection and outlier detection are not significantly represented with text data and we propose to highlight the main differences with high-dimensional outliers. We also approach ensemble methods that are nearly nonexistent in the literature for our context. Finally, an application of outlier detection for elevate results on abstractive summarization is conducted. We propose GenTO, a method that prepares and generates split of data in which anomalies and outliers are inserted. Based on this method, evaluation and benchmark of outlier detection approaches is proposed with documents. The proposed taxonomy allow to identify difficult and hierarchised outliers that the literature tackles without knowing. Also, learning without supervision often leads models to rely in some hyperparameter. For instance, Local Outlier Factor relies to the k-nearest neighbors for computing the local density. Thus, choosing the right value for k is crucial. In this regard, we explore the influence of such parameter for text data. While choosing one model can leads to obvious bias against real-world data, ensemble methods allow to mitigate such problem. They are particularly efficient with outlier analysis. Indeed, the selection of several values for one hyperparameter can help to detect strong outliers.Importance is then tackled and can help a human to understand the output of black box model. Thus, the interpretability of outlier detection models is questioned. We find that for numerous dataset, a low number of features can be selected as oracle. The association of complete models and restrained models helps to mitigate the black-box effect of some approaches. In some cases, outlier detection refers to noise removal or anomaly detection. Some applications can benefit from the characteristic of such task. Mail spam detection and fake news detection are one example, but we propose to use outlier detection approaches for weak signal exploration in marketing project. Thus, we find that the model of the literature help to improve unsupervised abstractive summarization, and also to find weak signals in text

La détection d'anomalies dans les séries temporelles multivariées est un enjeu majeur dans de nombreux domaines. La complexité croissante des systèmes et l'explosion de la quantité de données ont rendu son automatisation indispensable. Cette thèse propose une méthode non supervisée de détection d'anomalies dans les séries temporelles multivariées appelée USAD. Cependant, les méthodes de réseaux de neurones profonds souffrent d'une limitation dans leur capacité à extraire des caractéristiques des données puisqu'elles ne s'appuient que sur des informations locales. Afin d'améliorer les performances de ces méthodes, cette thèse présente une stratégie d'ingénierie des caractéristiques qui introduit des informations non-locales. Enfin, cette thèse propose une comparaison de seize méthodes de détection d'anomalies dans les séries temporelles pour comprendre si l'explosion de la complexité des méthodes de réseaux de neurones proposées dans les publications actuelles est réellement nécessaire
Anomaly detection in multivariate time series is a major issue in many fields. The increasing complexity of systems and the explosion of the amount of data have made its automation indispensable. This thesis proposes an unsupervised method for anomaly detection in multivariate time series called USAD. However, deep neural network methods suffer from a limitation in their ability to extract features from the data since they only rely on local information. To improve the performance of these methods, this thesis presents a feature engineering strategy that introduces non-local information. Finally, this thesis proposes a comparison of sixteen time series anomaly detection methods to understand whether the explosion in complexity of neural network methods proposed in the current literature is really necessary

L'objectif de cette thèse est de développer des outils d'analyse de données recueillies sur les deux roues motorisés (2RMs). Dans ce cadre, des expérimentations sont menées sur des motos instrumentés dans un contexte de conduite réelle incluant à la fois des conduites normales dites naturelles et des conduites à risques (presque chute et chute). Dans la première partie de la thèse, des méthodes d'apprentissage supervisé ont été utilisées pour la classification de situations de conduite d'un 2RM. Les approches développées dans ce contexte ont montré l'intérêt de prendre en compte l'aspect temporel des données dans la conduite d'un 2RM. A cet effet, nous avons montré l'efficacité des modèles de Markov cachés. La seconde partie de cette thèse porte sur le développement d'outils de détection et de classification hors ligne des évènements critiques de conduite, ainsi que, la détection en ligne des situations de chute d'un 2RM. L'approche proposée pour la détection hors ligne des évènements critiques de conduite repose sur l'utilisation d'un modèle de mélange de densités gaussiennes à proportions logistiques. Ce modèle sert à la segmentation non supervisée des séquences de conduite. Des caractéristiques extraites du paramètre du modèle de mélange sont utilisées comme entrées d'un classifieur pour classifier les évènements critiques. Pour la détection en ligne de chute, une méthode simple de détection séquentielle d'anomalies basée sur la carte de contrôle MCUSUM a été proposée. Les résultats obtenus sur une base de données réelle ont permis de montrer l'efficacité des méthodologies proposées à la fois pour la classification de situations de conduite et à la détection des évènements critiques de conduite
This thesis aims to develop framework tools for analyzing and understanding the riding of Powered Two Wheelers (PTW). Experiments are conducted using instrumented PTW in real context including both normal (naturalistic) riding behaviors and critical riding behaviors (near fall and fall). The two objectives of this thesis are the riding patterns classification and critical riding events detection. In the first part of this thesis, a machine-learning framework is used for riding pattern recognition problem. Therefore, this problem is formulated as a classification task to identify the class of riding patterns. The approaches developed in this context have shown the interest to take into account the temporal aspect of the data in PTW riding. Moreover, we have shown the effectiveness of hidden Markov models for such problem. The second part of this thesis focuses on the development of the off-line detection and classification of critical riding events tools and the on-line fall detection. The problem of detection and classification of critical riding events has been performed towards two steps: (1) the segmentation step, where the multidimensional time of data were modeled and segmented by using a mixture model with quadratic logistic proportions; (2) the classification step, which consists in using a pattern recognition algorithm in order to assign each event by its extracted features to one of the three classes namely Fall, near Fall and Naturalistic riding. Regarding the fall detection problem, it is formulated as a sequential anomaly detection problem. The Multivariate CUmulative SUM (MCUSUM) control chart was applied on the data collected from sensors mounted on the motorcycle. The obtained results on a real database have shown the effectiveness of the proposed methodology for both riding pattern recognition and critical riding events detection problems

Ce chapitre traite l'extraction d'attributs à partir d'ondelettes et de filtres ConvNet (réseaux de neurones à convolution) pour l'analyse non supervisée de séries chronologiques d'images. Nous exploitons les capacités des ondelettes et des filtres neuro-convolutifs à capturer des propriétés d'invariance non-triviales, ainsi que les nouvelles solutions de centroïdes proposées dans ce chapitre, pour l'analyse d'attributs de hauts niveaux par entropie relative. La détection d'anomalies et le clustering fonctionnel d'évolution sont développés à partir de ce cadre.

Dans ce chapitre, nous nous concentrons sur le problème de la détection non supervisée de changements dans les images multitemporelles multispectrales. En particulier, nous examinons et analysons la représentation des changements spectraux-spatiaux pour traiter le problème important de la détection multiclasse de changements. À cette fin, deux approches sont développées, à savoir une analyse morphologique multi-échelles de vecteurs de changements compressés et une détection multi-classes au niveau des superpixels.