Academic literature on the topic 'Entropie conditionnelle'

Le clustering vise à regrouper les données observées en différents sous-ensembles partageant des propriétés similaires. Le plus souvent ce regroupement se fait via l’optimisation d’un critère choisi à l’avance. Dans cette thèse CIFRE, nous avons étudié le clustering sous trois aspects différents.Dans une première partie, nous proposons une méthode d’estimation robuste de K centroïdes basé sur le critère, dit des « K-means ». Nous proposons également une méthode d’initialisation robuste de la procédure. D’une part, la robustesse des procédures proposées a été testée par de nombreuses simulations numériques. D’autre part, nous avons montré un théorème donnant la vitesse de convergence d’un estimateur idéalisé en présence d’outliers ainsi qu’un théorème donnant le breakdown point de la méthode. Dans une seconde partie nous nous plaçons dans le cadre d’un mélange équilibré de deux gaussiennes isotropes, centré en l’origine, afin de fournir la première analyse théorique d’un estimateur de clustering basé sur un critère d’entropie conditionnelle. Nous montrons que le critère est localement convexe, offrant d’une part des vitesses d’apprentissage rapide et d’autre part une inégalité oracle en grande dimension, lorsque le vecteur moyen de séparation est sparse.Dans une troisième partie, plus pratique et consacrée à des graphes en cybersécurité, nous regardons si l’évolution du nombre de clusters obtenus par une méthode d’optimisation de modularité peut révéler des anomalies causées par une intrusion dans un système informatique
Clustering aims at grouping observed data into different subsets sharing similar properties. Most often this clustering is done through the optimization of a criterion chosen in advance. In this CIFRE thesis, we have studied clustering under three different aspects.In a first part, we propose a robust estimation method of K centroids based on the so-called "K-means" criterion. We also propose a robust initialization method for the procedure. On the one hand, the robustness of the proposed procedures has been tested by numerous numerical simulations. On the other hand, we have shown a theorem giving the rate of convergence of an idealized estimator in the presence of outliers and a theorem giving the breakdown point of the method.In a second part, we place ourselves in the framework of a balanced mixture of two isotropic Gaussians, centered at the origin, in order to provide the first theoretical analysis of a clustering estimator based on a conditional entropy criterion. We show that the criterion is locally convex, offering on the one hand fast learning rates and on the other hand an oracle inequality in high dimension when the mean separation vector is sparse.In a third part, more practical and devoted to graphs in cybersecurity, we investigate whether the evolution of the number of clusters obtained by a modularity optimization method can reveal anomalies caused by an intrusion in a computer system

Ce travail se divise en deux parties independantes. Dans la premiere, nous demontrons, en utilisant les automates finis, des resultats de transcendance dans le module de carlitz de rang 1. Dans la seconde partie, nous nous interessons a des entropies conditionnelles de blocs, au sens de shannon, pour des suites a valeurs dans un alphabet fini, et en particulier, pour les suites sturmiennes

La problématique abordée dans cette thèse est l'estimation non paramétrique des modèles conditionnels à variable explicative fonctionnelle en traitant deux cas : le cas où la variable réponse est réelle et le cas d'une variable réponse fonctionnelle. On établit la convergence uniforme presque complète d'estimateurs non paramétriques pour certains modèles conditionnels. Dans un premier temps, nous considérons une suite d'observation si. I. D. Et nous construisons des estimateurs par la méthode du noyau pour la fonction de régression généralisée, la fonction de répartition conditionnelle, la densité conditionnelle, la fonction de hasard conditionnelle et le mode conditionnel. Nous étudions la convergence uniforme presque complète de ces estimateurs en précisant leurs vitesses. A titre illustratif, nous donnons des exemples d'applications sur des données simulées. Dans un second temps, on généralise nos résultats au cas d'une variable réponse fonctionnelle (appartenant à un espace de Banach) et on estime la régression classique. Cette généralisation a été étudiée dans les deux cas : les observations i. I. D. Ainsi que le cas dépendant. Dans ce dernier, nous avons fixé comme objectif la convergence presque complète ponctuelle lorsque les observations sont Béta-mélangeantes. Nos résultats asymptotiques exploitent bien la structure topologique de l'espace fonctionnel de nos observations et le caractère fonctionnel de nos modèles. En effet, toutes nos vitesses de convergence sont quantifiées en fonction de la concentration de la mesure de probabilité de la variable fonctionnelle, de l'entropie de Kolmogorov et du degré de régularité des modèles. Notons également que dans le cas où la variable réponse est aussi fonctionnelle, nos vitesses de convergence contiennent un terme additionnel qui dépend du type de l'espace de Banach de la variable réponse
In this thesis, we consider the problem of the nonparametric estimation in the conditional models when the regressor takes its values in infinite dimension space. More precisely, we treated two cases when the response variable is real and functional. One establishes almost complete uniform convergence of nonparametric estimators for certain conditional models. Firstly, we consider a sequence of i. I. D. Observations. In this context, we build kernel estimators of the conditional cumulative distribution, the conditional density, the conditional hazard function and the conditional mode. We give the uniform consistency rate of these estimators. We illustrate our results by giving an application on simulated samples. Secondly, we generalize our results when the response variable is in a Banach space. We estimate the regression function. In this context, we treat both cases : i. I. D and dependent observations. In the last case, we consider that the observations are Béta-mixing and we establishes almost complete pointwise convergence. Our asymptotic results exploit the topological structure of functional space for the observations. Let us note that all the rates of convergence are based on an hypothesis of concentration of the measure of probability of the functional variable on the small balls and also on the Kolmogorov’s entropy which measures the number of the balls necessary to cover some set. Moreover, when the response variable is functional the rate of convergence contains a new term which depends on type of Banach space

Le point de départ de ce travail est la thèse réalisée par Pascal Vrignat sur la modélisation de niveaux de dégradation d'un système dynamique à l'aide de Modèles de Markov Cachés (MMC), pour une application en maintenance industrielle. Quatre niveaux ont été définis : S1 pour un arrêt de production et S2 à S4 pour des dégradations graduelles. Recueillant un certain nombre d'observations sur le terrain dans divers entreprises de la région, nous avons réalisé un modèle de synthèse à base de MMC afin de simuler les différents niveaux de dégradation d'un système réel. Dans un premier temps, nous identifions la pertinence des différentes observations ou symboles utilisés dans la modélisation d'un processus industriel. Nous introduisons ainsi le filtre entropique. Ensuite, dans un but d'amélioration du modèle, nous essayons de répondre aux questions : Quel est l'échantillonnage le plus pertinent et combien de symboles sont ils nécessaires pour évaluer au mieux le modèle ? Nous étudions ensuite les caractéristiques de plusieurs modélisations possibles d'un processus industriel afin d'en déduire la meilleure architecture. Nous utilisons des critères de test comme les critères de l'entropie de Shannon, d'Akaike ainsi que des tests statistiques. Enfin, nous confrontons les résultats issus du modèle de synthèse avec ceux issus d'applications industrielles. Nous proposons un réajustement du modèle pour être plus proche de la réalité de terrain.

L'objectif de cette thèse est de proposer différents modèles généralisant le modèle classique des chaînes de Markov cachées à bruit indépendant couramment utilisé en inférence bayésienne de signaux. Les diverses extensions de ce modèle visent à l'enrichir et à prendre en compte différentes propriétés du signal, comme le caractère non gaussien du bruit, ou la nature semi-markovienne du signal caché. Dans un problème d'inférence bayésienne, nous disposons de deux processus aléatoires X et Y , on observe la réalisation y de Y et nous estimons la réalisation cachée x de X. Le lien existant entre les deux processus est modélisé par la distribution de probabilité p(x, y). Dans le modèle classique des chaînes de Markov cachées à bruit indépendant, la distribution p(x) est celle d'une chaîne de Markov et la distribution p(y|x) est celle de marginales indépendantes conditionnellement à x. Bien que ce modèle puisse être utilisé dans de nombreuses applications, il ne parvient pas à modéliser toutes les situations de dépendance. Le premier modèle que nous proposons est de type “chaînes de Markov triplet”, on considère ainsi un troisième processus U tel que le triplet (X, U, Y ) soit une chaîne de Markov. Dans le modèle proposé, ce processus auxiliaire modélise la semi-markovianité de X ; on parvient ainsi à prendre en compte la non markovianité éventuelle du processus caché. Dans un deuxième modèle, nous considérons des observations à dépendance longue et nous proposons un algorithme d'estimation original des paramètres de ce modèle. Nous étudions par ailleurs différents modèles prenant en compte simultanément la semi-markovianité des données cachées, la dépendance longue dans les observations ou la non stationnarité des données cachées. Enfin, la nature non nécessairement gaussienne du bruit est prise en compte via l'introduction des copules. L'intérêt des différents modèles proposés est également validé au travers d'expérimentations. Dans la dernière partie de cette thèse, nous étudions également comment la segmentation obtenue par une méthode bayésienne peut être utilisée dans la détection de cibles dans le signal radar. Le détecteur original que nous implémentons utilise la différence de statistiques entre un signal recu et les signaux recus de son voisinage. Le détecteur ainsi implémenté s'avère donner de meilleurs résultats en présence de fort bruit que le détecteur habituellement utilisé en traitement radar.

Cette thèse de doctorat traite les aspects de la modélisation et de l'analyse de la parole, regroupés sous le chapeau commun de la qualité. Le premier aspect est représenté par le développement d'un modèle interne de contrôle de la production de la parole ; le deuxième, par le développement des outils pour son analyse. Un modèle interne optimal sous contraintes est proposé pour le contrôle d'un robot parlant, basé sur l'hypothèse du point d'équilibre (EPH, modèle-lambda). Ce modèle interne se repose sur le principe suivant : les mouvements du robot sont produits de telle façon que la longueur du chemin, parcouru dans l'espace interne des commandes motrices lambda, soit minimale, sous certaines contraintes liées à l'espace externe. L'aspect mathématique du problème conduit au problème géodésique généralisé, un problème relevant du calcul variationnel, dont la solution exacte analytique est assez complexe. En utilisant certains résultats empiriques, une solution approximative est enfin développée et implémentée. La solution du problème donne des résultats intéressants et prometteurs, et montre que le modèle interne proposé permet d'atteindre une certaine réalité de la production de la parole ; notamment, des similitudes entre la parole réelle et celle produite par le robot sont constatées. Puis, dans un but d'analyser et de caractériser le signal de parole, plusieurs méthodes d'analyse statistique sont développées. Elles sont basées sur les statistiques d'ordre supérieurs et sur l'entropie discrète normalisée. Dans ce cadre, nous avons également élaboré un estimateur non-biaisée et efficace du cumulant d'ordre quatre, en deux versions bloc et adaptative
This Ph.D. dissertation deals with speech modeling and processing, which both share the speech quality aspect. An optimum internal model with constraints is proposed and discussed for the control of a biomechanical speech robot based on the equilibrium point hypothesis (EPH, lambda-model). It is supposed that the robot internal space is composed of the motor commands lambda of the equilibrium point hypothesis. The main idea of the work is that the robot movements, and in particular the robot speech production, are carried out in such a way that, the length of the path, traveled in the internal space, is minimized under acoustical and mechanical constraints. Mathematical aspect of the problem leads to one of the problems of variational calculus, the so-called geodesic problem, whose exact analytical solution is quite complicated. By using some empirical findings, an approximate solution for the proposed optimum internal model is then developed and implemented. It gives interesting and challenging results, and shows that the proposed internal model is quite realistic; namely, some similarities are found between the robot speech and the real one. Next, by aiming to analyze speech signals, several methods of statistical speech signal processing are developed. They are based on higher-order statistics (namely, on normalized central moments and on the fourth-order cumulant), as well as on the discrete normalized entropy. In this framework, we also designed an unbiased and efficient estimator of the fourth-order cumulant in both batch and adaptive versions

Dans la première partie de cette thèse, nous développons des théorèmes limites conditionnels pour des vecteurs aléatoires indépendants, non nécessairement identiquement distribués. Nous étendons ainsi des théorèmes classiques du type principe de Gibbs conditionnels, obtenu dans le cas i.i.d. Nous utilisons notamment des développements de type point-selle. Dans la seconde partie, nous obtenons des théorèmes d’Erdös-Renyi pour les incréments d’un processus de Lévy, dans une version fonctionnelle. L’outil clé est ici celui de grandes déviations fonctionnelles
In the first part of this work, we develop conditional limit theorems for independent not necessarily identically distributed random vectors. We extend thus classical theorems, as the Gibbs conditioning principle, obtained in the i.i.d. case. We use, among other tools, some saddlepoint approximations. In the second part, we obtain a functional form of Erdös-Renyi theorems for the increments of Lévy processes. The main tools are here functional large deviations principles