Letteratura scientifica selezionata sul tema "Principe de minimisation du risque empirique"

Cette contribution vise à analyser les enjeux éthiques liés aux recherches en terrains militants radicaux à travers une comparaison entre deux cas d’étude méditerranéens : l’organisation de gauche radicale italienne Potere al popolo ! (« Pouvoir au peuple ! ») dans le Mezzogiorno (moitié sud de l’Italie) et les formes de militantisme culturel-identitaire et féminin en Kabylie (Algérie). Nous développons un dialogue avec la littérature internationale et analysons les enjeux éthiques inhérents à chaque étape du processus de recherche. Posture épistémologique, pratiques ethnographiques et restitution/valorisation des résultats font ainsi l’objet d’une réflexion appuyée par les matériaux empiriques mobilisés. Nous défendons une approche éthique réflexive car les principes faisant l’objet d’un consensus au sein de la discipline sociologique se traduisent par des applications pratiques inégales et négociées en fonction des conditions et des configurations de la recherche. Nous reconstruisons les processus qui ont conduit aux choix adoptés dans les différents cas présentés afin de répondre aux injonctions paradoxales entre valorisation des résultats et minimisation des risques.

Malgré le principe de séparation des hommes et des femmes régissant l’organisation des établissements pénitentiaires, une recherche empirique menée au sein de l’ensemble des prisons belges incarcérant tant des hommes que des femmes a permis de mettre en lumière des pratiques de mixité entre personnes détenues. L’analyse des discours du personnel pénitentiaire et des personnes détenues au sujet de ces pratiques permet d’étudier la construction des rapports de genre au sein de la prison et de mettre en exergue les normes et attentes de genre dans le chef de ces acteurs. Quatre thématiques sont développées dans la contribution : la non-mixité comme outil de gestion du risque de violences de genre, la mixité comme atténuation des stéréotypes de genre, la mixité comme vecteur d’égalité pour les femmes détenues et la mixité comme instrument de normalisation et facteur de diversité au sein de la population détenue.

La distance évidente qui sépare la catégorisation statistique de la conceptualisation sociologique est souvent traitée par les sociologues comme une distance hiérarchique qui séparerait une approximation opératoire et formelle de la saisie signifiante et substantielle des phénomènes, geste suprême réservé à la sociologie. Le contenu corporatiste d’un tel programme ne devrait pas dissimuler aux sociologues son risque essentiel, celui de pratiquer l’auto-suffisance théorique d’une sociologie qui n’aurait de comptes à rendre qu’aux constats qui la confortent et qui se réserverait de porter au passif des imperfections mécaniques de l’instrument statistique ce que celui-ci ne vérifie pas des constructions conceptuelles du discours sociologique. À la limite, la signification du raisonnement statistique ne pourrait lui advenir que de l’extérieur : ce serait toujours à lui de s’amender pour mériter de servir par ses « constats illustratifs » des énoncés sociologiques qui tirent d’ailleurs leur « évidence ». De leur côté, les statisticiens ne sont évidemment pas en reste en matière d’épistémologie corporative. Accoutumés aux exigences du recueil et du traitement de l’information et sachant ce qu’il en coûte d’arriver à homogénéiser les données économiques et sociales, ils sont inévitablement enclins, pour préserver l’univocité des énonciations portant sur des constats de recensement ou de corrélation si chèrement acquis, à une défiance généralisée envers tout changement du langage d’énonciation des constats de base, autrement dit à marquer une réticence de principe envers l’interprétation conceptuelle, toujours suspecte de surinterprétation polysémique. À la limite, les « langues artificielles », comme la langue tabulaire du tableau croisé ou la langue graphique des plans factoriels, seraient les seules à ne pas déformer les énoncés d’observation et de traitement, dont l’expression en « langue naturelle » majorerait toujours le sens de manière incontrôlée et incontrôlable. Il y a pourtant un accord latent entre ces deux épistémologies coutumières lorsqu’elles atteignent leur forme limite : elles semblent bien convenir que le discours statistique et le discours sociologique diffèrent intrinsèquement par leur nature assertorique. On part ici, tout au contraire, du postulat épistémologique que toutes les conceptualisations opérées à partir de l’observation du monde historique possèdent, en tant qu’abstractions scientifiques, une pertinence empirique commune ou, si l’on veut, que les énonciations des différentes sciences sociales ne peuvent avoir qu’une seule indexation de vérité : l’observation historique par quelque méthode qu’on l’opère, même si elles diffèrent par la logique des raisonnements qui mettent en œuvre les constats issus de cette observation.

O principal objetivo deste artigo é, com base nas limitações críticas apontadas à experiência histórica da Cooperação Norte-Sul (CNS), analisar alguns dos dilemas com que se confrontam as atuais estratégias de Cooperação Sul-Sul (CSS), concebidas e desenvolvidas por países como Brasil, México, Índia, China, Turquia ou África do Sul. O autor defende a hipótese de que a diferenciação entre CNS e CSS é fundamentalmente empírica, devendo, porém, também ser pensada à luz do legado do ativismo multilateral de alguns desses países e do novo papel econômico e político que desempenham no cenário internacional. O argumento é construído no sentido de que, por terem sido (e ainda serem) beneficiários da CNS, tais países deveriam atentar para os riscos de reprodução de um modelo de cooperação que eles próprios criticaram no passado recente. O que haveria de singular e distintivo nas práticas de CSS desses países? Quais seriam os riscos de que suas práticas de CSS sejam menos solidárias do que as promessas anunciadas por seus dirigentes e representantes políticos? PALAVRAS-CHAVE: Desenvolvimento internacional, Cooperação Norte-Sul, Cooperação Sul-Sul, África do Sul, Brasil, China, Índia, México e Turquia. LEARNING WITH HISTORY: critique to the experience of the North-South Cooperation and present challenges to the South-South Cooperation Carlos R. S. Milani Based on the critical limitations that were pinpointed regarding the historical experience of the North-South Cooperation, (NSC), the main objective of this paper is to analyze some of the dilemmas that the current strategies of South-South Cooperation (SSC) have to face, which were conceived and developed in countries such as Brazil, Mexico, India, China, Turkey or South Africa. The author defends the hypothesis that the differentiation between NSC and CSS is basically empiric, but that it can also be considered in the view of the multilateral legacy of activism in some of these countries and the new economic and political role they play in the international scenario. The argument is based on the fact that since they were and still are NSC beneficiaries, the aforementioned countries should be aware of the risks of reproducing a cooperation model that they have recently criticized. What is unique and special in the practices of the SSC in these countries? What are the risks that the SSC practices would show less solidarity than the promises announced by their leaders and political representatives? KEY WORDS: International development, North-South Cooperation, South-South Cooperation, South Africa, Brazil, China, India, Mexico and Turkey. L’HISTOIRE NOUS ENSEIGNE: les critiques de l’experience de cooperation Nord-Sud et les defis actuels de la cooperation Sud-Sud Carlos R.S. Milani L’objectif principal de cet article, en tenant compte des limitations critiques de l’expérience historique de la Coopération Nord-Sud (CNS), est d’analyser quelques dilemmes auxquels les stratégies actuelles de Coopération Sud-Sud sont confrontées alors qu’elles sont conçues et développées par des pays tels que le Brésil, le Mexique, l’Inde, la Chine, la Turquie ou l’Afrique du Sud. L’auteur part de l’hypothèse que la différenciation entre CNS et CSS est fondamen-talement empirique mais doit cependant être pensée à la lumière de l’héritage d’un activisme multilatéral de certains pays et du nouveau rôle économique et politique qu’ils jouent sur la scène internationale. L’argument se base sur le principe que, du fait d’avoir été (et d’être encore) bénéficiaires de la CNS, ces pays devraient rester attentifs au risque de reproduction d’un modèle de coopération qu’eux-mêmes critiquèrent dans un passé récent. Qu’y aurait-il de singulier et de différent dans les pratiques de la CSS de ces pays? Quels seraient les risques de voir leurs pratiques de CSS moins solidaires que les promesses annoncées par leurs dirigeants et représentants politiques? MOTS-CLÉS: Développement international, Coopération Nord-Sud, Coopération Sud-Sud, Afrique du Sud, Brésil, Chine, Inde, Mexique et Turquie. Publicação Online do Caderno CRH: http://www.cadernocrh.ufba.br Publicação Online do Caderno CRH no Scielo: http://www.scielo.br/ccrh

Cette thèse porte sur l'apprentissage profond pour les processus faiblement dépendants. Nous avons considéré une classe d'estimateur de réseau de neurones profonds avec la régularisation par sparsité et/ou la régularisation par pénalité.Le chapitre1 est une synthèse des travaux. Il s'agit ici de présenter le cadre de l'apprentissage profond et de rappeler les principaux résultats obtenus aux chapitres 2, 3, 4, 5, 6.Le chapitre 2 considère l'apprentissage profond pour les processus psi-faiblement dépendants. Nous avons établi une vitesse de convergence de l'algorithme de minimisation du risque empirique (MRE) sur la classe des estimateurs de réseaux de neurones profonds (RNPs). Pour ces estimateurs, nous avons fourni une borne de généralisation et une vitesse asymptotique d'ordre O(n^{-1/alpha}) pour tout alpha > 2 est obtenue. Une borne de l'excès de risque pour une large classe de prédicteurs cibles est aussi établie.Le chapitre 3 présente l'estimateur de réseaux de neurones profonds pénalisé sous la dépendance faible. Nous avons considéré les problèmes de régression non-paramétrique et de classification pour les processus faiblement dépendants. Nous avons utilisé une méthode de régularisation par pénalisation. Pour la régression non-paramétrique et la classification binaire, nous avons établi une inégalité d'oracle pour l'excès de risque de l'estimateur de réseau de neurones pénalisé. Nous avons aussi fourni une vitesse de convergence de ces estimateurs.Le chapitre 4 porte sur l'estimateur de réseaux de neurones profonds pénalisé avec une fonction de perte générale sous la dépendance faible. Nous nous sommes placés dans le cadre de la structure de psi-dépendance faible et dans le cas spécifique où les observations sont bornées, nous avons utilisé la theta_{infty}-dépendance faible. Pour l'apprentissage des processus psi et theta_{infty}-faiblement dépendants, nous avons établi une inégalité d'oracle pour les excès de risque de l'estimateur de réseau de neurones profond pénalisé. Nous avons montré que lorsque la fonction cible est suffisamment régulière, la vitesse de convergence de ces excès de risque est d'ordre O(n^{-1/3}). Le chapitre 5 présente l'apprentissage profond robuste à partir de données faiblement dépendantes. Nous avons supposé que la variable de sortie admet des moments d'ordre r finis, avec r >= 1. Pour l'apprentissage des processus à mélange forts et psi-faiblement dépendants, une borne non asymptotique de l'espérance de l'excès de risque de l'estimateur de réseau de neurones est établie. Nous avons montré que lorsque la fonction cible appartient à la classe des fonctions de H"older régulières la vitesse de convergence de l'espérance de l'excès de risque obtenue sur l'apprentissage des données exponentiellement fort mélangeant est proche de ou égale à celle obtenue avec un échantillon indépendant et identiquement distribué (i.i.d.). Le chapitre 6 porte sur l'apprentissage profond pour les processus fortement mélangeants avec une régularisation par pénalité et minimax optimalité. Nous avons considéré aussi le problème de la régression non-paramétrique sur des données à mélange fort avec un bruit sous-exponentiel. Ainsi, lorsque la fonction cible appartient à la classe de composition de fonctions de H"older nous avons établi une borne supérieure de l'inégalité d'oracle de l'erreur L_2. Dans le cas spécifique de la régression autorégressive avec un bruit de Laplace ou normal standard, nous avons fourni une borne inférieure de l'erreur L_2 dans cette classe, qui correspond à un facteur logarithmique près à la borne supérieure ; ainsi l'estimateur de réseau de neurones profonds atteint une vitesse de convergence optimale
This thesis focuses on deep learning for weakly dependent processes. We consider a class of deep neural network estimators with sparsity regularisation and/or penalty regularisation.Chapter1 is a summary of the work. It presents the deep learning framework and reviews the main results obtained in chapters 2, 3, 4, 5 and 6.Chapter 2 considers deep learning for psi-weakly dependent processes. We have established the convergence rate of the empirical risk minimization (ERM) algorithm on the class of deep neural network (DNN) estimators. For these estimators, we have provided a generalization bound and an asymptotic learning rate of order O(n^{-1/alpha}) for all alpha > 2 is obtained. A bound of the excess risk for a large class of target predictors is also established. Chapter 3 presents the sparse-penalized deep neural networks estimator under weak dependence. We consider nonparametric regression and classification problems for weakly dependent processes. We use a method of regularization by penalization. For nonparametric regression and binary classification, we establish an oracle inequality for the excess risk of the sparse-penalized deep neural networks (SPDNN) estimator. We have also provided a convergence rate for these estimators.Chapter 4 focuses on the penalized deep neural networks estimator with a general loss function under weak dependence. We consider the psi-weak dependence structure and, in the specific case where the observations are bounded, we deal with the theta_{infty}-weak dependence. For learning psi and theta_{infty}-weakly dependent processes, we have established an oracle inequality for the excess risks of the sparse-penalized deep neural networks estimator. We have shown that when the target function is sufficiently smooth, the convergence rate of these excess risks is close to O(n^{-1/3}).Chapter 5 presents robust deep learning from weakly dependent data. We assume that the output variable has finite r moments, with r >= 1. For learning strong mixing and psi-weakly dependent processes, a non-asymptotic bound for the expected excess risk of the deep neural networks estimator is established. We have shown that when the target function belongs to the class of H"older smooth functions, the convergence rate of the expected excess risk for exponentially strongly mixing data is close to or equal to that obtained with an independent and identically distributed sample. Chapter 6 focuses on deep learning for strongly mixing observation with sparse-penalized regularization and minimax optimality. We have provided an oracle inequality and a bound on the class of H"older smooth functions for the expected excess risk of the deep neural network estimator. We have also considered the problem of nonparametric regression from strongly mixing data with sub-exponential noise. When the target function belongs to the class of H"older composition functions, we have established an upper bound for the oracle inequality of the L_2 error. In the specific case of autoregressive regression with standard Laplace or normal error, we have provided a lower bound for the L_2 error in this classe, which matches up to a logarithmic factor the upper bound; thus the deep neural network estimator achieves optimal convergence rate

Dans ce manuscrit, nous présentons et étudions des stratégies d’échantillonnage appliquées, à problèmes liés à l’apprentissage statistique. L’objectif est de traiter les problèmes qui surviennent généralement dans un contexte de données volumineuses lorsque le nombre d’observations et leur dimensionnalité contraignent le processus d’apprentissage. Nous proposons donc d’aborder ce problème en utilisant deux stratégies d’échantillonnage: - Accélérer le processus d’apprentissage en échantillonnant les observations les plus utiles. - Simplifier le problème en écartant certaines observations pour réduire la complexité et la taille du problème. Pour commencer, nous nous plaçons dans le contexte de la classification binaire, lorsque les observations utilisées pour former un classificateur sont issues d’un schéma d’échantillonnage/sondage et présentent une structure de dépendance complexe pour lequel nous établissons des bornes de généralisation. Ensuite nous étudions le problème d’implémentation de la descente de gradient stochastique quand les observations sont tirées non uniformément. Nous concluons cette thèse par l’étude du problème de reconstruction de graphes pour lequel nous établissons de nouveau résultat théoriques
In this manuscript, we present and study applied sampling strategies, with problems related to statistical learning. The goal is to deal with the problems that usually arise in a context of large data when the number of observations and their dimensionality constrain the learning process. We therefore propose to address this problem using two sampling strategies: - Accelerate the learning process by sampling the most helpful. - Simplify the problem by discarding some observations to reduce complexity and the size of the problem. We first consider the context of the binary classification, when the observations used to form a classifier come from a sampling / survey scheme and present a complex dependency structure. for which we establish bounds of generalization. Then we study the implementation problem of stochastic gradient descent when observations are drawn non uniformly. We conclude this thesis by studying the problem of graph reconstruction for which we establish new theoretical results

Cette thèse aborde le problème de l’apprentissage avec des fonctions de perte nonmodulaires. Pour les problèmes de prédiction, où plusieurs sorties sont prédites simultanément, l’affichage du résultat comme un ensemble commun de prédiction est essentiel afin de mieux incorporer les circonstances du monde réel. Dans la minimisation du risque empirique, nous visons à réduire au minimum une somme empirique sur les pertes encourues sur l’échantillon fini avec une certaine perte fonction qui pénalise sur la prévision compte tenu de la réalité du terrain. Dans cette thèse, nous proposons des méthodes analytiques et algorithmiquement efficaces pour traiter les fonctions de perte non-modulaires. L’exactitude et l’évolutivité sont validées par des résultats empiriques. D’abord, nous avons introduit une méthode pour les fonctions de perte supermodulaires, qui est basé sur la méthode d’orientation alternée des multiplicateurs, qui ne dépend que de deux problémes individuels pour la fonction de perte et pour l’infèrence. Deuxièmement, nous proposons une nouvelle fonction de substitution pour les fonctions de perte submodulaires, la Lovász hinge, qui conduit à une compléxité en O(p log p) avec O(p) oracle pour la fonction de perte pour calculer un gradient ou méthode de coupe. Enfin, nous introduisons un opérateur de fonction de substitution convexe pour des fonctions de perte nonmodulaire, qui fournit pour la première fois une solution facile pour les pertes qui ne sont ni supermodular ni submodular. Cet opérateur est basé sur une décomposition canonique submodulairesupermodulaire
This thesis addresses the problem of learning with non-modular losses. In a prediction problem where multiple outputs are predicted simultaneously, viewing the outcome as a joint set prediction is essential so as to better incorporate real-world circumstances. In empirical risk minimization, we aim at minimizing an empirical sum over losses incurred on the finite sample with some loss function that penalizes on the prediction given the ground truth. In this thesis, we propose tractable and efficient methods for dealing with non-modular loss functions with correctness and scalability validated by empirical results. First, we present the hardness of incorporating supermodular loss functions into the inference term when they have different graphical structures. We then introduce an alternating direction method of multipliers (ADMM) based decomposition method for loss augmented inference, that only depends on two individual solvers for the loss function term and for the inference term as two independent subproblems. Second, we propose a novel surrogate loss function for submodular losses, the Lovász hinge, which leads to O(p log p) complexity with O(p) oracle accesses to the loss function to compute a subgradient or cutting-plane. Finally, we introduce a novel convex surrogate operator for general non-modular loss functions, which provides for the first time a tractable solution for loss functions that are neither supermodular nor submodular. This surrogate is based on a canonical submodular-supermodular decomposition

La thèse se place dans le cadre de l'apprentissage statistique. Elle apporte des contributions à la communauté du machine learning en utilisant des techniques de statistiques modernes basées sur des avancées dans l'étude des processus empiriques. Dans une première partie, les propriétés statistiques de l'analyse en composantes principales a noyau (KPCA) sont explorées. Le comportement de l'erreur de reconstruction est étudie avec un point de vue non-asymptotique et des inégalités de concentration des valeurs propres de la matrice de Gram sont données. Tous ces résultats impliquent des vitesses de convergence rapides. Des propriétés non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont également proposées. Dans une deuxième partie, un nouvel algorithme de classification a été conçu : la Kernel Projection Machine (KPM). Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode de réduction de la dimension telle que la KPCA régularise convenablement. Le choix de l'espace vectoriel utilise par la KPM est guide par des études statistiques de sélection de modèle par minimisation pénalisée de la perte empirique. Ce principe de régularisation est étroitement relie a la projection fini-dimensionnelle étudiée dans les travaux statistiques de Birge et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème aborde dans cette thèse soulevé de nouvelles questions d'ordre théorique et pratique
This thesis takes place within the framework of statistical learning. It brings contributions to the machine learning community using modern statistical techniques based on progress in the study of empirical processes. The first part investigates the statistical properties of Kernel Principal Component Analysis (KPCA). The behavior of the reconstruction error is studied with a non-asymptotique point of view and concentration inequalities of the eigenvalues of the kernel matrix are provided. All these results correspond to fast convergence rates. Non-asymptotic results concerning the eigenspaces of KPCA themselves are also provided. A new algorithm of classification has been designed in the second part: the Kernel Projection Machine (KPM). It is inspired by the Support Vector Machines (SVM). Besides, it highlights that the selection of a vector space by a dimensionality reduction method such as KPCA regularizes suitably. The choice of the vector space involved in the KPM is guided by statistical studies of model selection using the penalized minimization of the empirical loss. This regularization procedure is intimately connected with the finite dimensional projections studied in the statistical work of Birge and Massart. The performances of KPM and SVM are then compared on some data sets. Each topic tackled in this thesis raises new questions

Cette thèse s'inscrit dans le domaine de l'apprentissage statistique et dans celui des expériences simulées (computer experiments). Son objet est de proposer un cadre général permettant d'estimer les paramètres d'un code de simulation numérique de façon à reproduire au mieux certaines caractéristiques d'intérêt extraites de données observées. Ce travail recouvre le cadre classique de l'estimation paramétrique dans un modèle de régression et également la calibration de la densité de probabilité des variables d'entrée d'un code numérique afin de reproduire une loi de probabilité donnée en sortie. Une partie importante de ce travail consiste dans l'estimation paramétrique d'un code numérique à partir d'observations. Nous proposons une classe de méthode originale nécessitant une simulation intensive du code numérique, que l'on remplacera par un méta-modèle s'il est trop coûteux. Nous validons théoriquement les algorithmes proposés du point de vue non-asymptotique, en prouvant des bornes sur l'excès de risque. Ces résultats reposent entres autres sur des inégalités de concentration. Un second problème que nous abordons est celui de l'étude d'une dualité entre procédure d'estimation et nature de la prédiction recherchée. Il s'agit ici de mieux comprendre l'effet d'une procédure d'estimation des paramètres d'un code numérique sur une caractéristique d'intérêt donnée. Enfin, en pratique la détermination des paramètres optimaux au sens du critère donné par le risque empirique nécessite la recherche du minimum d'une fonction généralement non convexe et possédant plusieurs minima locaux. Nous proposons un algorithme stochastique consistant à combiner une régularisation du critère par convolution avec un noyau gaussien, de variance décroissante au fil des itérations, avec une méthode d'approximation stochastique du type Kiefer-Wolfowitz
This thesis work consists in gathering statistical learning theory with the field of computer experiments. As the considered computer codes are only known through simulations, we propose an original statistical framework, including the classical ones, which takes into account the simulation aspect. We investigate learning algorithms for parameter estimation in computer codes which depend on both observed and simulation data. We validate these algorithms by proving excess risk bounds using concentration inequalities. We also study the duality between the estimation procedure and the wanted feature prediction. Here, we try to understand the impact of an estimation procedure on some given characteristic of the phenomenon of interest. Finally, the computation of optimal parameters in practice involves the minimization of a criterion which is generally highly non convex and with irregularities. We propose a stochastic algorithm which consists in combining regularization methods with a stochastic approximation method like the Kiefer-Wolfowitz one

La thèse se place dans le cadre de l'apprentissage statistique. Elle apporte
des contributions à la communauté du machine learning en utilisant des
techniques de statistiques modernes basées sur des avancées dans l'étude
des processus empiriques. Dans une première partie, les propriétés statistiques de
l'analyse en composantes principales à noyau (KPCA) sont explorées. Le
comportement de l'erreur de reconstruction est étudié avec un point de vue
non-asymptotique et des inégalités de concentration des valeurs propres de la matrice de
Gram sont données. Tous ces résultats impliquent des vitesses de
convergence rapides. Des propriétés
non-asymptotiques concernant les espaces propres de la KPCA eux-mêmes sont également
proposées. Dans une deuxième partie, un nouvel
algorithme de classification a été
conçu : la Kernel Projection Machine (KPM).
Tout en s'inspirant des Support Vector Machines (SVM), il met en lumière que la sélection d'un espace vectoriel par une méthode de
réduction de la dimension telle que la KPCA régularise
convenablement. Le choix de l'espace vectoriel utilisé par la KPM est guidé par des études statistiques de sélection de modéle par minimisation pénalisée de la perte empirique. Ce
principe de régularisation est étroitement relié à la projection fini-dimensionnelle étudiée dans les travaux statistiques de
Birgé et Massart. Les performances de la KPM et de la SVM sont ensuite comparées sur différents jeux de données. Chaque thème abordé dans cette thèse soulève de nouvelles questions d'ordre théorique et pratique.

L'augmentation considérable du volume de données ainsi que de la taille des échantillons complexifie la phase d'optimisation des algorithmes d'apprentissage, nécessitant la minimisation d'une fonction de perte. La descente de gradient stochastique (SGD) et ses variantes à réduction de variance (SAGA, SVRG, MISO) sont largement utilisées pour résoudre ces problèmes. En pratique, ces méthodes sont accélérées en calculant des gradients stochastiques sur un "mini-batch" : un petit groupe d'échantillons tiré aléatoirement. En effet, les récentes améliorations technologiques permettant la parallélisation de ces calculs ont généralisé l'utilisation des mini-batchs.Dans cette thèse, nous nous intéressons à l'étude d'algorithmes du gradient stochastique à variance réduite en essayant d'en trouver les hyperparamètres optimaux: taille du pas et du mini-batch. Cette étude nous permet de donner des résultats de convergence interpolant entre celui des méthodes stochastiques tirant un seul échantillon par itération et la descente de gradient dite "full-batch" utilisant l'ensemble des échantillons disponibles à chaque itération. Notre analyse se base sur la constante de régularité moyenne, outil fondamental de notre analyse, qui permet de mesurer la régularité de la fonction aléatoire dont le gradient est calculé.Nous étudions un autre type d'algorithmes d'optimisation : les méthodes "sketch-and-project". Ces dernières peuvent être utilisées lorsque le problème d'apprentissage est équivalent à la résolution d'un système linéaire. C'est par exemple le cas des moindres carrés ou de la régression ridge. Nous analysons ici des variantes de cette méthode qui utilisent différentes stratégies de momentum et d'accélération. L'efficacité de ces méthodes dépend de la stratégie de "sketching" utilisée pour compresser l'information du système à résoudre, et ce, à chaque itération. Enfin, nous montrons que ces méthodes peuvent aussi être étendues à d'autres problèmes d'analyse numérique. En effet, l'extension des méthodes de sketch-and-project aux méthodes de direction alternée implicite (ADI) permet de les appliquer en grande dimension lorsque les solveurs classiques s'avèrent trop lents
The considerable increase in the number of data and features complicates the learning phase requiring the minimization of a loss function. Stochastic gradient descent (SGD) and variance reduction variants (SAGA, SVRG, MISO) are widely used to solve this problem. In practice, these methods are accelerated by computing these stochastic gradients on a "mini-batch": a small group of samples randomly drawn.Indeed, recent technological improvements allowing the parallelization of these calculations have generalized the use of mini-batches.In this thesis, we are interested in the study of variants of stochastic gradient algorithms with reduced variance by trying to find the optimal hyperparameters: step and mini-batch size. Our study allows us to give convergence results interpolating between stochastic methods drawing a single sample per iteration and the so-called "full-batch" gradient descent using all samples at each iteration. Our analysis is based on the expected smoothness constant which allows to capture the regularity of the random function whose gradient is calculated.We study another class of optimization algorithms: the "sketch-and-project" methods. These methods can also be applied as soon as the learning problem boils down to solving a linear system. This is the case of ridge regression. We analyze here variants of this method that use different strategies of momentum and acceleration. These methods also depend on the sketching strategy used to compress the information of the system to be solved at each iteration. Finally, we show that these methods can also be extended to numerical analysis problems. Indeed, the extension of sketch-and-project methods to Alternating-Direction Implicit (ADI) methods allows to apply them to large-scale problems, when the so-called "direct" solvers are too slow

Les travaux de cette thèse se situent à l’interface de deux thématiques de l'apprentissage automatique : l’apprentissage de préférences d'une part, et l’apprentissage par renforcement de l'autre. La première consiste à percoler différents classements d’un même ensemble d’objets afin d’en extraire un ordre général, la seconde à identifier séquentiellement une stratégie optimale en observant des récompenses sanctionnant chaque action essayée. La structure de la thèse suit ce découpage thématique. En première partie, le paradigme de minimisation du risque empirique est utilisé à des fins d'ordonnancement. Partant du problème d’apprentissage supervisé de règles d’ordonnancement à partir de données étiquetées de façon binaire, une extension est proposée au cas où les étiquettes prennent des valeurs continues. Les critères de performance usuels dans le cas binaire, à savoir la courbe caractéristique de l’opérateur de réception (COR) et l’aire sous la courbe COR (ASC), sont étendus au cas continu : les métriques COR intégrée (CORI) et ASC intégrée (ASCI) sont introduites à cet effet. Le second problème d'ordonnancement étudié est celui de l'agrégation de classements à travers l'identification du consensus de Kemeny. En particulier, une relaxation au problème plus général de la réduction de la dimensionnalité dans l'espace des distributions sur le groupe symétrique est formulée à l'aide d'outils mathématiques empruntés à la théorie du transport optimal. La seconde partie de cette thèse s'intéresse à l'apprentissage par renforcement. Des problèmes de bandit manchot sont analysés dans des contextes où la performance moyenne n'est pas pertinente et où la gestion du risque prévaut. Enfin, le problème plus général de l'apprentissage par renforcement distributionnel, dans lequel le décideur cherche à connaître l'entière distribution de sa performance et non pas uniquement sa valeur moyenne, est considéré. De nouveaux opérateurs de programmation dynamique ainsi que leurs pendants atomiques mènent à de nouveaux algorithmes stochastiques distributionnels
This thesis divides into two parts: the first part is on ranking and the second on risk-aware reinforcement learning. While binary classification is the flagship application of empirical risk minimization (ERM), the main paradigm of machine learning, more challenging problems such as bipartite ranking can also be expressed through that setup. In bipartite ranking, the goal is to order, by means of scoring methods, all the elements of some feature space based on a training dataset composed of feature vectors with their binary labels. This thesis extends this setting to the continuous ranking problem, a variant where the labels are taking continuous values instead of being simply binary. The analysis of ranking data, initiated in the 18th century in the context of elections, has led to another ranking problem using ERM, namely ranking aggregation and more precisely the Kemeny's consensus approach. From a training dataset made of ranking data, such as permutations or pairwise comparisons, the goal is to find the single "median permutation" that best corresponds to a consensus order. We present a less drastic dimensionality reduction approach where a distribution on rankings is approximated by a simpler distribution, which is not necessarily reduced to a Dirac mass as in ranking aggregation.For that purpose, we rely on mathematical tools from the theory of optimal transport such as Wasserstein metrics. The second part of this thesis focuses on risk-aware versions of the stochastic multi-armed bandit problem and of reinforcement learning (RL), where an agent is interacting with a dynamic environment by taking actions and receiving rewards, the objective being to maximize the total payoff. In particular, a novel atomic distributional RL approach is provided: the distribution of the total payoff is approximated by particles that correspond to trimmed means

La détection de communautés sur des graphes, la récupération de phase, le clustering signé, la synchronisation angulaire, le problème de la coupe maximale, la sparse PCA, ou encore le single index model, sont des problèmes classiques dans le domaine de l'apprentissage statistique. Au premier abord, ces problèmes semblent très dissemblables, impliquant différents types de données et poursuivant des objectifs distincts. Cependant, la littérature récente révèle qu'ils partagent un point commun : ils peuvent tous être formulés sous la forme de problèmes d'optimisation semi-définie positive (SDP). En utilisant cette modélisation, il devient possible de les aborder du point de vue classique du machine learning, en se basant sur la minimisation du risque empirique (ERM) et en utilisant la fonction de perte la plus élémentaire: la fonction de perte linéaire. Cela ouvre la voie à l'exploitation de la vaste littérature liée à la minimisation du risque, permettant ainsi d'obtenir des bornes d'estimation et de développer des algorithmes pour résoudre ces problèmes. L'objectif de cette thèse est de présenter une méthodologie unifiée pour obtenir les propriétés statistiques de procédures classiques en machine learning basées sur la fonction de perte linéaire. Cela s'applique notamment aux procédures SDP, que nous considérons comme des procédures ERM. L'adoption d'un “point de vue machine learning” nous permet d'aller plus loin en introduisant d'autres estimateurs performants pour relever deux défis majeurs en apprentissage statistique : la parcimonie et la robustesse face à la contamination adversaire et aux données à distribution à queue lourde. Nous abordons le problème des données parcimonieuses en proposant une version régularisée de l'estimateur ERM. Ensuite, nous nous attaquons au problème de la robustesse en introduisant un estimateur basé sur le principe de la "Médiane des Moyennes" (MOM), que nous nommons l'estimateur minmax MOM. Cet estimateur permet de faire face au problème de la robustesse et peut être utilisé avec n'importe quelle fonction de perte, y compris la fonction de perte linéaire. Nous présentons également une version régularisée de l'estimateur minmax MOM. Pour chacun de ces estimateurs, nous sommes en mesure de fournir un “excès de risque” ainsi que des bornes d'estimation, en utilisant deux outils clés : les points fixes de complexité locale et les équations de courbure de la fonction d'excès de risque. Afin d'illustrer la pertinence de notre approche, nous appliquons notre méthodologie à cinq problèmes classiques en machine learning, pour lesquels nous améliorons l'état de l'art
Community detection, phase recovery, signed clustering, angular group synchronization, Maxcut, sparse PCA, the single index model, and the list goes on, are all classical topics within the field of machine learning and statistics. At first glance, they are pretty different problems with different types of data and different goals. However, the literature of recent years shows that they do have one thing in common: they all are amenable to Semi-Definite Programming (SDP). And because they are amenable to SDP, we can go further and recast them in the classical machine learning framework of risk minimization, and this with the simplest possible loss function: the linear loss function. This, in turn, opens up the opportunity to leverage the vast literature related to risk minimization to derive excess risk and estimation bounds as well as algorithms to unravel these problems. The aim of this work is to propose a unified methodology to obtain statistical properties of classical machine learning procedures based on the linear loss function, which corresponds, for example, to the case of SDP procedures that we look as ERM procedures. Embracing a machine learning view point allows us to go into greater depth and introduce other estimators which are effective in handling two key challenges within statistical learning: sparsity, and robustness to adversarial contamination and heavy-tailed data. We attack the structural learning problem by proposing a regularized version of the ERM estimator. We then turn to the robustness problem and introduce an estimator based on the median of means (MOM) principle, which we call the minmax MOM estimator. This latter estimator addresses the problem of robustness and can be constructed whatever the loss function, including the linear loss function. We also present a regularized version of the minmax MOM estimator. For each of those estimators we are able to provide excess risk and estimation bounds, which are derived from two key tools: local complexity fixed points and curvature equations of the excess risk function. To illustrate the relevance of our approach, we apply our methodology to five classical problems within the frame of statistical learning, for which we improve the state-of-the-art results