Academic literature on the topic 'Algorithmes de Newton stochastiques'

Le développement des capteurs satellitaires d'observation des traceurs géophysiques à la surface de l'océan et les algorithmes de traitement associés ont connu un essor important au cours des vingt dernières années. Les différents capteurs satellitaires disponibles présentent des résolutions spatiales et temporelles différentes ainsi que différents niveaux de sensibilité à la couverture nuageuse. Dans le cas des images de température de surface de la mer, ceci se traduit notamment par de forts taux de données manquantes dans les observations de très haute-résolution (de l'ordre de 1kmx1km) contrairement aux observations de basse-résolution (de l'ordre de 25kmx25km). Il existe donc un enjeu fort pour exploiter conjointement les différentes sources d'information disponibles. Dans ce contexte, nous proposons un nouveau modèle stochastique de super-résolution basé sur une augmentation réaliste de l'information texturale des images. L'originalité de ce modèle réside dans la formulation d'a priori stochastiques sur la géométrie des images, qui sont caractéristiques des textures associées aux champs géophysiques à la surface de l'océan. Formellement, ce modèle consiste à modéliser les lignes de niveau de l'image comme des réalisations de marches aléatoires. Ce modèle stochastique s'étend naturellement à la simulation d'images haute-résolution à partir d'une observation basse-résolution. Cet article décrit la formulation mathématique du modèle proposé, ses caractéristiques théoriques ainsi que le schéma numérique mis en oeuvre pour la super-résolution d'images texturées. L'application à la simulation haute-résolution de champs de température de surface de la mer dans une région active de l'océan (courant des Aiguilles) démontre sa pertinence dans le contexte applicatif de la télédétection satellitaire de l'océan. Nous en discutons également les principales contributions ainsi que les différentes extensions possibles.

International audience We construct and study an embedded weighted balanced graph in $\mathbb{R}^{n+1}$ parametrized by a strictly increasing sequence of $n$ coprime numbers $\{ i_1, \ldots, i_n\}$, called the $\textit{tropical secant surface graph}$. We identify it with the tropicalization of a surface in $\mathbb{C}^{n+1}$ parametrized by binomials. Using this graph, we construct the tropicalization of the first secant variety of a monomial projective curve with exponent vector $(0, i_1, \ldots, i_n)$, which can be described by a balanced graph called the $\textit{tropical secant graph}$. The combinatorics involved in computing the degree of this classical secant variety is non-trivial. One earlier approach to this is due to K. Ranestad. Using techniques from tropical geometry, we give algorithms to effectively compute this degree (as well as its multidegree) and the Newton polytope of the first secant variety of any given monomial curve in $\mathbb{P}^4$. On construit et on étude un graphe plongé dans $\mathbb{R}^{n+1}$ paramétrisé par une suite strictement croissante de $n$ nombres entiers $\{ i_1, \ldots, i_n\}$, premiers entre eux. Ce graphe s'appelle $\textit{graphe tropical surface sécante}$. On montre que ce graphe est la tropicalisation d'une surface dans $\mathbb{C}^{n+1}$ paramétrisé par des binômes. On utilise ce graphe pour construire la tropicalisation de la première sécante d'une courbe monomiale ayant comme vecteur d'exponents $(0, i_1, \ldots, i_n)$. On représente cette variété tropicale pour un graphe balancé (le $\textit{graphe tropical sécante}$). La combinatoire qu'on utilise pour le calcul du degré de ces variétés sécantes classiques n'est pas triviale, et a été developpée par K. Ranestad. En utilisant des techniques de la géométrie tropicale, on donne des algorithmes qui calculent le degré (même le multidegré) et le polytope de Newton de la première sécante d'une courbe monomiale de $\mathbb{P}^4$.

Avec le développement rapide des technologies et l'acquisition de données de plus en plus massives, les méthodes capables de traiter les données de manière séquentielle (en ligne) sont devenues indispensables. Parmi ces méthodes, les algorithmes de gradient stochastique se sont imposés pour estimer le minimiseur d'une fonction exprimée comme l'espérance d'une fonction aléatoire. Bien qu'ils soient devenus incontournables, ces algorithmes rencontrent des difficultés lorsque le problème est mal conditionné. Dans cette thèse, nous nous intéressons sur les algorithmes stochastiques du second ordre, tels que ceux de type Newton, et leurs applications à diverses problématiques statistiques et d'optimisation. Après avoir établi des bases théoriques et exposé les motivations qui nous amènent à explorer les algorithmes de Newton stochastiques, nous développons les différentes contributions de cette thèse. La première contribution concerne l'étude et le développement d'algorithmes de Newton stochastiques pour la régression linéaire ridge et la régression logistique ridge. Ces algorithmes sont basés sur la formule de Riccati (Sherman-Morrison) pour estimer récursivement l'inverse de la Hessienne. Comme l'acquisition de données massives s'accompagne généralement d'une contamination de ces dernières, on s'intéresse, dans une deuxième contribution, à l'estimation en ligne de la médiane géométrique, qui est un indicateur robuste, i.e. peu sensible à la présence de données atypiques. Plus précisément, nous proposons un nouvel estimateur de Newton stochastique pour estimer la médiane géométrique. Dans les deux premières contributions, les estimateurs des inverses de Hessienne sont construits à l'aide de la formule de Riccati, mais cela n'est possible que pour certaines fonctions. Ainsi, notre troisième contribution introduit une nouvelle méthode de type Robbins-Monro pour l'estimation en ligne de l'inverse de la Hessienne, nous permettant ensuite de développer des algorithmes de Newton stochastiques dits universels. Enfin, notre dernière contribution se focalise sur des algorithmes de type Full Adagrad, où la difficulté réside dans le fait que l'on a un pas adaptatif basé sur la racine carré de l'inverse de la variance du gradient. On propose donc un algorithme de type Robbins-Monro pour estimer cette matrice, nous permettant ainsi de proposer une approche récursive pour Full AdaGrad et sa version streaming, avec des coûts de calcul réduits. Pour tous les nouveaux estimateurs que nous proposons, nous établissons leurs vitesses de convergence ainsi que leur efficacité asymptotique. De plus, nous illustrons l'efficacité de ces algorithmes à l'aide de simulations numériques et en les appliquant à des données réelles
With the rapid development of technologies and the acquisition of big data, methods capable of processing data sequentially (online) have become indispensable. Among these methods, stochastic gradient algorithms have been established for estimating the minimizer of a function expressed as the expectation of a random function. Although they have become essential, these algorithms encounter difficulties when the problem is ill-conditioned. In this thesis, we focus on second-order stochastic algorithms, such as those of the Newton type, and their applications to various statistical and optimization problems. After establishing theoretical foundations and exposing the motivations that lead us to explore stochastic Newton algorithms, we develop the various contributions of this thesis. The first contribution concerns the study and development of stochastic Newton algorithms for ridge linear regression and ridge logistic regression. These algorithms are based on the Riccati formula (Sherman-Morrison) to recursively estimate the inverse of the Hessian. As the acquisition of big data is generally accompanied by a contamination of the latter, in a second contribution, we focus on the online estimation of the geometric median, which is a robust indicator, i.e., not very sensitive to the presence of atypical data. More specifically, we propose a new stochastic Newton estimator to estimate the geometric median. In the first two contributions, the estimators of the Hessians' inverses are constructed using the Riccati formula, but this is only possible for certain functions. Thus, our third contribution introduces a new Robbins-Monro type method for online estimation of the Hessian's inverse, allowing us then to develop universal stochastic Newton algorithms. Finally, our last contribution focuses on Full Adagrad type algorithms, where the difficulty lies in the fact that there is an adaptive step based on the square root of the inverse of the gradient's covariance. We thus propose a Robbins-Monro type algorithm to estimate this matrix, allowing us to propose a recursive approach for Full AdaGrad and its streaming version, with reduced computational costs. For all the new estimators we propose, we establish their convergence rates as well as their asymptotic efficiency. Moreover, we illustrate the efficiency of these algorithms using numerical simulations and by applying them to real data

Ce document présente plusieurs méthodes de renormalisation utilisées dans l'étude des réseaux stochastiques. En premier lieu il s'agit d'analyser les limites de processus markoviens de sauts renormalisés en temps et en espace suivant une échelle d'Euler (type loi fonctionnelle des grands nombres). Plusieurs aspects sont détaillés: la question des limites non déterministe et ses conséquences, ainsi que le cas de la dimension infinie intervenant pour les processus de Markov à valeurs dans
les chaînes de caractères. L'étude des réseaux avec un grand nombre de noeuds (limite thermodynamique) ou avec des liens de capacité très grandes (Régime limite de Kelly) est discuté ainsi que les perspectives de ce type d'étude.
L'étude mathématique de plusieurs algorithmes distribués gérant des réseaux stochastiques est présentée. L'accent est mis sur les méthodes probabilistes utilisées dans un contexte qui n'est pas nécessairement probabiliste, elles permettent notamment d'étendre et de simplifier une partie des résultats connus dans ce domaine.

Cette these est composee de deux parties representant les etudes asymptotiques pour les deux classes d'algorithmes stochastiques (a pas decroissant et a pas constant). La premiere partie contient une etude asymptotique de second ordre des algorithmes stochastiques a pas decroissant et une comparaison des trois algorithmes : de newton, des moindres carres et de polyak (la moyennisation). La seconde partie presente des resultats sur les developpements en perturbations des algorithmes de poursuite a pas constant.

Cette these est consacree a l'etude des vitesses de convergence en loi et presque sures des algorithmes stochastiques a pas decroissants utilises pour la recherche des zeros (ou des minima) d'une fonction. Dans le premier chapitre, on etablit la vitesse de convergence en loi d'un algorithme faiblement excite conditionnellement a l'ensemble des trajectoires qui convergent vers une cible attractive, ainsi que la vitesse de convergence en loi des algorithmes de recuit simule. Les chapitres deux et trois concernent les proprietes presque sures des algorithmes faiblement excites (loi du logarithme itere, loi forte quadratique des grands nombres et theoreme de limite centrale presque sure). On montre dans le quatrieme chapitre que la methode de moyennisation des algorithmes, connue pour permettre la construction d'algorithmes asymptotiquement efficaces, permet egalement d'obtenir des algorithmes presque surement asymptotiquement efficaces. Enfin le cinquieme chapitre est consacre a l'etude des vitesses de convergence des estimateurs des moindres carres et du gradient pour les modeles lineaires. En particulier, un nouvel estimateur, calculable plus facilement que l'estimateur des moindres carres et possedant les memes proprietes asymptotiques optimales que ce dernier, est propose dans le cas des modeles ar(p)

Ce travail comporte deux aspects: theorique et pratique. L'aspect theorique consiste a etudier certains algorithmes stochastiques utilisables dans les techniques bayesiennes d'inversion. L'aspect pratique consiste a mettre en uvre ces algorithmes pour resoudre un probleme inverse en geomagnetisme. Le premier chapitre traite le probleme inverse dans le cas d'une plaque mince heterogene dans le sous-sol. Autrement dit, le probleme pose est d'essayer de retrouver les valeurs des conductances de cette plaque horizontale a l'aide des mesures de champs electrique et magnetique effectuees a la surface du sol. Dans le deuxieme chapitre, on utilise la methode de l'o. D. E. (ordinary differential equation) pour etudier des proprietes d'un algorithme utilise dans le premier chapitre. Dans le troisieme chapitre, on etudie la stabilite de cet algorithme a l'aide d'une methode de contraction. On trouve des conditions sous lesquelles l'algorithme converge. Le quatrieme chapitre traite le probleme inverse dans le cas d'une coupe verticale du terrain dont les resistivites ne varient que suivant les deux directions horizontale et verticale.

Dans cette thèse, des dynamiques markoviennes alternatives à la diffusion réversible usuelle sont considérées pour échantillonner une mesure de Gibbs dans le cadre d'un algorithme de recuit simulé. Le problème de la convergence, à température fixée, de ces processus vers leur mesure invariante amène à des questions d'hypocoercivité. Dans la mesure où les résultats antérieurs dans le domaine ne donnent pas d'asymptotiques précises du taux de convergence à basse température, de nouvelles méthodes pour obtenir de tels taux explicites sont proposées et étudiées, notamment sur les processus de Markov déterministes par morceaux. Enfin une condition optimale sur le schéma de température d'un recuit simulé basé sur le RTP complètement dégénéré est obtenue en dimension un
Some Markov dynamics are considered to sample Gibbs laws in the framework of the simulated annealing algorithm, as possible alternatives to the usual reversible diffusion. The problem of the convergence, at fixed temperature, of these processes toward their equilibrium leads to hypococercivity questions. Since the previous results in this field do not yield sharp asymptotics for the convergence rate at low temperature, new methods are investigated, in particular in the case of piecewise deterministic Markov processes. Finally an optimal condition is given for the cooling

Les algorithmes genetiques sont des algorithmes evolutifs introduits par john holland dans les annees 70. Ils sont utilises pour resoudre les problemes d'optimisation. Le travail realise dans cette these se concentre autour de l'idee de convergence dans ces algorithmes sur le plan theorique et pratique. Tout d'abord, deux modeles sont elabores dans le but d'acceder a une demonstration purement mathematique d'un theoreme enonce par holland, le theoreme des schemas, concernant les structures preservees lors d'un cycle de l'algorithme genetique. En ce qui concerne l'action de la selection, il faut utiliser les distributions de bernoulli afin d'arriver a un resultat en accord avec celui de holland. Le meme modele n'etant pas exploitable pour les autres operateurs, un modele dynamique plus classique est construit a l'aide des chaines de markov. Ce modele est utilise afin d'approcher le theoreme des schemas sous un autre angle, en utilisant une generalisation de la notion de schema. L'aspect pratique de la convergence est aussi etudie a l'aide d'un outil introduit par davidor : l'epistasie. La definition de celle-ci etant assez obscure au depart, une analyse en detail a ete faite, grace a une decomposition dans la base de walsh. Ce travail met en lumiere la signification profonde de l'epistasie et sa relation etroite avec une approximation lineaire. A l'aide des resultat theoriques demontres, qui permettent de calculer l'epistasie de maniere acceleree, une campagne de tests a ete menee sur divers aspects de la convergence et de la difficulte d'un probleme pour l'algorithme genetique. Une etude sur le choix de l'estimateur de l'epistasie permet de mettre en evidence l'importance des resultats obtenus pour une estimation efficace. Enfin, les relations entre epistasie et performance de l'operateur de croisement sont mises en lumiere.

Cette these traite de problemes de vision bas-niveau, lesquels entrent dans la classe des problemes inverses mal-poses au sens mathematique. Leur resolution est envisagee sous l'angle de l'approche bayesienne sur champ de markov. Specifiquement, nous etudions les algorithmes d'optimisation applicables a des fonctions d'energie semi-quadratiques, telles que rencontrees en vision bas-niveau (detection de contours, segmentation des textures, determination de mouvement ou stereovision). Ces energies sont definies sur un champ de markov couple. Notre premier objectif est de determiner des approches algorithmiques avantageuses selon les criteres de l'optimalite de la solution ; de la qualite de la restauration, des perspectives de parallelisation et de realisation materielle. Notre demarche consiste a considerer une tache simple: la restauration d'images avec prise en compte des discontinuites. Nous avons compare differents algorithmes dedies a cette tache, puis nous avons propose une methode stochastique, simple et parallelisable, que nous avons appelee relaxation quasi-statique (rqs). Le second objectif releve de l'implantation materielle optoelectronique. Nous proposons une architecture parallele de mise en uvre pour l'algorithme rqs. Celle-ci reflete la structure du champ de markov couple: elle est base sur l'operation conjuguee d'un reseau de resistance stochastique et d'un module binaire. Afin de demontrer la faisabilite de machines d'optimisation stochastique operant a cadence video, nous avons concu et teste un systeme realisant des calculs de monte-carlo sur le probleme du verre de spin. Ce systeme utilise un circuit integre cmos optoelectronique (collaboration avec l'ief, contrat dret n 92-139) et un generateur optique de figures de speckle