Academic literature on the topic 'Traces distribuées'

L'objectif de cette thèse est d'établir certaines bases théoriques, méthodologiques et pratiques d'une " sociologie assistée par ordinateur " des pratiques collectives distribuées (PCD). Le développement des nouvelles technologies de l'information et de la communication a mené à l'émergence de formes d'organisation dont les principales caractéristiques sont la forte distribution (spatiale et temporelle, mais aussi socio-cognitive) et l'utilisation prépondérante de moyens de communication médiés, qui laissent des " traces " persistantes de l'activité collective. Nos travaux portent sur l'exploitation de ces traces, et en particulier des traces d'interactions en langue naturelle, en tant que moyen d'analyse de l'activité sous-jacente du collectif, afin de mieux caractériser " ce qui se passe " dans le collectif. Les très grandes quantités de données disponibles nous poussent à chercher à développer des méthodes d'analyse automatisées capables de traiter les contenus langagiers de telles traces. Notre approche a consisté à 1) concevoir un modèle capable de représenter les interactions d'un collectif distribué et leurs relations avec l'activité du collectif, 2) évaluer l'utilité d'un tel modèle pour l'étude des PCD au travers d'une phase expérimentale et 3) étudier la faisabilité de l'automatisation des traitements requis par le modèle à l'aide de technologies d'apprentissage machine et de traitement du langage. Notre étude a plus particulièrement porté sur des données recueillies dans le collectif open-source Bugzilla<br>The aim of this thesis is to establish some of the theoretical, methodological and practical foundations of a “computer-supported sociology” of distributed collective practices (DCP). The development of new information and communication technologies lead to the emergence of organization forms which main characteristics are their large-scale distribution (spatial and temporal, but also socio-cognitive) and the central use of mediated communication channels, which leave persistent “traces” of collective activity. Our work focuses on exploiting these traces, especially traces of natural language interaction, as a mean of studying the underlying activity of the collective, in order to better study “what is going on” in the collective. The large amounts of data available lead us to attempt to elaborate methods relying on automated analyses and capable of handling the linguistic content of these traces. Our approach consisted in 1) designing a model capable of representing distributed collective interaction and the relations between such interactions and the collective's activity, 2) evaluating the usefulness of such model for the study of DCP through an experimental phase, and 3) studying the feasibility of automating the data processing needed by the model through use of machine learning and language processing technologies. Our study focused on data collected in the Bugzilla open-source collective

Le Cloud Computing a bouleversé la façon dont sont développés et déployées les logiciels. De nos jours, les applications Cloud sont conçues comme des systèmes distribués, en constante évolution, hébergés dans des data~center gérés par des tiers, et potentiellement même dispersés dans le monde entier. Ce changement de paradigme a également eu un impact considérable sur la façon dont les logiciels sont monitorés : les applications cloud se sont développées pour atteindre l'ordre de centaines de services, et les outils de monitoring ont rapidement rencontré des problèmes de mise à l'échelle. De plus, ces outils de monitoring doivent désormais également traiter les défaillances et les pannes inhérentes aux systèmes distribués, comme par exemple, les pannes partielles, les configurations incohérentes, les goulots d'étranglement ou même la vampirisation de ressources. Dans cette thèse, nous présentons une approche basée sur une nouvelle source de télémétrie qui s'est développée dans le domaine du monitoring des applications Cloud. En effet, en nous appuyant sur le récent standard OpenTelemetry, nous présentons un système qui convertit les données de "traces distribuées" en un graphe de propriétés hiérarchique. Grâce un tel modèle, il devient possible de mettre en évidence la topologie des applications, y compris la répartition sur les différentes machines des programmes, y compris sur plusieurs data-centers. L'objectif de ce modèle est donc d'exposer le comportement des fournisseurs de service Cloud aux développeurs qui maintiennent et optimisent leur application. Ensuite, nous présentons l'utilisation de ce modèle pour résoudre certains des défis majeurs des systèmes distribués~: la détection des communications inefficaces entre les services et l'anticipation des goulots d'étranglement. Nous abordons ces deux problèmes avec une approche basée sur la théorie des graphes. La composition inefficace des services est détectée avec le calcul de l'indice de hiérarchie de flux. Une plateforme Proof-of-Concept représentant un cluster Kubernetes zonal pourvu d'une instrumentation OpenTelemetry est utilisée pour créer et détecter les compositions de services inefficaces. Dans une dernière partie, nous abordons la problématique de la détection des goulots d'étranglement dans un réseau de services au travers de l'analyse de centralité du graphe hiérarchique précédent. Ce travail s'appuie sur un programme de simulation qui a aussi été instrumenté avec OpenTelemetry afin d'émettre des données de traçage. Ces traces ont été converties en un graphe de propriétés hiérarchique et une étude sur les algorithmes de centralité a permis d'identifier les points d'étranglement. Les deux approches présentées dans cette thèse utilisent et exploitent l'état de l'art en matière de monitoring des applications Cloud. Elles proposent une nouvelle utilisation des données de "distributed tracing" pas uniquement pour l'investigation et le débogage, mais pour la détection et la réaction automatiques sur un système réel<br>Cloud Computing has changed how software is now developed and deployed. Nowadays, Cloud applications are designed as rapidly evolving distributed systems that are hosted in third-party data centre and potentially scattered around the globe. This shift of paradigms also had a considerable impact on how software is monitored: Cloud application have been growing to reach the scale of hundreds of services, and state-of-the-art monitoring quickly faced scaling issues. In addition, monitoring tools also now have to address distributed systems failures, like partial failures, configuration inconsistencies, networking bottlenecks or even noisy neighbours. In this thesis we present an approach based on a new source of telemetry that has been growing in the realm of Cloud application monitoring. Indeed, by leveraging the recent OpenTelemetry standard, we present a system that converts "distributed tracing" data in a hierarchical property graph. With such a model, it becomes possible to highlight the actual topology of Cloud applications like the physical distribution of its workloads in multiple data centres. The goal of this model is to exhibit the behaviour of Cloud Providers to the developers maintaining and optimizing their application. Then, we present how this model can be used to solve some prominent distributed systems challenges: the detection of inefficient communications and the anticipation of hot points in a network of services. We tackle both of these problems with a graph-theory approach. Inefficient composition of services is detected with the computation of the Flow Hierarchy index. A Proof of Concept is presented based on a real OpenTelemetry instrumentation of a Zonal Kubernetes Cluster. In, a last part we address the concern of hot point detection in a network of services through the perspective of graph centrality analysis. This work is supported by a simulation program that has been instrumented with OpenTelemetry in order to emit tracing data. These traces have been converted in a hierarchical property graph and a study on the centrality algorithms allowed to identify choke points. Both of the approaches presented in this thesis comply with state-of-the-art Cloud application monitoring. They propose a new usage of Distributed Tracing not only for investigation and debugging but for automatic detection and reaction on a full system

Dans cette thèse, nous étudions des algorithmes pour le monitoring des traces d’activité à grande échelle. Le monitoring est une aptitude clé dans plusieurs domaines, permettant d’extraire de la valeur des données ou d’améliorer les performances d’un système. Nous explorons d’abord le monitoring de données temporelles. Nous présentons un nouveau type de jointure sur des intervalles, qui inclut des fonctions de score caractérisant le degré de satisfaction de prédicats temporels. Nous étudions ces jointures dans le contexte du batch processing (traitement par lots). Nous formalisons la Ranked Temporal Join (RTJ), une jointure qui combine des collections d’intervalles et retourne les k meilleurs résultats. Nous montrons comment exploiter les propriétés des prédicats temporels et de la sémantique de score associée afin de concevoir TKIJ , une méthode d’évaluation de requête distribuée basée sur Map-Reduce. Nos expériences sur des données synthétiques et réelles montrent que TKIJ est plus performant que les techniques de l’état de l’art et démontre de bonnes performances sur des requêtes RTJ n-aires sur des données temporelles. Nous proposons également une étude préliminaire afin d’étendre nos travaux sur TKIJ au domaine du stream processing (traitement de flots). Nous explorons ensuite le monitoring dans le crowdsourcing (production participative). Nous soutenons la nécessité d’intégrer la motivation des travailleurs dans le processus d’affectation des tâches. Nous proposons d’étudier une approche adaptative, qui évalue la motivation des travailleurs lors de l’exécution des tâches et l’exploite afin d’améliorer l’affectation de tâches qui est réalisée de manière itérative. Nous explorons une première variante nommée Individual Task Assignment (Ita), dans laquelle les tâches sont affectées individuellement, un travailleur à la fois. Nous modélisons Ita et montrons que ce problème est NP-Difficile. Nous proposons trois méthodes d’affectation de tâches qui poursuivent différents objectifs. Nos expériences en ligne étudient l’impact de chaque méthode sur la performance globale dans l’exécution de tâches. Nous observons que différentes stratégies sont dominantes sur les différentes dimensions de performance. En particulier, la méthode affectant des tâches aléatoires et correspondant aux intérêts d’un travailleur donne le meilleur flux d’exécution de tâches. La méthode affectant des tâches correspondant au compromis d’un travailleur entre diversité et niveau de rémunération des tâches donne le meilleur niveau de qualité. Nos expériences confirment l’utilité d’une affectation de tâches adaptative et tenant compte de la motivation. Nous étudions une deuxième variante nommée Holistic Task Assignment (Hta), où les tâches sont affectées à tous les travailleurs disponibles, de manière holistique. Nous modélisons Hta et montrons que ce problème est NP-Difficile et MaxSNP-Difficile. Nous développons des algorithmes d’approximation pour Hta. Nous menons des expériences sur des données synthétiques pour évaluer l’efficacité de nos algorithmes. Nous conduisons également des expériences en ligne et comparons notre approche avec d’autres stratégies non adaptatives. Nous observons que notre approche présente le meilleur compromis sur les différentes dimensions de performance<br>In this thesis, we study scalable algorithms for monitoring activity traces. In several domains, monitoring is a key ability to extract value from data and improve a system. This thesis aims to design algorithms for monitoring two kinds of activity traces. First, we investigate temporal data monitoring. We introduce a new kind of interval join, that features scoring functions reflecting the degree of satisfaction of temporal predicates. We study these joins in the context of batch processing: we formalize Ranked Temporal Join (RTJ), that combine collections of intervals and return the k best results. We show how to exploit the nature of temporal predicates and the properties of their associated scored semantics to design TKIJ , an efficient query evaluation approach on a distributed Map-Reduce architecture. Our extensive experiments on synthetic and real datasets show that TKIJ outperforms state-of-the-art competitors and provides very good performance for n-ary RTJ queries on temporal data. We also propose a preliminary study to extend our work on TKIJ to stream processing. Second, we investigate monitoring in crowdsourcing. We advocate the need to incorporate motivation in task assignment. We propose to study an adaptive approach, that captures workers’ motivation during task completion and use it to revise task assignment accordingly across iterations. We study two variants of motivation-aware task assignment: Individual Task Assignment (Ita) and Holistic Task Assignment (Hta). First, we investigate Ita, where we assign tasks to workers individually, one worker at a time. We model Ita and show it is NP-Hard. We design three task assignment strategies that exploit various objectives. Our live experiments study the impact of each strategy on overall performance. We find that different strategies prevail for different performance dimensions. In particular, the strategy that assigns random and relevant tasks offers the best task throughput and the strategy that assigns tasks that best match a worker’s compromise between task diversity and task payment has the best outcome quality. Our experiments confirm the need for adaptive motivation-aware task assignment. Then, we study Hta, where we assign tasks to all available workers, holistically. We model Hta and show it is both NP-Hard and MaxSNP-Hard. We develop efficient approximation algorithms with provable guarantees. We conduct offline experiments to verify the efficiency of our algorithms. We also conduct online experiments with real workers and compare our approach with various non-adaptive assignment strategies. We find that our approach offers the best compromise between performance dimensions thereby assessing the need for adaptability

Le monitoring consiste a generer des informations de trace durant une execution d'un programme parallele pour detecter les problemes de performances. La quantite d'information generee par de tres grosses machines paralleles rend les outils d'analyse classiques inutilisables. Cette these resout ce probleme en distribuant l'information de trace sur plusieurs fichiers contenus sur plusieurs sites, les fichiers pouvant etre lus en parallele. La manipulation de ces fichiers afin d'obtenir une information coherente est la base d'un logiciel client-serveur grace auquel des clients demandent de l'information deja filtree sur une execution. Cette architecture client serveur est extensible (l'utilisateur peut creer ses propres clients) et modulable. Nous avons, d'autre part, cree deja plusieurs clients novateurs: client hierarchique, sonore, recherche automatique de problemes, interface filtrante aux outils classique, integration d'outil 3D

L'auteur n'a pas fourni de résumé en français<br>High Performance Computing is preparing the era of the transition from Petascale to Exascale. Distributed computing systems are already facing new scalability problems due to the increasing number of computing resources to manage. It is now necessary to study in depth these systems and comprehend their behaviors, strengths and weaknesses to better build the next generation.The complexity of managing users applications on the resources conducted to the analysis of the workload the platform has to support, this to provide them an efficient service.The need for workload comprehension has lead to the collection of traces from production systems and to the proposal of a standard workload format. These contributions enabled the study of numerous of these traces. This also lead to the construction of several models, based on the statistical analysis of the different workloads from the collection.Until recently, existing workload traces did not enabled researchers to study the consumption of resources by the jobs in a temporal way. This is now changing with the need for characterization of jobs consumption patterns.In the first part of this thesis we propose a study of existing workload traces. Then we contribute with an observation of cluster workloads with the consideration of the jobs resource consumptions over time. This highlights specific and unattended patterns in the usage of resources from users.Finally, we propose an extension of the former standard workload format that enables to add such temporal consumptions without loosing the benefit of the existing works.Experimental approaches based on workload models have also served the goal of distributed systems evaluation. Existing models describe the average behavior of observed systems.However, although the study of average behaviors is essential for the understanding of distributed systems, the study of critical cases and particular scenarios is also necessary. This study would give a more complete view and understanding of the performance of the resources and jobs management. In the second part of this thesis we propose an experimental method for performance evaluation of distributed systems based on the replay of production workload trace extracts. These extracts, replaced in their original context, enable to experiment the change of configuration of the system in an online workload and observe the different configurations results. Our technical contribution in this experimental approach is twofold. We propose a first tool to construct the environment in which the experimentation will take place, then we propose a second set of tools that automatize the experiment setup and that replay the trace extract within its original context.Finally, these contributions conducted together, enable to gain a better knowledge of HPC platforms. As future works, the approach proposed in this thesis will serve as a basis to further study larger infrastructures

High Performance Computing is preparing the era of the transition from Petascale to Exascale. Distributed computing systems are already facing new scalability problems due to the increasing number of computing resources to manage. It is now necessary to study in depth these systems and comprehend their behaviors, strengths and weaknesses to better build the next generation. The complexity of managing users applications on the resources conducted to the analysis of the workload the platform has to support, this to provide them an efficient service. The need for workload comprehension has led to the collection of traces from production systems and to the proposal of a standard workload format. These contributions enabled the study of numerous of these traces. This also led to the construction of several models, based on the statistical analysis of the different workloads from the collection. Until recently, existing workload traces did not enabled researchers to study the consumption of resources by the jobs in a temporal way. This is now changing with the need for characterization of jobs consumption patterns. In the first part of this thesis we propose a study of existing workload traces. Then we contribute with an observation of cluster workloads with the consideration of the jobs resource consumptions over time. This highlights specific and unattended patterns in the usage of resources from users. Finally, we propose an extension of the former standard workload format that enables to add such temporal consumptions without loosing the benefit of the existing works. Experimental approaches based on workload models have also served the goal of distributed systems evaluation. Existing models describe the average behavior of observed systems. However, although the study of average behaviors is essential for the understanding of distributed systems, the study of critical cases and particular scenarios is also necessary. This study would give a more complete view and under- standing of the performance of resource and job management. In the second part of this thesis we propose an experimental method for performance evaluation of distributed systems based on the replay of production workload trace extracts. These extracts, replaced in their original context, enable to experiment the change of configuration of the system in an online workload and observe the different configurations results. Our technical contribution in this experimental approach is twofold. We propose a first tool to construct the environment in which the experi- mentation will take place, then we propose a second set of tools that automatize the experiment setup and that replay the trace extract within its original context. Finally, these contributions conducted together, enable to gain a better knowledge of HPC platforms. As future works, the approach proposed in this thesis will serve as a basis to further study larger infrastructures.

Cette thèse se place dans le cadre de la vérification automatique des systèmes distribués. Elle aborde le problème de la spécification pour de tels systèmes, qui consiste à définir un formalisme logique pour décrire des propriétés des comportements de systèmes. On en attend qu'il soit facile d'exprimer les propriétés courantes (accessibilité, sûreté, exclusion mutuelle, vivacité, etc.). On souhaite par ailleurs que la vérification de ces propriétés soient aisée. Il s'agit donc de trouver un compromis entre pouvoir d'expression et simplicité d'utilisation.<br /><br />On s'intéresse ensuite à la modélisation des systèmes concurrents, en recherchant à nouveau un compromis entre réalisme des modèles et facilité de vérification. Les modèles étudiés dans ce travail sont les automates asynchrones, qui modélisent des processus concurrents communiquant par mémoire partagée.<br /><br />La thèse s'intéresse enfin au problème de la synthèse de contrôleur. Étant donné un système spécifié de façon incomplète, donc non-déterministe, en interaction avec un environnement, il s'agit de calculer de manière automatique comment restreindre son comportement afin qu'il vérifie une spécification donnée (quelles que soient les actions de l'environnement). Ce problème se formule en<br />termes de jeux. Dans le cas distribué, les jeux ont naturellement plusieurs joueurs. Dans ce cadre, la plupart des résultats sont négatifs : il est indécidable de savoir si on peut ou non contrôler un tel système. Cette thèse prouve que certaines propriétés de l'architecture de communication garantissent décidabilité pour toute spécification régulière.

Actuellement, les entreprises, les organisations et les fournisseurs de services ont besoin de publier leurs services et de les rendre accessibles à leurs clients. Les clients ont besoin de découvrir les services et de choisir ceux qui répondent à leurs exigences. Dans ce contexte, il s'agit de décrire les services le plus précisément possible afin qu'un client puisse trouver le service désiré. La description de services par des propriétés devient donc importante pour l'interrogation et la sélection de services et doit être prise en compte dans l'étape de l'indexation et de la publication. Les propriétés de services peuvent être utilisées par les fournisseurs (entreprises, organisations, etc. ) afin de publier leurs services. D'autre part, pour rechercher un service, les clients doivent disposer des approches leur permettent de découvrir les services en interrogeant leurs propriétés et en donnant la valeur désirée de chacune d'entre elles. Beaucoup d'approches ont été réalisées dans ce contexte, citons par exemple ODP trader et OMG CORBA trader, UDDI de Web services, etc. Dans cette thèse, nous proposons un modèle de méta données pour la description d'un service. Il peut être utilisé par les clients/serveurs pour publier/interroger un service. Il comporte trois niveaux de description : propriétés statiques, comportement et interface. Nous utilisons les automates pour décrire le comportement d'un service. Nous développons un trader en utilisant les ontologies. Il permet la recherche de services d'une manière flexible en utilisant la logique du premier ordre. Nous étendons ce trader pour adresser le comportement du service ainsi que son interface. À partir de cette description de service, sous plusieurs vues, nous pouvons récupérer des informations sur les propriétés, l'interface et le comportement sur les services enregistrés. Ceci nous permet alors de composer des services et d'en créer de nouveaux. Dans ce contexte, nous proposons une approche sur la composition de services qui permet de combiner et d'assembler plusieurs services pour satisfaire les demandes de clients. Le trader étendu comporte aussi une approche pour adapter les services selon les exigences de clients<br>Currently, the companies, the organizations and the services providers need to publish their services and to make them available to their clients. The clients need to discover the services and to select those that satisfy their requirements. In this context, services must be described as precisely as possible so that a client can find the service desired. The service description by properties becomes important to query and to select services and it must be taken into account in the indexing and publication stage. The providers (companies, organizations, etc. ) can use the services properties to publish their services. On the other side the clients, to discover a service, must dispose approaches that allow them to discover services by querying their properties and by assigning desired values for each property. In this context, many approaches have been developed like ODP trader and OMG CORBA, UDDI of services Web, etc. In this dissertation, we propose a meta data model for service description. It can be used by clients/servers to query/publish a service. It contains three levels of description : static properties, behavior and interface. We use automata to describe the service behavior. We design and implement a trader based on ontologies. It permits the service discovery in a flexible and expressive way by using the logic of the first order. We extend this trader to address the behavior of a service and its interface. Based on this description, under several views, we can get information about the properties, the interface and the behavior on the services stored. This allows us to compose services in order to create novel ones. In this context, we propose an approach for services composition that allows us to combine and collect service to satisfy the client's requests. The trader extended comprises also an approach for adapting service to the client's requirements

Ensuring the health of a distributed system with frequent updates is complicated. Many tools exist to improve developers’ comprehension and productivity in this task, but room for improvement exists. Based on previous research within request flow comparison, we propose a system design for using distributed tracing data in the process of reviewing code changes. The design is evaluated from the perspective of system performance and developer productivity using a critical production system at a large software company. The results show that the design has minimal negative performance implications while providing a useful service to the developers. They also show a positive but statistically insignificant effect on productivity during the evaluation period. To a large extent, developers adopted the tool into their workflow to explore and improve system understanding. This use case deviates from the design target of providing a method to compare changes between software versions. We conclude that the design is successful, but more optimization of functionality and a higher rate of adoption would likely improve the effects the tool could have.<br>Att säkerställa stabilitet i ett distribuerat system med hög frekvens av uppdateringar är komplicerat. I dagsläget finns många verktyg som hjälper utvecklare i deras förståelse och produktivitet relaterat till den här typen av problem, dock finns fortfarande möjliga förbättringar. Baserat på tidigare forskning inom teknik för att jämföra protokollförfrågningsflöden mellan mjukvaruversioner så föreslår vi en systemdesign för ett nytt verktyg. Designen använder sig av data från distribuerad tracing för att förbättra arbetsflödet relaterat till kodgranskning. Designen utvärderas både prestanda och produktivitetsmässigt under utvecklingen av ett affärskritiskt produktionssystem på ett stort mjukvaruföretag. Resultaten visar att designen har mycket låg inverkan på prestandan av systemet där det införs, samtidigt som den tillhandahåller ett användbart verktyg till utvecklarna. Resultaten visar också på en positiv men statistiskt insignifikant effekt på utvecklarnas produktivitet. Utvecklarna använde primärt verktyget för att utforska och förbättra sin egen förståelse av systemet som helhet. Detta användningsområde avvek från det ursprungliga målet med designen, vilket var att tillhandahålla en tjänst för att jämföra mjukvaruversioner med varandra. Från resultaten drar vi slutsatsen att designen som helhet var lyckad, men mer optimering av funktionalitet och mer effektivt införande av verktyget i arbetsflödet hade troligtvis resulterat i större positiva effekter på organisationen.

The process of forming a long-lasting memory may involve the selective linking together of neural representations stored widely throughout neocortex. The successful binding together of these disparate representations may require their coordinated reactivation while the cortex is 'offline' i.e., not engaged in processing external stimuli. This hypothesis was tested through simultaneous extracellular recording of 28-99 cells over four sites in the macaque neocortex. The recordings were conducted as the monkey performed repetitive reaching tasks, and in rest periods immediately preceding and following the task. In motor, somatosensory and parietal cortex (but not prefrontal cortex), the task-related neural activity patterns within and across regions were similar to the activity patterns seen afterwards, during the rest epoch. Moreover, the temporal sequences of neural ensemble activity that occurred during task performance were preserved in subsequent rest. The preservation of correlation structure and temporal sequencing are consistent with the reactivation of a memory trace and not merely the persistence of a fixed activity pattern. The observed memory trace reactivation was coordinated over large expanses of neocortex, confirming a fundamental tenet of the trace replay theory of memory consolidation.