Добірка наукової літератури з теми "Infrastructure informatique distribuée"

Les botnets, ou réseaux d’ordinateurs compromis par des pirates informatiques, représentent à l’heure actuelle la menace criminelle la plus sérieuse, servant de support à la fraude bancaire, aux attaques distribuées par déni de service (DDoS), ou encore à la fraude au clic. Au cours des dernières années, deux approches distinctes ont été privilégiées pour combattre ces botnets : d’une part, les services de police ont procédé à l’arrestation fortement médiatisée de quelques pirates de haut vol et au démantèlement de leurs infrastructures de commandement et de contrôle. D’autre part, dans certains pays, et notamment au Japon, en Corée du Sud, en Australie, mais aussi en Hollande ou en Allemagne, les gouvernements ont favorisé l’émergence de partenariats public-privé impliquant des fournisseurs d’accès et des entreprises de sécurité informatique. Dans une démarche régulatoire, ces initiatives visent à identifier les ordinateurs infectés, à notifier leurs propriétaires et à aider ces derniers à nettoyer leur machine. Cet article a donc pour objectif de comparer les deux approches (judiciarisation vs régulation), en essayant notamment d’évaluer les effets produits par chacune d’elles sur le niveau général de sécurité de l’écosystème numérique.

The revolution in next-generation DNA sequencing technologies is leading to explosive data growth in genomics, posing a significant challenge to the computing infrastructure and software algorithms for genomics analysis. Various big data technologies have been explored to scale up/out current bioinformatics solutions to mine the big genomics data. In this review, we survey some of these exciting developments in the applications of parallel distributed computing and special hardware to genomics. We comment on the pros and cons of each strategy in the context of ease of development, robustness, scalability, and efficiency. Although this review is written for an audience from the genomics and bioinformatics fields, it may also be informative for the audience of computer science with interests in genomics applications.

In the current era, blockchain has approximately 30 consensus algorithms. This architecturally distributed database stores data in an encrypted form with multiple checks, including elliptical curve cryptography (ECC) and Merkle hash tree. Additionally, many researchers aim to implement a public key infrastructure (PKI) cryptography mechanism to boost the security of blockchain-based data management. However, the issue is that many of these are required for advanced cryptographic protocols. For all consensus protocols, security features are required to be discussed because these consensus algorithms have recently been attacked by address resolution protocols (ARP), distributed denial of service attacks (DDoS), and sharding attacks in a permission-less blockchain. The existence of a byzantine adversary is perilous, and is involved in these ongoing attacks. Considering the above issues, we conducted an informative survey based on the consensus protocol attack on blockchain through the latest published article from IEEE, Springer, Elsevier, ACM, Willy, Hindawi, and other publishers. We incorporate various methods involved in blockchain. Our main intention is to gain clarity from earlier published articles to elaborate numerous key methods in terms of a survey article.

In recent years, the market globalization process has deeply altered the international competitive scene, leading, inevitably, to a revision of companies' strategies and organization structures. It is now widely accepted that Information and Communication Technology (ict) and supply chain logistics management, have an important role in increasing the competitive potential of each company and in the development of entire economic sectors. The importance of these factors for the business strategies of firms, has generated increasing research attention towards the study of their economic and social impact, concerning both the spread of modern information and communication technologies and logistics. This paper mainly proposes, through a direct survey conducted on a group of firms (production and commercial companies), working in the Sicilian fruit and vegetable sector - a strategic sector in the economic and social field for most of the region - to provide empirical evidence regarding the degree of diffusion of ict and its use, as well as on business relationships with the regional distribution logistics system, as they are two of the determinants that can influence companies' competitive potential. Through Multiple Correspondence Analysis (mca) it was possible to filter down the information from the available data and to identify two factors that describe and summarize how the surveyed firms behave. In particular, the analysis highlighted the close connection between the diffusion and use of ict and logistics distribution organization and the firms' physical and economic size. Specifically, the large-size companies, in this case represented by producer organizations and associations, have a medium-high degree of computerization and an efficient logistics organization, which allows them to interface with competitors both in the national and international market. Agricultural cooperatives and individual companies, on the other hand, though having well-developed infrastructure hardware and software, limit their use to basic functions, but above all have greater needs in terms of logistics structures, which are scantly distributed in the region, and this negatively influences the efficiency of fruit and vegetable produce distribution. In this context, the competitive potential of the fruit and vegetable sector, as regards the issues under investigation, is connected, on the one hand, to companies' recognition of the potential offered by ict and efficient logistics and, on the other, to government intervention aimed at overcoming the region's infrastructure limits which are at the heart of inefficiencies in the distribution system.

The Distributed System of Scientific Collections (DiSSCo) Research Infrastructure (RI) is presently in its preparatory phase. DiSSCo is developing a new distributed RI to operate as a one-stop-shop for the envisaged European Natural Science Collection (NSC) and all its derived information. Through mass digitisation, DiSSCo will transform the fragmented landscape of NSCs, including an estimated 1.5 billion specimens, into an integrated knowledge base that will provide interconnected evidence of the natural world. Data derived from European NSCs underpin countless discoveries and innovations, including tens of thousands of scholarly publications and official reports annually (supporting legislative and regulatory processes on sustainability, environmental change, land use, societal infrastructure, health, food, security, etc.); base-line biodiversity data; inventions and products essential to bio-economy; databases, maps and descriptions of scientific observations; educational material for students; and instructive and informative resources for the public. To expand the user community, DiSSCo will strengthen capacity building across Europe for maximum engagement of stakeholders in the biodiversity-related field and beyond, including industry and the private sector, but also policy-driving entities. Hence, it is opportune to reach out to relevant stakeholders in the European environmental policy domain represented by the European Environment Agency (EEA). The EEA aims to support sustainable development by helping to achieve significant and measurable improvement in Europe's environment, through the provision of timely, targeted, relevant and reliable information to policy-making agents and the public. The EEA provides information through the European Environment Information and Observation System (Eionet). The aim of this white paper is to open the discussion between DiSSCo and the EEA and identify the common service interests that are relevant for the European environmental policy domain. The first section describes the significance of (digital) Natural Science Collections (NHCs). Section two describes the DiSSCo programme with all DiSSCo aligned projects. Section three provides background information on the EEA and the biodiversity infrastructures that are developed and maintained by the EEA. The fourth section illustrates a number of use cases where the DiSSCo consortium sees opportunities for interaction between the DiSSCo RI and the Eionet portal of the EEA. Opening the discussion with the EEA in this phase of maturity of DiSSCo will ensure that the infrastructural design of DiSSCo and the development of e-Services accommodate the present and future needs of the EEA and assure data interoperability between the two infrastructures. The aim of this white paper is to present benefits from identifying the common service interests of DiSSCo and the EEA. A brief introduction to natural science collections as well as the two actors is given to facilitate the understanding of the needs and possibilities in the alignment of DiSSCo with the EEA.

Digitisation of Natural History Collections (NHC) has evolved from transcription of specimen catalogues in databases to web portals providing access to data, digital images, and 3D models of specimens. These portals increase global accessibility to specimens and help preserve the physical specimens by reducing their handling. The size of the NHC requires developing high-throughput digitisation workflows, as well as research into novel acquisition systems, image standardisation, curation, preservation, and publishing. Nowadays, herbarium sheet digitisation workflows (and fast digitisation stations) can digitise up to 6,000 specimens per day. Operating those digitisation stations in parallel, can increase the digitisation capacity. The high-resolution images obtained from these specimens, and their volume require substantial bandwidth, and disk space and tapes for storage of original digitised materials, as well as availability of computational processing resources for generating derivatives, information extraction, and publishing. While large institutions have dedicated digitisation teams that manage the whole workflow from acquisition to publishing, other institutions cannot dedicate resources to support all digitisation activities, in particular long-term storage. National and European e-infrastructures can provide an alternative solution by supporting different parts of the digitisation workflows. In the context of the Innovation and consolidation for large scale digitisation of natural heritage (ICEDIG Project 2018), three different e-infrastructures providing long-term storage have been analysed through three pilot studies: EUDAT-CINES, Zenodo, and National Infrastructures. The EUDAT-CINES pilot centred on transferring large digitised herbarium collections from the National Museum of Natural History France (MNHN) to the storage infrastructure provided by the Centre Informatique National de l’Enseignement Supérieur (CINES 2014), a European trusted digital repository. The upload, processing, and access services are supported by a combination of services provided by the European Collaborative Data Infrastructure (EUDAT CDI 2019) and CINES . The Zenodo pilot included the upload of herbarium collections from Meise Botanic Garden (APM) and other European herbaria into the Zenodo repository (Zenodo 2019). The upload, processing and access services are supported by Zenodo services, accessed by APM. The National Infrastructures pilot facilitated the upload of digital assets derived from specimens of herbarium and entomology collections held at the Finnish Museum of Natural History (LUOMUS) into the Finnish Biodiversity Information Facility (FinBIF 2019). This pilot concentrates on simplifying the integration of digitisation facilities to Finnish national e-infrastructures, using services developed by LUOMUS to access FinBIF resources. The data models employed in the pilots allow defining data schemas according to the types of collection and specimen images stored. For EUDAT-CINES, data were composed of the specimen data and its business metadata (those the institution making the deposit, in this case MNHN, considers relevant for the data objects being stored), enhanced by archiving metadata, added during the archiving process (institution, licensing, identifiers, project, archiving date, etc). EUDAT uses ePIC identifiers (ePIC 2019) to identify each deposit. The Zenodo pilot was designed to allow defining specimen data and metadata supporting indexing and access to resources. Zenodo uses DataCite Digital Object Identifiers (DOI) and the underlying data types as the main identifiers for the resources, augmented with fields based on standard TDWG vocabularies. FinBIF compiles Finnish biodiversity information to one single service for open access sharing. In FinBIF, HTTP URI based identifiers are used for all data, which link the specimen data with other information, such as images. The pilot infrastructure design reports describe features, capacities, functions and costs for each model, in three specific contexts are relevant for the implementation of the Distributed Systems of Scientific Collections (DiSSCo 2019) research infrastructure, informing the options for long-term storage and archiving digitised specimen data. The explored options allow preservation of assets and support easy access. In a wider context, the results provide a template for service evaluation in the European Open Science Cloud (EOSC 2019) which can guide similar efforts.

AbstractFederal funding for research has immediate and long‐term economic impact. Since federal research funding is regionally concentrated and not geographically distributed, the benefits are not fully realized in some regions of the country. The Established (previously Experimental) Program to Stimulate Competitive Research (EPSCoR) programs at several agencies, for example, the National Science Foundation, and the Institutional Development Award (IDeA) program at the National Institutes of Health were created to increase competitiveness for funding in states with historically low levels of federal funding. The Centers of Biomedical Research Excellence (CoBRE) award program is a component of the IDeA program. The CoBRE grants support research core facilities to develop research infrastructure. These grants also support the research projects of junior investigators, under the guidance of mentoring teams of senior investigators, to develop human resources at these institutions. Few studies have assessed the effectiveness of these programs. This study examines the investment and outcomes of the CoBRE grants from 2000 through 2022. The maturation of junior investigators into independently funded principal investigators is comparable to other mentoring programs supported by NIH. The investment in research cores resulted in substantial research productivity, measured by publications. Despite the successes of individual investigators and increased research infrastructure and productivity, the geographic distribution of federal and NIH research dollars has not changed. These results will be informative in consideration of policies designed to enhance the geographic distribution of federal research dollars.

PurposeThis paper aims to enrich the 3D urban models with data contributed by citizens to support data-driven decision-making in urban infrastructure projects. We introduced a new application domain extension to CityGML (social – input ADE) to enable citizens to store, classify and exchange comments generated by citizens regarding infrastructure elements. The main goal of social – input ADE is to add citizens’ feedback as semantic objects to the CityGML model.Design/methodology/approachFirstly, we identified the key functionalities of the suggested ADE and how to integrate them with existing 3D urban models. Next, we developed a high-level conceptual design outlining the main components and interactions within the social-input ADE. Then we proposed a package diagram for the social – input ADE to illustrate the organization of model elements and their dependencies. We also provide a detailed discussion of the functionality of different modules in the social-input ADE.FindingsAs a result of this research, it has seen that informative streams of information are generated via mining the stored data. The proposed ADE links the information of the built environment to the knowledge of end-users and enables an endless number of socially driven innovative solutions.Originality/valueThis work aims to provide a digital platform for aggregating, organizing and filtering the distributed end-users’ inputs and integrating them within the city’s digital twins to enhance city models. To create a data standard for integrating attributes of city physical elements and end-users’ social information and inputs in the same digital ecosystem, the open data model CityGML has been used.

AbstractThe increasingly growing scale of modern computing infrastructures solicits more ingenious and automatic solutions to their management. Our work focuses on file transfer failures within the Worldwide Large Hadron Collider Computing Grid and proposes a pipeline to support distributed data management operations by suggesting potential issues to investigate. Specifically, we adopt an unsupervised learning approach leveraging Natural Language Processing and Machine Learning tools to automatically parse error messages and group similar failures. The results are presented in the form of a summary table containing the most common textual patterns and time evolution charts. This approach has two main advantages. First, the joint elaboration of the error string and the transfer’s source/destination enables more informative and compact troubleshooting, as opposed to inspecting each site and checking unique messages separately. As a by-product, this also reduces the number of errors to check by some orders of magnitude (from unique error strings to unique categories or patterns). Second, the time evolution plots allow operators to immediately filter out secondary issues (e.g. transient or in resolution) and focus on the most serious problems first (e.g. escalating failures). As a preliminary assessment, we compare our results with the Global Grid User Support ticketing system, showing that most of our suggestions are indeed real issues (direct association), while being able to cover 89% of reported incidents (inverse relationship).

Over the past 20 years, the biodiversity informatics community has pursued components of the digital annotation landscape with varying degrees of success. We will provide an historical overview of the theory, the advancements made through a few key projects, and will identify some of the ongoing challenges and opportunities. The fundamental principles remain unchanged since annotations were first proposed. Someone (or something): (1) has an enhancement to make elsewhere from the source where original data or information are generated or transcribed; (2) wishes to broadcast these statements to the originator and to others who may benefit; and (3) expects persistence, discoverability, and attribution for their contributions alongside the source. The Filtered Push project (Morris et al. 2013) considered several use cases and pioneered development of services based on the technology of the day. The exchange of data between parties in a universally consistent way necessitated the development of a novel draft standard for data annotations via an extension of the World Wide Web Consortium’s Web Annotation Working Group standard (Sanderson et al. 2013) to be sufficiently informative for a data curator to confidently make a decision. Figure 2 from Morris et al. (2013), reproduced here as Fig. 1, outlines the composition of an annotation data package for a taxonomic identification. The package contains the data object(s) associated with an occurrence, an expression of the motivation(s) for updating, some evidence for an assertion, and a stated expectation for how the receiving entity should take action. The Filtered Push and Annosys (Tschöpe et al. 2013) projects also considered implementation strategies involving collection management systems (e.g., Symbiota) and portals (e.g., European Distributed Institute of Taxonomy, EDIT). However, there remain technological barriers for these systems to operate at scale, the least of which is the absence of globally unique, persistent, resolvable identifiers for shared objects and concepts. Major aggregation infrastructures like the Global Biodiversity Information Facility (GBIF) and the Distributed System of Scientific Collections (DiSSCo) rely on data enhancement to improve the quality of their resources and have annotation services in their work plans. More recently, the Digital Extended Specimen (DES) concept (Hardisty et al. 2022) will rely on annotation services as key components of the proposed infrastructure. Recent work on annotation services more generally has considered various new forms of packaging and delivery such as Frictionless Data (Fowler et al. 2018), Journal Article Tag Suite XML (Agosti et al. 2022), or nanopublications (Kuhn et al. 2018). There is risk in fragmentation of this landscape and disenfranchisement of both biological collections and the wider research community if we fail to align the purpose, content, and structure of these packages or if these fail to remain aligned with FAIR principles. Institutional collection management systems currently represent the canonical data store that provides data to researchers and data aggregators. It is critical that information and/or feedback about the data they release be round-tripped back to them for consideration. However, the sheer volume of annotations that could be generated by both human and machine curation processes will overwhelm local data curators and the systems supporting them. One solution to this is to create a central annotation store with write and discovery services that best support the needs of all stewards of data. This will require an international consortium of parties with a governance and technical model to assure its sustainability.

Le nombre de systèmes informatiques augmente de jour en jour et beaucoup d'entités malveillantes tentent d'abuser de leurs vulnérabilités. Il existe un fléau qui fait rage depuis quelques années et qui cause beaucoup de difficultés aux experts en sécurité informatique : les armées de robots (botnets). Des armées d'ordinateurs infectés sont constituées pour ensuite être louées et utilisées à des fins peu enviables. La société fait face à un problème : il est très difficile d'arrêter ces armées et encore plus de trouver leurs coordonnateurs. L'objectif de ce travail de recherche est de développer des outils destinés à identifier ces entités et aider à démanteler ces réseaux. Plus précisément, ce projet porte sur la conception d'une plateforme distribuée permettant de faire un pré-traitement des données collectées sur divers réseaux et de les distribuer dans un système d'analyse. Cette plateforme sera en libre source, facilement adaptable et flexible. De plus, elle devra être en mesure de traiter une grande quantité de données dans un court laps de temps. Ce système se distinguera étant donné qu'il sera distribué sur plusieurs réseaux sous un modèle client-serveur et collaborera dans le but de trouver les coordonnateurs de ces armées de robots.

Cette thèse s'intéresse à la flexibilité dans les infrastructures informatiques distribuées du point de vue de leurs administrateurs et utilisateurs. Pour les utilisateurs, il s'agit de trouver au moment où ils en ont besoin des ressources matérielles adaptées avec un environnement personnalisé à l'exécution de leur application. Pour les administrateurs, il s'agit de définir les politiques d'allocation des ressources (politiques d'usage et de sécurité) pour les applications des utilisateurs. Nous avons étudié la problématique de la flexibilité dans le contexte des grilles et des centrales numériques (CN). Tout d'abord, nous avons conçu et mis en oeuvre le système Saline qui s'appuie sur la virtualisation pour permettre l'exécution de tout type de tâche en mode préemptif dans les grilles. Nous avons également proposé le système Grillade qui combine les mécanismes de flexibilité offerts par les grilles et les CN pour d'une part, étendre dynamiquement une grille avec des ressources virtuelles fournies par des CN et d'autre part, construire des nuages de type IaaS fédérant les ressources de plusieurs sites. Grillade étend le système de grille XtreemOS. Il permet en outre grâce à la technologie de système à image unique de proposer aux utilisateurs des machines virtuelles exécutées sur une agrégation de nœuds. Enfin, nous proposons un formalisme permettant de classer les systèmes de gestion de ressources offrant de la flexibilité et de définir des règles pour les combiner. Le système Tropicbird qui s'appuie sur ce formalisme met en œuvre, à la demande, des plates-formes virtuelles spécifiées par les utilisateurs sur une infrastructure matérielle.

L'intérêt va croissant parmi les communautés scientifiques pour le partage de données et d'applications qui facilitent les recherches et l'établissement de collaborations fructueuses. Les domaines interdisciplinaires tels que les neurosciences nécessitent particulièrement de disposer d'une puissance de calcul suffisante pour l'expérimentation à grande échelle. Malgré les progrès réalisés dans la mise en œuvre de telles infrastructures distribuées, de nombreux défis sur l'interopérabilité et le passage à l'échelle ne sont pas complètement résolus. L'évolution permanente des technologies, la complexité intrinsèque des environnements de production et leur faible fiabilité à l'exécution sont autant de facteurs pénalisants. Ce travail porte sur la modélisation et l'implantation d'un environnement orienté services qui permet l'exécution d'applications scientifiques sur des infrastructures de calcul distribué, exploitant leur capacité de calcul haut débit. Le modèle comprend une spécification de description d'interfaces en ligne de commande; un pont entre les architectures orientées services et le calcul globalisé; ainsi que l'utilisation efficace de ressources locales et distantes pour le passage à l'échelle. Une implantation de référence est réalisée pour démontrer la faisabilité de cette approche. Sa pertinence et illustrée dans le contexte de deux projets de recherche dirigés par des campagnes expérimentales de grande ampleur réalisées sur des ressources distribuées. L'environnement développé se substitue aux systèmes existants dont les préoccupations se concentrent souvent sur la seule exécution. Il permet la gestion de codes patrimoniaux en tant que services, prenant en compte leur cycle de vie entier. De plus, l'approche orientée services aide à la conception de flux de calcul scientifique qui sont utilisés en tant que moyen flexible pour décrire des applications composées de services multiples. L'approche proposée est évaluée à la fois qualitativement et quantitativement en utilisant des applications réelles en analyse de neuroimages. Les expériences qualitatives sont basées sur l'optimisation de la spécificité et la sensibilité des outils de segmentation du cerveau utilisés pour traiter des Image par Raisonnance Magnétique de patients atteints de sclérose en plaques. Les expériences quantitative traitent de l'accélération et de la latence mesurées pendant l'exécution d'études longitudinales portant sur la mesure d'atrophie cérébrale chez des patients affectés de la maladie d'Alzheimer.

La Grille de calcul mondiale pour le LHC (WLCG) offre une infrastructure informatique distribuée considérable dédiée à la communauté scientifique impliquée dans le Grand Collisionneur de Hadrons (LHC) du CERN. Avec un stockage total d'environ un exaoctet, le WLCG répond aux besoins de traitement et de stockage des données de milliers de scientifiques internationaux. À mesure que la phase du High-Luminosity LHC (HL-LHC) approche, le volume de données à analyser augmentera considérablement, dépassant les gains attendus grâce à l'avancement de la technologie de stockage. Par conséquent, de nouvelles approches pour un accès et une gestion efficaces des données, telles que les caches, deviennent essentielles. Cette thèse se plonge dans une exploration exhaustive de l'accès au stockage au sein du WLCG, dans le but d'améliorer le débit scientifique global tout en limitant les coûts. Au cœur de cette recherche se trouve l'analyse des journaux d'accès aux fichiers réels provenant du système de surveillance du WLCG, mettant en évidence les véritables schémas d'utilisation.Dans un contexte scientifique, la mise en cache a des implications profondes. Contrairement à des applications plus commerciales telles que la diffusion de vidéos, les caches de données scientifiques traitent des tailles de fichiers variables, allant de quelques octets à plusieurs téraoctets. De plus, les associations logiques inhérentes entre les fichiers influencent considérablement les schémas d'accès des utilisateurs. La recherche traditionnelle sur la mise en cache s'est principalement concentrée sur des tailles de fichiers uniformes et des modèles de référence indépendants. Au contraire, les charges de travail scientifiques rencontrent des variations de taille de fichier, et les interconnexions logiques entre les fichiers influencent de manière significative les schémas d'accès des utilisateurs.Mes investigations montrent comment l'organisation hiérarchique des données du LHC, en particulier leur compartimentation en "datasets", influence les schémas de demande. Reconnaissant cette opportunité, j'introduis des algorithmes de mise en cache innovants qui mettent l'accent sur la connaissance spécifique des datasets et je compare leur efficacité avec les stratégies traditionnelles axées sur les fichiers. De plus, mes découvertes mettent en évidence le phénomène des "hits retardés" déclenché par une connectivité limitée entre les sites de calcul et de stockage, mettant en lumière ses répercussions potentielles sur l'efficacité de la mise en cache.Reconnaissant le défi de longue date que représente la prédiction de la Popularité des Données dans la communauté de la Physique des Hautes Énergies (PHE), en particulier avec les énigmes de stockage à l'approche de l'ère du HL-LHC, ma recherche intègre des outils de Machine Learning (ML). Plus précisément, j'utilise l'algorithme Random Forest, connu pour sa pertinence dans le traitement des Big Data. En utilisant le ML pour prédire les futurs schémas de réutilisation des fichiers, je présente une méthode en deux étapes pour informer les politiques d'éviction de cache. Cette stratégie combine la puissance de l'analyse prédictive et des algorithmes établis d'éviction de cache, créant ainsi un système de mise en cache plus résilient pour le WLCG.En conclusion, cette recherche souligne l'importance de services de stockage robustes, suggérant une orientation vers des caches sans état pour les petits sites afin d'alléger les exigences complexes de gestion de stockage et d'ouvrir la voie à un niveau supplémentaire dans la hiérarchie de stockage. À travers cette thèse, je vise à naviguer à travers les défis et les complexités du stockage et de la récupération de données, élaborant des méthodes plus efficaces qui résonnent avec les besoins évolutifs du WLCG et de sa communauté mondiale
The Worldwide LHC Computing Grid (WLCG) offers an extensive distributed computing infrastructure dedicated to the scientific community involved with CERN's Large Hadron Collider (LHC). With storage that totals roughly an exabyte, the WLCG addresses the data processing and storage requirements of thousands of international scientists. As the High-Luminosity LHC phase approaches, the volume of data to be analysed will increase steeply, outpacing the expected gain through the advancement of storage technology. Therefore, new approaches to effective data access and management, such as caches, become essential. This thesis delves into a comprehensive exploration of storage access within the WLCG, aiming to enhance the aggregate science throughput while limiting the cost. Central to this research is the analysis of real file access logs sourced from the WLCG monitoring system, highlighting genuine usage patterns.In a scientific setting, caching has profound implications. Unlike more commercial applications such as video streaming, scientific data caches deal with varying file sizes—from a mere few bytes to multiple terabytes. Moreover, the inherent logical associations between files considerably influence user access patterns. Traditional caching research has predominantly revolved around uniform file sizes and independent reference models. Contrarily, scientific workloads encounter variances in file sizes, and logical file interconnections significantly influence user access patterns.My investigations show how LHC's hierarchical data organization, particularly its compartmentalization into datasets, impacts request patterns. Recognizing the opportunity, I introduce innovative caching policies that emphasize dataset-specific knowledge, and compare their effectiveness with traditional file-centric strategies. Furthermore, my findings underscore the "delayed hits" phenomenon triggered by limited connectivity between computing and storage locales, shedding light on its potential repercussions for caching efficiency.Acknowledging the long-standing challenge of predicting Data Popularity in the High Energy Physics (HEP) community, especially with the upcoming HL-LHC era's storage conundrums, my research integrates Machine Learning (ML) tools. Specifically, I employ the Random Forest algorithm, known for its suitability with Big Data. By harnessing ML to predict future file reuse patterns, I present a dual-stage method to inform cache eviction policies. This strategy combines the power of predictive analytics and established cache eviction algorithms, thereby devising a more resilient caching system for the WLCG. In conclusion, this research underscores the significance of robust storage services, suggesting a direction towards stateless caches for smaller sites to alleviate complex storage management requirements and open the path to an additional level in the storage hierarchy. Through this thesis, I aim to navigate the challenges and complexities of data storage and retrieval, crafting more efficient methods that resonate with the evolving needs of the WLCG and its global community

Au cours de la dernière décennie, le cloud computing est devenu l’environnement standard de déploiement pour la plupart des applications distribuées. Alors que les fournisseurs de cloud ont étendu de manière continue leur couverture géographique, la distance entre leurs centres de données et les utilisateurs finaux se traduit toujours par une latence et une utilisation du réseau importantes. Avec l'avènement de nouvelles familles d'applications telles que la réalité virtuelle / augmentée ou les véhicules autonomes, nécessitant de très faibles latences, ou l'IoT, qui génère d'énormes quantités de données, l'infrastructure centralisée des clouds s’avère incapable de supporter leurs exigences. Cette situation a mené à l’expérimentation de nouvelles alternatives plus distribuées telles que le fog computing. Bien que les prémisses de cette infrastructure semblent prometteuses, une plate-forme de type fog n’a pas encore été créée. Par conséquent, une attention particulière doit être consacrée à la définition des contraintes appropriées de conception qui permettront de réaliser pleinement ces objectifs. Dans cette thèse, nous visons à concevoir des blocs de construction pouvant fournir des fonctionnalités de base pour la gestion d’une infrastructure de type fog. En partant du principe de préservation de la localité intrinsèque au fog, nous concevons un réseau de recouvrement paresseux et tenant compte de la localité, appelé Koala, qui permet une gestion décentralisée efficace sans créer de surcharge de trafic lié à la maintenance du réseau. Afin de capturer des exigences supplémentaires provenant de la couche applicative, nous avons étudié le déploiement d’une application fondée sur une architecture à base de microservices, à savoir Sharelatex, dans un environnement fog. Nous examinons comment ses performances en sont affectées et quelles fonctionnalités la couche de gestion peut fournir afin de faciliter son déploiement dans le fog et améliorer ses performances. En se fondant sur les blocs de bases définis et sur les exigences extraites du déploiement de l'application dans le fog, nous concevons un mécanisme de découverte de service qui répond à ces exigences et intègre ces composants dans un seul prototype. Ce prototype permet une évaluation complète de ces composants sur la base de scénarios dans des conditions réelles
In the last decade, cloud computing has grown to become the standard deployment environment for most distributed applications. While cloud providers have continuously extended their coverage to different locations worldwide, the distance of their datacenters to the end users still often translates into significant latency and network utilization. With the advent of new families of applications such as virtual/augmented reality and self-driving vehicles, which operate on very low latency, or the IoT, which generates enormous amounts of data, the current centralized cloud infrastructure has shown to be unable to support their stringent requirements. This has shifted the focus to more distributed alternatives such as fog computing. Although the premises of such infrastructure seem auspicious, a standard fog management platform is yet to emerge. Consequently, significant attention is dedicated to capturing the right design requirements for delivering those premises. In this dissertation, we aim at designing building blocks which can provide basic functionalities for fog management tasks. Starting from the basic fog principle of preserving locality, we design a lazy and locality-aware overlay network called Koala, which provides efficient decentralized management without introducing additional traffic overhead. In order to capture additional requirements which originate from the application layer, we port a well-known microservice-based application, namely Sharelatex, to a fog environment. We examine how its performance is affected and what functionalities the management layer can provide in order to facilitate its fog deployment and improve its performance. Based on our overlay building block and the requirements retrieved from the fog deployment of the application, we design a service discovery mechanism which satisfies those requirements and integrates these components into a single prototype. This full stack prototype enables a complete end-to-end evaluation of these components based on real use case scenarios

La consommation énergétique des centres de calculs et de données, aussi appelés « data centers », représentait 2% de la consommation mondiale d'électricité en 2012. Leur nombre est en augmentation et suit l'évolution croissante des objets connectés, services, applications, et des données collectées. Ces infrastructures, très consommatrices en énergie, sont souvent sur-dimensionnées et les serveurs en permanence allumés. Quand la charge de travail est faible, l'électricité consommée par les serveurs inutilisés est gaspillée, et un serveur inactif peut consommer jusqu'à la moitié de sa consommation maximale. Cette thèse s'attaque à ce problème en concevant un data center ayant une consommation énergétique proportionnelle à sa charge. Nous proposons un data center hétérogène, nommé BML pour « Big, Medium, Little », composé de plusieurs types de machines : des processeurs très basse consommation et des serveurs classiques. L'idée est de profiter de leurs différentes caractéristiques de performance, consommation, et réactivité d'allumage, pour adapter dynamiquement la composition de l'infrastructure aux évolutions de charge. Nous décrivons une méthode générique pour calculer les combinaisons de machines les plus énergétiquement efficaces à partir de données de profilage de performance et d'énergie acquis expérimentalement considérant une application cible, ayant une charge variable au cours du temps, dans notre cas un serveur web.Nous avons développé deux algorithmes prenant des décisions de reconfiguration de l'infrastructure et de placement des instances de l'application en fonction de la charge future. Les différentes temporalités des actions de reconfiguration ainsi que leur coûts énergétiques sont pris en compte dans le processus de décision. Nous montrons par simulations que nous atteignons une consommation proportionnelle à la charge, et faisons d'importantes économies d'énergie par rapport aux gestions classiques des data centers
The increasing number of data centers raises serious concerns regarding their energy consumption. These infrastructures are often over-provisioned and contain servers that are not fully utilized. The problem is that inactive servers can consume as high as 50% of their peak power consumption.This thesis proposes a novel approach for building data centers so that their energy consumption is proportional to the actual load. We propose an original infrastructure named BML for "Big, Medium, Little", composed of heterogeneous computing resources : from low power processors to classical servers. The idea is to take advantage of their different characteristics in terms of energy consumption, performance, and switch on reactivity to adjust the composition of the infrastructure according to the load evolutions. We define a generic methodology to compute the most energy proportional combinations of machines based on hardware profiling data.We focus on web applications whose load varies over time and design a scheduler that dynamically reconfigures the infrastructure, with application migrations and machines switch on and off, to minimize the infrastructure energy consumption according to the current application requirements.We have developed two different dynamic provisioning algorithms which take into account the time and energy overheads of the different reconfiguration actions in the decision process. We demonstrate through simulations based on experimentally acquired hardware profiles that we achieve important energy savings compared to classical data center infrastructures and management

Dans cette thèse, nous abordons deux problèmes soulevés par les systèmes distribués décentralisés - le placement de réseaux logiques de façon compatible avec le réseau physique sous-jacent et la construction de cohortes d'éditeurs pour dans les systèmes d'édition collaborative. Bien que les réseaux logiques (overlay networks) été largement étudiés, la plupart des systèmes existant ne prennent pas ou prennent mal en compte la topologie du réseau physique sous-jacent, alors que la performance de ces systèmes dépend dans une grande mesure de la manière dont leur topologie logique exploite la localité présente dans le réseau physique sur lequel ils s'exécutent. Pour résoudre ce problème, nous proposons dans cette thèse Fluidify, un mécanisme décentralisé pour le déploiement d'un réseau logique sur une infrastructure physique qui cherche à maximiser la localité du déploiement. Fluidify utilise une stratégie double qui exploite à la fois les liaisons logiques d'un réseau applicatif et la topologie physique de son réseau sous-jacent pour aligner progressivement l'une avec l'autre. Le protocole résultant est générique, efficace, évolutif et peut améliorer considérablement les performances de l'ensemble. La deuxième question que nous abordons traite des plates-formes d'édition collaborative. Ces plates-formes permettent à plusieurs utilisateurs distants de contribuer simultanément au même document. Seuls un nombre limité d'utilisateurs simultanés peuvent être pris en charge par les éditeurs actuellement déployés. Un certain nombre de solutions pair-à-pair ont donc été proposées pour supprimer cette limitation et permettre à un grand nombre d'utilisateurs de collaborer sur un même document sans aucune coordination centrale. Ces plates-formes supposent cependant que tous les utilisateurs d'un système éditent le même jeu de document, ce qui est peu vraisemblable. Pour ouvrir la voie à des systèmes plus flexibles, nous présentons, Filament, un protocole décentralisé de construction de cohorte adapté aux besoins des grands éditeurs collaboratifs. Filament élimine la nécessité de toute table de hachage distribuée (DHT) intermédiaire et permet aux utilisateurs travaillant sur le même document de se retrouver d'une manière rapide, efficace et robuste en générant un champ de routage adaptatif autour d'eux-mêmes. L'architecture de Filament repose sur un ensemble de réseaux logiques auto-organisées qui exploitent les similarités entre jeux de documents édités par les utilisateurs. Le protocole résultant est efficace, évolutif et fournit des propriétés bénéfiques d'équilibrage de charge sur les pairs impliqués
In this thesis, we address two issues in the area of decentralized distributed systems: network-aware overlays and collaborative editing. Even though network overlays have been extensively studied, most solutions either ignores the underlying physical network topology, or uses mechanisms that are specific to a given platform or applications. This is problematic, as the performance of an overlay network strongly depends on the way its logical topology exploits the underlying physical network. To address this problem, we propose Fluidify, a decentralized mechanism for deploying an overlay network on top of a physical infrastructure while maximizing network locality. Fluidify uses a dual strategy that exploits both the logical links of an overlay and the physical topology of its underlying network to progressively align one with the other. The resulting protocol is generic, efficient, scalable and can substantially improve network overheads and latency in overlay based systems. The second issue that we address focuses on collaborative editing platforms. Distributed collaborative editors allow several remote users to contribute concurrently to the same document. Only a limited number of concurrent users can be supported by the currently deployed editors. A number of peer-to-peer solutions have therefore been proposed to remove this limitation and allow a large number of users to work collaboratively. These decentralized solution assume however that all users are editing the same set of documents, which is unlikely to be the case. To open the path towards more flexible decentralized collaborative editors, we present Filament, a decentralized cohort-construction protocol adapted to the needs of large-scale collaborative editors. Filament eliminates the need for any intermediate DHT, and allows nodes editing the same document to find each other in a rapid, efficient and robust manner by generating an adaptive routing field around themselves. Filament's architecture hinges around a set of collaborating self-organizing overlays that utilizes the semantic relations between peers. The resulting protocol is efficient, scalable and provides beneficial load-balancing properties over the involved peers

Les infrastructures de calcul scientifique sont en constante évolution, et l’émergence de nouvelles technologies nécessite l’évolution des mécanismes d’ordonnancement qui leur sont associé. Durant la dernière décennie, l’apparition du modèle Cloud a suscité de nombreux espoirs, mais l’idée d’un déploiement et d’une gestion entièrement automatique des plates-formes de calcul est jusque la resté un voeu pieu. Les travaux entrepris dans le cadre de ce doctorat visent a concevoir un moteur de gestion de workflow qui intègre les logiques d’ordonnancement ainsi que le déploiement automatique d’une infrastructure Cloud. Plus particulièrement, nous nous intéressons aux plates-formes Clouds disposant de système de gestion de données de type DaaS (Data as a Service). L’objectif est d’automatiser l’exécution de workflows arbitrairement complexe, soumis de manière indépendante par de nombreux utilisateurs, sur une plate-forme Cloud entièrement élastique. Ces travaux proposent une infrastructure globale, et décrivent en détail les différents composants nécessaires à la réalisation de cette infrastructure :• Un mécanisme de clustering des tâches qui prend en compte les spécificités des communications via un DaaS ;• Un moteur décentralisé permettant l’exécution des workflows découpés en clusters de tâches ;• Un système permettant l’analyse des besoins et le déploiement automatique. Ces différents composants ont fait l’objet d’un simulateur qui a permis de tester leur comportement sur des workflows synthétiques ainsi que sur des workflows scientifiques réels issues du LBMC (Laboratoire de Biologie et Modélisation de la Cellule). Ils ont ensuite été implémentés dans l’intergiciel Diet. Les travaux théoriques décrivant la conception des composants, et les résultats de simulations qui les valident, ont été publié dans des workshops et conférences de portée internationale
The constant development of scientific and industrial computation infrastructures requires the concurrent development of scheduling and deployment mechanisms to manage such infrastructures. Throughout the last decade, the emergence of the Cloud paradigm raised many hopes, but achieving full platformautonomicity is still an ongoing challenge. Work undertaken during this PhD aimed at building a workflow engine that integrated the logic needed to manage workflow execution and Cloud deployment on its own. More precisely, we focus on Cloud solutions with a dedicated Data as a Service (DaaS) data management component. Our objective was to automate the execution of workflows submitted by many users on elastic Cloud resources.This contribution proposes a modular middleware infrastructure and details the implementation of the underlying modules:• A workflow clustering algorithm that optimises data locality in the context of DaaS-centeredcommunications;• A dynamic scheduler that executes clustered workflows on Cloud resources;• A deployment manager that handles the allocation and deallocation of Cloud resources accordingto the workload characteristics and users’ requirements. All these modules have been implemented in a simulator to analyse their behaviour and measure their effectiveness when running both synthetic and real scientific workflows. We also implemented these modules in the Diet middleware to give it new features and prove the versatility of this approach.Simulation running the WASABI workflow (waves analysis based inference, a framework for the reconstruction of gene regulatory networks) showed that our approach can decrease the deployment cost byup to 44% while meeting the required deadlines

Les réflexions menées autour de l'idée d'intelligence collective (ou collaborative) postulent que celle-ci émerge d'un système en interaction dont les dispositifs techniques, sociaux et sémiotiques sont fortement imbriqués ( PIERRE LEVY , 1994). Pour relever ce défi, cette thèse propose de conjuguer deux concepts innovants. D'abord celui d'espace collaboratif ubiquitaire pour catalyser les interactions entre groupes d'agents et services. Ensuite celui d'infrastructure à ressources distribuées pour coordonner, de façon dynamique, les ressources et la sécurité en fonction de critères de qualité de service souhaités par les groupes d'agents. Un espace collaboratif ubiquitaire intègre des processus artificiels pour réaliser du traitement intensif (simulations, fouille de données, etc.) et des interfaces multimodales, incluant la visualisation partagée en mode synchrone ou asynchrone, pour les interactions entre humains. En termes d'infrastructure, cette thèse explique pourquoi le WEB n'apporte pas une réponse adaptée à la problématique de l'intelligence collective et pourquoi nous nous sommes tournés vers GRID (GRILLE DE RESSOURCES INFORMATIQUES DISTRIBUÉES). Notamment, une propriété singulière de GRID est le service à état qui permet de coordonner des ressources distribuées de façon dynamique et sécurisée. Pour mettre ceci en évidence, nous avons développé le modèle d'architecture AGORA qui propose d'utiliser GRID pour déployer des espaces collaboratifs ubiquitaires. De cette façon, les groupes d'agents humains et artificiels s'auto-organisent dans un espace immanent où les ressources sont délivrées dynamiquement par l'infrastructure. Validé par une méthode empirique, ce modèle a été l'objet d'une élaboration itérative fondée sur des retours d'expérimentation avec des communautés d'utilisateurs. Au vu de l'avancement de nos investigations, une architecture GRID couplée avec des concepts propres aux systèmes multi-agents présente les caractéristiques nécessaires pour déployer AGORA à grande échelle avec une utilisation rationnelle des ressources, tout en offrant des garanties de sécurité et de haute disponibilité.

Abstract The paper addresses the integrity monitoring of critical infrastructures as fluid filled transportation pipelines by developing a pilot full scale application of Advanced Leak Detection (ALD) monitoring system. The objective of the ALD system is to improve performances with respect to single separate LD system, in different scenarios in terms of sensitivity, localization accuracy, and robustness. Three Leak Detection methods have been evaluated which rely on different physical principles, though independent, and could interact with one another through cross-links data at core level. The Advanced Leak Detection system has been developed over an already existing technological platform based on vibroacoustic sensing, which includes flowmeters, pressure sensors, and accelerometers using acquisition units distributed along the pipeline routing, and processing computers with software suite. Leak Detection sub-systems are based on i) Advanced Negative Pressure Wave for detection and localization of fluid transients; ii) RTTM-Compensated Mass Balance for detection of imbalance in the fluid mass transportation; iii) Acoustic Noise for detection and localization of existing or slow-opening leaks. The integration of different Leak Detection sub-systems can take place at various levels: cross-check of measurements, cross-link of computed fluid-dynamic quantities, merge of alarms associated to the same physical event. The Advanced Leak Detection pilot system has been deployed and validated on liquid fuel transportation pipeline 40 km long, managed by Eni SpA in North Italy. Several controlled spill-tests (i.e., with distinct size, area, shape), including spillages simulating both short-duration and slow-opening cracks, have been performed in both pumping and shut-in operational conditions to calibrate the ALD system and to assess the performances. The amount of spilled product has been measured for each test by means of a calibrated weight scale. The ALD system proved to be able to detect and localize both quick and slow-opening leaks with a good sensitivity, specificity, and precision. In addition, Leak Detection alarms contain estimates of outflow rate and hole size: accuracy and alarm response time are assessed in the paper. In conclusion, the ALD system has been validated on fuel transportation pipeline by Eni as compliant with the technical requirements and is currently deployed in operations. The novelty of the pilot ALD system lies in the integration of Leak Detection methods at the core level, that allow to exchange information, calibration and synergically contribute to provide robust, sensitive, accurate and informative Leak Detection alarms.