Literatura académica sobre el tema "Informatique dans les nuages – Économies d'énergie"

L'informatique dans les nuages (cloud computing) est devenu durant les dernières années un paradigme dominant dans le paysage informatique. Son principe est de fournir des services décentralisés à la demande. La demande croissante pour ce type de service amène les fournisseurs de clouds à augmenter la taille de leurs infrastructures à tel point que les consommations d'énergie ainsi que les coûts associés deviennent très importants. Chaque fournisseur de service cloud doit répondre à des demandes différentes. C'est pourquoi au cours de cette thèse, nous nous sommes intéressés à la gestion des ressources efficace en énergie dans les clouds. Nous avons tout d'abord modélisé et étudié le problème de l'allocation de ressources initiale en fonction des services, en calculant des solutions approchées via des heuristiques, puis en les comparant à la solution optimale. Nous avons ensuite étendu notre modèle de ressources pour nous permettre d'avoir une solution plus globale, en y intégrant de l'hétérogénéité entre les machines et des infrastructures de refroidissement. Nous avons enfin validé notre modèle par simulation. Les services doivent faire face à différentes phases de charge, ainsi qu'à des pics d'utilisation. C'est pourquoi, nous avons étendu le modèle d'allocation de ressources pour y intégrer la dynamicité des requêtes et de l'utilisation des ressources. Nous avons mis en œuvre une infrastructure de cloud simulée, visant à contrôler l'exécution des différents services ainsi que le placement de ceux-ci. Ainsi notre approche permet de réduire la consommation d'énergie globale de l'infrastructure, ainsi que de limiter autant que possible les dégradations de performance
Cloud computing has become over the last years an important paradigm in the computing landscape. Its principle is to provide decentralized services and allows client to consume resources on a pay-as-you-go model. The increasing need for this type of service brings the service providers to increase the size of their infrastructures, to the extent that energy consumptions as well as operating costs are becoming important. Each cloud service provider has to provide for different types of requests. Infrastructure manager then have to host all the types of services together. That's why during this thesis, we tackled energy efficient resource management in the clouds. In order to do so, we first modeled and studied the initial service allocation problem, by computing approximated solutions given by heuristics, then comparing it to the optimal solution computed with a linear program solver. We then extended the model of resources to allow us to have a more global approach, by integrating the inherent heterogeneity of clusters and the cooling infrastructures. We then validated our model via simulation. Usually, the services must face different stages of workload, as well as utilization spikes. That's why we extended the model to include dynamicity of requests and resource usage, as well as the concept of powering on or off servers, or the cost of migrating a service from one host to another. We implemented a simulated cloud infrastructure, aiming at controlling the execution of the services as well as their placement. Thus, our approach enables the reduction of the global energy consumption of the infrastructure, and limits as much as possible degrading the performances

En migrant sa charge de travail vers des centres de données plus grands, le numérique a pu améliorerson efficacité énergétique. La consommation liée à l'augmentation des usages a ainsi été atténuée parde nettes améliorations de l'infrastructure mutualisée (appelée communément Cloud Computing), cequi est visible via des indicateurs tels que le Power Usage Efficiency (PUE).L'infrastructure n'est cependant pas le seul point à optimiser. Le serveur en lui même, et les tâchesqu'il exécute, reste un axe important de la recherche. Le taux d'usage est notamment particulièrementétudié car sa valeur relativement faible représente un gain potentiel non-négligeable. Ainsi, d'un pointde vue énergétique (consommation) et matériel (coût environnemental et financier), l'utilisation d'unserveur chargé à 100% est préférable à celle de 3 serveurs chargés à 30%. Je propose donc d'étudierces taux d'usages au travers de quatre contributions complémentaires:1. La création d'expériences contrôlées réalistes dans un contexte Infrastructure-as-a-Service(IAAS). Alors que les plateformes supportant les infrastructures Cloud sont particulièrementétudiées, la génération de charges de travail réalistes est primordiale. Chaque Cloud providerayant ses propres caractéristiques (distribution de tailles de Virtual Machines (VMs), tauxd'usage individuels), nous proposons un outil permettant de générer ces charges réalistes.2. L'amélioration du calcul du taux de surréservation individuel des serveurs. En tenant encompte de la stabilité individuel des serveurs, il est possible d'affiner le calcul de ce taux sanscauser de violations supplémentaires.3. L'introduciton d'un nouveau paradigme de surréservation. En démontrant tout d'abord queles vCPUs des VMs ne sont pas uniformément utilisés en conditions réelles, nous exposons auxVMs des coeurs de différentes puissances (car surréservés à différents niveaux) et démontronsque ce paradigme peut améliorer les performances globales.4. La complémentarité des taux de surréservation pour réduire les ressources non-allouées.La comparaison des VMs dites premium et des VMs surréservées permet d'identifier qu'ellestendent à saturer différemment les ressources de leur hôtes. En les hébergeant sur les mêmesserveurs, il est ainsi possible de bénéficier de synergies, et de réduire jusqu'à 9.6% la taille duparc
By migrating its workload to larger Data Centers (DCs), the digital realm has been able to improve its energy efficiency. The consumption due to the increase in usage has thus been mitigated by significant improvements in shared infrastructure (commonly referred to as Cloud Computing), which is evident through indicators such as Power Usage Efficiency (PUE). However, infrastructure is not the sole point of optimization. The server itself, and the tasks it executes, remain an important focus of research. Usage rate, in particular, is closely studied because its relatively low value also represents a considerable potential gain. Thus, from both an energy (consumption) and material (environmental and financial cost) standpoint, the use of a server loaded at 100% is preferable to that of 3 servers loaded at 30%. I propose to examine these usage rates along four complementary contributions:1. The creation of realistic controlled experiments in an Infrastructure-as-a-Service (IAAS) context. While platforms supporting Cloud infrastructures are extensively studied, generating realistic workloads is crucial. As each Cloud Provider has its characteristics (distribution of VM sizes, individual usage rates), we propose a tool to generate these workloads.2. The calculation of individual server oversubscription ratio. By considering the individual stability of servers, it is possible to fine-tune the calculation of this ratio without causing additional violations.3. The introduction of a new oversubscription paradigm. By first demonstrating that Virtual Machine (VM) vCPUs are not uniformly used in a real-world context, we expose to VMs cores of different powers (by oversubscribing them to different amounts) and demonstrate that this paradigm can improve overall performance.4. The complementarity of oversubscription techniques to reduce unallocated resources. Comparing so-called premium VMs and oversubscribed VMs identifies that they tend to saturate their hosts' resources differently. By hosting them on the same servers, it is thus possible to benefit from synergies and reduce the number of servers by up to 9.6%

L'informatique en nuage (Cloud Computing) a émergé comme un nouveau paradigme pour offrir des ressources informatiques à la demande et pour externaliser des infrastructures logicielles et matérielles. Le Cloud Computing est rapidement et fondamentalement en train de révolutionner la façon dont les services informatiques sont mis à disposition et gérés. Ces services peuvent être demandés à partir d'un ou plusieurs fournisseurs de Cloud d'où le besoin de la mise en réseau entre les composants des services informatiques distribués dans des emplacements géographiquement répartis. Les utilisateurs du Cloud veulent aussi déployer et instancier facilement leurs ressources entre les différentes plateformes hétérogènes de Cloud Computing. Les fournisseurs de Cloud assurent la mise à disposition des ressources de calcul sous forme des machines virtuelles à leurs utilisateurs. Par contre, ces clients veulent aussi la mise en réseau entre leurs ressources virtuelles. En plus, ils veulent non seulement contrôler et gérer leurs applications, mais aussi contrôler la connectivité réseau et déployer des fonctions et des services de réseaux complexes dans leurs infrastructures virtuelles dédiées. Les besoins des utilisateurs avaient évolué au-delà d'avoir une simple machine virtuelle à l'acquisition de ressources et de services virtuels complexes, flexibles, élastiques et intelligents. L'objectif de cette thèse est de permettre le placement et l'instanciation des ressources complexes dans des infrastructures de Cloud distribués tout en permettant aux utilisateurs le contrôle et la gestion de leurs ressources. En plus, notre objectif est d'assurer la convergence entre les services de cloud et de réseau. Pour atteindre ces objectifs, cette thèse propose des algorithmes de mapping d'infrastructures virtuelles dans les centres de données et dans le réseau tout en respectant les exigences des utilisateurs. Avec l'apparition du Cloud Computing, les réseaux traditionnels sont étendus et renforcés avec des réseaux logiciels reposant sur la virtualisation des ressources et des fonctions réseaux. En plus, le nouveau paradigme d'architecture réseau (SDN : Software Defined Networks) est particulièrement pertinent car il vise à offrir la programmation du réseau et à découpler, dans un équipement réseau, la partie plan de données de la partie plan de contrôle. Dans ce contexte, la première partie de la thèse propose des algorithmes optimaux (exacts) et heuristiques de placement pour trouver le meilleur mapping entre les demandes des utilisateurs et les infrastructures sous-jacentes, tout en respectant les exigences exprimées dans les demandes. Cela inclut des contraintes de localisation permettant de placer une partie des ressources virtuelles dans le même nœud physique. Ces contraintes assurent aussi le placement des ressources dans des nœuds distincts. Les algorithmes proposés assurent le placement simultané des nœuds et des liens virtuels sur l'infrastructure physique. Nous avons proposé aussi un algorithme heuristique afin d'accélérer le temps de résolution et de réduire la complexité du problème. L'approche proposée se base sur la technique de décomposition des graphes et la technique de couplage des graphes bipartis. Dans la troisième partie de la thèse, nous proposons un cadriciel open source (framework) permettant d'assurer la mise en réseau dynamique entre des ressources Cloud distribués et l'instanciation des fonctions réseau dans l'infrastructure virtuelle de l'utilisateur. Ce cadriciel permettra de déployer et d'activer les composants réseaux afin de mettre en place les demandes des utilisateurs. Cette solution se base sur un gestionnaire des ressources réseaux "Cloud Network Gateway Manager" et des passerelles logicielles permettant d'établir la connectivité dynamique et à la demande entre des ressources cloud et réseau [...]
Cloud computing has rapidly emerged as a successful paradigm for providing IT infrastructure, resources and services on a pay-per-use basis over the past few years. As, the wider adoption of Cloud and virtualization technologies has led to the establishment of large scale data centers that consume excessive energy and have significant carbon footprints, energy efficiency is becoming increasingly important for data centers and Cloud. Today data centers energy consumption represents 3 percent of all global electricity production and is estimated to further rise in the future. This thesis presents new models and algorithms for energy efficient resource allocation in Cloud data centers. The first goal of this work is to propose, develop and evaluate optimization algorithms of resource allocation for traditional Infrastructutre as a Service (IaaS) architectures. The approach is Virtual Machine (VM) based and enables on-demand and dynamic resource scheduling while reducing power consumption of the data center. This initial objective is extended to deal with the new trends in Cloud services through a new model and optimization algorithms of energy efficient resource allocation for hybrid IaaS-PaaS Cloud providers. The solution is generic enough to support different type of virtualization technologies, enables both on-demand and advanced resource provisioning to deal with dynamic resource scheduling and fill the gap between IaaS and PaaS services and create a single continuum of services for Cloud users. Consequently, in the thesis, we first present a survey of the state of the art on energy efficient resource allocation in cloud environments. Next, we propose a bin packing based approach for energy efficient resource allocation for classical IaaS. We formulate the problem of energy efficient resource allocation as a bin-packing model and propose an exact energy aware algorithm based on integer linear program (ILP) for initial resource allocation. To deal with dynamic resource consolidation, an exact ILP algorithm for dynamic VM reallocation is also proposed. This algorithm is based on VM migration and aims at constantly optimizing energy efficiency at service departures. A heuristic method based on the best-fit algorithm has also been adapted to the problem. Finally, we present a graph-coloring based approach for energy efficient resource allocation in the hybrid IaaS-PaaS providers context. This approach relies on a new graph coloring based model that supports both VM and container virtualization and provides on-demand as well as advanced resource reservation. We propose and develop an exact Pre-coloring algorithm for initial/static resource allocation while maximizing energy efficiency. A heuristic Pre-coloring algorithm for initial resource allocation is also proposed to scale with problem size. To adapt reservations over time and improve further energy efficiency, we introduce two heuristic Re-coloring algorithms for dynamic resource reallocation. Our solutions are generic, robust and flexible and the experimental evaluation shows that both proposed approaches lead to significant energy savings while meeting the users' requirements

L'architecture actuelle du cloud, reposant sur des datacenters centralisés, limite la qualité des services offerts par le cloud du fait de l'éloignement de ces datacenters par rapport aux utilisateurs. En effet, cette architecture est peu adaptée à la tendance actuelle promouvant l'ubiquité du cloud computing. De plus, la consommation énergétique actuelle des data centers, ainsi que du cœur de réseau, représente 3% de la production totale d'énergie, tandis que selon les dernières estimations, seulement 42,3% de la population serait connectée. Dans cette thèse, nous nous intéressons à deux inconvénients majeurs des clouds centralisés: la consommation d'énergie ainsi que la faible qualité de service offerte. D'une part, du fait de son architecture centralisée, le cœur de réseau consomme plus d'énergie afin de connecter les utilisateurs aux datacenters. D'autre part, la distance entre les utilisateurs et les datacenters entraîne une utilisation accrue du réseau mondial à large bande, menant à des expériences utilisateurs de faible qualité, particulièrement pour les applications interactives. Une approche semi-centralisée peut offrir une meilleur qualité d'expérience aux utilisateurs urbains dans des réseaux clouds mobiles. Pour ce faire, cette approche confine le traffic local au plus proche de l'utilisateur, tout en maintenant les caractéristiques centralisées s’exécutant sur les équipements réseaux et utilisateurs. Dans cette thèse, nous proposons une nouvelle architecture de cloud distribué, basée sur des "microclouds". Des "microclouds" sont créés de manière dynamique, afin que les ressources utilisateurs provenant de leurs ordinateurs, téléphones ou équipements réseaux puissent être mises à disposition dans le cloud. De ce fait, les microclouds offrent un système dynamique, passant à l'échelle, tout en évitant d’investir dans de nouvelles infrastructures. Nous proposons également un exemple d'utilisation des microclouds sur un cas typique réel. Par simulation, nous montrons que notre approche permet une économie d'énergie pouvant atteindre 75%, comparée à une approche centralisée standard. En outre, nos résultats indiquent que cette architecture passe à l'échelle en terme du nombre d'utilisateurs mobiles, tout en offrant une bien plus faible latence qu'une architecture centralisée. Pour finir, nous analysons comment inciter les utilisateurs à partager leur ressources dans les clouds mobiles et proposons un nouveau mécanisme d'enchère adapté à l'hétérogénéité et la forte dynamicité de ces systèmes. Nous comparons notre solution aux autres mécanismes d’enchère existants dans des cas d'utilisations typiques au sein des clouds mobiles, et montrons la pertinence de notre solution
The current datacenter-centralized architecture limits the cloud to the location of the datacenters, generally far from the user. This architecture collides with the latest trend of ubiquity of Cloud computing. Also, current estimated energy usage of data centers and core networks adds up to 3% of the global energy production, while according to latest estimations only 42,3% of the population is connected. In the current work, we focused on two drawbacks of datacenter-centralized Clouds: Energy consumption and poor quality of service. On the one hand, due to its centralized nature, energy consumption in networks is affected by the centralized vision of the Cloud. That is, backbone networks increase their energy consumption in order to connect the clients to the datacenters. On the other hand, distance leads to increased utilization of the broadband Wide Area Network and poor user experience, especially for interactive applications. A distributed approach can provide a better Quality of Experience (QoE) in large urban populations in mobile cloud networks. To do so, the cloud should confine local traffic close to the user, running on the users and network devices. In this work, we propose a novel distributed cloud architecture based on microclouds. Microclouds are dynamically created and allow users to contribute resources from their computers, mobile and network devices to the cloud. This way, they provide a dynamic and scalable system without the need of an extra investment in infrastructure. We also provide a description of a realistic mobile cloud use case, and the adaptation of microclouds on it. Through simulations, we show an overall saving up to 75% of energy consumed in standard centralized clouds with our approach. Also, our results indicate that this architecture is scalable with the number of mobile devices and provide a significantly lower latency than regular datacenter-centralized approaches. Finally, we analyze the use of incentives for Mobile Clouds, and propose a new auction system adapted to the high dynamism and heterogeneity of these systems. We compare our solution to other existing auctions systems in a Mobile Cloud use case, and show the suitability of our solution

La consommation énergétique des centres de calculs et de données, aussi appelés « data centers », représentait 2% de la consommation mondiale d'électricité en 2012. Leur nombre est en augmentation et suit l'évolution croissante des objets connectés, services, applications, et des données collectées. Ces infrastructures, très consommatrices en énergie, sont souvent sur-dimensionnées et les serveurs en permanence allumés. Quand la charge de travail est faible, l'électricité consommée par les serveurs inutilisés est gaspillée, et un serveur inactif peut consommer jusqu'à la moitié de sa consommation maximale. Cette thèse s'attaque à ce problème en concevant un data center ayant une consommation énergétique proportionnelle à sa charge. Nous proposons un data center hétérogène, nommé BML pour « Big, Medium, Little », composé de plusieurs types de machines : des processeurs très basse consommation et des serveurs classiques. L'idée est de profiter de leurs différentes caractéristiques de performance, consommation, et réactivité d'allumage, pour adapter dynamiquement la composition de l'infrastructure aux évolutions de charge. Nous décrivons une méthode générique pour calculer les combinaisons de machines les plus énergétiquement efficaces à partir de données de profilage de performance et d'énergie acquis expérimentalement considérant une application cible, ayant une charge variable au cours du temps, dans notre cas un serveur web.Nous avons développé deux algorithmes prenant des décisions de reconfiguration de l'infrastructure et de placement des instances de l'application en fonction de la charge future. Les différentes temporalités des actions de reconfiguration ainsi que leur coûts énergétiques sont pris en compte dans le processus de décision. Nous montrons par simulations que nous atteignons une consommation proportionnelle à la charge, et faisons d'importantes économies d'énergie par rapport aux gestions classiques des data centers
The increasing number of data centers raises serious concerns regarding their energy consumption. These infrastructures are often over-provisioned and contain servers that are not fully utilized. The problem is that inactive servers can consume as high as 50% of their peak power consumption.This thesis proposes a novel approach for building data centers so that their energy consumption is proportional to the actual load. We propose an original infrastructure named BML for "Big, Medium, Little", composed of heterogeneous computing resources : from low power processors to classical servers. The idea is to take advantage of their different characteristics in terms of energy consumption, performance, and switch on reactivity to adjust the composition of the infrastructure according to the load evolutions. We define a generic methodology to compute the most energy proportional combinations of machines based on hardware profiling data.We focus on web applications whose load varies over time and design a scheduler that dynamically reconfigures the infrastructure, with application migrations and machines switch on and off, to minimize the infrastructure energy consumption according to the current application requirements.We have developed two different dynamic provisioning algorithms which take into account the time and energy overheads of the different reconfiguration actions in the decision process. We demonstrate through simulations based on experimentally acquired hardware profiles that we achieve important energy savings compared to classical data center infrastructures and management

L'informatique en nuage (Cloud Computing) a émergé comme un nouveau paradigme pour offrir des ressources informatiques à la demande et pour externaliser des infrastructures logicielles et matérielles. Le Cloud Computing est rapidement et fondamentalement en train de révolutionner la façon dont les services informatiques sont mis à disposition et gérés. Ces services peuvent être demandés à partir d'un ou plusieurs fournisseurs de Cloud d'où le besoin de la mise en réseau entre les composants des services informatiques distribués dans des emplacements géographiquement répartis. Les utilisateurs du Cloud veulent aussi déployer et instancier facilement leurs ressources entre les différentes plateformes hétérogènes de Cloud Computing. Les fournisseurs de Cloud assurent la mise à disposition des ressources de calcul sous forme des machines virtuelles à leurs utilisateurs. Par contre, ces clients veulent aussi la mise en réseau entre leurs ressources virtuelles. En plus, ils veulent non seulement contrôler et gérer leurs applications, mais aussi contrôler la connectivité réseau et déployer des fonctions et des services de réseaux complexes dans leurs infrastructures virtuelles dédiées. Les besoins des utilisateurs avaient évolué au-delà d'avoir une simple machine virtuelle à l'acquisition de ressources et de services virtuels complexes, flexibles, élastiques et intelligents. L'objectif de cette thèse est de permettre le placement et l'instanciation des ressources complexes dans des infrastructures de Cloud distribués tout en permettant aux utilisateurs le contrôle et la gestion de leurs ressources. En plus, notre objectif est d'assurer la convergence entre les services de cloud et de réseau. Pour atteindre ces objectifs, cette thèse propose des algorithmes de mapping d'infrastructures virtuelles dans les centres de données et dans le réseau tout en respectant les exigences des utilisateurs. Avec l'apparition du Cloud Computing, les réseaux traditionnels sont étendus et renforcés avec des réseaux logiciels reposant sur la virtualisation des ressources et des fonctions réseaux. En plus, le nouveau paradigme d'architecture réseau (SDN : Software Defined Networks) est particulièrement pertinent car il vise à offrir la programmation du réseau et à découpler, dans un équipement réseau, la partie plan de données de la partie plan de contrôle. Dans ce contexte, la première partie de la thèse propose des algorithmes optimaux (exacts) et heuristiques de placement pour trouver le meilleur mapping entre les demandes des utilisateurs et les infrastructures sous-jacentes, tout en respectant les exigences exprimées dans les demandes. Cela inclut des contraintes de localisation permettant de placer une partie des ressources virtuelles dans le même nœud physique. Ces contraintes assurent aussi le placement des ressources dans des nœuds distincts. Les algorithmes proposés assurent le placement simultané des nœuds et des liens virtuels sur l'infrastructure physique. Nous avons proposé aussi un algorithme heuristique afin d'accélérer le temps de résolution et de réduire la complexité du problème. L'approche proposée se base sur la technique de décomposition des graphes et la technique de couplage des graphes bipartis. Dans la troisième partie de la thèse, nous proposons un cadriciel open source (framework) permettant d'assurer la mise en réseau dynamique entre des ressources Cloud distribués et l'instanciation des fonctions réseau dans l'infrastructure virtuelle de l'utilisateur. Ce cadriciel permettra de déployer et d'activer les composants réseaux afin de mettre en place les demandes des utilisateurs. Cette solution se base sur un gestionnaire des ressources réseaux "Cloud Network Gateway Manager" et des passerelles logicielles permettant d'établir la connectivité dynamique et à la demande entre des ressources cloud et réseau [...]
Cloud computing has rapidly emerged as a successful paradigm for providing IT infrastructure, resources and services on a pay-per-use basis over the past few years. As, the wider adoption of Cloud and virtualization technologies has led to the establishment of large scale data centers that consume excessive energy and have significant carbon footprints, energy efficiency is becoming increasingly important for data centers and Cloud. Today data centers energy consumption represents 3 percent of all global electricity production and is estimated to further rise in the future. This thesis presents new models and algorithms for energy efficient resource allocation in Cloud data centers. The first goal of this work is to propose, develop and evaluate optimization algorithms of resource allocation for traditional Infrastructutre as a Service (IaaS) architectures. The approach is Virtual Machine (VM) based and enables on-demand and dynamic resource scheduling while reducing power consumption of the data center. This initial objective is extended to deal with the new trends in Cloud services through a new model and optimization algorithms of energy efficient resource allocation for hybrid IaaS-PaaS Cloud providers. The solution is generic enough to support different type of virtualization technologies, enables both on-demand and advanced resource provisioning to deal with dynamic resource scheduling and fill the gap between IaaS and PaaS services and create a single continuum of services for Cloud users. Consequently, in the thesis, we first present a survey of the state of the art on energy efficient resource allocation in cloud environments. Next, we propose a bin packing based approach for energy efficient resource allocation for classical IaaS. We formulate the problem of energy efficient resource allocation as a bin-packing model and propose an exact energy aware algorithm based on integer linear program (ILP) for initial resource allocation. To deal with dynamic resource consolidation, an exact ILP algorithm for dynamic VM reallocation is also proposed. This algorithm is based on VM migration and aims at constantly optimizing energy efficiency at service departures. A heuristic method based on the best-fit algorithm has also been adapted to the problem. Finally, we present a graph-coloring based approach for energy efficient resource allocation in the hybrid IaaS-PaaS providers context. This approach relies on a new graph coloring based model that supports both VM and container virtualization and provides on-demand as well as advanced resource reservation. We propose and develop an exact Pre-coloring algorithm for initial/static resource allocation while maximizing energy efficiency. A heuristic Pre-coloring algorithm for initial resource allocation is also proposed to scale with problem size. To adapt reservations over time and improve further energy efficiency, we introduce two heuristic Re-coloring algorithms for dynamic resource reallocation. Our solutions are generic, robust and flexible and the experimental evaluation shows that both proposed approaches lead to significant energy savings while meeting the users' requirements

Avec la démocratisation des technologies du numérique, la construction d'un cyberespace globalisé s'est faite insidieusement, transformant littéralement notre mode de vie et notre vécu quotidien. Faire communiquer plus de 4 milliards d'individus à une vitesse devenue incontrôlable, nécessite l'invention de nouveaux concepts pour la production des services informatiques capable de s'adapter à ce défis. Le Cloud Computing, dans cette optique permet de fournir à travers des Datacenters, une partie ou la totalité des composants nécessaires aux entreprises pour la délivrance de leurs services dans les délais et avec des performances conformes aux exigences de leurs clients. Dès lors, la prolifération conséquente des Datacenters aux quatre coins du monde a mis au jour la préoccupante question de la quantité d'énergie nécessaire pour leur fonctionnement et la difficulté qui en résulte pour l'humanité dont les réserves actuelles ne sont pas extensibles à l'infini. Ainsi, il est apparu nécessaire de développer des techniques permettant de réduire la consommation électrique des Datacenters en minimisant les pertes d'énergie orchestrées sur les serveurs dont le moindre watt gaspillé entraine par effet de cascade une augmentation substantielle de la facture globale des Datacenters. Notre travail a consisté à faire dans un premier temps une revue de la littérature sur le sujet, puis de tester la capacité de quelques outils de prédiction à améliorer l'anticipation des risques de pertes d'énergie engendrer par la mauvaise allocation des machines virtuelles sur les serveurs. Cette étude s'est focalisée notamment sur les outil ARMA et les réseaux de neurones qui dans la littérature ont produit des résultats intéressants dans des domaines proches. Après cette étape, il nous est apparu que les outils ARMA bien qu'ayant des performances inférieures aux réseaux de neurones dans notre contexte, s'exécute dans plus rapidement et sont les plus adaptés pour être implémenter dans les environnements de Cloud Computing. Ainsi, nous avons utilisé les résultats de cette méthode pour améliorer le processus de prise de décision, notamment pour la re-allocation proactive des machines virtuelles avant qu'il n'entraine des sous-consommations des ressources sur les serveurs physiques ou des surconsommation pouvant induire des violations des accords de niveaux de service. Cette démarche a permis sur la base de nos simulations de réduire de plus de 5Kwh la consommation d'énergie dans une ferme de 800 serveurs et sur une durée d'une journée. Ce gain pourrait se révéler important lorsque l'on considère la taille énorme des datacenters modernes et que l'on se projette dans une durée relativement longue. Il serait encore plus intéressant d'approfondir cette recherche afin de généraliser l'intégration de cette approche prédictive dans les techniques existantes afin d'optimiser de façon significative les consommations d'énergie au sein des Datacenters tout en préservant les performances et la qualité de service indispensable dans le concept de Cloud Computing
With the democratization of digital technologies, the construction of a globalized cyberspace insidiously transforms our lifestyle. Connect more than 4 billion people at high speed, requires the invention of new concept of service provision and trafic management that are capable to face the challenges. For that purpose, Cloud Computing have been set up to enable Datacenters to provide part or total IT components needed by companies for timely services delivering with performance that meets the requirements of their clients. Consequently, the proliferation of Datacenters around the world has brought to light the worrying question about the amount of energy needed for their function and the resulting difficulty for the humanity, whose current reserves are not extensible indefinitely. It was therefore necessary to develop techniques that reduce the power consumption of Datacenters by minimizing the energy losses orchestrated on servers where each wasted watt results in a chain effect on a substantial increase in the overall bill of Datacenters. Our work consisted first in making a review of the literature on the subject and then testing the ability of some prediction tools to improve the anticipation of the risks of energy loss caused by the misallocation of virtual equipment on servers. This study focused particularly on the ARMA tools and neural networks which in the literature have produced interesting results in related fields. After this step, it appeared to us that ARMA tools, although having less performance than neural networks in our context, runs faster and are best suited to be implemented in cloud computing environments. Thus, we used the results of this method to improve the decision-making process, notably for the proactive re-allocation of virtual equipment before it leads to under-consumption of resources on physical servers or over-consumption inducing breaches of SLAs. Based on our simulations, this approach enabled us to reduce energy consumption on a firm of 800 servers over a period of one day by more than 5Kwh. This gain could be significant when considering the enormous size of modern data centers and projected over a relatively long period of time. It would be even more interesting to deepen this research in order to generalize the integration of this predictive approach into existing techniques in order to significantly optimize the energy consumption within Datacenters while preserving performance and quality of service which are key requirements in the concept of Cloud Computing

Le mobile crowdsensing est une nouvelle forme de collecte de données exploitant la foule de terminaux intelligents déjà déployés à travers le monde pour collecter massivement des données environnementales ou comportementales d'une population.Ces dernières années, ce type de collecte de données a suscité l'intérêt d'un grand nombre d'acteurs industriels et académiques dans de nombreux domaines tels que l'étude de la mobilité urbaine, la surveillance de l'environnement, la santé ou l'étude des comportements socioculturels. Cependant, le mobile crowdsensing n'en n'est qu'à ses premiers stades de développement, et de nombreux défis doivent encore être relevés pour pleinement profiter de son potentiel. Ces défis incluent la protection de la vie privée des utilisateurs, les ressources énergétiques limitées des terminaux mobiles, la mise en place de modèles de récompense et de déploiement adaptés pour recruter les utilisateurs les plus à même de collecter les données désirées, ainsi que faire face à l’hétérogénéité des plateformes mobiles disponibles. Dans cette thèse, nous avons cherché à réétudier les architectures des systèmes dédiés au mobile crowdsensing pour adresser les limitations liées au développement, au déploiement et à l'exécution de campagnes de collecte de données. Les différentes contributions proposées sont articulées autour APISENSE, la plate-forme résultante des travaux de cette thèse. APISENSE a été utilisé pour réaliser une campagne de collecte de données déployée auprès d'une centaine d'utilisateurs au sein d'une étude sociologique, et évalué à travers des expériences qui démontrent la validité, l'efficacité et le passage à échelle de notre solution
Mobile crowdsensing is a new form of data collection that takes advantage of millions smart devices already deployed throughout the world to collect massively environmental or behavioral data from a population. Recently, this type of data collection has attracted interest from a large number of industrials and academic players in many areas, such as the study of urban mobility, environmental monitoring, health or the study of sociocultural attitudes. However, mobile crowdsensing is in its early stages of development, and many challenges remain to be addressed to take full advantage of its potential. These challenges include privacy, limited energy resources of devices, development of reward and recruitment models to select appropriates mobile users and dealing with heterogeneity of mobile platforms available. In this thesis, we aim to reconsider the architectural design of current mobile crowdsensing systems to provide a simple and effective way to design, deploy and manage data collection campaigns.The main contributions of this thesis are organize around APISENSE, the resulting platform of this research. APISENSE has been used to carry out a data collection campaign deployed over hundred of users in a sociological study and evaluated through experiments demonstrating the validity, effectiveness and scalability of our solution

Avec la démocratisation des technologies du numérique, la construction d'un cyberespace globalisé s'est faite insidieusement, transformant littéralement notre mode de vie et notre vécu quotidien. Faire communiquer plus de 4 milliards d'individus à une vitesse devenue incontrôlable, nécessite l'invention de nouveaux concepts pour la production des services informatiques capable de s'adapter à ce défis. Le Cloud Computing, dans cette optique permet de fournir à travers des Datacenters, une partie ou la totalité des composants nécessaires aux entreprises pour la délivrance de leurs services dans les délais et avec des performances conformes aux exigences de leurs clients. Dès lors, la prolifération conséquente des Datacenters aux quatre coins du monde a mis au jour la préoccupante question de la quantité d'énergie nécessaire pour leur fonctionnement et la difficulté qui en résulte pour l'humanité dont les réserves actuelles ne sont pas extensibles à l'infini. Ainsi, il est apparu nécessaire de développer des techniques permettant de réduire la consommation électrique des Datacenters en minimisant les pertes d'énergie orchestrées sur les serveurs dont le moindre watt gaspillé entraine par effet de cascade une augmentation substantielle de la facture globale des Datacenters. Notre travail a consisté à faire dans un premier temps une revue de la littérature sur le sujet, puis de tester la capacité de quelques outils de prédiction à améliorer l'anticipation des risques de pertes d'énergie engendrer par la mauvaise allocation des machines virtuelles sur les serveurs. Cette étude s'est focalisée notamment sur les outil ARMA et les réseaux de neurones qui dans la littérature ont produit des résultats intéressants dans des domaines proches. Après cette étape, il nous est apparu que les outils ARMA bien qu'ayant des performances inférieures aux réseaux de neurones dans notre contexte, s'exécute dans plus rapidement et sont les plus adaptés pour être implémenter dans les environnements de Cloud Computing. Ainsi, nous avons utilisé les résultats de cette méthode pour améliorer le processus de prise de décision, notamment pour la re-allocation proactive des machines virtuelles avant qu'il n'entraine des sous-consommations des ressources sur les serveurs physiques ou des surconsommation pouvant induire des violations des accords de niveaux de service. Cette démarche a permis sur la base de nos simulations de réduire de plus de 5Kwh la consommation d'énergie dans une ferme de 800 serveurs et sur une durée d'une journée. Ce gain pourrait se révéler important lorsque l'on considère la taille énorme des datacenters modernes et que l'on se projette dans une durée relativement longue. Il serait encore plus intéressant d'approfondir cette recherche afin de généraliser l'intégration de cette approche prédictive dans les techniques existantes afin d'optimiser de façon significative les consommations d'énergie au sein des Datacenters tout en préservant les performances et la qualité de service indispensable dans le concept de Cloud Computing
With the democratization of digital technologies, the construction of a globalized cyberspace insidiously transforms our lifestyle. Connect more than 4 billion people at high speed, requires the invention of new concept of service provision and trafic management that are capable to face the challenges. For that purpose, Cloud Computing have been set up to enable Datacenters to provide part or total IT components needed by companies for timely services delivering with performance that meets the requirements of their clients. Consequently, the proliferation of Datacenters around the world has brought to light the worrying question about the amount of energy needed for their function and the resulting difficulty for the humanity, whose current reserves are not extensible indefinitely. It was therefore necessary to develop techniques that reduce the power consumption of Datacenters by minimizing the energy losses orchestrated on servers where each wasted watt results in a chain effect on a substantial increase in the overall bill of Datacenters. Our work consisted first in making a review of the literature on the subject and then testing the ability of some prediction tools to improve the anticipation of the risks of energy loss caused by the misallocation of virtual equipment on servers. This study focused particularly on the ARMA tools and neural networks which in the literature have produced interesting results in related fields. After this step, it appeared to us that ARMA tools, although having less performance than neural networks in our context, runs faster and are best suited to be implemented in cloud computing environments. Thus, we used the results of this method to improve the decision-making process, notably for the proactive re-allocation of virtual equipment before it leads to under-consumption of resources on physical servers or over-consumption inducing breaches of SLAs. Based on our simulations, this approach enabled us to reduce energy consumption on a firm of 800 servers over a period of one day by more than 5Kwh. This gain could be significant when considering the enormous size of modern data centers and projected over a relatively long period of time. It would be even more interesting to deepen this research in order to generalize the integration of this predictive approach into existing techniques in order to significantly optimize the energy consumption within Datacenters while preserving performance and quality of service which are key requirements in the concept of Cloud Computing

La consommation énergétique des clusters de centres de données augmente rapidement, ce qui en fait les consommateurs d'électricité à la croissance la plus rapide au monde. Les sources d’électricité renouvelables et en particulier l’énergie solaire en tant qu’énergie propre et abondante peuvent être utilisées pour couvrir leurs besoins en électricité et les rendre «verts», c’est-à-dire alimentés par le photovoltaïque. Ce potentiel peut être exploré en prévoyant l'irradiance solaire et en évaluant la capacité fournie pour les clusters de centres de données. Dans cette thèse, nous développons des modèles stochastiques pour l'énergie solaire; un à la surface de la Terre et un second qui modélise le courant de sortie photovoltaïque. Nous d'abord validons nos modèles par des données réels, puis nous proposons une étude comparative avec d’autres systèmes, notamment les modèles dits on-off. Nous concluons que notre modèle d'irradiance solaire peut capturer les corrélations multi-échelles de façon plus optimale, et il se montre particulièrement convénient dans le cas d’une production à petite échelle. De plus, nous proposons une nouvelle analyse de cycle de vie pour un système de cluster réel, ainsi qu'un modèle de cluster prenant en charge la soumission de travaux par lots et prenant en compte le comportement client impatient et persistant. Enfin, pour comprendre les caractéristiques essentielles du cluster d’ordinateurs, nous analysons deux cas: le complexe Google publié et le Nef cluster de l’Inria. Nous avons également implémenté marmoteCore-Q, un outil de simulation d’une famille de modèles de file d’attente, basé sur nos modèles
Data center clusters energy consumption is rapidly increasing making them the fastest-growing consumers of electricity worldwide. Renewable electricity sources and especially solar energy as a clean and abundant energy can be used, in many locations, to cover their electricity needs and make them "green" namely fed by photovoltaics. This potential can be explored by predicting solar irradiance and assessing the capacity provision for data center clusters. In this thesis we develop stochastic models for solar energy; one at the surface of the Earth and a second one which models the photovoltaic output current. We then compare them to the state of the art on-off model and validate them against real data. We conclude that the solar irradiance model can better capture the multiscales correlations and is suitable for small scale cases. We then propose a new job life-cycle of a complex and real cluster system and a model for data center clusters that supports batch job submissions and cons iders both impatient and persistent customer behavior. To understand the essential computer cluster characteristics, we analyze in detail two different workload type traces; the first one is the published complex Google trace and the second, simpler one, which serves scientific purposes, is from the Nef cluster located at the research center Inria Sophia Antipolis. We then implement the marmoteCore-Q, a tool for the simulation of a family of queueing models based on our multi-server model for data center clusters with abandonments and resubmissions