Academic literature on the topic 'Réseaux cloud overlay'

L'explosion du nombre d'utilisateurs d'Internet et du volume de trafic constitue un défi majeur pour la gestion efficace des réseaux de diffusion de contenu (CDN). Bien que ces réseaux aient amélioré leur temps de réponse en exploitant la mise en cache dans des serveurs cloud proches des utilisateurs, les services non mis en cache continuent de poser des problèmes de gestion de trafic. Pour répondre à cette problématique, les réseaux overlay cloud ont émergé, mais ils introduisent des complexités telles que les violations d'inégalités triangulaires (TIV). Dans ce contexte, l'application du paradigme des réseaux à définition logicielle (SDN) combinée aux techniques d'apprentissage par renforcement profond (DRL) offre une opportunité prometteuse pour s'adapter en temps réel aux fluctuations de l'environnement. Face à l'augmentation constante du nombre de serveurs edge, les solutions distribuées de DRL, notamment les modèles d'apprentissage par renforcement profond multi-agent (MA-DRL), deviennent cruciales. Cependant, ces modèles rencontrent des défis non résolus tels que l'absence de simulateurs réseau réalistes, le surcoût de communication entre agents et la convergence et stabilité.Cette thèse se concentre donc sur l'exploration des méthodes MA-DRL pour le routage de paquets dans les réseaux overlay cloud. Elle propose des solutions pour relever ces défis, notamment le développement de simulateurs de réseau réalistes, l'étude du surcoût de communication et la conception d'une solution MA-DRL adaptée aux réseaux overlay cloud. L'accent est mis sur le compromis entre la performance et la quantité d'information partagée entre les agents, ainsi que sur la convergence et la stabilité durant l'entraînement
The exponential growth of Internet traffic in recent decades has prompted the emergence of Content Delivery Networks (CDNs) as a solution for managing high traffic volumes through data caching in cloud servers located near end-users. However, challenges persist, particularly for non-cacheable services, necessitating the use of cloud overlay networks. Due to a lack of knowledge about the underlay network, cloud overlay networks introduce complexities such as Triangle inequality violations (TIV) and dynamic traffic routing challenges.Leveraging the Software Defined Networks (SDN) paradigm, Deep Reinforcement Learning (DRL) techniques offer the possibility to exploit collected data to better adapt to network changes. Furthermore, the increase of cloud edge servers presents scalability challenges, motivating the exploration of Multi-Agent DRL (MA-DRL) solutions. Despite its suitability for the distributed packet routing problem in cloud overlay networks, MA-DRL faces non-addressed challenges such as the need for realistic network simulators, handling communication overhead, and addressing the multi-objective nature of the routing problem.This Ph.D. thesis delves into the realm of distributed Multi-Agent Deep Reinforcement Learning (MA-DRL) methods, specifically targeting the Distributed Packet Routing problem in cloud overlay networks. Throughout the thesis, we address these challenges by developing realistic network simulators, studying communication overhead in the non-overlay general setting, and proposing a distributed MA-DRL framework tailored to cloud overlay networks, focusing on communication overhead, convergence, and model stability

Aujourd’hui, les services Internet ainsi que les applications de l’informatique en nuage, ou “Cloud Computing”, sont hébergés au sein de grands centres de calculs et de stockage (datacenters). Les opérateurs de services “Cloud” (ou Cloud ServiceProvider (CSP)) s’engagent à fournir à leurs clients un haut niveau de disponibilité de leurs infrastructures et de fiabilité des données traitées. A cette fin, la duplication des applications et des données clients les plus massives peuvent-être amenées à se faire dans des datacenters distants. Du point de vue des CSPs, garantir un haut niveau de résilience doit se faire au moindre coût, tant en termes d’investissements matériel que de coûts opérationnels. L’opération coordonnée des services “Cloud” répartis sur plusieurs datacenters distants nécessite une connectivité performante et résistante aux pannes entre ces sites. A ce titre, la plupart des CSPs mettent en place un maillage de connections redondées à usage privatif louées auprès des fournisseurs de services Internet. A priori, un tel schéma de connectivité est coûteux, peu flexible, le délai d’inclusion d’un nouveau datacenter dans le maillage souhaité pouvant s’avérer prohibitif du point de vue de l’utilisateur final. L’objectif de cette thèse est donc d’assurer la résilience des connections inter-datacenter au moyen d’une approche qui soit à la fois suffisamment dynamique et d’un coût de mise en œuvre inférieur à la constitution d’un maillage de lignes louées auprès des opérateurs. Dans cette démarche, nous nous appuyons sur le fait que les datacenters sont souvent connectés par le biais de plusieurs opérateurs à Internet. Nous définissons alors une architecture réseau superposée (overlay), que nous désignons par "Kumori" (le terme Kumori signifie "nuageux" en japonais) permettant de détecter et de réagir rapidement à des pannes de liens ou de nuds sur Internet entre différents datacenters. Cet overlay se compose de points d’inflexion de routage placés en coïncidence avec des IXPs (Internet Exchange Points). L’architecture Kumori est supposée être supervisée par un contrôleur centralisé. Une fois l’architecture Kumori définie, nous cherchons à en évaluer les caractéristiques en termes de performance et de résilience dans un contexte le plus réaliste possible. Dans un premier temps, nous comparons les performances de l’architecture Kumori à celles de l’architecture RON (Resilient Overlay Network), une autre architecture visant à améliorer la résilience des connexions sur Internet. Nous cherchons ensuite à déterminer le gain en termes de résilience obtenu grâce à l’architecture Kumori vis-à-vis de l’architecture RON en évaluant le nombre de chemins divers pouvant être établis entre les datacenters de deux grands opérateurs de services“Cloud”: Amazon et Atos. A cette fin, nous constituons une représentation d’Internet sous forme d’un graphe orienté à partir de trois jeux de données publics. Les nuds de ce graphe représentent les points de présence géographiques des différents réseaux opérateurs sur Internet. Cela nous permet de prendre en compte les différences de taille entre ces réseaux. L’un des challenges les plus importants que nous avons rencontré lors de cette évaluation est lié à la taille très importante du graphe que nous avons manipulé et à la complexité algorithmique de la recherche de chemins disjoints que nous avons réalisée. Enfin, nous présentons une évaluation économique du coût d’opération de l’architecture Kumori afin d’en évaluer la pertinence économique
Nowadays, Internet services as well as applications delivered using Cloud Computing are hosted in large datacenters. The Cloud Service Providers (CSP) commit to give to their customers access to their infrastructures with a high level of availability. They also target a high level of reliability of the data processed in their computing infrastructure. In order to respect those commitments, CSPs replicate the applications they run and the associated data in remote datacenters. From a CSP’s perspective, ensuring a high level of availability and reliability must be achieved while keeping the operational and capital expenditures as limited as possible. The coordinated operation of cloud applications from a set of remote datacenters requires using a performant and resilient connection scheme. In that extend, most CSPs deploy a mesh of private protected links rented from Internet service providers between their datacenters. A priori, such a connection scheme is costly and poorly flexible. Besides,from a CSP’s point of view, including a new datacenter in the desired network is an expensive approach. The goal of this PhD thesis is to allow CSPs to ensure their datacenter interconnections’ resiliency using a flexible and affordable connection scheme. In that extend, we take advantage of the fact that datacenters are most of the time connected to the Internet through several Internet service providers. We design an overlay network architecture, referred as Kumori. Kumori stands for "cloudy" in Japanese. This architecture aims to detect and to react quickly to link or node failures affecting inter-datacenter communications over the Internet. This overlay consists in routing inflection points placed at Internet Exchange Points (IXP). The Kumori architecture is managed by a central controller. After the description of the Kumori architecture, we evaluate its characteristics in terms of performance and resiliency. First, we compare Kumori’s performance to the performance achieved by RON (Resilient Overlay Network), another overlay network architecture aiming at enhancing resiliency over the Internet. We then, characterize the resiliency benefits provided by the Kumori architecture. To do so, we evaluate the number of disjoint paths that it can establish between the datacenters of two CSPs: Atos and Amazon. For the sake of this evaluation, we build a directed graph representation of the Internet using three public data sources in which the graph nodes represent the various operators’ geographical points of presence (PoP). Our Internet representation allows us to take into account the differences between network operators in the Internet. One of the major challenges we faced during this evaluation is related to the very large size of the graph we obtained, and to the algorithmic complexity of the path diversity search algorithm. At last, we discuss an evaluation of Kumori’s costs of operation in order to evaluate the economical potential of this architecture

Dans cette thèse, nous abordons deux problèmes soulevés par les systèmes distribués décentralisés - le placement de réseaux logiques de façon compatible avec le réseau physique sous-jacent et la construction de cohortes d'éditeurs pour dans les systèmes d'édition collaborative. Bien que les réseaux logiques (overlay networks) été largement étudiés, la plupart des systèmes existant ne prennent pas ou prennent mal en compte la topologie du réseau physique sous-jacent, alors que la performance de ces systèmes dépend dans une grande mesure de la manière dont leur topologie logique exploite la localité présente dans le réseau physique sur lequel ils s'exécutent. Pour résoudre ce problème, nous proposons dans cette thèse Fluidify, un mécanisme décentralisé pour le déploiement d'un réseau logique sur une infrastructure physique qui cherche à maximiser la localité du déploiement. Fluidify utilise une stratégie double qui exploite à la fois les liaisons logiques d'un réseau applicatif et la topologie physique de son réseau sous-jacent pour aligner progressivement l'une avec l'autre. Le protocole résultant est générique, efficace, évolutif et peut améliorer considérablement les performances de l'ensemble. La deuxième question que nous abordons traite des plates-formes d'édition collaborative. Ces plates-formes permettent à plusieurs utilisateurs distants de contribuer simultanément au même document. Seuls un nombre limité d'utilisateurs simultanés peuvent être pris en charge par les éditeurs actuellement déployés. Un certain nombre de solutions pair-à-pair ont donc été proposées pour supprimer cette limitation et permettre à un grand nombre d'utilisateurs de collaborer sur un même document sans aucune coordination centrale. Ces plates-formes supposent cependant que tous les utilisateurs d'un système éditent le même jeu de document, ce qui est peu vraisemblable. Pour ouvrir la voie à des systèmes plus flexibles, nous présentons, Filament, un protocole décentralisé de construction de cohorte adapté aux besoins des grands éditeurs collaboratifs. Filament élimine la nécessité de toute table de hachage distribuée (DHT) intermédiaire et permet aux utilisateurs travaillant sur le même document de se retrouver d'une manière rapide, efficace et robuste en générant un champ de routage adaptatif autour d'eux-mêmes. L'architecture de Filament repose sur un ensemble de réseaux logiques auto-organisées qui exploitent les similarités entre jeux de documents édités par les utilisateurs. Le protocole résultant est efficace, évolutif et fournit des propriétés bénéfiques d'équilibrage de charge sur les pairs impliqués
In this thesis, we address two issues in the area of decentralized distributed systems: network-aware overlays and collaborative editing. Even though network overlays have been extensively studied, most solutions either ignores the underlying physical network topology, or uses mechanisms that are specific to a given platform or applications. This is problematic, as the performance of an overlay network strongly depends on the way its logical topology exploits the underlying physical network. To address this problem, we propose Fluidify, a decentralized mechanism for deploying an overlay network on top of a physical infrastructure while maximizing network locality. Fluidify uses a dual strategy that exploits both the logical links of an overlay and the physical topology of its underlying network to progressively align one with the other. The resulting protocol is generic, efficient, scalable and can substantially improve network overheads and latency in overlay based systems. The second issue that we address focuses on collaborative editing platforms. Distributed collaborative editors allow several remote users to contribute concurrently to the same document. Only a limited number of concurrent users can be supported by the currently deployed editors. A number of peer-to-peer solutions have therefore been proposed to remove this limitation and allow a large number of users to work collaboratively. These decentralized solution assume however that all users are editing the same set of documents, which is unlikely to be the case. To open the path towards more flexible decentralized collaborative editors, we present Filament, a decentralized cohort-construction protocol adapted to the needs of large-scale collaborative editors. Filament eliminates the need for any intermediate DHT, and allows nodes editing the same document to find each other in a rapid, efficient and robust manner by generating an adaptive routing field around themselves. Filament's architecture hinges around a set of collaborating self-organizing overlays that utilizes the semantic relations between peers. The resulting protocol is efficient, scalable and provides beneficial load-balancing properties over the involved peers

Des Réseaux de Capteurs Sans Fil (RdCSF) deviennent omniprésents et sont utilisés dans diverses applications domaines. Ils sont les pierres angulaires de l'émergence de l'Internet des Objets (IdO) paradigme. Déploiements traditionnels de réseaux de capteurs sont spécifiques à un domaine, avec des applications généralement incrustés dans le RdCSF, excluant la ré-utilisation de l'infrastructure par d'autres applications. Maintenant, avec l'avènement de l'IdO, cette approche est de moins en moins viable. Une solution possible réside dans le partage d'une même RdCSF par de plusieurs applications et services, y compris même les applications et services qui ne sont pas envisagées lors du déploiement de RdCSF. Deux principaux développements majeurs ont conduit à cette solution potentielle. Premièrement, comme les nœuds de RdCSF sont de plus en plus puissants, il devient de plus en plus pertinent de rechercher comment pourrait plusieurs applications partager les mêmes déploiements WSN. La deuxième évolution est le Cloud Computing paradigme qui promeut des ressources et de la rentabilité en appliquant le concept de virtualisation les ressources physiques disponibles. Grâce à ces développements de cette thèse fait les contributions suivantes. Tout d'abord, un vaste état de la revue d'art est présenté qui présente les principes de base de RdCSF la virtualisation et sa pertinence avec précaution motive les scénarios sélectionnés. Les travaux existants sont présentés en détail et évaluées de manière critique en utilisant un ensemble d'exigences provenant du scénario. Cette contribution améliore sensiblement les critiques actuelles sur l'état de l'art en termes de portée, de la motivation, de détails, et les questions de recherche futures. La deuxième contribution se compose de deux parties: la première partie est une nouvelle architecture de virtualization RdCSF multicouche permet l'approvisionnement de plusieurs applications et services au cours du même déploiement de RdCSF. Il est mis en œuvre et évaluée en utilisant un prototype basé sur un scénario de preuve de concept en utilisant le kit Java SunSpot. La deuxième partie de cette contribution est l'architecture étendue qui permet à l’infrastructure virtualisée RdCSF d'interagir avec un RdCSF Platform-as-a-Service (PaaS) à un niveau d'abstraction plus élevé. Grâce à ces améliorations RdCSF PaaS peut provisionner des applications et des services RdCSF aux utilisateurs finaux que Software-as-a-Service (SaaS). Les premiers résultats sont présentés sur la base de l'implantation de l'architecture améliorée en utilisant le kit Java SunSpot. La troisième contribution est une nouvelle architecture d'annotation de données pour les applications sémantiques dans les environnements virtualisés les RdCSF. Il permet en réseau annotation de données et utilise des superpositions étant la pierre angulaire. Nous utilisons la base ontologie de domaine indépendant d'annoter les données du capteur. Un prototype de preuve de concept, basé sur un scénario, est développé et mis en œuvre en utilisant Java SunSpot, Kits AdvanticSys et Google App Engine. La quatrième et dernière contribution est l'amélioration à l'annotation de données proposée l'architecture sur deux fronts. L'un est l'extension à l'architecture proposée pour soutenir la création d'ontologie, de la distribution et la gestion. Le deuxième front est une heuristique génétique basée algorithme utilisé pour la sélection de noeuds capables de stocker l'ontologie de base. L'extension de la gestion d'ontologie est mise en oeuvre et évaluée à l'aide d'un prototype de validation de principe à l'aide de Java kit SunSpot, tandis que les résultats de la simulation de l'algorithme sont présentés
Wireless Sensor Networks (WSNs) are becoming ubiquitous and are used in diverse applications domains. Traditional deployments of WSNs are domain-specific, with applications usually embedded in the WSN, precluding the re-use of the infrastructure by other applications. This can lead to redundant deployments. Now with the advent of IoT, this approach is less and less viable. A potential solution lies in the sharing of a same WSN by multiple applications and services, to allow resource- and cost-efficiency. In this dissertation, three architectural solutions are proposed for this purpose. The first solution consists of two parts: the first part is a novel multilayer WSN virtualization architecture that allows the provisioning of multiple applications and services over the same WSN deployment. The second part of this contribution is the extended architecture that allows virtualized WSN infrastructure to interact with a WSN Platform-as-a-Service (PaaS) at a higher level of abstraction. Both these solutions are implemented and evaluated using two scenario-based proof-of-concept prototypes using Java SunSpot kit. The second architectural solution is a novel data annotation architecture for the provisioning of semantic applications in virtualized WSNs. It is capable of providing in-network, distributed, real-time annotation of raw sensor data and uses overlays as the cornerstone. This architecture is implemented and evaluated using Java SunSpot, AdvanticSys kits and Google App Engine. The third architectural solution is the enhancement to the data annotation architecture on two fronts. One is a heuristic-based genetic algorithm used for the selection of capable nodes for storing the base ontology. The second front is the extension to the proposed architecture to support ontology creation, distribution and management. The simulation results of the algorithm are presented and the ontology management extension is implemented and evaluated using a proof-of-concept prototype using Java SunSpot kit. As another contribution, an extensive state-of-the-art review is presented that introduces the basics of WSN virtualization and motivates its pertinence with carefully selected scenarios. This contribution substantially improves current state-of-the-art reviews in terms of the scope, motivation, details, and future research issues

Des Réseaux de Capteurs Sans Fil (RdCSF) deviennent omniprésents et sont utilisés dans diverses applications domaines. Ils sont les pierres angulaires de l'émergence de l'Internet des Objets (IdO) paradigme. Déploiements traditionnels de réseaux de capteurs sont spécifiques à un domaine, avec des applications généralement incrustés dans le RdCSF, excluant la ré-utilisation de l'infrastructure par d'autres applications. Maintenant, avec l'avènement de l'IdO, cette approche est de moins en moins viable. Une solution possible réside dans le partage d'une même RdCSF par de plusieurs applications et services, y compris même les applications et services qui ne sont pas envisagées lors du déploiement de RdCSF. Deux principaux développements majeurs ont conduit à cette solution potentielle. Premièrement, comme les nœuds de RdCSF sont de plus en plus puissants, il devient de plus en plus pertinent de rechercher comment pourrait plusieurs applications partager les mêmes déploiements WSN. La deuxième évolution est le Cloud Computing paradigme qui promeut des ressources et de la rentabilité en appliquant le concept de virtualisation les ressources physiques disponibles. Grâce à ces développements de cette thèse fait les contributions suivantes. Tout d'abord, un vaste état de la revue d'art est présenté qui présente les principes de base de RdCSF la virtualisation et sa pertinence avec précaution motive les scénarios sélectionnés. Les travaux existants sont présentés en détail et évaluées de manière critique en utilisant un ensemble d'exigences provenant du scénario. Cette contribution améliore sensiblement les critiques actuelles sur l'état de l'art en termes de portée, de la motivation, de détails, et les questions de recherche futures. La deuxième contribution se compose de deux parties: la première partie est une nouvelle architecture de virtualization RdCSF multicouche permet l'approvisionnement de plusieurs applications et services au cours du même déploiement de RdCSF. Il est mis en œuvre et évaluée en utilisant un prototype basé sur un scénario de preuve de concept en utilisant le kit Java SunSpot. La deuxième partie de cette contribution est l'architecture étendue qui permet à l’infrastructure virtualisée RdCSF d'interagir avec un RdCSF Platform-as-a-Service (PaaS) à un niveau d'abstraction plus élevé. Grâce à ces améliorations RdCSF PaaS peut provisionner des applications et des services RdCSF aux utilisateurs finaux que Software-as-a-Service (SaaS). Les premiers résultats sont présentés sur la base de l'implantation de l'architecture améliorée en utilisant le kit Java SunSpot. La troisième contribution est une nouvelle architecture d'annotation de données pour les applications sémantiques dans les environnements virtualisés les RdCSF. Il permet en réseau annotation de données et utilise des superpositions étant la pierre angulaire. Nous utilisons la base ontologie de domaine indépendant d'annoter les données du capteur. Un prototype de preuve de concept, basé sur un scénario, est développé et mis en œuvre en utilisant Java SunSpot, Kits AdvanticSys et Google App Engine. La quatrième et dernière contribution est l'amélioration à l'annotation de données proposée l'architecture sur deux fronts. L'un est l'extension à l'architecture proposée pour soutenir la création d'ontologie, de la distribution et la gestion. Le deuxième front est une heuristique génétique basée algorithme utilisé pour la sélection de noeuds capables de stocker l'ontologie de base. L'extension de la gestion d'ontologie est mise en oeuvre et évaluée à l'aide d'un prototype de validation de principe à l'aide de Java kit SunSpot, tandis que les résultats de la simulation de l'algorithme sont présentés
Wireless Sensor Networks (WSNs) are becoming ubiquitous and are used in diverse applications domains. Traditional deployments of WSNs are domain-specific, with applications usually embedded in the WSN, precluding the re-use of the infrastructure by other applications. This can lead to redundant deployments. Now with the advent of IoT, this approach is less and less viable. A potential solution lies in the sharing of a same WSN by multiple applications and services, to allow resource- and cost-efficiency. In this dissertation, three architectural solutions are proposed for this purpose. The first solution consists of two parts: the first part is a novel multilayer WSN virtualization architecture that allows the provisioning of multiple applications and services over the same WSN deployment. The second part of this contribution is the extended architecture that allows virtualized WSN infrastructure to interact with a WSN Platform-as-a-Service (PaaS) at a higher level of abstraction. Both these solutions are implemented and evaluated using two scenario-based proof-of-concept prototypes using Java SunSpot kit. The second architectural solution is a novel data annotation architecture for the provisioning of semantic applications in virtualized WSNs. It is capable of providing in-network, distributed, real-time annotation of raw sensor data and uses overlays as the cornerstone. This architecture is implemented and evaluated using Java SunSpot, AdvanticSys kits and Google App Engine. The third architectural solution is the enhancement to the data annotation architecture on two fronts. One is a heuristic-based genetic algorithm used for the selection of capable nodes for storing the base ontology. The second front is the extension to the proposed architecture to support ontology creation, distribution and management. The simulation results of the algorithm are presented and the ontology management extension is implemented and evaluated using a proof-of-concept prototype using Java SunSpot kit. As another contribution, an extensive state-of-the-art review is presented that introduces the basics of WSN virtualization and motivates its pertinence with carefully selected scenarios. This contribution substantially improves current state-of-the-art reviews in terms of the scope, motivation, details, and future research issues