To see the other types of publications on this topic, follow the link: Stockage des données.
Dissertations / Theses on the topic 'Stockage des données'
Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles
Consult the top 50 dissertations / theses for your research on the topic 'Stockage des données.'
Next to every source in the list of references, there is an 'Add to bibliography' button. Press on it, and we will generate automatically the bibliographic reference to the chosen work in the citation style you need: APA, MLA, Harvard, Chicago, Vancouver, etc.
You can also download the full text of the academic publication as pdf and read online its abstract whenever available in the metadata.
Browse dissertations / theses on a wide variety of disciplines and organise your bibliography correctly.
1
Jemel, Mayssa. "Stockage des données locales : sécurité et disponibilité." Electronic Thesis or Diss., Paris, ENST, 2016. http://www.theses.fr/2016ENST0053.
Full textAbstract:
Le progrès technologique offre désormais de plus en plus aux utilisateurs divers équipements connectés et intelligents. En conséquence, la gestion des données entre ces équipements a fait l’objet d’ un nombre croissant d’études. Les applications déjà proposées sont principalement basées sur des solutions propriétaires dites solutions privées ou fermées. Toutefois, cette stratégie a toujours montré ses insuffisances en termes de problèmes de sécurité, de coût, de simplicité pour les développeurs et de transparence des solutions. Migrant vers des solutions standardisées, HTML5 propose de nouvelles fonctionnalités pour répondre aux exigences des entreprises et des utilisateurs. L’objectif principal est de mettre à la disposition des développeurs web un langage simple pour la mise en œuvre des applications concurrentes à moindre coût. Ces applications ne sont pas liées ni aux dispositifs utilisés ni aux logiciels installés. Trois contributions font l’objet de nos travaux. Dans la première partie, nous proposons un Coffre Fort Client basé sur les APIs HTML5 de stockage. Tout d’abord, nous commençons par le renforcement de la sécurité de ces API pour fournir une base sécurisée à notre Coffre Fort Client. Dans la deuxième contribution, nous proposons un protocole de synchronisation appelé SyncDS qui est caractérisé par son efficacité avec une consommation minimale des ressources. Nous traitons enfin les problèmes de sécurité, et nous nous concentrons principalement sur le contrôle d’accès dans le cas de partage des données tout en respectant les exigences des Coffres Forts<br>Due to technological advancements, people are constantly manipulating multiple connected and smart devices in their daily lives. Cross-device data management, therefore, remains the concern of several academic and industrial studies. The proposed frameworks are mainly based on proprietary solutions called private or closed solutions. This strategy has shown its deficiency on security issues, cost, developer support and customization. In recent years, however, the Web has faced a revolution in developing standardized solutions triggered by the significant improvements of HTML5. With this new version, innovative features and APIs are introduced to follow business and user requirements. The main purpose is to provide the web developer with a vendor-neutral language that enables the implementation of competing application with lower cost. These applications are related neither to the used devices nor to the installed software. The main motivation of this PhD thesis is to migrate towards the adoption of standardized solutions to ensure secure and reliable cross-device data management in both the client and server side. There is already a proposed standardized Cloud Digital Safe on the server side storage that follows the AFNOR specification while there is no standardized solution yet on the client-side. This thesis is focused on two main areas : 1) the proposal of a standardized Client Digital Safe where user data are stored locally and 2) the synchronization of these data between the Client and the Cloud Digital Safe and between the different user devices. We contribute in this research area in three ways. First, we propose a Client Digital Safe based on HTML5 Local Storage APIs. We start by strengthening the security of these APIs to be used by our Client Digital Safe. Second, we propose an efficient synchronization protocol called SyncDS with minimum resource consumption that ensures the synchronization of user data between the Client and the Cloud Digital Safe. Finally, we address security concerns, in particular, the access control on data sharing following the Digital Safe requirements
2
Bouabache, Fatiha. "Stockage fiable des données dans les grilles, application au stockage des images de checkpoint." Paris 11, 2010. http://www.theses.fr/2010PA112329.
Full textAbstract:
Les techniques de tolérance aux fautes basées sur les points de reprise s'appuient principalement sur la fiabilité du stockage des images de checkpoint. Dans le cas où ces images ne seraient pas disponibles, le redémarrage du système échoue. L'objectif de cette thèse est de proposer des solutions qui garantissent le stockage fiable et efficace des données en général et des images de checkpoint en particulier. Par fiable, nous voulons dire quelque soit le scénario de pannes qui se produit, du moment qu'il respecte les hypothèses faites par les algorithmes, les images restent accessibles. Et nous entendons par efficace, minimiser le temps nécessaire au stockage des images et donc le temps de transfert. Ceci permettra de réduire le temps d'exécution global des vagues de checkpoint. Pour garantir ces deux points, nous proposons : 1. Un protocole de checkpoint coordonné qui exploite la localisation des images de checkpoint afin de réduire au maximum les communications inter-cluster ; 2. Un service de stockage distribué et structuré en une architecture à trois couches : a) La couche réplication : afin de garantir la fiabilité des données stockées, nous proposons de répliquer les différentes images sur un certain nombre de serveur. Dans cette direction, nous avons proposé deux techniques de réplication hiérarchique adaptées à l'architecture considérée. B) La couche planification : à ce niveau, nous avons travaillé sur l'efficacité du stockage en réduisant le temps de transfert des données sur le réseau. Pour cela, nous proposons d'ordonnancer les transferts au niveau des sources. C) L'outil d'ordonnancement, implémentant le plan de transfert tel que calculé par la couche supérieure<br>Rollback/recovery solutions rely on checkpoint storage reliability (after a failure, if the checkpoint images are not available, the rollback operation fails). The goal of this thesis is to propose a reliable and an efficient checkpoint storage service. By reliable, we mean that whatever the scenario of failures is, as long as it respects the assumptions made by the algorithms, the checkpoint images are still available. And we mean by efficient, minimizing the time required to transfer and to store the checkpoint images. This will minimize the global execution time of the checkpoint waves. To ensure those two points (reliability and efficiency), we propose: 1. A new coordinated checkpoint protocol which tolerates checkpoint server failures and clusters failures, and ensures a checkpoint storage reliability in a grid environment; 2. A distributed storage service structured on three layers architecture: a) The replication layer: to ensure the checkpoint storage reliability, we propose to replicate the images over the network. Ln this direction, we propose two hierarchical replication strategies adapted to the considered architecture and that exploit the locality of checkpoint images in order to minimize inter-cluster communication. B) The scheduling layer: at this level we work on the storage efficiency by reducing the data transfer time. We propose an algorithm based on the uniform random sampling of possible schedules. C) The scheduling engine: at this layer, we develop a tool that implements the scheduling plan calculated in the scheduling layer
3
Devigne, Julien. "Protocoles de re-chiffrement pour le stockage de données." Caen, 2013. http://www.theses.fr/2013CAEN2032.
Full textAbstract:
La protection de la vie privée est un des enjeux majeurs de la société moderne dans laquelle Internet est omnipotent. Dans cette thèse, nous étudions des techniques permettant de réaliser un stockage dématérialisé qui préserve la confidentialité des informations. Nous nous intéressons ainsi à protéger les données stockées tout en permettant à leur propriétaire de les partager avec les personnes de son choix. Le serveur de re-chiffrement, une des primitives proposées par la cryptographie, est la solution que nous décidons de retenir. Tout d'abord, nous donnons une définition d'un système de serveur de re-chiffrement qui regroupe tous les modèles classiques existants. Nous décrivons également les caractéristiques habituelles que peut présenter cette primitive ainsi que son modèle de sécurité. Ensuite, nous nous concentrons plus particulièrement sur certains schémas spécifiques afin d'en améliorer la sécurité. Nous présentons pour cela une méthode qui transforme un schéma sûr contre une attaque à chiffré choisi rejouable en un schéma sûr contre une attaque à chiffré choisi. Nous étudions aussi les schémas fondés sur le chiffrement Hash ElGamal et proposons d'y apporter des modifications afin qu'ils atteignent une meilleure sécurité. Pour terminer et dans le but d'obtenir le stockage le plus fonctionnel possible, nous proposons deux nouveaux modèles. Le premier, que nous appelons serveur de re-chiffrement combiné, permet d'obtenir une gestion dynamique des droits d'accès. Le second, que nous appelons serveur de re-chiffrement sélectif, permet d'obtenir une gestion des droits d'accès plus fine que celle offerte par le serveur de re-chiffrement conditionnel<br>Privacy is one of the main issues of our modern day society in which the Internet is omnipotent. In this thesis, we study some technics allowing to realise a privacy-preserving cloud storage. In this way, we focus to protect stored data while allowing their owner to share them with people of his choice. Proxy re-encryption, one of the primitives offered by cryptography, is the solution we decide to consider. First, we give a definition of a proxy re-encryption system unifying all existing conventional models. We also describe usual characteristics that this primitive may present and we provide its security model. Then, we focus more precisely on some specific schemes in order to improve their security. In this meaning, we expose a method which turns a scheme secure against a replayable chosen ciphertext attack into a secure scheme against a chosen ciphertext attack. We study schemes based on the Hash ElGamal encryption too and propose some modifications in order to reach a better security. Finally and in order to obtain the most functional cloud storage, we propose two new models. The first one, that we call combined proxy re-encryption, offers dynamic right access. The second one, that we call selective proxy re-encryption, enables a more fine-grained access right control than the one offered by the conditional proxy re-encryption
4
Khelil, Amar. "Elaboration d'un système de stockage et exploitation de données pluviométriques." Lyon, INSA, 1985. http://www.theses.fr/1985ISAL0034.
Full textAbstract:
Du point de vue hydrologique, l'agglomération lyonnaise peut être caractérisée comme un bassin versant d'une surface de 600 km2 drainé par quelque deux mille kilomètres de canalisations. Pour assurer la gestion et l’ extension d'un tel réseau, des outils informatiques ont été conçus au Laboratoire Méthodes de l'INSA de Lyon en collaboration avec le Service Assainissement de la COURLY et la société d'informatique communale ICARE, notamment le logiciel SERAIL, qui permet une simulation généralisée du fonctionnement du réseau lyonnais. Or, un des points faibles du système consiste en une connaissance insuffisamment précise des phénomènes pluvieux d'origine convective lesquels sont le plus susceptibles de provoquer des dysfonctionnements du réseau. Il a ainsi été décidé d'implanter, dès 1983, un réseau de 30 pluviomètres enregistreurs sur le territoire communautaire, avec l'appui financier du Plan Urbain et de l'Agence Financière de Bassin Rhône-Méditerranée-Corse. Le mémoire présente le travail effectué sur cette expérimentation suivant trois étapes principales : 1) implantation du réseau et ses caractéristiques ; 2) élaboration d'un système de dépouillement et d'archivage des données ; 3) élaboration d'un système de traitement des données. L'aspect le plus original du travail concerne le traitement des données. Un ensemble de logiciels permet d'exhiber et d’étudier tout séquence pluvieuse reconnue intéressante par l'hydrologue urbain. Deux objectifs ont été poursuivis : 1) obtenir une meilleure perception (intuition) des phénomènes considérés (aspect représentation brute des mesures) ; 2) construire des outils de modélisation des phénomènes. Ce deuxième objectif a nécessité une réflexion pour déterminer notamment la pertinence des modèles proposés ou leur limite de validité, réflexion qui a débouché sur l'élaboration de logiciels supplémentaires de vérifications et comparaisons des modèles utilisés (numériques ou graphiques). Un exemple complet des traitements, pour une pluie choisie, est donné, ainsi que le type de conclusions auxquelles ils permettent de parvenir<br>The Lyon District Urban Area (CO. UR. LY. ) may be explained from an hydrological point of view as a 600 km2 area equipped with a sewerage system estimated by 2 000 km of pipes. Due to the complexity of the sewerage network of the area, it must therefore be controlled by an accurate and reliable system of calculation to avoid any negative consequences of its function. The capacity of the present computerising system SERAIL, allows an overall simulation of the functioning of drainage / sewerage system. This model requires an accurate information of the rainfall rate which was not previously available. Therefore a 30 rain gages network (with cassette in sit recording) was set up within the Urban District Area in 1983. This research however introduces the experiment of three steps: 1) to install the network; 2) to build up a data checking and storage system; 3) to analyse the data. The characteristic nature of this work deals with the data analysis system. It allows to extract easily and analyse any rainfall event important to the hydrologist. Two aims were defined: 1) to get a better understanding of the phenomena (punctual representations ); 2) to build up models. In order to achieve the second aim, it was necessary to think about the fitting of the propounded models and their limits which led to the setting up of several other programmes for checking and comparison. For example a complete analysis of a rainfall event is given with comments and conclusion
5
Jule, Alan. "Etude des codes en graphes pour le stockage de données." Thesis, Cergy-Pontoise, 2014. http://www.theses.fr/2014CERG0739.
Full textAbstract:
Depuis deux décennies, la révolution technologique est avant tout numérique entrainant une forte croissance de la quantité de données à stocker. Le rythme de cette croissance est trop importante pour les solutions de stockage matérielles, provoquant une augmentation du coût de l'octet. Il est donc nécessaire d'apporter une amélioration des solutions de stockage ce qui passera par une augmentation de la taille des réseaux et par la diminution des copies de sauvegarde dans les centres de stockage de données. L'objet de cette thèse est d'étudier l'utilisation des codes en graphe dans les réseaux de stockage de donnée. Nous proposons un nouvel algorithme combinant construction de codes en graphe et allocation des noeuds de ce code sur le réseau. Cet algorithme permet d'atteindre les hautes performances des codes MDS en termes de rapport entre le nombre de disques de parité et le nombre de défaillances simultanées pouvant être corrigées sans pertes (noté R). Il bénéficie également des propriétés de faible complexité des codes en graphe pour l'encodage et la reconstruction des données. De plus, nous présentons une étude des codes LDPC Spatiallement-Couplés permettant d'anticiper le comportement de leur décodage pour les applications de stockage de données.Il est généralement nécessaire de faire des compromis entre différents paramètres lors du choix du code correcteur d'effacement. Afin que ce choix se fasse avec un maximum de connaissances, nous avons réalisé deux études théoriques comparatives pour compléter l'état de l'art. La première étude s'intéresse à la complexité de la mise à jour des données dans un réseau dynamique établi et déterminons si les codes linéaires utilisés ont une complexité de mise à jour optimale. Dans notre seconde étude, nous nous sommes intéressés à l'impact sur la charge du réseau de la modification des paramètres du code correcteur utilisé. Cette opération peut être réalisée lors d'un changement du statut du fichier (passage d'un caractère hot à cold par exemple) ou lors de la modification de la taille du réseau. L'ensemble de ces études, associé au nouvel algorithme de construction et d'allocation des codes en graphe, pourrait mener à la construction de réseaux de stockage dynamiques, flexibles avec des algorithmes d'encodage et de décodage peu complexes<br>For two decades, the numerical revolution has been amplified. The spread of digital solutions associated with the improvement of the quality of these products tends to create a growth of the amount of data stored. The cost per Byte reveals that the evolution of hardware storage solutions cannot follow this expansion. Therefore, data storage solutions need deep improvement. This is feasible by increasing the storage network size and by reducing data duplication in the data center. In this thesis, we introduce a new algorithm that combines sparse graph code construction and node allocation. This algorithm may achieve the highest performance of MDS codes in terms of the ratio R between the number of parity disks and the number of failures that can be simultaneously reconstructed. In addition, encoding and decoding with sparse graph codes helps lower the complexity. By this algorithm, we allow to generalize coding in the data center, in order to reduce the amount of copies of original data. We also study Spatially-Coupled LDPC (SC-LDPC) codes which are known to have optimal asymptotic performance over the binary erasure channel, to anticipate the behavior of these codes decoding for distributed storage applications. It is usually necessary to compromise between different parameters for a distributed storage system. To complete the state of the art, we include two theoretical studies. The first study deals with the computation complexity of data update and we determine whether linear code used for data storage are update efficient or not. In the second study, we examine the impact on the network load when the code parameters are changed. This can be done when the file status changes (from a hot status to a cold status for example) or when the size of the network is modified by adding disks. All these studies, combined with the new algorithm for sparse graph codes, could lead to the construction of new flexible and dynamical networks with low encoding and decoding complexities
6
Obame, Meye Pierre. "Sûreté de fonctionnement dans le nuage de stockage." Thesis, Rennes 1, 2016. http://www.theses.fr/2016REN1S091/document.
Full textAbstract:
La quantité de données stockées dans le monde ne cesse de croître et cela pose des challenges aux fournisseurs de service de stockage qui doivent trouver des moyens de faire face à cette croissance de manière scalable, efficace, tout en optimisant les coûts. Nous nous sommes intéressés aux systèmes de stockage de données dans le nuage qui est une grande tendance dans les solutions de stockage de données. L'International Data Corporation (IDC) prédit notamment que d'ici 2020, environ 40% des données seront stockées et traitées dans le nuage. Cette thèse adresse les challenges liés aux performances d'accès aux données et à la sûreté de fonctionnement dans les systèmes de stockage dans le nuage. Nous avons proposé Mistore, un système de stockage distribué que nous avons conçu pour assurer la disponibilité des données, leur durabilité, ainsi que de faibles latences d'accès aux données en exploitant des zones de stockage dans les box, les Points de Présence (POP), et les centre de données dans une infrastructure Digital Subscriber Line (xDSL) d'un Fournisseur d'Accès à Internet (FAI). Dans Mistore, nous adressons aussi les problèmes de cohérence de données en fournissant plusieurs critères de cohérence des données ainsi qu'un système de versioning. Nous nous sommes aussi intéressés à la sécurité des données dans le contexte de systèmes de stockage appliquant une déduplication des données, qui est l'une des technologies les plus prometteuses pour réduire les coût de stockage et de bande passante réseau. Nous avons conçu une méthode de déduplication en deux phases qui est sécurisée contre des attaques d'utilisateurs malicieux tout en étant efficace en termes d'économie de bande passante réseau et d'espace de stockage<br>The quantity of data in the world is steadily increasing bringing challenges to storage system providers to find ways to handle data efficiently in term of dependability and in a cost-effectively manner. We have been interested in cloud storage which is a growing trend in data storage solution. For instance, the International Data Corporation (IDC) predicts that by 2020, nearly 40% of the data in the world will be stored or processed in a cloud. This thesis addressed challenges around data access latency and dependability in cloud storage. We proposed Mistore, a distributed storage system that we designed to ensure data availability, durability, low access latency by leveraging the Digital Subscriber Line (xDSL) infrastructure of an Internet Service Provider (ISP). Mistore uses the available storage resources of a large number of home gateways and Points of Presence for content storage and caching facilities. Mistore also targets data consistency by providing multiple types of consistency criteria on content and a versioning system. We also considered the data security and confidentiality in the context of storage systems applying data deduplication which is becoming one of the most popular data technologies to reduce the storage cost and we design a two-phase data deduplication that is secure against malicious clients while remaining efficient in terms of network bandwidth and storage space savings
7
Secret, Ghislain. "La maintenance des données dans les systèmes de stockage pair à pair." Amiens, 2009. http://www.theses.fr/2009AMIE0111.
Full textAbstract:
Les systèmes P2P sont conçus pour partager des ressources sur internet. L’indépendance de l’architecture par rapport à un serveur centralisé confère à ces systèmes une très grande résistance aux pannes. Cette propriété rend l’utilisation de cette architecture tout à fait adaptée au stockage pérenne de données, à grande échelle. Cependant un système P2P est caractérisé par la volatilité des pairs qui le composent. Le challenge est d’assurer la pérennité des données dans un environnement de supports de stockage en continuelle mutation. Pour cela, les systèmes de stockage P2P introduisent des schémas de redondance couplés à des mécanismes de régénération des données perdues. Mais les reconstructions nécessaires au maintien de la pérennité des données ne sont pas neutres en termes de charge pour le système. Pour étudier les facteurs qui impactent le plus le coût de maintenance des données, un modèle de système de stockage P2P a été conçu. Ce modèle repose sur un schéma de redondance de type IDA (Information Dispersal Algorithm). Sur la base de ce modèle, un simulateur a été élaboré et le comportement du système vis à vis des coûts de la régénération des données a été analysé. Deux stratégies de reconstruction sont observées. La première repose sur un mécanisme de seuil par rapport au niveau de redondance des données. Elle nécessite un contrôle permanent de l’état des données. La seconde encadre simplement le nombre des reconstructions par un système de quota alloué pour une période de temps donnée. Sur la base d’une analyse stochastique des stratégies, des clés sont proposées pour définir les paramètres du système en fonction du niveau de pérennité visé<br>Peer to peer systems are designed to share resources on the Internet. The independence of the architecture from a centralized server provides the peer-to-peer networks a very high fault tolerance (no peer is essential to the functioning of the network). This property makes the use of this architecture very suitable for permanent storage of data on a large scale. However, peer to peer systems are characterised by peer’s volatility. Peers connect and disconnect randomly. The challenge is to ensure the continuity of data in a storage media constantly changing. For this, to cope with peer’s volatility, data redundancy schemes coupled with reconstruction mechanism of lost data are introduced. But the reconstructions needed to maintain the continuity of data are not neutral in terms of burden on the system. To investigate factors that impact the higher the data maintenance cost, a model of peer to peer storage system was designed. This model is based on an IDA (Information Dispersal Algorithm) redundancy scheme. Built on this model, a simulator was developed and the system behaviour for the cost of regeneration of the data was analyzed. Two reconstruction strategies are observed. The first mechanism is based on a threshold from the level of data redundancy. It requires constant monitoring of the state data. The second strategy involves a number of reconstructions by a system of quota allocation for a defined period of time. It is less comfortable psychologically because it significantly reduces the control of the data state by abstracting the threshold mechanism. Based on a stochastic analysis of the strategies, keys are provided to define the parameters of the system according to the target level of durability desired
8
Kiefer, Renaud. "Etude et conception d'un système de stockage et d'adressage photonique de données." Université Louis Pasteur (Strasbourg) (1971-2008), 2002. http://www.theses.fr/2002STR13199.
Full textAbstract:
L'accélération des cadences des processeurs, l'évolution du multimédia et des applications de l'Internet ont créé une demande croissante de solutions de stockage de données. Encouragée par les progrès technologiques rapides de ces dix dernières années, cette demande s'est accrue de façon exponentielle. Même si la technologie DVD satisfait actuellement aux exigences en matière de stockage (dizaines de bits par æm2), de nouvelles applications comme l'imagerie 3D, les grandes bases de données nécessitent le développement de nouvelles technologies. L'objectif de cette thèse a été d'étudier et de concevoir un système de stockage et d'adressage de données à base de mémoires holographiques. Celles-ci possèdent en effet d'énormes possibilités de stockage volumique des données (quelques centaines de bits par æm3 ). Le système développé permet d'adresser en un temps voisin de la milliseconde, une information quelconque stockée sur la mémoire diffractive. L'analyse des mémoires à base de gélatine bichromatée a permis de déterminer leur domaine d'utilisation et de poser les contraintes du système d'adressage. L'originalité de ce travail a consisté à associer des MEMS (micro-miroirs intégrés) et une cellule acousto-optique. Nous avons mesuré les déformations des MEMS afin d'évaluer leur influence sur la lecture des informations enregistrées dans la mémoire diffractive. Les résultats expérimentaux obtenus ont montré la possibilité d'obtenir des débits d'adressage de l'ordre de 100 Gbits/s ; les limitations du système de lecture sont liées aux faibles fréquences d'oscillation des MEMS et surtout aux faibles cadences d'acquisition des caméras CCD utilisées. L'utilisation de caméra rapide permettra d'augmenter les débits de lectures<br>The increase in the speed of microprocessors, the evolution of multimedia and of the Internet has created a growing need of data storage solutions. Encouraged by the rapid technological progress over the past decade, this need has grown exponentially. Even if DVD technology satisfies the present data storage demand (about 10 bit/æmø), certain new applications such as 3D imaging and huge data bases need the development of new technology. The objective of this thesis has been to study and conceive a data storage and addressing system based on holographic memories. This kind of memory shows interesting possibilities for massive volume data storage (about 100 bit/æm3). The system allows a rapid access time (ms), on a large angular bandwidth, at any informations stored on the diffractive memory. Analysis of optical memories based on dichromated gelatin has allowed the determination of their domain of use and set the constrains of the addressing system. The originality of the work has been to associate MEMS (integrated micro mirrors) and an acousto-optic cell. We have measured the deformation of the MEMS to evaluate the influence on the reading of the information stored in diffractive memories. Experimental results show the possibility of obtaining an address rate of 100Gbits/s. The reading system limitations are due to the low oscillating frequency of the MEMS and principally to the low acquisition rate of the CCD camera. The use of high speed cameras will allow to increase the readout rate
9
Barrabe, Patrice. "Acquisition et transmission optique de données." Grenoble 1, 1990. http://www.theses.fr/1990GRE10121.
Full textAbstract:
Cette etude porte sur l'acquisition multisources et la transmission a haut debit (10 moctets/sec) de donnees numeriques, dans les domaines industriels et scientifiques. Les applications plus particulierement visees, sont celles qui presentent simultanement des contraintes d'immunite electromagnetique, de dispersion geographique (quelques centaines de metres), et de fonctionnement temps reel. Nous proposons une solution basee sur le choix de technologies performantes mais standards (fibres optiques multimodes et logique ttl rapide), afin d'optimiser les couts de fabrication. Le principe est d'implanter au niveau de chaque source des unites entierement logiques, destinees a la preparation et a la transmission des donnees. Ces unites sont reliees entre elles et a une station centrale, par un bus optique synchrone relaye en chaque point de connexion (structure daisy chain. Grace a une bonne maitrise des technologies, le travail presente permettra d'aboutir a un reseau d'acquisition rapide et fiable, ne necessitant que peu de developpement logiciel
10
Barkat, Okba. "Utilisation conjointe des ontologies et du contexte pour la conception des systèmes de stockage de données." Thesis, Chasseneuil-du-Poitou, Ecole nationale supérieure de mécanique et d'aérotechnique, 2017. http://www.theses.fr/2017ESMA0001/document.
Full textAbstract:
Nous assistons à une époque où toute entreprise (ou organisme), dans le but d’augmenter son pou- voir décisionnel, est fortement intéressée par la collecte et l’analyse des données provenant de multiples sources hétérogènes et variées. Ces sources présentent également une autre spécificité à savoir la sensibilité au contexte. Cette situation nous met face à un enjeu scientifique crucial, du fait qu’elle réunit trois problématiques complémentaires : (i) la résolution de l’hétérogénéité qui peut exister entre les sources,(ii) la construction d’un système d’intégration décisionnel, et (iii) la prise en compte du contexte dans cette intégration. Afin de répondre à ces problématiques, nous nous intéressons dans cette thèse à la conception des applications contextuelles basées sur une ontologie de domaine, supposée existante. Pour ce faire, nous proposons d’abord un modèle de contexte qui intègre les dimensions principales identifiées dans la littérature. Une fois construit, il est lié au modèle de l’ontologie. Cette façon de procéder augmente la flexibilité dans la conception des applications avancées. Ensuite, nous proposons deux cas d’étude : (1) la contextualisation de sources de données sémantiques où nous étendons le système On- toBD/OntoQL afin qu’il prenne en compte le contexte, et (2) la conception d’un entrepôt de données contextuel où le modèle de contexte est projeté sur les différentes phases de conception du cycle de vie. Afin de valider notre proposition, nous présentons un prototype d’outil d’aide à la conception implémentant les différentes étapes de l’approche de conception proposée<br>We are witnessing an era when any company is strongly interested in collecting and analyzing data from heterogeneous and varied sources. These sources also have another specificity, namely con- text awareness. Three complementary problems are identified: the resolution of the heterogeneity of the sources, (ii) the construction of a decisional integrating system, and (iii) taking into account the context in this integration. To solve these problems, we are interested in this thesis in the design of contextual applications based on a domain ontology.To do this, we first propose a context model that integrates the main dimensions identified in the literature. Once built, it is linked to the ontology model. This approach increases flexibility in the design of advanced applications. Then, we propose two case studies: (1) the contextualization of semantic data sources where we extend the OntoBD/OntoQL system to take the context into account, and (2) the design of a contextual data warehouse where the context model is projected on the different phases of the life cycle design. To validate our proposal, we present a tool implementing the different phases of the proposed design approach
11
Yin, Shaoyi. "Un modèle de stockage et d'indexation pour des données embarquées en mémoire flash." Versailles-St Quentin en Yvelines, 2011. http://www.theses.fr/2011VERS0008.
Full textAbstract:
La mémoire de type Flash NAND s’est imposée comme le moyen de stockage le plus populaire pour les systèmes embarqués. Les techniques efficaces de stockage et d'indexation sont très difficiles à concevoir en raison des contraintes de la Flash NAND combinées à celles des systèmes embarqués. Dans cette thèse, nous proposons un nouvel modèle reposant sur deux principes fondamentaux: la sérialisation de base de données et la stratification de base de données. Une technique d'indexation appelée PBFilter est présentée pour illustrer ces principes. PBFilter a été intégrée dans un moteur de SGBD embarqué complet nommé PlugDB. PlugDB est utilisé dans une application réelle de mise en œuvre d'un dossier médico-social sécurisé et portable. PlugDB peut être aussi considéré comme un élément central pour une vision globale nommée Serveur de Données Personnel, dont l'objectif est de gérer les informations personnelles de façon sécurisée et dans le respect de la vie privée<br>NAND Flash has become the most popular stable storage medium for embedded systems. Efficient storage and indexing techniques are very challenging to design due to a combination of NAND Flash constraints and embedded system constraints. In this thesis, we propose a new model relying on two basic principles: database serialization and database stratification. An indexing technique called PBFilter is presented to illustrate these principles. Analytical and experimental results show that the new approach meets very well the embedded system requirements. The PBFilter technique has been integrated into a complete embedded DBMS engine PlugDB. PlugDB is used in a real-life application implementing a secure and portable medico-social folder. PlugDB can be also seen as a central building block for a global vision named Personal Data Server, whose objective is to manage personal information in a secure, privacy-preserving and user-controlled way
12
Gabsi, Nesrine. "Extension et interrogation de résumé de flux de données." Paris, Télécom ParisTech, 2011. http://pastel.archives-ouvertes.fr/pastel-00613122.
Full textAbstract:
Au cours de ces dernières années, un nouvel environnement s'est développé dans lequel les données doivent être collectées et traitées instantanément dès leur arrivée. La gestion de cette volumétrie nécessite la mise en place d'un nouveau modèle et de nouvelles techniques de traitements de l'information. Il s'agit du traitement des flux de données. Ces derniers ont la particularité d'être continus, évolutifs, volumineux et ne peuvent être stockés, dans leur intégralité, en tant que données persistantes. Plusieurs travaux de recherche se sont intéressés à cette problématique ce qui a engendré l'apparition des systèmes de gestion de flux de données (SGFD). Ces systèmes permettent d'exprimer des requêtes continues qui s'évaluent au fur et à mesure sur un flux ou sur des fenêtres (sous ensembles finis du flux). Toutefois, dans certaines applications, de nouveaux besoins peuvent apparaître après le passage des données. Dans ce cas, le système ne peut répondre aux requêtes posées car toutes les données n'appelant aucun traitement sont définitivement perdues. Il est ainsi nécessaire de conserver un résumé du flux de données. De nombreux algorithmes de résumé ont été développés. Le choix d'une méthode de résumé particulière dépend de la nature des données à traiter et de la problématique à résoudre. Dans ce manuscrit, nous nous intéressons en premier lieu à l'élaboration d'un résumé généraliste permettant de créer un compromis entre la vitesse de construction du résumé et la qualité du résumé conservé. Nous présentons une nouvelle approche de résumé qui se veut performance face à des requêtes portant sur des données du passé lointain. Nous nous focalisons par la suite sur l'exploitation et l'accès aux évènements du flux conservés dans ces résumés. Notre objectif consiste à intégrer les structures de résumés généralistes dans l'architecture des SGFD existantes de façon à étendre le champ de requêtes possibles. A cet effet, l'évaluation des requêtes qui font appel aux données du passé lointain d'un flux (i. E. Données expirées de la mémoire du SGFD) serait possible au même titre que les requêtes posées sur le passé proche d'un flux de données. Nous présentons deux approches permettant d'atteindre cet objectif. Ces approches se différencient par le rôle que détient le module de résumé lors de l'évaluation d'une requêtes<br>In the last few years, a new environment, in which data have to be collected and processed instantly when arriving, has emerged. To handle the large volume of data associated with this environment, new data processing model and techniques have to be set up ; they are referred as data stream management. Data streams are usually continuous, voluminous, and cannot be registered integrally as persistent data. Many research works have handled this issue. Therefore, new systems called DSMS (Data Stream Management Systems) appeared. The DSMS evaluates continuous queries on a stream or a window (finite subset of streams). These queries have to be specified before the stream's arrival. Nevertheless, in case of some applications, some data could be required after their expiration from the DSMS in-memory. In this case, the system cannot treat the queries as such data are definitely lost. To handle this issue, it is essential to keep a ummary of data stream. Many summaries algorithms have been developed. The selection of a summarizing method depends on the kind of data and the associated issue. In this thesis, we are first interested with the elaboration of a generic summary structure while coming to a compromise between the summary elaboration time and the quality of the summary. We introduce a new summary approach which is more efficient for querying very old data. Then, we focus on the uerying methods for these summaries. Our objective is to integrate the structure of generic summaries in the architecture of the existing DSMS. By this way, we extend the range of the possible queries. Thus, the processing of the queries on old stream data (expired data) becomes possible as well as queries on new stream data. To this end, we introduced two approaches. The difference between them is the role played by summary module when the query is evaluated
13
Chiky, Raja. "Résumé de flux de données distribués." Paris, ENST, 2009. https://pastel.hal.science/pastel-00005137.
Full textAbstract:
Nous considérons dans cette thèse, un environnement distribué décrit par une collection de plusieurs capteurs distants qui envoient des flux de données numériques et unidimensionnelles à un serveur central unique. Ce dernier a un espace de stockage limité mais doit calculer des agrégats, comme des sommes ou des moyennes, à partir des données de tout sous-ensemble de capteurs et sur un large horizon temporel. Deux approches sont étudiées pour construire l'historique des flux de données :(1) Echantillonnage spatial en ne considérant qu'un échantillon aléatoire des sources qu'on observe dans le temps ; (2) Echantillonnage temporel en considérant toutes les sources mais en échantillonnant les instants observés de chaque capteur. Nous proposons une méthode générique et optimisée de construction de résumés à partir de flux de données distribués : à partir des flux de données observés à une période de temps t -1, nous déterminons un modèle de collecte de données à appliquer aux capteurs de la période t. Le calcul des agrégats se base sur l'inférence tatistique dans le cas de l'échantillonnage spatial et sur l'interpolation dans le cas de l'échantillonnage temporel. A notre connaissance, il n'existe pas de méthodes d'interpolation qui estiment les erreurs à tout instant et qui prennent en compte le flux de données ou courbe à interpoler et son intégrale. Nous proposons donc deux approches : la première se base sur le passé des courbes pour l'interpolation (approche naive) ; et la seconde utilise à un processus stochastique pour modéliser l'évolution des courbes (approche stochastique)<br>In this thesis, we consider a distributed computing environment, describing a collection of multiple remote sensors that feed a unique central server with numeric and uni-dimensional data streams (also called curves). The central server has a limited memory but should be able to compute aggregated value of any subset of the stream sources from a large time horizon including old and new data streams. Two approaches are studied to reduce the size of data : (1) spatial sampling only consider a random sample of the sources observed at every instant ; (2) temporal sampling consider all sources but samples the instants to be stored. In this thesis, we propose a new approach for summarizing temporally a set of distributed data streams : From the observation of what is happening during a period t -1, we determine a data collection model to apply to the sensors for period t. The computation of aggregates involves statistical inference in the case of spatial sampling and interpolation in the case of temporal sampling. To the best of our knowledge, there is no method for estimating interpolation errors at each timestamp that would take into account some curve features such as the knowledge of the integral of the curve during the period. We propose two approaches : one uses the past of the data curve (naive approach) and the other uses a stochastic process for interpolation (stochastic approach)
14
Fournié, Laurent Henri. "Stockage et manipulation transactionnels dans une base de données déductives à objets : techniques et performances." Versailles-St Quentin en Yvelines, 1998. http://www.theses.fr/1998VERS0017.
Full textAbstract:
Cette thèse propose des solutions pour mettre en oeuvre, de manière flexible et performante, le stockage et les manipulations transactionnels d'une base de données déductive à objets (dood) ; elle s'inscrit dans le développement du système validity. Outre une analyse et une synthèse de l'état de l'art, nos travaux comportent une validation pratique par la réalisation d'un véritable système de stockage et par son évaluation à l'aide d'un ensemble de mesures de performance. Nous exposons les principes dood et leurs impacts fonctionnels, transactionnels et opérationnels : les convergences et les divergences avec les modèles relationnel et objet sont approfondies. Deux axes principaux sont ensuite étudiés : (1) une synthèse des mécanismes de gestion de la mémoire persistante (organisation sur les supports physiques, contrôle des caches et stratégie de reprise) assurant l'atomicité et la durabilité des écritures, (2) le protocole original rc2pl intégrant le verrouillage a deux phases (2pl) et l'ordonnancement par multiversion pour isoler les transactions. Rc2pl décompose les transactions en deux phases : une phase de mise à jour (lectures et écritures) isolée par verrouillage, suivie d'une phase de vérification (lectures seulement) isolée par multiversion. Ainsi, rc2pl assure une isolation stricte et non conflictuelle des lectures exécutées en fin de transaction pour vérifier les contraintes d'intégrité sans pénaliser la concurrence. L'algorithme, la correction et les techniques de mises en oeuvre sont détaillés. Finalement, nous comparons les performances de rc2pl avec les différentes stratégies de vérification sous 2pl (avant, pendant et après les écritures). Les résultats démontrent que rc2pl réduit le nombre de conflits : la verification des contraintes d'integrité déclaratives après les écritures sous rc2pl offre des performances comparables à la meilleure optimisation des vérifications programmées à la main dans les applications sous 2pl.
15
Khouri, Selma. "Cycle de vie sémantique de conception de systèmes de stockage et manipulation de données." Thesis, Chasseneuil-du-Poitou, Ecole nationale supérieure de mécanique et d'aérotechnique, 2013. http://www.theses.fr/2013ESMA0016/document.
Full textAbstract:
Les ED deviennent des composants incontournables dans les entreprises et les organisations.Le thème de conception des ED a fait l’objet de recherches actives ces dernières années. Laprincipale limitation des approches proposées est le manque d’une vision globale s’inscrivantdans le cadre du cycle de conception des ED, même si la communauté reconnait toutes lesphases de ce cycle. Nos principales contributions dans cette thèse portent sur la proposition d’uneméthode de conception adaptée aux récentes évolutions qu’a connu le cycle de conception, etenglobant l’ensemble de ses phases. Le cycle de conception a connu une diversification importantedes modèles de stockage de données et des architectures de déploiement possibles offrant deschoix de conception variés. Ce cycle reconnait l’importance des besoins des utilisateurs dansle processus de conception, et l’importance d’accès et de représentation de la sémantique desdonnées. Notre première proposition présente une méthode de conception suivant une approcheà base d’ontologies de domaine, permettant de valoriser les besoins des utilisateurs en leur offrantune vue persistante au sein de l’ED. Cette vue permet d’anticiper diverses tâches de conceptionet de simuler les différents choix de conception. Notre deuxième proposition revisite le cycle deconception en exécutant la phase ETL (extraction-transformation-chargement des données) dèsla phase conceptuelle. Cette proposition permet de fournir un moyen de déploiement multiplesur différentes plateformes disponibles<br>Data Warehouses (DWs) become essential components for companies and organizations.DWdesign field has been actively researched in recent years. The main limitation of the proposedapproaches is the lack of an overall vision covering the DW design cycle. Our main contributionin this thesis is to propose a method adapted to recent evolutions of the DW design cycle,and covering all its phases. These evolutions have given rise to new data storage models andnew deployment architectures, which offers different design choices for designers and administrators.DW literature recognizes the importance of user requirements in the design process, andthe importance of accessing and representing data semantics. We propose an ontology drivendesign method that valorizes users’ requirements by providing them a persistent view in theDW structure. This view allows anticipating diverse design tasks and simulating different designchoices. Our second proposal revisits the design cycle by executing the ETL phase (extractiontransformation-loading of data) in the conceptual stage. This proposal allows a deployment à lacarte of the DW using the different deployment platforms available
16
Khouri, Selma, and Selma Khouri. "Cycle de vie sémantique de conception de systèmes de stockage et manipulation de données." Phd thesis, ISAE-ENSMA Ecole Nationale Supérieure de Mécanique et d'Aérotechique - Poitiers, 2013. http://tel.archives-ouvertes.fr/tel-00926657.
Full textAbstract:
Les ED deviennent des composants incontournables dans les entreprises et les organisations.Le thème de conception des ED a fait l'objet de recherches actives ces dernières années. Laprincipale limitation des approches proposées est le manque d'une vision globale s'inscrivantdans le cadre du cycle de conception des ED, même si la communauté reconnait toutes lesphases de ce cycle. Nos principales contributions dans cette thèse portent sur la proposition d'uneméthode de conception adaptée aux récentes évolutions qu'a connu le cycle de conception, etenglobant l'ensemble de ses phases. Le cycle de conception a connu une diversification importantedes modèles de stockage de données et des architectures de déploiement possibles offrant deschoix de conception variés. Ce cycle reconnait l'importance des besoins des utilisateurs dansle processus de conception, et l'importance d'accès et de représentation de la sémantique desdonnées. Notre première proposition présente une méthode de conception suivant une approcheà base d'ontologies de domaine, permettant de valoriser les besoins des utilisateurs en leur offrantune vue persistante au sein de l'ED. Cette vue permet d'anticiper diverses tâches de conceptionet de simuler les différents choix de conception. Notre deuxième proposition revisite le cycle deconception en exécutant la phase ETL (extraction-transformation-chargement des données) dèsla phase conceptuelle. Cette proposition permet de fournir un moyen de déploiement multiplesur différentes plateformes disponibles.
17
Romito, Benoit. "Stockage décentralisé adaptatif : autonomie et mobilité des données dans les réseaux pair-à-pair." Caen, 2012. http://www.theses.fr/2012CAEN2072.
Full textAbstract:
We study a new approach for decentralized data storage in peer-to-peer networks. In this approach, the responsibility of data management is transferred from the peers to the documents. It means that documents are not passive data sets anymore but become autonomous and responsible for their own durability. Thanks to a multi-agent system modeling and bio-inspired algorithms, we transform each document into a mobile agents flock able to move into the network. Firstly, we assess the feasibility of this approach with several experiments done on a prototype deployed in a real peer-to-peer network. We note that, given some hypothesis, our motion algorithms are sound. We also note that, topological relationships between the agents are enough for the emergence of a global flocking behavior. Secondly, we focus on mechanisms required to ensure flocks durability. We note that those flocks are self-adaptive and that, this property can be used to find the accurate fragmentation parameters, given a network instance and a required level of availability. Finaly, we study this self-adaptation property in the context of correlated failures. We propose and we analyze a decentralized flock placement algorithm aimed at reducing the correlated failures impact on data storage systems.
18
Le, Hung-Cuong. "Optimisation d'accès au médium et stockage de données distribuées dans les réseaux de capteurs." Besançon, 2008. http://www.theses.fr/2008BESA2052.
Full textAbstract:
Les réseaux de capteurs constituent un axe de recherche très fertile ces dernières années. Cette technique se développe dans différents domaines comme l'environnement, l'industrie, le commerce, la médecine, l'armée etc. Selon le type d'application, les problématiques peuvent être différentes. Dans cette thèse, nous nous sommes intéressés à deux problématiques: les protocoles d'accès au canal et le stockage de données distribuées. Le document est divisé en deux parties où la première partie est un état de l'art de différentes techniques existantes et la deuxième partie décrit notre contribution dans ces deux problématiques. Dans la première contribution, nous avons proposé deux protocoles d'accès au canal. Le premier optimise la durée de vie des réseaux de capteurs de type surveillance et le second réduit la latence de transmission dans les réseaux de capteurs orientés événements pour les applications critiques. Dans la deuxième contribution, nous nous sommes focalisés sur le modèle de stockage de données data-centric. Nous avons proposé une structure de regroupement des capteurs afm d'améliorer le routage et réduire le nombre de transmissions afin de prolonger la durée de vie d'un réseau de capteurs<br>Wireless sensor network is a very hot research topic tendency for the last few years. This technology can be applied into different domains as environment, industry, commerce, medicine, military etc. Depending on the application type, the problems and requirements might be different. In this thesis, we are interested in two major problems: the medium access control and the distributed data storage. The document is divided to two parts where the first part is a state of the art of different existing works and the second part describes our contribution. In the first contribution, we have proposed two MAC protocols. The first one optimizes the wireless sensor networks lifetime for surveillance applications and the second one reduces the transmission latency in event-driven wireless sensor networks for critical applications. In the second contribution, we have worked with several data storage models in wireless sensor network and we focus on the data-centric storage model. We have proposed a clustering structure for sensors to improve the routing and reduce the number of transmissions in order to prolong the network lifetime
19
Crespo-Monteiro, Nicolas. "Photochromisme de films mésoporeux d'oxyde de titane dopés argent appliqué au stockage de données." Thesis, Saint-Etienne, 2012. http://www.theses.fr/2012STET4027.
Full textAbstract:
L’argent associé aux colloïdes de titane est connu depuis longtemps pour produire un effet photochrome réversible. Le changement de couleur est dû à la réduction des sels d’argent en nanoparticules métalliques sous lumière UV et à l’oxydation de ces dernières sous lumière visible. Récemment, une nouvelle fonctionnalité induisant du photochromisme multicolore a été rapportée dans des matériaux nanocomposites constitués de nanoparticules d’argent introduites dans des films nanoporeux d’oxyde de titane. Dans cette thèse, nous étudions l’influence d’une matrice mésoporeuse d’oxyde de titane avec des tailles de pores contrôlées sur le comportement photochrome de tels films. Nous montrons que la porosité des films permet de contrôler la taille des particules formées sous insolations UV et qu’il est possible de blanchir les motifs photo-induits avec une lumière monochromatique visible bien qu’habituellement ce type d’insolation colore le film. L’utilisation de ces matériaux permet aussi d’améliorer sensiblement la stabilité temporelle des inscriptions photo-induites, ce qui permet de les utiliser comme support de données reconfigurables. Nous démontrons aussi qu’au-delà d’un seuil en intensité, il est possible d’inscrire des motifs permanents avec une lumière UV ou visible, ce qui permet l’utilisation de ces films comme support de données permanentes. Enfin, dans une dernière partie, nous montrons qu’il est possible de photo-inscrire en lumière visible des couleurs dichroïques fortement réfléchissantes sans aucune réduction préalable des sels d’argent<br>Silver species adsorbed on colloidal titania have been known for a long time to exhibit photochromism. The color change is due to the reduction of silver salts from metallic nanoparticles under UV illumination and oxidation of these latters under visible illumination. Recently, a new functionality inducing multicolor photochromism has been reported in nanocomposite materials constituted by silver nanoparticles introduced in nanoporous titania film. In this dissertation, we study the influence of mesoporous titania matrix with controlled pores sizes on the photochromisrn behavior of such films. We show that the films porosity allows to control the formed particles under UV illumination and that is possible to bleach the photo-induced patterns with a monochromatic visible light although usually this type of illumination color the film. The utilization of these materials allows also to sensibly improve the temporal stability of photo-induced inscriptions, which allows to use them as rewritable data carriers. We demonstrate also that above an intensity threshold, it is possible to inscribe permanent pattern with an UV or visible illumination, which allows to use these films like permanent data carriers. Finally, in the last part, we show that it is possible to photo-induce in visible light dichroic color highly reflective without prior reduction of silver salts
20
Diallo, Thierno Ahmadou. "GRAPP&S, une solution totalement répartie pour le stockage des données et Services." Thesis, Reims, 2016. http://www.theses.fr/2016REIMS006.
Full textAbstract:
Le stockage des données est un point crucial du développement des applications, et plus particulièrement des applications réparties. Les problématiques liées au stockage sont multiples : assurer la pérennité des données, en assurer l'identification et l'indexation, en garantir la recherche et l'accès, et le cas échéant le rappatriement afin d'être exploité par les différents acteurs de l'application. Il faut de surcroit concevoir des méthodes permettant de garantir l'efficacité de toutes des propriétés et opérations, dans un environnement multi-hétérogène, tant au niveau des formats des données, des protocoles d'échange, des systèmes et des applications. Dans cette thèse, nous proposons GRAPP&S, une architecture multi-échelle pour le stockage et l'indexation unifiée de différents formats de données tels que les fichiers, les flux de données, les requêtes sur les bases de données mais aussi l'accès à des services distants (des web services sur un serveur ou le cloud, ou des tâches de calcul dans un cluster HPC). GRAPP&S offre et orchestre une architecture hiérarchique de routage pour accéder aux différents types de données, et permet l'interconnexion de différentes communautés (réseaux locaux) grâce aux principes des systèmes multi-échelle. Les données sont présentées de façon transparente à l'utilisateur par l'intermédiaire de proxies spécifiques à chaque type de donnée. Le routage hiérarchique de GRAPP&S permet de s'affranchir de tables de routage, et d'éviter l'utilisation de solutions d'inondation pour la recherche de données.Enfin, nous proposons d'exploiter GRAPP&S dans le cadre particulier du E-Learning. Notre solution permettra de fédérer, à moindre coût, des ressources pédagogiques réparties sur plusieurs organisme, et d'en assurer l'exploitation par des apprenants<br>Data storage is a crucial point for applications development and particularly for distributed applications. There are many issues related to data storage: the insurance of sustainability, identification and indexing of the data, the warranty of searching and accessing the data, and possibly the fetching of the data for applications use. So, there is a need to design methods for ensuring effectiveness of all of these properties and operations in heterogeneous environments, both in terms of data formats, exchange protocols, and applications.In this thesis, we propose GRAPP&S (Grid APPlication & Services), a multi-scale framework for an unified storage and indexing of both data and services. Indeed, GRAPP&S was designed to support different data formats such as files, stream or database queries, but also to support the access to distant services (web services, cloud services or HPC computing services, for example). GRAPP&S coordinates an hierarchical routing architecture that allows data indexing and access, thanks to a multi-scale network of local-area communities. Transparent access is provided by a network of specialized proxies, which handle most aspects related to data location, request handling, data preprocessing or summary and also data consistence.Finally, we exploit GRAPP&S in the particular context of E-Learning. Our solution will reduce the cost of merging distributed educational resources over several organizations and ensure the exploitation of learners
21
Kumar, Sathiya Prabhu. "Cohérence de données répliquées partagées adaptative pour architectures de stockage à fort degré d’élasticité." Thesis, Paris, CNAM, 2016. http://www.theses.fr/2016CNAM1035/document.
Full textAbstract:
Les principales contributions de cette thèse sont au nombre de trois. La première partie de cette thèse concerne le développement d’un nouveau protocole de réplication nommé LibRe, permettant de limiter le nombre de lectures obsolètes dans un système de stockage distribué. LibRe est un acronyme signifiant "Library for Replication". Le principal objectif de LibRe est d’assurer la cohérence des données en contactant un minimum de répliques durant les opérations de lectures où d’écritures. Dans ce protocole, lors d’une opération d’écriture, chaque réplique met à jour un registre (la "librairie"), de manière asynchrone, avec l’identifiant de version de la donnée modifiée. Lors des opérations de lecture, la requête est transférée au réplica le plus approprié en fonction de l’information figurant dans le registre. Ce mécanisme permet de limiter le nombre de lectures obsolétes. L’évaluation de la cohérence d’un système reste un problème difficile à resoudre, que ce soit par simulation ou par évaluation en conditions réelles. Par conséquent nous avons développé un simulateur appelé Simizer, qui permet d’évaluer et de comparer la performance de différents protocoles de cohérence. Le système d’évaluation de bases de données YCSB a aussi été étendu pour évaluer l’échange entre cohérence et latence dans les systèmes de stockage modernes. Le code du simulateur et les modifications apportées à l’outil YCSB sont disponibles sous licence libre.Bien que les systèmes de bases de données modernes adaptent les garanties de cohérence à la demande de l’utilisateur, anticiper le niveau de cohérence requis pour chaque opération reste difficile pour un développeur d’application. La deuxième contribution de cette thèse cherche à résoudre ce problème en permettant à la base de données de remplacer le niveau de cohérence défini par défaut par d’autres règles définies à partir d’informations externes. Ces informations peuvent être fournies par l’administrateur ou un service extérieur. Dans cette thèse, nous validons ce modèle à l’aide d’une implémentation au sein du système de bases de données distribué Cassandra. La troisième contribution de cette thèse concerne la résolution des conflits de mise à jour. La résolution de ce type de conflits nécessite de retenir toutes les valeurs possibles d’un objet pour permettre la résolution du conflit grâce à une connaissance spécifique côté client. Ceci implique des coûts supplémentaires en termes de débit et de latence. Dans cette thèse nous discutons le besoin et la conception d’un nouveau type d’objet distribué, le registre à priorité, qui utilise une stratégie de détection et de résolution de conflits spécifique au domaine, et l’implante côté serveur. Notre approche utilise la notion d’ordre de remplacement spécifique. Nous montrons qu’un type de donnée paramètrée par un tel ordre peut fournir une solution efficace pour les applications demandant des solutions spécifiques à la résolution des conflits. Nous décrivons aussi l’implémentation d’une preuve de concept au sein de Cassandra<br>The main contributions of this thesis are three folds. The first contribution of the thesis focuses on an efficient way to control stale reads in modern database systems with the help of a new consistency protocol called LibRe. LibRe is an acronym for Library for Replication. The main goal of the LibRe protocol is to ensure data consistency by contacting a minimum number of replica nodes during read and write operations with the help of a library information. According to the protocol, during write operations each replica node updates a registry (library) asynchronously with the recent version identifier of the updated data. Forwarding the read requests to a right replica node referring the registry information helps to control stale reads during read operations. Evaluation of data consistency remains challenging both via simulation as well as in a real world setup. Hence, we implemented a new simulation toolkit called Simizer that helps to evaluate the performance of different consistency policies in a fast and efficient way. We also extended an existing benchmark tool YCSB that helps to evaluate the consistency-latency tradeoff offered by modern database systems. The codebase of the simulator and the extended YCSB are made open-source for public access. The performance of the LibRe protocol is validated both via simulation as well as in a real setup with the help of extended YCSB.Although the modern database systems adapt the consistency guarantees of the system per query basis, anticipating the consistency level of an application query in advance during application development time remains challenging for the application developers. In order to overcome this limitation, the second contribution of the thesis focuses on enabling the database system to override the application-defined consistency options during run time with the help of an external input. The external input could be given by a data administrator or by an external service. The thesis validates the proposed model with the help of a prototype implementation inside the Cassandra distributed storage system.The third contribution of the thesis focuses on resolving update conflicts. Resolving update conflicts often involve maintaining all possible values and perform the resolution via domain-specific knowledge at the client side. This involves additional cost in terms of network bandwidth and latency, and considerable complexity. In this thesis, we discuss the motivation and design of a novel data type called priority register that implements a domain-specific conflict detection and resolution scheme directly at the database side, while leaving open the option of additional reconciliation at the application level. Our approach uses the notion of an application-defined replacement ordering and we show that a data type parameterized by such an order can provide an efficient solution for applications that demand domain-specific conflict resolution. We also describe the proof of concept implementation of the priority register inside Cassandra. The conclusion and perspectives of the thesis work are summarized at the end
22
Guittenit, Christophe. "Placement d'objets multimédias sur un groupe hétérogène de dispositifs de stockage." Toulouse 3, 2002. http://www.theses.fr/2002TOU30098.
Full textAbstract:
L'administration d'un système de stockage de données consiste à fournir à chaque application un espace de stockage ayant une qualité de service appropriée aux besoins de cette application : qualité exprimée en terme de capacité de stockage, de fiabilité et disponibilité du stockage, et de performances en temps d'accès et en débit (bande passante). Cette thèse se propose de faire l'étude de l'administration automatique d'un système de stockage hétérogène dédié au service d'objets multimédias. Après avoir étudié et effectué la classification des différentes politiques de placement conçus pour exploiter ce type de système de stockage, nous proposons un nouveau placement, l'EFLEX (Entrelacement FLEXible) qui permet d'exploiter conjointement la bande passante et la capacité de stockage du système. .<br>The data administration of storage system consists in providing to each application a storage space having a quality of service appropriate to the needs for this application: quality expressed in term of storage capacity, reliability and availability of storage, and of performances in access time and throughput (bandwidth). This thesis proposes to make the study of the automatic administration of a heterogeneous storage system dedicated to the service of multimedia objects. After having studied and having carried out the classification of the various policies of placement designed to exploit this type of storage system, we propose a new data placement, the EFLEX (Entrelacement FLEXible - that is "flexible interleaving") that makes it possible to jointly exploit the bandwidth and the storage capacity of the system. .
23
Kerhervé, Brigitte. "Vues relationnelles : implantation dans les systèmes de gestion de bases de données centralisés et répartis." Paris 6, 1986. http://www.theses.fr/1986PA066090.
Full textAbstract:
Nous décrivons les choix qui ont été faits dans le prototype SABRE. Nous analysons par la suite l'implantation de vues concrètes qui correspondent à la matérialisation des vues relationnelles. Nous montrons que ces vues concrètes permettent de définir un nouveau type de SGBD réparti où la définition et le stockage des données sont faits en fonction des interrogations sur les sites distants, de manière à maximiser les interrogations locales. Nous décrivons et analysons les mécanismes nécessaires à l'implantation d'un tel type de SGBD réparti par vues concrètes, notamment du point de vue des mises à jour.
24
Laga, Arezki. "Optimisation des performance des logiciels de traitement de données sur les périphériques de stockage SSD." Thesis, Brest, 2018. http://www.theses.fr/2018BRES0087/document.
Full textAbstract:
Nous assistons aujourd’hui à une croissance vertigineuse des volumes de données. Cela exerce une pression sur les infrastructures de stockage et les logiciels de traitement de données comme les Systèmes de Gestion de Base de Données (SGBD). De nouvelles technologies ont vu le jour et permettent de réduire la pression exercée par les grandes masses de données. Nous nous intéressons particulièrement aux nouvelles technologies de mémoires secondaires comme les supports de stockage SSD (Solid State Drive) à base de mémoire Flash. Les supports de stockage SSD offrent des performances jusqu’à 10 fois plus élevées que les supports de stockage magnétiques. Cependant, ces nouveaux supports de stockage offrent un nouveau modèle de performance. Cela implique l’optimisation des coûts d’E/S pour les algorithmes de traitement et de gestion des données. Dans cette thèse, nous proposons un modèle des coûts d’E/S sur SSD pour les algorithmes de traitement de données. Ce modèle considère principalement le volume des données, l’espace mémoire alloué et la distribution des données. Nous proposons également un nouvel algorithme de tri en mémoire secondaire : MONTRES. Ce dernier est optimisé pour réduire le coût des E/S lorsque le volume de données à trier fait plusieurs fois la taille de la mémoire principale. Nous proposons enfin un mécanisme de pré-chargement de données : Lynx. Ce dernier utilise un mécanisme d’apprentissage pour prédire et anticiper les prochaines lectures en mémoire secondaire<br>The growing volume of data poses a real challenge to data processing software like DBMS (DataBase Management Systems) and data storage infrastructure. New technologies have emerged in order to face the data volume challenges. We considered in this thesis the emerging new external memories like flash memory-based storage devices named SSD (Solid State Drive).SSD storage devices offer a performance gain compared to the traditional magnetic devices.However, SSD devices offer a new performance model that involves 10 cost optimization for data processing and management algorithms.We proposed in this thesis an 10 cost model to evaluate the data processing algorithms. This model considers mainly the SSD 10 performance and the data distribution.We also proposed a new external sorting algorithm: MONTRES. This algorithm includes optimizations to reduce the 10 cost when the volume of data is greater than the allocated memory space by an order of magnitude. We proposed finally a data prefetching mechanism: Lynx. This one makes use of a machine learning technique to predict and to anticipate future access to the external memory
25
Borba, Ribeiro Heverson. "L'Exploitation de Codes Fontaines pour un Stockage Persistant des Données dans les Réseaux d'Overlay Structurés." Phd thesis, Université Rennes 1, 2012. http://tel.archives-ouvertes.fr/tel-00763284.
Full textAbstract:
L'importante augmentation de la quantité d'informations sur Internet a contribué à une forte demande pour un stockage persistant des données. Les architectures centralisées de stockage de données sont financièrement onéreuses, faiblement évolutives et vulnérables aux attaques car elles constituent un point unique de défaillance du système. Ces dernières années, les architectures pair-à-pair ont mergé comme une alternative pour la mise en place d'une architecture de stockage persistant des données. Les systèmes pair-à-pair sont fondamentalement évolutifs et moins chers que les modèles client-serveur. Cependant, pour construire des systèmes de stockage persistant en utilisant le modèle pair-à-pair, deux défis fondamentaux doivent être abordés. i) Faire face à la dynamique des pairs, en raison de leur connectivité transitoire. ii) Réduire l'impact du comportement malicieux des pairs. La réplication est une technique régulièrement utilisée pour faire face à la connectivité transitoire des systèmes de stockage pair-à-pair. Toutefois, selon le ratio d'arrivées et de départs des pairs dans le système, cette technique présente un impact négatif en termes de stockage et de bande passante. Les réseaux pair-à-pair qui offrent la tolérance aux fautes byzantins, font généralement l'hypothèse que seulement une fraction limitée des pairs dans le système sont des pairs de comportements malveillants. Toutefois, l'estimation de la proportion de pairs malveillants dans un système pair-à-pair est une opération peu fiable. Ainsi, créer une architecture qui fournit le stockage persistant de données fiables et qui permet de faire face à tous ces problèmes est une contribution souhaitable. Dans cette thèse, nous proposons Datacube. Datacube est une architecture pair-à-pair de stockage de données scalable et efficace qui fournit un stockage persistant en utilisant un schéma de redondance hybride sur un réseau overlay structuré basée sur des clusters. Le schéma de redondance hybride proposé par Datacube assure la persistance et l'intégrité des données garantissant une forte résilience aux arrivées et départs de pairs même en présence de pairs malveillants. Datacube repose sur les propriétés des codes fontaines pour mettre en place son schéma de redondance hybride. Les valuations analytiques ont montré que Datacube est notamment performant en termes de disponibilité, de surcharge de stockage et de bande passante. Nous avons aussi effectué des évaluations pratiques concernant les performances de deux types de codes fontaines dans le contexte de systèmes de stockage pair-à-pair. Ces évaluations ont aidé à comprendre l'impact des paramètres de codage sur les performances de Datacube. À notre connaissance, ceci est la première étude complète qui permet aux développeurs d'applications de trouver les valeurs des paramètres de codage adaptés au contexte des réseaux pair-à-pair.
26
Carpen-Amarie, Alexandra. "Utilisation de BlobSeer pour le stockage de données dans les Clouds: auto-adaptation, intégration, évaluation." Phd thesis, École normale supérieure de Cachan - ENS Cachan, 2011. http://tel.archives-ouvertes.fr/tel-00696012.
Full textAbstract:
L'émergence de l'informatique dans les nuages met en avant de nombreux défis qui pourraient limiter l'adoption du paradigme Cloud. Tandis que la taille des données traitées par les applications Cloud augmente exponentiellement, un défi majeur porte sur la conception de solutions efficaces pour la gestion de données. Cette thèse a pour but de concevoir des mécanismes d'auto-adaptation pour des systèmes de gestion de données, afin qu'ils puissent répondre aux exigences des services de stockage Cloud en termes de passage à l'échelle, disponibilité et sécurité des données. De plus, nous nous proposons de concevoir un service de données qui soit à la fois compatible avec les interfaces Cloud standard dans et capable d'offrir un stockage de données à haut débit. Pour relever ces défis, nous avons proposé des mécanismes génériques pour l'auto-connaissance, l'auto-protection et l'auto-configuration des systèmes de gestion de données. Ensuite, nous les avons validés en les intégrant dans le logiciel BlobSeer, un système de stockage qui optimise les accès hautement concurrents aux données. Finalement, nous avons conçu et implémenté un système de fichiers s'appuyant sur BlobSeer, afin d'optimiser ce dernier pour servir efficacement comme support de stockage pour les services Cloud. Puis, nous l'avons intégré dans un environnement Cloud réel, la plate-forme Nimbus. Les avantages et les désavantages de l'utilisation du stockage dans le Cloud pour des applications réelles sont soulignés lors des évaluations effectuées sur Grid'5000. Elles incluent des applications à accès intensif aux données, comme MapReduce, et des applications fortement couplées, comme les simulations atmosphériques.
27
Dandoush, Abdulhalim. "L'Analyse et l'Optimisation des Systèmes de Stockage de Données dans les Réseaux Pair-à-Pair." Phd thesis, Université de Nice Sophia-Antipolis, 2010. http://tel.archives-ouvertes.fr/tel-00470493.
Full textAbstract:
Cette thèse évalue les performances de systèmes de stockage de données sur des réseaux de pairs. Ces systèmes reposent sur trois piliers: la fragmentation des données et leur dissémination chez les pairs, la redondance des données afin de faire face aux éventuelles indisponibilités des pairs et l'existence d'un mécanisme de recouvrement des données perdues ou temporairement indisponibles. Nous modélisons deux mécanismes de recouvrement des données par des chaînes de Markov absorbantes. Plus précisément, nous évaluons la qualité du service rendu aux utilisateurs en terme de longévité et de disponibilité des données de chaque mécanisme. Le premier mécanisme est centralisé et repose sur l'utilisation d'un serveur pour la reconstruction des donnée perdus. Le second est distribué : la reconstruction des fragments perdus met en oeuvre, séquentiellement, plusieurs pairs et s'arrête dès que le niveau de redondance requis est atteint. Les principales hypothèses faites dans nos modèles sont validées soit par des simulations soit par des traces réelles recueillies dans différents environnements distribués. Pour les processus de téléchargement et de recouvrement des données nous proposons un modèle de simulation réaliste qui est capable de prédire avec précision le comportement de ces processus mais le temps de simulation est long pour de grands réseaux. Pour surmonter cette restriction nous proposons et analysons un algorithme efficace au niveau flux. L'algorithme est simple et utilise le concept de (min-max). Il permet de caractériser le temps de réponse des téléchargements en parallèle dans un système de stockage distribué.
28
Loisel, Loïc. "Claquage Electrique et Optique d'Allotropes du Carbone : Mécanismes et Applications pour le Stockage de Données." Thesis, Université Paris-Saclay (ComUE), 2016. http://www.theses.fr/2016SACLX021/document.
Full textAbstract:
Aujourd’hui, les applications de stockage de données utilisent principalement deux types de matériaux : les chalcogénures pour le stockage optique (e.g. Blu-Ray) et le silicium pour le stockage électronique (e.g. mémoires Flash). Malgré le fait qu’ils se soient avérés les plus efficaces pour des applications répandues, ces matériaux ont des limitations. Récemment, avec la montée en puissance du graphene, les allotropes du carbone ont été étudiés à la fois pour leurs propriétés intrinsèques et pour des applications ; ils ont des propriétés électroniques, thermiques et mécaniques très intéressantes qui peuvent rendre ces matériaux plus efficaces que les chalcogénures ou le silicium pour certaines applications. Dans cette thèse, nous étudions la faisabilité et le potentiel du carbone comme matériau pour le stockage de données.Nous nous concentrons d’abord sur le développement de stockage optique. Nous découvrons que les lasers continus et pulsés peuvent être utilisés pour induire des changements de phase réversibles dans des couches minces de carbone, confirmant la possibilité d’utiliser le carbone comme un matériau pour le stockage optique. De plus, nous découvrons plusieurs nouveaux phénomènes, que nous expliquons en utilisant des techniques de caractérisation avancées et de la modélisation par ordinateur de la propagation thermique dans le carbone.Ensuite, nous nous concentrons sur le stockage de données électronique en développant des mémoires à base de graphene qui peuvent être dans deux états de résistance bien séparés pour un grand nombre de cycles. Pour évaluer le potentiel de cette technologie, on caractérise le mécanisme de changement de résistance et on développe un modèle électromécanique qui permet de prédire les meilleures performances atteignables : ces mémoires ont le potentiel de commuter bien plus rapidement que les mémoires Flash tout en étant non-volatiles<br>Today, data storage applications rely mainly on two types of materials: chalcogenides for optical storage (e.g. Blu-Ray) and silicon for electronic storage (e.g. Flash memory). While these materials have proven to be the most efficient for widespread applications, both have limitations. Recently, with the rise of graphene, carbon allotropes have been studied both for their intrinsic properties and for applications; graphene and other carbon allotropes have very interesting electronic, thermal and mechanical properties that can make these materials more efficient than either chalcogenides or silicon for certain applications. In this thesis, we study the feasibility and potential of the usage of carbon as a data storage material.Firstly, we focus on developing optical data storage. It is found that both continuous-wave and pulsed lasers can be used to induce reversible phase changes in carbon thin films, thus opening the way toward carbon-based data storage. Along the way, several phenomena are discovered, shown and explained by using advanced characterization techniques and thermal modelling.Secondly, we focus on electronic data storage by developing graphene-based memories that are found to switch reliably between two well-separated resistance states for a large number of cycles. To assess the potential of this new technology, we characterize the switching mechanism and develop an electro-mechanical model enabling to predict the best performances attainable: these memories would potentially be much faster than Flash memories while playing the same role (non-volatile storage)
29
Jaiman, Vikas. "Amélioration de la prédictibilité des performances pour les environnements de stockage de données dans les nuages." Thesis, Université Grenoble Alpes (ComUE), 2019. http://www.theses.fr/2019GREAM016/document.
Full textAbstract:
De nos jours, les utilisateurs de services interactifs comme le e-commerce, ou les moteurs de recherche, ont de grandes attentes sur la performance et la réactivité de ces services. En effet, les études ont montré que des lenteurs (même pendant une courte durée) impacte directement le chiffre d'affaire. Avoir des performances prédictives est donc devenu une priorité pour ces fournisseurs de services depuis une dizaine d'années.Mais empêcher la variabilité dans les systèmes de stockage distribué est un challenge car les requêtes des utilisateurs finaux transitent par des centaines de servers et les problèmes de performances engendrés par chacun de ces serveurs peuvent influencer sur la latence observée. Même dans les environnements correctement dimensionnés, des problèmes comme de la contention sur les ressources partagés ou un déséquilibre de charge entre les serveurs influent sur les latences des requêtes et en particulier sur la queue de leur distribution (95ème et 99ème centile).L’objectif de cette thèse est de développer des mécanises permettant de réduire les latences et d’obtenir des performances prédictives dans les environnements de stockage de données dans les nuages. Une contre-mesure efficace pour réduire la latence de queue dans les environnements de stockage de données dans les nuages est de fournir des algorithmes efficaces pour la sélection de réplique. Dans la sélection de réplique, une requête tentant d’accéder à une information donnée (aussi appelé valeur) identifiée par une clé unique est dirigée vers la meilleure réplique présumée. Cependant, sous des charges de travail hétérogènes, ces algorithmes entraînent des latences accrues pour les requêtes ayant un court temps d'exécution et qui sont planifiées à la suite de requêtes ayant des long temps d’exécution. Nous proposons Héron, un algorithme de sélection de répliques qui gère des charges de travail avec des requêtes ayant un temps d’exécution hétérogène. Nous évaluons Héron dans un cluster de machines en utilisant un jeu de données synthétique inspiré du jeu de données de Facebook ainsi que deux jeux de données réels provenant de Flickr et WikiMedia. Nos résultats montrent que Héron surpasse les algorithmes de l’état de l’art en réduisant jusqu’à 41% la latence médiane et la latence de queue.Dans la deuxième contribution de cette thèse, nous nous sommes concentrés sur les charges de travail multi-GET afin de réduire la latence dans les environnements de stockage de données dans les nuages Le défi consiste à estimer les opérations limitantes et à les planifier sur des serveurs non-coordonnés avec un minimum de surcoût. Pour atteindre cet objectif, nous présentons TailX, un algorithme d’ordonnancement de tâches multi-GET qui réduit les temps de latence de queue sous des charges de travail hétérogènes. Nous implémentons TailX dans Cassandra, une base de données clé-valeur largement utilisée. Il en résulte une amélioration des performances globales des environnements de stockage de données dans les nuages pour une grande variété de charges de travail hétérogènes<br>Today, users of interactive services such as e-commerce, web search have increasingly high expectations on the performance and responsiveness of these services. Indeed, studies have shown that a slow service (even for short periods of time) directly impacts the revenue. Enforcing predictable performance has thus been a priority of major service providers in the last decade. But avoiding latency variability in distributed storage systems is challenging since end user requests go through hundreds of servers and performance hiccups at any of these servers may inflate the observed latency. Even in well-provisioned systems, factors such as the contention on shared resources or the unbalanced load between servers affect the latencies of requests and in particular the tail (95th and 99th percentile) of their distribution.The goal of this thesis to develop mechanisms for reducing latencies and achieve performance predictability in cloud data stores. One effective countermeasure for reducing tail latency in cloud data stores is to provide efficient replica selection algorithms. In replica selection, a request attempting to access a given piece of data (also called value) identified by a unique key is directed to the presumably best replica. However, under heterogeneous workloads, these algorithms lead to increased latencies for requests with a short execution time that get scheduled behind requests with large execution times. We propose Héron, a replica selection algorithm that supports workloads of heterogeneous request execution times. We evaluate Héron in a cluster of machines using a synthetic dataset inspired from the Facebook dataset as well as two real datasets from Flickr and WikiMedia. Our results show that Héron outperforms state-of-the-art algorithms by reducing both median and tail latency by up to 41%.In the second contribution of the thesis, we focus on multiget workloads to reduce the latency in cloud data stores. The challenge is to estimate the bottleneck operations and schedule them on uncoordinated backend servers with minimal overhead. To reach this objective, we present TailX, a task aware multiget scheduling algorithm that reduces tail latencies under heterogeneous workloads. We implement TailX in Cassandra, a widely used key-value store. The result is an improved overall performance of the cloud data stores for a wide variety of heterogeneous workloads
30
Soyez, Olivier. "Stockage dans les systèmes pair à pair." Phd thesis, Université de Picardie Jules Verne, 2005. http://tel.archives-ouvertes.fr/tel-00011443.
Full textAbstract:
Cette thèse a pour objectif de définir un système de stockage pair à pair, nommé Us. Le but principal de Us est de garantir la pérennité des données. Pour cela, Us associe un mécanisme de redondance des données à un processus dynamique de reconstruction.<br /><br />Dans un premier temps, nous avons créé un prototype Us et conçu une interface utilisateur, nommée UsFS, de type système de fichiers. Un procédé de journalisation des données est inclus dans UsFS.<br /><br />Ensuite, nous nous sommes intéressés aux distributions de données au sein du réseau Us. Le but de ces distributions est de minimiser le dérangement occasionné par le processus de reconstruction pour chaque pair. Enfin, nous avons étendu notre schéma de distribution pour gérer le comportement dynamique des pairs et prendre en compte les corrélations de panne.
31
Schaaf, Thomas. "Couplage inversion et changement d'échelle pour l'intégration des données dynamiques dans les modèles de réservoirs pétroliers." Paris 9, 2003. https://portail.bu.dauphine.fr/fileviewer/index.php?doc=2003PA090046.
Full text
32
Pamba, Capo-Chichi Medetonhan Shambhalla Eugène William. "Conception d’une architecture hiérarchique de réseau de capteurs pour le stockage et la compression de données." Besançon, 2010. http://www.theses.fr/2010BESA2031.
Full textAbstract:
Les récentes avancées dans les divers domaines liés à la micro-électronique, à l'informatique et aux réseaux sans fil ont donné naissance à de nouvelles thématiques de recherche. Les réseaux de capteurs issus de ces nouveaux progrès technologiques constituent un axe de recherche très fertile. En effet, la capacité réduite des noeuds en teme de calcul, de mémoire et d'énergie génère de nombreuses problématiques intéressantes. Le but de cette thèse est la conception d'une architecture hiérarchique de réseaux de capteurs capables de s'adapter à différents contextes en prenant en compte les contraintes énergétiques et en permettant de fournir des informations riches comme le multimédia à l'utilisateur final. Nous proposons une architecture hiérarchique avec les différents noeuds qui la composent et les technologies sans fil qui les relient. L'économie d'énergie étant un fil conducteur de notre travail et le module de transmission la principale source d'énergie, nous proposons deux nouveaux algorithmes de compression de données permettant d'optimiser l'utilisation du canal de communication. Nous présentons également une solution pour le stockage de grandes quantités d'informations sur les noeuds en integrant le système de fichiers FAT16 sous TinyOS-2. X<br>Recent advances in various aeras related to micro-electronics, computer science and wireless networks have resulted in the development of new research topics. Sensor networks are one of them. The particularity of this new research direction is the reduced performances of nodes in terms of computation, memory and energy. The purpose of this thesis is the definition of a new hierarchical architecture of sensor networks usable in different contexts by taking into account the sensors constraints and providing a high quality data such as multimedia to the end-users. We present our hierachical architecture with different nodes and the wireless technologies that connect them. Because of the high consumtpionof data transmission, we have developped two data compression algortithms in order to optimize the use of the channel by reducing data transmitted. We also present a solution for storing large amount of data on nodes by integrating the file system FAT16 under TinyOS-2. X
33
Muñoz-Baca, Guadalupe. "Stockage et exploitation de dossiers médicaux multimédia au moyen d'une base de données généralisée : projet TIGRE." Université Joseph Fourier (Grenoble), 1987. http://tel.archives-ouvertes.fr/tel-00324082.
Full textAbstract:
Notre travail présente les besoins d'une application médicale utilisant des données multimédia. C'est une application pilote pour le modèle et le SGBD TIGRE. L' application concerne le stockage et l'exploitation de dossiers médicaux. Une modélisation de l'application est réalisée avec le modèle TIGRE ; elle montre les objets du dossier radiologique et les liens qui existent entre eux. Une deuxième modélisation et une implémentation du schéma obtenu sont réalisées avec un SGBD relationnel. Une couche multimédia entre l'application et le SGBD relationnel a été construite. Elle permet (grâce au langage SQLMED créé) la manipulation homogène de données classiques et de données multimédia
34
Savel, Paul. "Absorption à deux photons et photochromisme de complexes de ruthénium : application au stockage optique de données." Thesis, Rennes 1, 2014. http://www.theses.fr/2014REN1S090/document.
Full textAbstract:
Le développement des nouvelles technologies, de l'informatique et d'internet ces dernières décennies s'est accompagné d'une demande croissante de supports de stockage de l'information. En particulier, le stockage optique de données. Les supports conventionnels (Cd-Rom, Blue-ray…), basés sur un stockage en surface du disque, ont atteint aujourd'hui leurs limites. Une nouvelle technologie en cours de développement, basée sur un stockage de données en trois dimensions, est une alternative prometteuse pour supplanter les supports conventionnels. Les matériaux doivent intégrer des entités aux propriétés photochromes (commutateur moléculaire) et d'absorption multi-photonique démontrées. Au cours de cette thèse, nous avons envisagé la synthèse de molécules fonctionnelles qui présenteraient ces deux caractéristiques. Dans un premier temps, nous nous sommes intéressés à la synthèse et à l'étude comparative de complexes homo et hétéroleptiques de ruthénium présentant une certaine potentialité pour l'absorption à deux photons. Nous avons montré que ces systèmes étaient très actifs et qu'ils permettaient d'accueillir une entité photochrome sans perte des propriétés bi-photoniques. Nous avons par la suite étudié les propriétés en photochromisme de complexes de ruthénium tris-bipyridine originaux comprenant un motif azobenzène. La complexation au métal bouleverse profondément le photochromisme de l'azobenzène avec des caractéristiques cinétiques notablement différentes de celles des ligands. Enfin, nous avons étudié les propriétés de complexes hybrides composés de ligands pour l'absorption à deux photons et d'autres pour le photochromisme, ces composés sont actifs dans ces deux domaines. Nous discutons finalement du potentiel du comportement optique de films composés de ces complexes. Nous avons procédé à des essais préliminaires de modulation du signal SHG sur ces films. Nous souhaitons optimiser toutes les composantes du processus afin de déterminer le potentiel de ces composés en stockage optique de données<br>The development of new technologies , computer and internet in recent decades has been accompanied by an increasing demand for media storage information. In particular , the optical data storage .Conventional media ( CD-ROM , Blu-ray ... ) based on a storage disk surface, have now reached their limits. A new technology being developed , based on a data storage in three dimensions, is a promising alternative to replace conventional materials. Materials must include entities for photochromic properties (molecular switch) and multi- photon absorption demonstrated. In this thesis , we considered the synthesis of functional molecules which present these two characteristics. As a first step , we are interested in the synthesis and comparative study of homo and heteroleptic ruthenium complex having a certain potential for two-photon absorption . We have shown that these systems were very active and they allowed to host a photochromic entity lossless bi- photonic properties. We then studied the properties of originals photochromic ruthenium tris- bipyridine containing an azobenzene motif. The metal complexing profoundly changes the photochromism of azobenzene with significantly different from those ligands kinetics . Finally, we studied the properties of hybrid complexes of ligands for the two-photon absorption and others to photochromism , these compounds are active in both areas. We finally discuss the potential of the optical behavior of compounds of these complex films. We conducted preliminary tests of the SHG signal modulation on these films. We want to maximize all components of the process to determine the potential of these compounds in optical data storage
35
Damak, Mohamed. "Un logiciel de stockage, de traitement et de visualisation graphique et cartographique des données géologiques et géotechniques." Phd thesis, Grenoble 1, 1990. http://tel.archives-ouvertes.fr/tel-00785637.
Full textAbstract:
Cette thèse présente un travail de spécification, de conception et de réalisation partielle d'un logiciel de stockage, de traitement et de visualisation graphique et cartographique des données géologiques et géotechniques. Nous avons accordé dans cette étude autant d'importance aux méthodes d'analyse et de conception qu'à la réalisation du système. En effet, nous avons établi la spécification en utilisant la métbode SA.D.T. (System Analysis Data Thecnic) qui nous a permis de constituer un dossier d'analyse de fonctionnalités du système. Par ailleurs, l'application du modèle entité-association nous a conduit à la définition des entités correspondant aux données géologiques ainsi que les relations entre ces entités. La conception du système a été basée sur la méthode orientée objet ce qui permet plus d'adaptabilité et de portabilité. La priorité a été donnée à la réalisation d'un sous*logiciel de modélisation géométrique des données et de leur visualisation tridimensionnelle. La modélisation a été basée sur un choix adéquat des structures de données. Une étude des algorithmes de triangulation et d'élimination des parties cachées a été réalisée, les algorithmes choisis ont été améliorés et adaptés à l'application présente.
36
Traboulsi, Salam. "Virtualisation du stockage dans les grilles informatiques : administration et monitoring." Toulouse 3, 2008. http://thesesups.ups-tlse.fr/385/.
Full textAbstract:
La grille offre une large gamme de ressources distribuées pour le stockage de données, en particulier pour les tâches interactives telles que les résultats des expérimentations de simulation et d'analyse des données. ViSaGe est destiné à fournir des fonctionnalités nécessaires à la virtualisation du stockage des données : fiabilité d'accès transparent aux données distantes et gestion des données distribuées. Il agrège les ressources de stockage distribuées physiquement dans un seul espace virtuel. Pourtant, chaque ressource de stockage étant caractérisée par ses ressources systèmes (CPU, disque, réseaux) dont la charge évolue durant le temps d'exécution ; puisque dans une grille de grandes quantités de données stockées sont constamment accessibles et directement impliquées dans l'exécution, le défi est comment gérer la performance d'accès aux données dans un système du stockage virtuel durant l'évolution de la charge. Dans ce contexte, ViSaGe a proposé le service d'administration et de monitoring, nommé Admon. Admon est un outil d'aide à la gestion de stockage. Nous allons décrire son architecture hiérarchique et ses différentes fonctionnalités, et montrer son efficacité. Il est formé de deux modules : le module d'administration qui rend plus aisée la gestion de stockage, à partir des données collectées et analysées par l'autre module : le monitoring. Admon est caractérisé par son architecture hiérarchique. Cette architecture permet à ses composants de communiquer afin de gérer le stockage des données pour améliorer la performance<br>Virtualization in grid environments is a recent way to improve platform usage. ViSaGe is a middleware designed to provide set of functionalities needed for storage virtualization: transparent reliable remote access to data and distributed data management. ViSaGe aggregates distributed physical storage resources. However, ensuring the performances of data access in grid environment is a major issue, as large amount of data are stored and constantly accessed, and directly involved into tasks execution time. Especially, the placement and selection of replicated data are made particularly difficult because of the dynamic nature of grid environments -- grid nodes workload variations. The workload variations represent the state of the system resources (CPU, disks and networks). These variations are mainly perceived by a monitoring system. Several monitoring systems exist in the literature. They monitor system resources consumption and applications but none of these systems presents the whole of the pertinent characteristics for ViSaGe. ViSaGe needs a system that analyzes nodes workload during runtime execution for improving data storage management. Therefore, ViSaGe Administration and monitoring service, namely Admon, is proposed. We present Admon efficiency that allowing to dynamically placing data according to resources usage ensuring the best performances while limiting the monitoring overhead
37
Marcu, Ovidiu-Cristian. "KerA : Un Système Unifié d'Ingestion et de Stockage pour le Traitement Efficace du Big Data : Un Système Unifié d'Ingestion et de Stockage pour le Traitement Efficace du Big Data." Thesis, Rennes, INSA, 2018. http://www.theses.fr/2018ISAR0028/document.
Full textAbstract:
Le Big Data est maintenant la nouvelle ressource naturelle. Les architectures actuelles des environnements d'analyse des données massives sont constituées de trois couches: les flux de données sont acquis par la couche d’ingestion (e.g., Kafka) pour ensuite circuler à travers la couche de traitement (e.g., Flink) qui s’appuie sur la couche de stockage (e.g., HDFS) pour stocker des données agrégées ou pour archiver les flux pour un traitement ultérieur. Malheureusement, malgré les bénéfices potentiels apportés par les couches spécialisées (e.g., une mise en oeuvre simplifiée), déplacer des quantités importantes de données à travers ces couches spécialisées s’avère peu efficace: les données devraient être acquises, traitées et stockées en minimisant le nombre de copies. Cette thèse propose la conception et la mise en oeuvre d’une architecture unifiée pour l’ingestion et le stockage de flux de données, capable d'améliorer le traitement des applications Big Data. Cette approche minimise le déplacement des données à travers l’architecture d'analyse, menant ainsi à une amélioration de l’utilisation des ressources. Nous identifions un ensemble de critères de qualité pour un moteur dédié d’ingestion des flux et stockage. Nous expliquons l’impact des différents choix architecturaux Big Data sur la performance de bout en bout. Nous proposons un ensemble de principes de conception d’une architecture unifiée et efficace pour l’ingestion et le stockage des données. Nous mettons en oeuvre et évaluons le prototype KerA dans le but de gérer efficacement divers modèles d’accès: accès à latence faible aux flux et/ou accès à débit élevé aux flux et/ou objets<br>Big Data is now the new natural resource. Current state-of-the-art Big Data analytics architectures are built on top of a three layer stack:data streams are first acquired by the ingestion layer (e.g., Kafka) and then they flow through the processing layer (e.g., Flink) which relies on the storage layer (e.g., HDFS) for storing aggregated data or for archiving streams for later processing. Unfortunately, in spite of potential benefits brought by specialized layers (e.g., simplified implementation), moving large quantities of data through specialized layers is not efficient: instead, data should be acquired, processed and stored while minimizing the number of copies. This dissertation argues that a plausible path to follow to alleviate from previous limitations is the careful design and implementation of a unified architecture for stream ingestion and storage, which can lead to the optimization of the processing of Big Data applications. This approach minimizes data movement within the analytics architecture, finally leading to better utilized resources. We identify a set of requirements for a dedicated stream ingestion/storage engine. We explain the impact of the different Big Data architectural choices on end-to-end performance. We propose a set of design principles for a scalable, unified architecture for data ingestion and storage. We implement and evaluate the KerA prototype with the goal of efficiently handling diverse access patterns: low-latency access to streams and/or high throughput access to streams and/or objects
38
Moreira, José. "Un modèle d'approximation pour la représentation du mouvement dans les bases de données spatiales." Paris, ENST, 2001. http://www.theses.fr/2001ENST0016.
Full textAbstract:
La gestion et l'interrogation d'objets mobiles nécessitent de prendre en compte le fait que la localisation de tels objets dans l'espace à deux (trois) dimensions est une fonction continue du temps. Deux problèmes déterminants se posent au traitement de ce type d'information: d'une part, les systèmes informatiques ne sont pas capables de stocker ou de manipuler des ensembles infinis; d'autre part, les mécanismes de repérage de la localisation des objets mobiles sont intrinsèquement discrets et ne sont pas aptes à déterminer leur localisation d'une façon continue. Ainsi, la connaissance sur le mouvement, tel qu'il est stocké dans un système de bases de données, est une représentation partielle du comportement spatio-temporel d'un objet mobile dans le monde réel. Cette thèse propose un modèle d'approximation linéaire adéquat pour la représentation finie du mouvement et son interrogation. Ce modèle d'approximation permet la définition de structures de données efficaces pour l'organisation spatio-temporelle de l'information sur le mouvement. Une structure de données appropriée au stockage du mouvement d'un objet comme un type abstrait de données et des algorithmes efficaces pour l'interrogation de ce type d' information sont donnés. Une méthode permettant de délimiter l'incertitude sur la localisation d'un objet mobile, due à la représentation partielle du mouvement, est également présentée. Du point de vue langage d'interrogation, on introduit un ensemble d'opérations à intégrer dans un SIG ou dans une base de données spatiale, pour répondre à des requêtes sur le mouvement des objets. Pour tester l'efficacité de la méthode de stockage et des algorithmes présentés, il est proposé un générateur de jeux de données qui sont à la fois riches du point de vue statistique et représentatives des applications du monde réel.
39
Kerkad, Amira. "L'interaction au service de l'optimisation à grande échelle des entrepôts de données relationnels." Phd thesis, ISAE-ENSMA Ecole Nationale Supérieure de Mécanique et d'Aérotechique - Poitiers, 2013. http://tel.archives-ouvertes.fr/tel-00954469.
Full textAbstract:
La technologie de base de données est un environnement adéquat pour l'interaction. Elle peutconcerner plusieurs composantes du SGBD : (a) les données, (b) les requêtes, (c) les techniques d'optimisationet (d) les supports de stockage. Au niveau des données, les corrélations entre les attributs sont très communesdans les données du monde réel, et ont été exploitées pour définir les vues matérialisées et les index. Au niveaurequêtes, l'interaction a été massivement étudiée sous le problème d'optimisation multi-requêtes. Les entrepôtsde données avec leurs jointures en étoile augmentent le taux d'interaction. L'interaction des requêtes a étéemployée pour la sélection des techniques d'optimisation comme les index. L'interaction contribue égalementdans la sélection multiple des techniques d'optimisation comme les vues matérialisées, les index, lepartitionnement et le clustering. Dans les études existantes, l'interaction concerne une seule composante. Danscette thèse, nous considérons l'interaction multi-composante, avec trois techniques d'optimisation, où chacuneconcerne une composante : l'ordonnancement des requêtes (niveau requêtes), la fragmentation horizontale(niveau données) et la gestion du buffer (niveau support de stockage). L'ordonnancement des requêtes (OR)consiste à définir un ordre d'exécution optimal pour les requêtes pour permettre à quelques requêtes debénéficier des données pré-calculées. La fragmentation horizontale (FH) divise les instances de chaque relationen sous-ensembles disjoints. La gestion du buffer (GB) consiste à allouer et remplacer les données dans l'espacebuffer disponible pour réduire le coût de la charge. Habituellement, ces problèmes sont traités soit de façonisolée ou par paire comme la GB et l'OR. Cependant, ces problèmes sont similaires et complémentaires. Uneformalisation profonde pour le scénario hors-ligne et en-ligne des problèmes est fournie et un ensembled'algorithmes avancés inspirés du comportement naturel des abeilles sont proposés. Nos propositions sontvalidées en utilisant un simulateur et un SGBD réel (Oracle) avec le banc d'essai star schema benchmark àgrande échelle.
40
Lachaize, Renaud. "Un canevas logiciel pour la construction de systèmes de stockage reconfigurables pour grappes de machines." Phd thesis, Grenoble INPG, 2005. http://tel.archives-ouvertes.fr/tel-00010198.
Full textAbstract:
Cette thèse s'intéresse aux systèmes de stockage répartis pour grappes de serveurs. Les solutions existantes sont généralement monolithiques et peu (re)configurables. Elles limitent la réutilisation de code, compliquent l'administration et le développement de systèmes robustes et autonomes. Nous proposons un canevas logiciel visant à lever ces contraintes. Un service de stockage est construit à partir d'un assemblage de composants et fournit une représentation explicite des flux de contrôle et de données. L'architecture permet un paramétrage fin des propriétés du système, y compris au niveau des protocoles de communication et des stratégies de transfert des données. L'infrastructure d'exécution offre, de plus, des mécanismes de reconfiguration dynamique du code, des paramètres et de la structure du système. Un prototype, implémenté au niveau bloc, montre qu'une approche modulaire est conciliable avec de bonnes performances et permet de construire des services flexibles et spécialisés.
41
Cutillo, Leucio Antonio. "Protection des données privées dans les réseaux sociaux." Phd thesis, Télécom ParisTech, 2012. http://pastel.archives-ouvertes.fr/pastel-00932360.
Full textAbstract:
Les applications des réseaux sociaux (OSN) permettent aux utilisateurs de toutes les âges de partager facilement une large série des contenus confidentiels ou privés avec un nombre théoriquement illimité de partenaires. Cet avantage peut être obtenu au risque des problèmes de sécurité et de l'exposition de la vie privée pour les utilisateurs, puisque dans toutes les OSN existantes, afin de soutenir un modèle d'affaires prometteur, les informations des utilisateurs sont collectées et stockées de façon permanente par le fournisseur de service, qui devient potentiellement un "Big Brother" capable d'exploiter ces informations de plusieurs façons qui peuvent violer la vie privée des utilisateurs individuels ou groupes d'utilisateurs. La thèse propose et valide une nouvelle approche pour ces problèmes de sécurité et de confidentialité. Afin d'assurer la confidentialité des utilisateurs face à les violations potentiels de la vie privée par le fournisseur, ce modèle adopte une architecture distribuée en s'appuyant sur la coopération entre un certain nombre de parties indépendantes qui sont aussi les utilisateurs de l'application de réseau social. Le deuxième point fort de l'approche suggérée est de s'appuyer sur les relations de confiance qui font partie des réseaux sociaux dans la vie réelle afin d'affronter le problème de la création de mécanismes de confiance en préservant la vie privée. Sur la base de ces principes de conception, un nouveau réseau social en ligne distribuée, appelé Safebook, a été proposé: Safebook s'appuie sur la confiance dans la vie réelle et permet aux utilisateurs de maintenir le contrôle sur l'accès et l'utilisation de leurs propres informations.
42
Omnès, Thierry J.-F. "Acropolis : un précompilateur de spécification pour l'exploration du transfert et du stockage des données en conception de systèmes embarqués à Haut Débit." Paris, ENMP, 2001. http://www.theses.fr/2001ENMP0995.
Full text
43
Tran, Viet-Trung. "Sur le passage à l'échelle des systèmes de gestion des grandes masses de données." Phd thesis, École normale supérieure de Cachan - ENS Cachan, 2013. http://tel.archives-ouvertes.fr/tel-00783724.
Full textAbstract:
La problématique "Big Data" peut être caractérisée par trois "V": * "Big Volume" se rapporte à l'augmentation sans précédent du volume des données. * "Big Velocity" se réfère à la croissance de la vitesse à laquelle ces données sont déplacées entre les systèmes qui les gèrent. * "Big Variety" correspond à la diversification des formats de ces données. Ces caractéristiques imposent des changements fondamentaux dans l'architecture des systèmes de gestion de données. Les systèmes de stockage doivent être adaptés à la croissance des données, et se doivent de passer à l'échelle tout en maintenant un accès à hautes performances. Cette thèse se concentre sur la construction des systèmes de gestion de grandes masses de données passant à l'échelle. Les deux premières contributions ont pour objectif de fournir un support efficace des "Big Volumes" pour les applications data-intensives dans les environnements de calcul à hautes performances (HPC). Nous abordons en particulier les limitations des approches existantes dans leur gestion des opérations d'entrées/sorties (E/S) non-contiguës atomiques à large échelle. Un mécanisme basé sur les versions est alors proposé, et qui peut être utilisé pour l'isolation des E/S non-contiguës sans le fardeau de synchronisations coûteuses. Dans le contexte du traitement parallèle de tableaux multi-dimensionels en HPC, nous présentons Pyramid, un système de stockage large-échelle optimisé pour ce type de données. Pyramid revoit l'organisation physique des données dans les systèmes de stockage distribués en vue d'un passage à l'échelle des performances. Pyramid favorise un partitionnement multi-dimensionel de données correspondant le plus possible aux accès générés par les applications. Il se base également sur une gestion distribuée des métadonnées et un mécanisme de versioning pour la résolution des accès concurrents, ce afin d'éliminer tout besoin de synchronisation. Notre troisième contribution aborde le problème "Big Volume" à l'échelle d'un environnement géographiquement distribué. Nous considérons BlobSeer, un service distribué de gestion de données orienté "versioning", et nous proposons BlobSeer-WAN, une extension de BlobSeer optimisée pour un tel environnement. BlobSeer-WAN prend en compte la hiérarchie de latence et favorise les accès aux méta-données locales. BlobSeer-WAN inclut la réplication asynchrone des méta-données et une résolution des collisions basée sur des "vector-clock". Afin de traîter le caractère "Big Velocity" de la problématique "Big Data", notre dernière contribution consiste en DStore, un système de stockage en mémoire orienté "documents" qui passe à l'échelle verticalement en exploitant les capacités mémoires des machines multi-coeurs. Nous montrons l'efficacité de DStore dans le cadre du traitement de requêtes d'écritures atomiques complexes tout en maintenant un haut débit d'accès en lecture. DStore suit un modèle d'exécution mono-thread qui met à jour les transactions séquentiellement, tout en se basant sur une gestion de la concurrence basée sur le versioning afin de permettre un grand nombre d'accès simultanés en lecture.
44
Duminuco, Alessandro. "Redondance et maintenance des données dans les systèmes de sauvegarde de fichiers pair-à-pair." Phd thesis, Télécom ParisTech, 2009. http://pastel.archives-ouvertes.fr/pastel-00005541.
Full textAbstract:
La quantité de données numériques produites par les utilisateurs, comme les photos, les vidéos et les documents numériques, a énormément augmenté durant cette dernière décennie. Ces données possèdent une grande valeur et nécessitent d'être sauvegardées en sécurité. D'une part, les solutions basées sur les DVDs et les disques durs externes, bien que très communes, ne fournissent pas un niveau suffisant de fiabilité. D'autre part les solutions basées sur de serveurs centralisées sont très coûteuses. Pour ces raisons, la communauté de recherche a manifesté un grand intérêt pour l'utilisation des systèmes pair-à-pair pour la sauvegarde de donnés. Les systèmes pair-à-pair représentent une solution intéressante grâce à leur capacité de passage à l'échelle. En effet, la capacité du service augmente avec la demande. La conception d'un réseau de sauvegarde de fichiers pair-à-pair est une tâche très complexe et présente un nombre considérable de défis. Les pairs peuvent avoir une durée de connexion limitée et peuvent quitter le système à un taux qui est considérablement plus élevé que dans le cas des systèmes de stockage centralisés. Notre intérêt se concentre sur la manière de fournir efficacement du stockage de données suffisamment fiable en appliquant des schémas de redondance appropriés et en adoptant des bons mécanismes pour maintenir une telle redondance. Cet effort n'est pas négligeable, dans la mesure où la maintenance du stockage de données dans un tel système exige des ressources importantes en termes de capacité de stockage et de largeur de bande passante. Notre contribution se porte sur deux aspects. Premièrement, nous proposons et étudions des codes correcteurs pour la redondance capables de combiner l'efficacité en bande passante de la réplication à l'efficacité en stockage des codes correcteurs classiques. En particulier, nous présentons et analysons deux nouvelles classes de codes: Regenerating Codes et Hierarchical Codes. Deuxièmement, nous proposons un système de réparation, nommé "adaptive proactive repair scheme", qui combine l'adaptabilité des systèmes réactifs avec l'utilisation régulière de la bande passante des systèmes proactifs, en généralisant les deux approches existantes.
45
Monteiro, Julian. "Modélisation et analyse des systèmes de stockage fiable de données dans des réseaux pair-à-pair." Phd thesis, Université de Nice Sophia-Antipolis, 2010. http://tel.archives-ouvertes.fr/tel-00545724.
Full textAbstract:
Les systèmes pair-à-pair à grande échelle ont été proposés comme un moyen fiable d'assurer un stockage de données à faible coût. Pour assurer la pérennité des données sur une période très longue, ces systèmes codent les données des utilisateurs comme un ensemble de fragments redondants qui sont distribués entre différents pairs du réseau. Un mécanisme de réparation est nécessaire pour faire face au comportement dynamique et non fiable des pairs. Ce mécanisme reconstruit en permanence les fragments de redondance manquants. Le système dépend de nombreux paramètres de configuration qui doivent être bien réglés, comme le facteur de redondance, sa politique de placement et la fréquence de réparation des données. Ces paramètres affectent la quantité de ressources, telles que la bande passante et l'espace de stockage, nécessaires pour obtenir un niveau souhaité de fiabilité, c'est-à-dire, une certaine probabilité de perdre des données. Cette thèse vise à fournir des outils permettant d'analyser et de prédire la performance de systèmes de stockage de données à grande échelle en général. Nous avons utilisé ces outils pour analyser l'impact de différents choix de conception du système sur différentes mesures de performance. Par exemple, la consommation de bande passante, l'espace de stockage et la probabilité de perdre des données, doivent être aussi faibles que possible. Différentes techniques sont étudiées et appliquées. Tout d'abord, nous décrivons un modèle simple par chaîne de Markov qui exploit la dynamique d'un système de stockage sous l'effet de défaillance des pairs et de réparation de données. Puis nous établissons des formules mathématiques closes qui donnent de bonnes approximations du modèle. Ces formules nous permettent de comprendre les interactions entre les paramètres du système. En effet, un mécanisme de réparation paresseux (lazy repair) est étudié et nous décrivons comment régler les paramètres du système pour obtenir une utilisation efficace de la bande passante. Nous confirmons en comparant à des simulations que ce modèle donne des approximations correctes du comportement moyen du système, mais ne parvient pas à capturer ses importantes variations au fil du temps. Nous proposons ensuite un nouveau modèle stochastique basé sur une approximation fluide pour saisir les écarts par rapport au comportement moyen. Ces variations qui sont généralement négligées par les travaux antérieurs, sont très im- portants pour faire une bonne estimation des ressources nécessaires au système. De plus, nous étudions plusieurs autres aspects d'un système de stockage distribué: nous utilisons un modèle de files d'attente pour calculer le temps de réparation pour un système avec bande passante limitée; nous étudions un système de codage hybride: en mixant les codes d'éffacement avec la simple réplication des données; enfin, nous étudions l'impact des différentes façons de distribuer des fragments de données entre les pairs, i.e., les stratégies des placements.
46
Nguyen, Cong-Danh. "Workload- and Data-based Automated Design for a Hybrid Row-Column Storage Model and Bloom Filter-Based Query Processing for Large-Scale DICOM Data Management." Thesis, Université Clermont Auvergne (2017-2020), 2018. http://www.theses.fr/2018CLFAC019/document.
Full textAbstract:
Dans le secteur des soins de santé, les données d'images médicales toujours croissantes, le développement de technologies d'imagerie, la conservation à long terme des données médicales et l'augmentation de la résolution des images entraînent une croissance considérable du volume de données. En outre, la variété des dispositifs d'acquisition et la différence de préférences des médecins ou d'autres professionnels de la santé ont conduit à une grande variété de données. Bien que la norme DICOM (Digital Imaging et Communication in Medicine) soit aujourd'hui largement adoptée pour stocker et transférer les données médicales, les données DICOM ont toujours les caractéristiques 3V du Big Data: volume élevé, grande variété et grande vélocité. En outre, il existe une variété de charges de travail, notamment le traitement transactionnel en ligne (en anglais Online Transaction Processing, abrégé en OLTP), le traitement analytique en ligne (anglais Online Analytical Processing, abrégé en OLAP) et les charges de travail mixtes. Les systèmes existants ont des limites concernant ces caractéristiques des données et des charges de travail. Dans cette thèse, nous proposons de nouvelles méthodes efficaces pour stocker et interroger des données DICOM. Nous proposons un modèle de stockage hybride des magasins de lignes et de colonnes, appelé HYTORMO, ainsi que des stratégies de stockage de données et de traitement des requêtes. Tout d'abord, HYTORMO est conçu et mis en œuvre pour être déployé sur un environnement à grande échelle afin de permettre la gestion de grandes données médicales. Deuxièmement, la stratégie de stockage de données combine l'utilisation du partitionnement vertical et un stockage hybride pour créer des configurations de stockage de données qui peuvent réduire la demande d'espace de stockage et augmenter les performances de la charge de travail. Pour réaliser une telle configuration de stockage de données, l'une des deux approches de conception de stockage de données peut être appliquée: (1) conception basée sur des experts et (2) conception automatisée. Dans la première approche, les experts créent manuellement des configurations de stockage de données en regroupant les attributs des données DICOM et en sélectionnant une disposition de stockage de données appropriée pour chaque groupe de colonnes. Dans la dernière approche, nous proposons un cadre de conception automatisé hybride, appelé HADF. HADF dépend des mesures de similarité (entre attributs) qui prennent en compte les impacts des informations spécifiques à la charge de travail et aux données pour générer automatiquement les configurations de stockage de données: Hybrid Similarity (combinaison pondérée de similarité d'accès d'attribut et de similarité de densité d'attribut) les attributs dans les groupes de colonnes; Inter-Cluster Access Similarity est utilisé pour déterminer si deux groupes de colonnes seront fusionnés ou non (pour réduire le nombre de jointures supplémentaires); et Intra-Cluster Access La similarité est appliquée pour décider si un groupe de colonnes sera stocké dans une ligne ou un magasin de colonnes. Enfin, nous proposons une stratégie de traitement des requêtes adaptée et efficace construite sur HYTORMO. Il considère l'utilisation des jointures internes et des jointures externes gauche pour empêcher la perte de données si vous utilisez uniquement des jointures internes entre des tables partitionnées verticalement. De plus, une intersection de filtres Bloom (intersection of Bloom filters, abrégé en ) est appliqué pour supprimer les données non pertinentes des tables d'entrée des opérations de jointure; cela permet de réduire les coûts d'E / S réseau. (...)<br>In the health care industry, the ever-increasing medical image data, the development of imaging technologies, the long-term retention of medical data and the increase of image resolution are causing a tremendous growth in data volume. In addition, the variety of acquisition devices and the difference in preferences of physicians or other health-care professionals have led to a high variety in data. Although today DICOM (Digital Imaging and Communication in Medicine) standard has been widely adopted to store and transfer the medical data, DICOM data still has the 3Vs characteristics of Big Data: high volume, high variety and high velocity. Besides, there is a variety of workloads including Online Transaction Processing (OLTP), Online Analytical Processing (OLAP) and mixed workloads. Existing systems have limitations dealing with these characteristics of data and workloads. In this thesis, we propose new efficient methods for storing and querying DICOM data. We propose a hybrid storage model of row and column stores, called HYTORMO, together with data storage and query processing strategies. First, HYTORMO is designed and implemented to be deployed on large-scale environment to make it possible to manage big medical data. Second, the data storage strategy combines the use of vertical partitioning and a hybrid store to create data storage configurations that can reduce storage space demand and increase workload performance. To achieve such a data storage configuration, one of two data storage design approaches can be applied: (1) expert-based design and (2) automated design. In the former approach, experts manually create data storage configurations by grouping attributes and selecting a suitable data layout for each column group. In the latter approach, we propose a hybrid automated design framework, called HADF. HADF depends on similarity measures (between attributes) that can take into consideration the combined impact of both workload- and data-specific information to generate data storage configurations: Hybrid Similarity (a weighted combination of Attribute Access and Density Similarity measures) is used to group the attributes into column groups; Inter-Cluster Access Similarity is used to determine whether two column groups will be merged together or not (to reduce the number of joins); and Intra-Cluster Access Similarity is applied to decide whether a column group will be stored in a row or a column store. Finally, we propose a suitable and efficient query processing strategy built on top of HYTORMO. It considers the use of both inner joins and left-outer joins. Furthermore, an Intersection Bloom filter () is applied to reduce network I/O cost.We provide experimental evaluations to validate the benefits of the proposed methods over real DICOM datasets. Experimental results show that the mixed use of both row and column stores outperforms a pure row store and a pure column store. The combined impact of both workload-and data-specific information is helpful for HADF to be able to produce good data storage configurations. Moreover, the query processing strategy with the use of the can improve the execution time of an experimental query up to 50% when compared to the case where no is applied
47
Dimopoulou, Melpomeni. "Techniques de codage pour le stockage à long terme d’images numériques dans l’ADN synthétique." Thesis, Université Côte d'Azur, 2020. http://www.theses.fr/2020COAZ4073.
Full textAbstract:
L’explosion de la quantité de données est l’un des plus grands défis de l'évolution numérique, entraînant une croissance de la demande de stockage à un rythme tel qu'elle ne peut pas rivaliser avec les capacités réelles des périphériques. L'univers numérique devrait atteindre plus de 175 zettaoctets d'ici 2025, tandis que le 80% de ces données est rarement consultée (données froides), mais archivée sur des bandes magnétiques pour des raisons de sécurité et de conformité réglementaire. Les dispositifs de stockage conventionnels ont une durée de vie limitée de 10 à 20 ans et doivent donc être fréquemment remplacés pour garantir la fiabilité des données, un processus qui est coûteux en termes d'argent et d'énergie. L'ADN est un candidat très prometteur pour l'archivage à long terme de données « froides » pendant des siècles voire plus à condition que l'information soit encodée dans un flux quaternaire constitué des symboles A, T, C, G, pour représenter les 4 composants de la molécule d'ADN, tout en respectant certaines contraintes d'encodage importantes. Dans cette thèse, nous présentons de nouvelles techniques de codage pour le stockage efficace d'images numériques dans l'ADN. Nous avons implémenté un nouvel algorithme de longueur fixe pour la construction d'un code quaternaire robuste qui respecte les contraintes biologiques et proposé deux fonctions de "mapping" différentes pour permettre une flexibilité par rapport aux besoins d'encodage. De plus, l'un des principaux défis du stockage des données dans l’ADN étant le coût élevé de la synthèse, nous faisons une toute première tentative pour introduire une compression contrôlée dans la solution de codage proposée. Le codec proposé est compétitif par rapport à l'état de l'art. En outre, notre solution de codage / décodage de bout en bout a été expérimentée dans une expérience de laboratoire humide pour prouver la faisabilité de l'étude théorique dans la pratique<br>Data explosion is one of the greatest challenges of digital evolution, causing the storage demand to grow at such a rate that it cannot compete with the actual capabilities of devices. The digital universe is forecast to grow to over 175 zettabytes by 2025 while 80% is infrequently accessed (“cold” data), yet safely archived in off-line tape drives due to security and regulatory compliance reasons. At the same time, conventional storage devices have a limited lifespan of 10 to 20 years and therefore should be frequently replaced to ensure data reliability, a process which is expensive both in terms of money and energy. Recent studies have shown that due to its biological properties, DNA is a very promising candidate for the long-term archiving of “cold” digital data for centuries or even longer under the condition that the information is encoded in a quaternary stream made up of the symbols A, T, C and G, to represent the 4 components of the DNA molecule, while also respecting some important encoding constraints. Pioneering works have proposed different algorithms for DNA coding leaving room for further improvement. In this thesis we present some novel image coding techniques for the efficient storage of digital images into DNA. We implemented a novel fixed length algorithm for the construction of a robust quaternary code that respects the biological constraints and proposed two different mapping functions to allow flexibility according to the encoding needs. Furthermore, one of the main challenges of DNA data storage being the expensive cost of DNA synthesis, we make a very first attempt to introduce controlled compression in the proposed encoding workflow. The, proposed codec is competitive compared to the state of the art. Furthermore, our end-to-end coding/decoding solution has been experimented in a wet lab experiment to prove feasibility of the theoretical study in practice
48
Contreras, Villalobos Kevin. "Conception, validation et mise en oeuvre d'une architecture de stockage de données de très haute capacité basée sur le principe de la photographie Lippmann." Phd thesis, Université Paris Sud - Paris XI, 2011. http://tel.archives-ouvertes.fr/tel-00580714.
Full textAbstract:
Le stockage de données par holographie suscite un intérêt renouvelé. Il semble bien placé pour conduire à une nouvelle génération de mémoires optiques aux capacités et débits de lecture bien supérieurs à ceux des disques optiques actuels basés sur l'enregistrement dit surfacique. Dans ce travail de thèse, nous proposons une nouvelle architecture de stockage optique de données qui s'inspire du principe de la photographie interférentielle de Lippmann. Les informations y sont inscrites dans le volume du matériau d'enregistrement sous la forme de pages de données par multiplexage en longueur d'onde en exploitant la sélectivité de Bragg. Cette technique, bien que très voisine de l'holographie, n'avait jamais été envisagée pour le stockage à hautes capacités. L'objectif de la thèse a été d'analyser cette nouvelle architecture afin de déterminer les conditions pouvant conduire à de très hautes capacités. Cette analyse s'est appuyée sur un outil de simulation numérique des processus de diffraction en jeu dans cette mémoire interférentielle. Elle nous a permis de définir deux conditions sous lesquelles ces hautes capacités sont atteignables. En respectant ces conditions, nous avons conçu un démonstrateur de mémoire dit de " Lippmann " et avons ainsi démontré expérimentalement que la capacité est bien proportionnelle à l'épaisseur du matériau d'enregistrement. Avec une telle architecture, des capacités de l'ordre du Téraoctet sont attendues pour des disques de 12 cm de diamètre.
49
Mao, Fei. "Réalisation des nanostructures désirées en or et en argent par effet thermique local induit optiquement : Application au stockage de données et à l’imprimante couleur." Thesis, université Paris-Saclay, 2020. http://www.theses.fr/2020UPASN011.
Full textAbstract:
This work focuses on the investigation of plasmonic Gold (Au) and Silver (Ag) nanoparticles (NPs) by using optically induced local thermal dewetting technique and their applications. Firstly, Au and Ag NPs are fabricated by a thermal annealing method using a hot oven. This technique allows obtaining Au and Ag NPs, which are randomly distributed in a large area. The NPs sizes and properties are controlled by annealing conditions, such as annealing temperature and duration. Plasmonic properties of Au and Ag NPs are experimentally characterized and compared with the simulation ones performed by the FDTD method. These large-area Au and Ag NPs are demonstrated to be useful for applications in fluorescence enhancement and random laser. Secondly, we demonstrate a robust way to realize desired plasmonic nanostructures by using a direct laser writing method. This technique bases on optically induced local thermal effect allowing the realization of NPs at a small area, i.e. focusing area. By moving thus the laser spot, any desired plasmonic structure can be realized. The NPs sizes and distributions can be controlled by exposure doses (laser power and exposure time) and moving trajectory of the focusing spot resulting in different reflection or transmission colors. By focusing a continuous-wave laser at 532 nm on Au films having 50 nm thickness, we demonstrated for the first time the direct fabrication of plasmonic nanoholes array. These fabricated structures are demonstrated to be very potential for many applications such as data storage, color nanoprinter, fluorescence enhancement, and plasmonics based random laser<br>This work focuses on the investigation of plasmonic Gold (Au) and Silver (Ag) nanoparticles (NPs) by using optically induced local thermal dewetting technique and their applications. Firstly, Au and Ag NPs are fabricated by a thermal annealing method using a hot oven. This technique allows obtaining Au and Ag NPs, which are randomly distributed in a large area. The NPs sizes and properties are controlled by annealing conditions, such as annealing temperature and duration. Plasmonic properties of Au and Ag NPs are experimentally characterized and compared with the simulation ones performed by the FDTD method. These large-area Au and Ag NPs are demonstrated to be useful for applications in fluorescence enhancement and random laser. Secondly, we demonstrate a robust way to realize desired plasmonic nanostructures by using a direct laser writing method. This technique bases on optically induced local thermal effect allowing the realization of NPs at a small area, i.e. focusing area. By moving thus the laser spot, any desired plasmonic structure can be realized. The NPs sizes and distributions can be controlled by exposure doses (laser power and exposure time) and moving trajectory of the focusing spot resulting in different reflection or transmission colors. By focusing a continuous-wave laser at 532 nm on Au films having 50 nm thickness, we demonstrated for the first time the direct fabrication of plasmonic nanoholes array. These fabricated structures are demonstrated to be very potential for many applications such as data storage, color nanoprinter, fluorescence enhancement, and plasmonics based random laser
50
Contreras, Villalobos Kevin. "Conception, validation et mise en oeuvre d’une architecture de stockage de données de très haute capacité basée sur le principe de la photographie Lippmann." Thesis, Paris 11, 2011. http://www.theses.fr/2011PA112017/document.
Full textAbstract:
Le stockage de données par holographie suscite un intérêt renouvelé. Il semble bien placé pour conduire à une nouvelle génération de mémoires optiques aux capacités et débits de lecture bien supérieurs à ceux des disques optiques actuels basés sur l’enregistrement dit surfacique. Dans ce travail de thèse, nous proposons une nouvelle architecture de stockage optique de données qui s’inspire du principe de la photographie interférentielle de Lippmann. Les informations y sont inscrites dans le volume du matériau d’enregistrement sous la forme de pages de données par multiplexage en longueur d’onde en exploitant la sélectivité de Bragg. Cette technique, bien que très voisine de l’holographie, n’avait jamais été envisagée pour le stockage à hautes capacités. L’objectif de la thèse a été d’analyser cette nouvelle architecture afin de déterminer les conditions pouvant conduire à de très hautes capacités. Cette analyse s’est appuyée sur un outil de simulation numérique des processus de diffraction en jeu dans cette mémoire interférentielle. Elle nous a permis de définir deux conditions sous lesquelles ces hautes capacités sont atteignables. En respectant ces conditions, nous avons conçu un démonstrateur de mémoire dit de « Lippmann » et avons ainsi démontré expérimentalement que la capacité est bien proportionnelle à l’épaisseur du matériau d’enregistrement. Avec une telle architecture, des capacités de l’ordre du Téraoctet sont attendues pour des disques de 12 cm de diamètre<br>Nowadays, the holographic data storage presents a renewed interest. It seems well placed to lead a new generation of optical storage capacity and playback speeds much higher than current optical discs based on the recording onto a surface. In this thesis, we propose a new architecture for optical data storage that is based on the principle of Lippmann photography interferential. Information are included in the volume of the recording material in the form of pages of data multiplexing in wavelength by exploiting the Bragg selectivity. This technique, although very similar to holography, had never been considered for high storage capacities. The aim of the thesis was to analyze this new architecture to determine the conditions that can lead to very high capacities. This analysis was based on a numerical simulation tool of diffraction process involved in this memory interferential. It allowed us to define two conditions under which these high capacities are achievable. In accordance with these conditions, we developed a demonstrator called "Lippmann’s memory" and have thus demonstrated experimentally that the capacity is proportional to the thickness of the recording material. With such an architecture, Terabyte disks of 12 cm in diameter are expected