Добірка наукової літератури з теми "Шардинг"

Исследованы функции информационной системы сервис-ориентированной архитектуры. Проанализированы действия лояльных и нелояльных к прикладным веб-сервисам системы интернет-пользователей и данные логов интернет-пользователей. Поставлена задача разработать базу данных для исследуемой информационной системы и повысить ее производительность путем масштабирования, репликации, секционирования, вертикального и горизонтального шардинга. Приведены результаты разработки базы данных для хранения и обработки логов поведения интернет-пользователей. The functions of the information system of service-oriented architecture are investigated. The actions of the systems of Internet users that are loyal and disloyal to applied web services are analyzed, as well as the data of Internet users' logs. The task is to develop a database for the information system under study and increase its efficiency by scaling, replication, sectioning, vertical and horizontal sharding. The results of developing a database for storing and processing logs of Internet user behavior are presented.

Несмотря на многообразие современных научных знаний проблема человека и его эволюции остается актуальной в интердисциплинарной перспективе. Анализ одной из таких эволюционных моделей, созданной французским философом Пьером Тейяром де Шарденом в его труде «Феномен Человека», является целью статьи. В ее формате рассмотрены философские, теологические и научные идеи, позволившие этому автору создать собственное оригинальное видение феномена человека, до сих пор оживленно обсуждаемое представителями различных научных дисциплин, философами и теологами. Despite the diversity of contemporary scientific knowledge, the problem of man and his evolution remains relevant in an interdisciplinary perspective. The analysis of one of such evolutionary models created by the French philosopher Pierre Teilhard de Chardin in his work «The Phenomenon of Man» is the aim of this article. In its format, philosophical, theological and scientific ideas that allowed this author to create his own original vision of the human phenomenon are considered. They are still actively discussed by representatives of various scientific disciplines, philosophers and theologians.

У статті запропонований аналіз концепції Суб’єктивної доби у соціальній філософії Ауробіндо. Ауробіндо стверджує що відкриття індивідуальним вільним розумом універсальних законів щодо яких індивід є мало не побічним явищем і які повинні управляти ним і спроба фактично управляти громадським життям людства в строгій відповідності з цими законами неминуче ведуть до пригнічення індивідуальної свободи. Замість релігійно-етичного авторитету традиційного суспільства реалізовуватиметься науковий, раціональний або експериментальний критерій. Ауробіндо пише, що у такому разі розвинеться стійка система громадських моральних норм і традицій і утвердиться своєрідне соціалістичне вчення, в істинності якого нікому не буде дозволено засумніватися практично і, ймовірно, навіть теоретично, оскільки подібні сумніви можуть потрясти або навіть підірвати систему. З іншого боку, існують історичні сили, які можуть присікти такий розвиток або змінити його характер раніше, ніж він досягне свого погрозливого завершення. Стаття розглядає соціальні ідеї Шрі Ауробіндо у зіставленні з ідеями М. Бердяєва, Д. Андрєєва і Теяра де Шардена.

Актуальність теми. На сьогоднішній день MongoDB є СУБД, що часто використовується при розробці систем, орієнтованих на обробку слабко структурованих даних. Однією з причин цього є можливість використання горизонтального масштабування (шардингу) та налаштування розподілу даних, що значною мірою впливає на продуктивність роботи системи в цілому. Тому були розроблені різні стратегії розподілу даних в кластері, такі як: стратегія палаючого будинку, стратегія гарячих точок тощо. Дані стратегії мають свої сфери застосування, свої переваги та недоліки, але загальним недоліком даних стратегій є нерівномірний розподіл даних при наявності так званих «джамбо-чанків», що в свою чергу впливає на продуктивність роботи системи. Об’єктом дослідження є розподіл даних між серверами в кластері MongoDB. Предметом дослідження є програмні засоби для підвищення продуктивності роботи СУБД MongoDB, які призначені для налаштування розподілу даних відповідно до допустимих відсоткових навантажень вузлів кластера, враховуючи вплив «джамбо-чанків». Мета роботи: підвищення продуктивності роботи СУБД MongoDB. Наукова новизна: 1. Запропоновано підхід розподілу даних, який включає в себе ідеї існуючих підходів та, на відміну від існуючих підходів, при розподілі даних враховує можливість наявності «джамбо-чанків». 2. Виконано порівняльний аналіз запропонованого підходу з існуючими, визначено в яких саме ситуаціях потрібно використовувати даний підхід, його переваги та недоліки порівняно з існуючими підходами розподілу даних. Практична цінність отриманих в роботі результатів полягає в тому, що запропонований підхід надає можливість налаштування розподілу даних відповідно до допустимих відсоткових навантажень вузлів кластера, враховуючи вплив «джамбо-чанків». Крім того розроблені в роботі програмні засоби можуть бути використані для реалізації автоматизованого розподілу даних з заданими налаштуваннями. Апробація роботи. Запропонований підхід був представлений та обговорений на науковій конференції магістрантів та аспірантів «Прикладна математика та комп‘ютинг» ПМК-2018 (Київ, 14 - 16 листопада 2018 р.) та на V Міжнародній науково-технічній Internet-конференції «Сучасні методи, інформаційне, програмне та технічне забезпечення систем керування організаційно-технічними та технологічними комплексами», яка проводилась 22 листопада 2018 р. у Національному університеті харчових технологій. Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів та висновків. У вступі подано загальну характеристику роботи, зроблено оцінку сучасного стану проблеми, обґрунтовано актуальність напрямку досліджень, сформульовано мету і задачі досліджень, показано наукову новизну отриманих результатів. У першому розділі розглянуто існуючі підходи розподілу даних, їхні особливості, недоліки та переваги, розглянуто різні реалізації. У другому розділі запропоновано підхід розподілу даних який буде вирішувати виявлену проблему. У третьому розділі наведені алгоритмічні особливості реалізації розроблених програмних засобів для реалізації запропонованого підходу. У четвертому розділі представлено результати тестування запропонованого підходу. У висновках представлені результати проведеної роботи. Магістерська дисертація представлена на 80 аркушах, містить посилання на список використаних літературних джерел.
Actuality of theme. To date, MongoDB is a database, often used in the development of systems focused on the processing of poorly structured data. One reason for this is the ability to use horizontal scaling (shading) and data distribution settings, which greatly affects the performance of the system as a whole. Therefore, various strategies for data splitting in the cluster were developed, such as: a burning house strategy, hot spots strategy, and so on. These strategies have their own applications, their advantages and disadvantages, but the general disadvantage of these strategies is the uneven distribution of data in the presence of so-called "jumbo chunk", which in turn affects the performance of the system. The object of the study is the distribution of data between servers in the MongoDB cluster. The subject of the study is software tools to improve the performance of the MongoDB database, which are designed to configure the distribution of data in accordance with the permissible percentage loads of nodes of the cluster, taking into account the influence of "jumbo chunks". The purpose of the work: to increase the productivity of the DBMS MongoDB. Scientific novelty: 1. A data-sharing approach is proposed that incorporates the ideas of existing approaches and, unlike existing approaches, takes into account the possibility of having "jumbo chunks" when distributing data. 2. A comparative analysis of the proposed approach with existing ones is made, it is determined in what situations it is necessary to use this approach of approach, its advantages and disadvantages in comparison with existing approaches of data distribution. The practical value of the results obtained in the work is that the proposed approach provides the possibility of adjusting the distribution of data in accordance with the permissible percentages of nodes of the cluster, taking into account the influence of "jumbo chunks". In addition, the software developed in the work can be used to implement automated data distribution with the specified settings. Test work. The proposed approach was presented and discussed at the scientific conference of undergraduates and postgraduates "Applied Mathematics and Computing", PMK-2018 (Kyiv, November 14-16, 2018) and at the V International Scientific and Technical Internet Conference "Modern Methods, Information, software and technical support of control systems for organizational, technical and technological complexes", held on November 22, 2018 at the National University of Food Technologies. Structure and scope of work. The master's thesis consists of an introduction, four chapters and conclusions. The introduction gives a general description of the work, assesses the current state of the problem, substantiates the relevance of the research direction, formulates the purpose and objectives of the research, shows the scientific novelty of the results obtained. The first chapter examines the existing approaches to data distribution, their features, disadvantages and advantages, and discusses different implementations. The second chapter proposes a data-sharing approach that addresses the problem identified. The third chapter, algorithmic features of implementation of the developed software tools for implementation of the proposed approach are presented. The fourth chapter presents the results of testing the proposed approach. The conclusions are the results of the work. The master's dissertation is presented on 80 sheets, contains a link to the list of used literary sources.
Актуальность темы. На сегодняшний день MongoDB является СУБД, которая часто используется при разработке систем, ориентированных на обработку слабо структурированных данных. Одной из причин этого является возможность использования горизонтального масштабирования (шардингу) и настройки распределения данных, что в значительной мере влияет на производительность работы системы в целом. Поэтому были разработаны различные стратегии распределения данных в кластере, такие как: стратегия горящего дома, стратегия горячих точек и тому подобное. Данные стратегии имеют свои области применения, свои преимущества и недостатки, но общим недостатком данных стратегий является неравномерное распределение данных при наличии так называемых «джамбо-чанков», что в свою очередь влияет на производительность работы системы. Объектом исследования является распределение данных между серверами в кластере MongoDB. Предметом исследования являются программные средства для повышения производительности работы СУБД MongoDB, которые предназначены для настройки распределения данных в соответствии с допустимых процентных нагрузок узлов кластера, учитывая влияние «джамбо-чанков». Цель работы: повышение производительности работы СУБД MongoDB. Научная новизна: 1. Предложен подход распределения данных, который включает в себя идеи существующих подходов и, в отличие от существующих подходов, при распределении данных учитывает возможность наличия «джамбо-чанков». 2. Выполнен сравнительный анализ предложенного подхода с существующими, определено в каких именно ситуациях нужно использовать данный подход, его преимущества и недостатки по сравнению с существующими подходами распределения данных. Практическая ценность полученных в работе результатов заключается в том, что предложенный подход предоставляет возможность настройки распределения данных в соответствии с допустимыми процентных нагрузками узлов кластера, учитывая влияние «джамбо-чанков». Кроме того разработанные в работе программные средства могут быть использованы для реализации автоматизированного распределения данных с заданными настройками. Апробация работы. Предложенный подход был представлен и обсужден на научной конференции магистрантов и аспирантов «Прикладная математика и компьютинг» ПМК-2018 (Киев, 14 - 16 ноября 2018) и на V Международной научно-технической Internet-конференции «Современные методы, информационное, программное и техническое обеспечение систем управления организационно-техническими и технологическими комплексами», которая проводилась 22 ноября 2018 в Национальном университете пищевых технологий. Структура и объем работы. Магистерская диссертация состоит из введения, четырех глав и выводов. Во введении представлена общая характеристика работы, произведена оценка современного состояния проблемы, обоснована актуальность направления исследований, сформулированы цели и задачи исследований, показано научную новизну полученных результатов. В первой главе рассмотрены существующие подходы распределения данных, их особенности, недостатки и преимущества, рассмотрены различные реализации. Во втором разделе предложено подход распределения данных который будет решать обнаруженную проблему. В третьем разделе приведены алгоритмические особенности реализации разработанных программных средств для реализации предложенного подхода. В четвертом разделе представлены результаты тестирования предложенного подхода. В выводах представлены результаты проведенной работы. Магистерская диссертация представлена на 80 листах, содержит ссылки на список использованных литературных источников.

Мета дослідження – удосконалення методу відмовостійкості програмних систем та розробка програмного засобу на його основі, що дасть змогу обробляти та зменшувати негативний вплив відмов на систему (у тому числі часткових). У процесі дипломного проєктування досліджено галузь відмовостійкості та сучасні методи і засоби забезпечення відмовостійкості програмних систем, визначено невирішені проблеми у галузі та методологічні підходи до їх вирішення; на базі невирішених проблем розроблено удосконалений метод забезпечення відмовостійкості програмних систем та виконано його програмну реалізацію. Розроблений метод покращує відмовостійкість додатків, побудованих за мікросервісною або кліент-серверною архітектурою, шляхом реалізації нових підходів, переосмислення та комбінації існуючих алгоритмів відмовостійкості програмних систем, що дало змогу удосконалити працездатність та стабільність систем, збільшити їх пропускну здатність та зменшити кількість помилок. Для програмної реалізації методу використано технології Docker, NodeJS, Express та інші, а для тестування – технології Jest та JMetter. Проведені емпіричні дослідження доводять адекватність та ефективність розробленого методу відмовостійкості програмних систем, працездатність та функціональну придатність реалізованого на його основі програмного засобу. Апробація отриманих результатів дослідження показала зменшення кількості помилок у програмних системах приблизно на 50% і збільшення кількості оброблених запитів на 50% у порівнянні з існуючими алгоритмами відмовостійкості. Отже, розроблений програмний засіб можна рекомендувати для використання ІТ-підприємствам, які мають на меті підвищити відмовостійкість власних розроблюваних додатків.