Добірка наукової літератури з теми "Система розподілених обчисленть"

Метакомп’ютінг (розподілені обчислення в Інтернет) – одна з «модних» технологій останніх десятиліть, призначена насамперед для рішення задач, що вимагають розподіленої обробки великих масивів даних. Для розв’язання на метакомп’ютерах найбільш придатні задачі пошукового і переборного характеру. Класичним прикладом таких задач є задачі теорії чисел. Огляд існуючих розподілених систем показує, що, за рідким винятком, вони є вузькоспеціалізованими (призначеними для розв’язання однієї задачі). Тому розробка архітектури універсальної метакомп’ютерної системи, призначеної для розв’язання вказаного класу переборних задач, має високу актуальність.Основна мета роботи полягала в розробці архітектури універсальної розподіленої системи для розв’язання теоретико-числових проблем та її програмної реалізації. В результаті аналізу літератури та існуючого програмного забезпечення було встановлено, що:Найбільш придатними для розв’язання в розподілених системах є задачі, що вимагають обробки великих обсягів слабко корельованих даних, зокрема теоретико-числові проблеми.Для реалізації розподіленої системи доцільно використовувати класичні технології: інтерфейс сокетів та багатопоточність.Аналіз існуючих метакомп’ютерних систем показує практично повну відсутність оболонок для створення таких систем при високому попиті на даний клас програмного забезпечення.Засоби, використані при побудові розподіленої системи: pthread – застосовується для багатопоточної роботи програмного комплексу; Boost – використовується для створення надійної, розширюваної та простої архітектури програмного комплексу; log4cxx – застосовується для реєстрації процесу роботи програмного комплексу; GMP – використовується для математичних обчислень з високою точністю; OpenSSL, на прикладі якої розглядається можливість організації захищеного зв’язку у програмних засобах за архітектурою “клієнт-сервер”.Функціональна схема роботи створеного в процесі дослідження комплексу Metacomputing Framework (http://sf.net/projects/mcframework/):один сервер займається розв’язанням однієї задачі;при старті сервер одержує діапазон і бібліотеку, що він буде надсилати клієнту;агент одночасно виконує тільки одну задачу (бібліотеку) і з’єднується тільки з одним сервером, але може обробляти кілька діапазонів одночасно (у різних потоках);на одній машині може бути запущено кілька серверів для розв’язання різних задач, так само і з клієнтами;після видачі клієнту конкретного діапазону, сервер чекає на результат протягом визначеного часу, за який цей діапазон нікому іншому не видається; у випадку одержання результату від клієнта, даний діапазон позначається відповідним чином; якщо клієнт не виходив на зв’язок протягом визначеного терміну, даний діапазон вважається неопрацьованим і розподіляється заново;сервер є відмовостійким та періодично зберігає отримані результати у файл, використовуючи який, можна поновити роботи після збою системи чи тимчасової зупинки сервера;агент є кросплатформеним, підтримувані платформи – POSIX (Linux, FreeBSD і т.д.), Windows;агент щораз відкриває і закриває з’єднання із сервером під час звітування та повернення результатів;агент зберігає завантажені бібліотеки. При старті клієнт перевіряє наявність яких-небудь файлів у визначених директоріях, обчислює хеш кожного зі знайдених файлів і намагається по черзі завантажити їх як динамічну бібліотеку. Якщо це вдається, то клієнт одержує версію бібліотеки, викликавши відповідну інтерфейсну функцію;зв’язок між агентом і сервером здійснюється по двох каналах: 1) керуючий (передача команд); 2) канал даних (передача даних, таких як файли бібліотек, результати обчислень тощо).Обчислювальний експеримент проводився на ПП «Апріоріт» (м. Дніпропетровськ). Тривалість експерименту склала двоє доби (49 годин 23 хвилини 55 секунд). В ході експерименту було обчислено 27 перших простих числа Мерсенна, що зайняло 28 годин 7 хвилин і 5 секунд.Усі розрахунки є вірними і відповідають уже відомим числам Мерсенна. Під час експерименту не було отримано помилкових даних, внаслідок чого можна зробити висновок про те, що розроблений програмний комплекс успішно справляється з задачами, для виконання яких він призначений та повністю відповідає технічному завданню.Подальший розвиток дослідження передбачає розширення функціональності програмного комплексу Metacomputing Framework шляхом створення допоміжних програмних утиліт, що надають статистику про хід виконання обчислень в режимі реального часу та дозволяють прозоро додавати і видаляти в працюючій системі нові завдання, а також розподіляти обчислювальні ресурси агентських машин між різними задачами по пріоритетах.

Стаття присвячена проблемі використання апаратних засобів при навчанні студентів розподіленому програмуванню. Установлено, що комплексне використання програмно-апаратних засобів при вивченні розподіленого програмування є одним з важливих методів для розвитку професійних компетентностей інженерів-програмістів. Виявлено, що для ефективного навчання студентів розподіленому програмуванню необхідна велика кількість ресурсів для розробки цих обчислень, які є достатньо компактними, щоб вписатися в рамки одного курсу та достатньо автономними. Одним з методів вивчення розподілених обчислень є використання навчального обчислювального кластеру. Розробка навчального обчислювального кластеру містить такі основні етапи: розробка навчальних завдань, для виконання яких потрібно використання обчислювального кластеру; розробка апаратної частини; встановлення операційної системи; проєктування мережі передавання даних між вузлами кластеру; налаштування головного вузла та програм керування кластером; встановлення програмного забезпечення для розробки розподілених обчислень. Тому використання кластеру допоможе розвитку професійних компетентностей майбутніх інженерів-програмістів при вивченні дисципліни «Паралельні та розподілені обчислення», яка викладається при професійній підготовці інженерів-програмістів зі спеціальності «Комп’ютерні науки». Для використання в якості вузлів обчислювального кластеру було взято для порівняння персональні комп’ютери та одноплатні комп’ютери Raspberry. Після порівняльного аналізу було проведено моделювання навчального обчислювального кластеру засобами одноплатних комп’ютерів Raspberry. У результаті тестування було виявлено, що на великих об’ємах даних, для математичних обчислень, навчальний обчислювальний кластер на одноплатних комп’ютерах Raspberry робить обчислення в півтори рази ефективніше, ніж персональний комп’ютер. Проведений аналіз розвитку професійних компетентностей при моделювання, розробці та використанні навчального обчислювального кластеру.

Проаналізовано програмні засоби, які дозволяють моделювати та симулювати процес диспетчеризації завдань в великих комп’ютерних мережах та розподілених обчислю­вальних системах нового програмного комплексу. Запропоновано підхід до вирішення задачі планування та метод диспетчеризації потоків задач на основі невідчужуваності обчислювальних ресурсів від їх власника. В системі можуть бути використані різні за своїми властивостями та характеристиками программно-апаратні обчислювальні засоби, такі як кластери, суперкомп’ютери, персональні комп’ютери, ноутбуки та ін. Розроблено програмний комплекс, що дозволяє симулювати роботу GRID-системи з невідчужувани­ми ресурсами, а також спостерігати та досліджувати роботу різних алгоритмів в різних умовах. Описано архітектурну модель розробленого симулятора, його основні функції та можливості використання не тільки для аналізу алгоритмів диспетчеризації, але і в навчальному процесі, завдяки наявності інтуїтивно зрозумілого та інтерактивного гра­фічного інтерфейсу, що дозволяє спостерігати за процесом розподілених обчислень на вузлах системи.

У статті розкрито принципи захисту від несанкціонованого доступу до ресурсів системи хмарних обчислень. Наголошено, що продуктивність є важливим фактором для розгляду системи хмарних обчислень. Доступ до загальнодоступних хмар здійснюється через Інтернет і стикається з обмеженнями смуги пропускання, наданими їх відповідними постачальниками інтернет-послуг. Підкреслено, що масштабування до більшої пропускної здатності Інтернету може значно збільшити загальну вартість володіння хмарними рішеннями. Розглянута архітектура модулю контролю доступу, щодо забезпечення захисту від несанкціонованого доступу до ресурсів системи хмарних обчислень, а також запропонована концептуальна схема реалізації процесів автентифікації та авторизації за допомогою модулю контролю доступу, яка відрізняється від існуючих комплексним підходом до класифікації облікових даних користувача і засобів, методів захисту, і може бути застосована до всіх інформаційних систем. Визначено основні архітектурні рішення побудови архітектури модулю контролю доступу, виявлено її переваги та недоліки з точки зору інформаційної безпеки, визначено основні моделі обслуговування хмарних обчислень, описана еталонна архітектура хмарних обчислень з точки зору захисту даних і моделі безпеки. Підкреслено, що архітектура контролю доступу має три основні частини, які працюють разом для обробки запитів доступу: модуль контролю доступу, який приймає/відхиляє/перенаправляє запити на доступ, віртуальна розподілена мережа, яка розгортає та контролює ресурси та послуги, а також централізована глобальна система управління ресурсами, яка обробляє переміщення запитів до інших хмар для віддаленого використання послуг/ресурсів. Наголошено, що глобальна система управління ресурсами діє як бар'єр між різними хмарними службами на одному рівні або різних шарах, а використання однієї централізованої глобальної системи управління ресурсами у запропонованій архітектурі ґрунтується на тому, щоб уникнути використання угоди про рівень послуг для кожного рівня обслуговування.

Проведено аналіз сучасних алгоритмів потокової обробки масивів цифрових даних та методик формалізації зазначених процедур з метою побудови відповідного математичного апарату. Побудовано узагальнену схемупотокової передачі масивів даних та схему апаратно-програмного комплексу хмарного сервісу. Вказано на особливості організації апаратно-програмного комплексу мережевого вузлавідповідно до архітектурирозподіленої інформаційної системи. Вказанона задачі, що мають бути вирішені з метою оптимізації зазначеної структури, зокрема задачу налаштування графіка обробки запитів відповідно до особливостей роботи загального комплексу та задачуналаштування алгоритмів паралельної обробки. Розроблено спеціалізовану математичну модель розподіленої інформаційної системи апаратно‑програмного комплексу хмарного сервісу, що складається з центрального обчислювального вузла іпериферійних обчислювальних вузлів, та включає у себе параметри відповідних компонент, функції відображення процедури розгортання завдання і функції маршрутизації потоку вхідних даних. На базі побудованої математичної моделі розроблено методикупроведення розрахункупоказників пропускної здатності і часу затримки при обробці запитів користувачів хмарного сервісу, що запропоновано розглядати як показники цільових функцій

Проведено аналіз сучасних алгоритмів потокової обробки масивів цифрових даних та методик формалізації зазначених процедур з метою побудови відповідного математичного апарату. Побудовано узагальнену схемупотокової передачі масивів даних та схему апаратно-програмного комплексу хмарного сервісу. Вказано на особливості організації апаратно-програмного комплексу мережевого вузлавідповідно до архітектурирозподіленої інформаційної системи. Вказанона задачі, що мають бути вирішені з метою оптимізації зазначеної структури, зокрема задачу налаштування графіка обробки запитів відповідно до особливостей роботи загального комплексу та задачуналаштування алгоритмів паралельної обробки. Розроблено спеціалізовану математичну модель розподіленої інформаційної системи апаратно‑програмного комплексу хмарного сервісу, що складається з центрального обчислювального вузла іпериферійних обчислювальних вузлів, та включає у себе параметри відповідних компонент, функції відображення процедури розгортання завдання і функції маршрутизації потоку вхідних даних. На базі побудованої математичної моделі розроблено методикупроведення розрахункупоказників пропускної здатності і часу затримки при обробці запитів користувачів хмарного сервісу, що запропоновано розглядати як показники цільових функцій

Наведено математичну постановку задачі диспетчеризації потоків завдань в GRID-сис­темах з невідчужуваними ресурсами з врахуванням потужності вузла та потужності за­дачі як ключових факторів, що впливають на продуктивність системи. Проведено порівняння часу виконання черги завдань при розподілі методами FSA (Flow Scheduling Algorithm), FSA_P(Flow Scheduling Algorithm Parallel) та FCFS(First Come First Serve). Описано клієнт-серверну архітектурну модель побудови про­грам­ного забезпечення для розподілених обчислень та задач, які потребують великої обчислювальної потужності системи. Обґрунтовано доцільність порівняння ефективнос­ті запропонованих методів з загальновідомим методом FCFS, який зазвичай використо­вується у GRID-системах. Подано результати тестування, яке засвідчило, що запропоно­вані методи дають кращий результат, ніж FCFS.

Recently, there has been an increasing penetration of information technology in almost all areas of human life. The development of information technology is associated with the emergence of new tasks that require significant computing resources and can not be solved on a conventional computer. A large amount of computing requires the creation of so-called supercomputers, which is not always technically possible. But there is another way to solve this problem, when a complex task is divided into a number of subtasks that run in parallel. And here come in handy distributed computing system. In general, a distributed computing system is a virtual machine that consists of several nodes connected by a network. That is, a certain three-dimensional problem is divided into several simple subtasks and connections are established between them. But such a system will be operational only when the tasks between the nodes are distributed correctly, and the sequence of their execution will take place according to a given algorithm. The article analyzes the architectural features of distributed computing systems. The main task of distributed computing technologies is to provide access to globally distributed resources and solve problems that require significant computing power and can not be implemented on a conventional computer. The complexity of global tasks is due to the fact that the necessary data can be accessed on different computers. In addition, distributed computing systems, which are formed from autonomous resources, can change their architecture dynamically. Management of such distributed computer systems requires the search for new computational models and the search for architectural solutions to build new systems that would meet the current level of development of information technology.

Динаміка об’єктів з розподіленими параметрами описується диференціальними рівняннями в частинних похідних параболічного типу, які з крайовими умовами є мате- матичними моделями багатьох нестаціонарних нелінійних процесів. Математичними моделями тепломасопереносу є системи рівнянь параболічного типу з такими ж гранич- ними умовами. Усі реальні процеси, як правило, є нелінійними. Вибір оптимального методу розв’я- зання тієї або іншої задачі теорії поля і технічного засобу для її реалізацій є складним питанням. У наш час найбільше поширення при математичному моделюванні складних об’єк- тів з розподіленими параметрами одержали методи дискретизації математичної моделі шляхом просторово-тимчасового квантування. Представлення математичної моделі об’єктів з розподіленими параметрами системами звичайних диференціальних або алгебраїчних рівнянь дозволяє моделювати їх на аналогових і цифрових обчислю- вальних машинах. Можна прийняти, що час роботи циркуляційної системи обмежений часом досягнення температурним фронтом експлуатаційної свердловини. Проведеними дослідженнями [1] встановлено, що теплоприток від гірського масиву, що оточує шар, у реальних пласто- вих умовах не виявляє істотного впливу на час роботи циркуляційної системи в постій- ному температурному режимі. Тому в розрахунках теплопритоком нехтуємо. У добуванні геотермальної енергії має місце напірна фільтрація, при якій величина μ має значення порядку 10-6 м-2. У зв’язку з цим система виходить на стаціонарний режим за час, малий у порівнянні з часом її роботи. У статті пропонується метод моделювання руху температурного фронту з вико- ристанням диференціальної моделі з переходом до кінцево-різницевої. Після обчислення першого наближення значення швидкості руху холодної води це значення уточнюється з використанням ітерацій за різними параметрами моделі.

Будь-яка, навіть найефективніша, логічно обґрунтована і корисна інновація (чи то теорія геліоцентризму Коперника або «походження видів» Дарвіна), якщо вона суперечить існуючій на даний момент догмі, приречена на ірраціональний скепсис, тривале і навмисне замовчування, обумовлене специфікою суспільних процесів і включеність людської психіки в ці процеси.Томас Семюел Кун Існуюча система освіти перестала влаштовувати практично всі держави світу і піддається активному реформуванню в наші дні. Перспективним напрямом використання в навчальному процесі є нова інформаційна технологія, яка дістала назву хмарні обчислення (Cloud computing). Концепція хмарних обчислень стала результатом еволюційного розвитку інформаційних технологій за останні десятиліття.Без сумніву, результати досліджень російських вчених: А. П. Єршова, В. П. Зінченка, М. М. Моісєєва, В. М. Монахова, В. С. Лєдньова, М. П. Лапчика та ін.; українських вчених В. Ю. Бикова, В. М. Глушкова, М. І. Жалдака, В. С. Михалевича, Ю. І. Машбиця та ін.; учених Білорусії Ю. О. Бикадорова, А. Т. Кузнєцова, І. О. Новик, А. І. Павловського та ін.; учених інших країн суттєво вплинули на становлення та розвиток сучасних інформаційних технологій навчання [1], [2], але в організації освітнього процесу виникають нові парадигми, наприклад, хмарні обчислення. За оцінками аналітиків Гартнер груп (Gartner Group) хмарні обчислення вважаються найбільш перспективною стратегічною технологією майбутнього, прогнозується міграція більшої частини інформаційних технологій в хмари на протязі найближчих 5–7 років [17].Згідно з офіційним визначенням Національного інституту стандартів і технологій США (NIST), хмарні обчислення – це система надання користувачеві повсюдного і зручного мережевого доступу до загального пулу інформаційних ресурсів (мереж, серверів, систем зберігання даних, додатків і сервісів), які можуть бути швидко надані та гнучко налаштовані на його потреби з мінімальними управлінськими зусиллями і необхідністю взаємодії з провайдером послуг (сервіс-провайдером) [18].У США в університетах функціонують віртуальні обчислювальні лабораторії (VCL, virtual computing lab), які створюються в хмарах для обслуговування навчального та дослідницьких процесів. В Південній Кореї запущена програма заміни паперових підручників для середньої школи на електронні, які зберігаються в хмарі і доступні з будь-якого пристрою, який може бути під’єднаний до Інтернету. В Росії з 2008 року при Російській академії наук функціонує програма «Університетський кластер», в якій задіяно 70 університетів та дослідних інститутів [3], в якій передбачається використання хмарних технологій та створення web-орієнтованих лабораторій (хабів) в конкретних предметних галузях для надання принципово нових можливостей передавання різноманітних інформаційних матеріалів: лекцій, семінарів, лабораторних робіт і т. п. Є досвід певних російських вузів з використання цих технологій, зокрема в Московському економіко-статистичному інституті вся інфраструктура переводиться на хмарні технології, а в навчальних програмах включені дисципліни з навчання технологій.На сьогодні в Україні теж почалося створення національної освітньої інформаційної мережі на основі концепції хмарних обчислень в рамках національного проекту «Відкритий світ», який планується здійснити протягом 2010-2014 рр. Відповідно до наказу Міністерства освіти та науки України від 23.02.2010 р. №139 «Про дистанційне моніторингове дослідження рівня сформованості у випускників загальноосвітніх навчальних закладів навичок використання інформаційно-комунікаційних технологій у практичній діяльності» у 2010 році було вперше проведено дистанційне моніторингове дослідження з метою отримання об’єктивних відомостей про стан інформатичної освіти та розроблення стратегії її подальшого розвитку. Для цих цілей було обрано портал (приклад гібридної хмари), створений на основі платформи Microsoft Azure [4].Як показує зарубіжний досвід [8], [11], [12], [14], [15], вирішити названі проблеми можна шляхом впровадження в навчальний процес хмарних обчислень. У вищих навчальних закладах України розроблена «Програма інформатизації і комп’ютеризації навчального процесу» [1, 166]. Але, проаналізувавши стан впровадження у ВНЗ хмарних технологій, можна зробити однозначний висновок про недостатню висвітленість цього питання в літературних та Інтернет-джерелах [1], [7].Переважна більшість навчальних закладів лише починає впроваджувати хмарні технології в навчальний процес та включати відповідні дисципліни для їх вивчення. Аналіз педагогічних праць виявив недостатнє дослідження питання використання хмарних обчислень у навчальному процесі. Цілком очевидно, що інтеграція хмарних сервісів в освіту сьогодні є актуальним предметом для досліджень.Для навчальних закладів все більшого значення набуває інформаційне наповнення та функціональність систем управління віртуальним навчальним середовищем (VLE, virtual learning environment). Не існує чіткого визначення VLE-систем, та й в самих системах в міру їх заглиблення в Інтернет постійно удосконалюються наявні і з’являються нові інструменти (блоги, wiki-ресурси). VLE-системи критикують в основному за слабкі можливості генерації та зберігання створюваного користувачами контенту і низький рівень інтеграції з соціальними мережами.Існує кілька полярних підходів до способів надання освіти за допомогою сучасних інформаційно-комунікаційних технологій та інформаційних ресурсів. З одного боку – навчальні заклади з віртуальним навчальним середовищем VLE, а з іншого – персональне навчальне середовище, створене з Web 2.0 сайтів та кероване учнями. Але варто звернути увагу на нову модель, що може зруйнувати обидва наявні підходи. Сервіси «Google Apps для навчальних закладів» та «Microsoft Live@edu» включають в себе широкий набір інструментів, які можна налаштувати згідно потреб користувача. Описувані системи розміщуються в так званій «обчислювальній хмарі» або просто «хмарі».Хмара – це не просто новий модний термін, що застосовується для опису Інтернет-технологій віддаленого зберігання даних. Обчислювальна хмара – це мережа, що складається з численної кількості серверів, розподілених в дата-центрах усього світу, де зберігаються безліч копій. За допомогою такої масштабної розподіленої системи здійснюється швидке опрацювання пошукових запитів, а система є надзвичайно відмовостійка. Система побудована так, що після закінчення тривалого періоду при потребі можна провести заміну окремих серверів без зниження загальної продуктивності системи. Google, Microsoft, Amazon, IBM, HP і NEC та інші, мають високошвидкісні розподілені комп’ютерні мережі та забезпечують загальнодоступність інформаційних ресурсів.Хмара може означати як програмне забезпечення, так і інфраструктуру. Незалежно від того, є сервіс програмним чи апаратним, необхідно мати критерій, для допомоги визначення, чи є даний сервіс хмарним. Його можна сформулювати так: «Якщо для доступу до інформаційних матеріалів за допомогою даного сервісу можна зайти в будь-яку бібліотеку чи Інтернет-клуб, скористатися будь-яким комп’ютером, при цьому не ставлячи ніяких особливих вимог до операційної системи та браузера, тоді даний сервіс є хмарним».Виділимо три умови, за якими визначатимемо, чи є сервіс хмарним.Сервіс доступний через Web-браузер або за допомогою спеціального інтерфейсу прикладної програми для доступу до Web-сервісів;Для користування сервісом не потрібно жодних матеріальних затрат;В разі використання додаткового програмного забезпечення оплачується тільки той час, протягом якого використовувалось програмне забезпечення.Отже, хмара – це великий пул легко використовуваних і доступних віртуалізованих інформаційних ресурсів (обладнання, платформи розробки та/або сервіси). Ці ресурси можуть бути динамічно реконфігуровані для обслуговування мінливого навантаження (масштабованості), що дозволяє також оптимізувати використання ресурсів. Такий пул експлуатується на основі принципу «плати лише за те, чим користуєшся». При цьому гарантії надаються постачальником послуг і визначаються в кожному конкретному випадку угодами про рівень обслуговування.Існує три основних категорії сервісів хмарних обчислень [10]:1. Комп’ютерні ресурси на зразок Amazon Elastic Compute Cloud, використання яких надає організаціям можливість запускати власні Linux-сервери на віртуальних комп’ютерах і масштабувати навантаження гранично швидко.2. Створені розробниками програми для пропрієтарних архітектур. Прикладом таких засобів розробки є мова програмування Python для Google Apps Engine. Він безкоштовний для використання, однак існують обмеження за обсягом даних, що зберігаються.3. Сервіси хмарних обчислень – це різноманітні прикладні програмні засоби, розміщені в хмарі і доступні через Web-браузер. Зберігання в хмарі не тільки даних, але і програм, змінює обчислювальну парадигму в бік традиційної клієнт-серверної моделі, адже на стороні користувача зберігається мінімальна функціональність. Таким чином, оновлення програмного забезпечення, перевірка на віруси та інше обслуговування покладається на провайдера хмарного сервісу. А загальний доступ, управління версіями, спільне редагування стають набагато простішими, ніж у разі розміщення програм і даних на комп’ютерах користувачів. Це дозволяє розробникам постачати програмні засоби на зручних для них платформах, хоча необхідно переконатися, що програмні засоби придатні до використання при роботі з різними браузерами.З точки зору досконалості технології, програмне забезпечення в хмарах розвинуте значно краще, ніж апаратна складова.Особливу увагу звернемо на програмне забезпечення як послугу (SaaS, Software as a Servise), що позначає програмну складову у хмарі. Більшість систем SaaS є хмарними системами. Для користувачів системи SaaS не важливо, де встановлене програмне забезпечення, яка операційна система при цьому використовується та якою мовою воно описане. Головне – відсутня необхідність встановлювати додаткове програмне забезпечення.Наприклад, Gmail представляє собою програму електронної пошти, яка доступна через браузер. Її використання забезпечує ті ж функціональні можливості, що Outlook, Apple Mail, але для користування нею необхідно «thick client» («товстий клієнт»), або «rich client» («багатий клієнт»). В архітектурі «клієнт – сервер» це програми з розширеними функціональними характеристиками, незалежно від центрального сервера. При такому підході сервер використовується як сховище даних, а вся робота з опрацювання і подання даних переноситься на клієнтський комп’ютер.Системи SaaS наділені деякими визначальними характеристиками:– Доступність через Web-браузер. Програмне забезпечення типу SaaS не потребує встановлення жодних додаткових програм на комп’ютер користувача. Доступ до систем SaaS здійснюється через Web-браузер з використанням відкритих стандартів або універсальний плагін браузера. Хмарні обчислення та програмне забезпечення, яке є власністю певної компанії, не поєднуються між собою.– Доступність за вимогою. За наявності облікового запису можна отримувати доступ до програмного забезпечення в будь-який момент та з будь-якої географічної точки земної кулі.– Мінімальні вимоги до інфраструктури ІТ. Для конфігурування систем SaaS потрібен мінімальний рівень технічних знань (наприклад, для управління DNS в Google Apps), що не виходить за рамки, характерні для звичайного користувача. Висококваліфікований IT-адміністратор для цього не потрібний.Переваги хмарної інфраструктури. Наявність апаратних засобів у власності потребує їх обслуговування. Планування необхідної потужності та забезпечення ресурсами завжди актуальні. Хмарні обчислення спрощують вирішення двох проблем: необхідність оцінювання характеристик обладнання та відсутність коштів для придбання нового потужного обладнання. При використанні хмарної інфраструктури необхідні потужності додаються за лічені хвилини.Зазвичай на кожному сервері передбачено резерв, що забезпечує вирішення типових апаратних проблем. Наприклад, резервний жорсткий диск, призначений для заміни диска, що вийшов з ладу, в складі масиву RAID. Необхідно скористатися послугами для встановлення нового диску на сервер. Для цього потрібен час та висока кваліфікація спеціаліста, щоб роботу виконати швидко з метою уникнення повного виходу сервера з ладу. Якщо сервер остаточно вийшов з ладу, використовується якісна, актуальна резервна копія та досконалий план аварійного відновлення. Тільки тоді є можливість провести відновлення системи в короткий термін, причому завжди в ручному режимі.При використанні хмар немає потреби перейматись проблемами стосовно апаратних засобів, що використовуються. Користувач може і не дізнатися про те, що фізичний сервер вийшов з ладу. Якщо правильно дібрано інструментарій, можливе автоматично відновлення даних після надскладної аварійної ситуації. При використанні хмарної інфраструктури у такому випадку можна відмовитись від віртуального сервера і отримати інший. Немає потреби думати про утилізацію та перейматися про нанесену шкоду навколишньому середовищу.Хмарне сховище. Абстрагування від апаратних засобів в хмарі здійснюється не тільки завдяки заміні фізичних серверів віртуальними. Віртуалізації підлягають і системи фізичного зберігання даних.При використанні хмарного сховища можна переносити дані в хмару, не переймаючись, яким чином вони зберігаються та не турбуючись про їх резервне копіювання. Як тільки дані, переміщені в хмару, будуть потрібні, достатньо буде просто звернутись в хмару і отримати їх. Існує кілька підходів до хмарного сховища. Йдеться про поділ даних на невеликі порції та зберігання їх на багатьох серверах. Порції даних наділяються індивідуально обчисленими контрольними сумами, щоб дані можна було швидко відновити в критичних ситуаціях.Часто користувачі працюють з хмарним сховищем так, ніби мають справу з мережевим накопичувачем. Щодо принципу функціонування хмарне сховище принципово відрізняється від традиційних накопичувачів, оскільки у нього принципово інше призначення. Обмін даними при використанні хмарного сховища повільніший, воно більш структуроване, внаслідок чого його використання як оперативного сховища даних непрактичне. Зазначимо, що використання хмарного сховища недоцільне для транзакцій в хмарних прикладних програмах. Хмарне сховище сприймається, як аналог резервної копії на стрічковому носієві, хоча на відміну від системи резервного копіювання зі стрічковим приводом в хмарі не потрібні ні привід, ні стрічки.Grid Computing (англ. grid – решітка, грати) – узгоджене, відкрите та стандартизоване комп’ютерне середовище, що забезпечує гнучкий, безпечний, скоординований розподіл обчислювальних ресурсів і ресурсів збереження інформації, які є частиною даного середовища, в рамках однієї віртуальної організації [http://gridclub.ru/news/news_item.2010-08-31.0036731305]. Концепція Grid Computing представляє собою архітектуру множини прикладних програмних засобів – найпростіший метод переходу до хмарної архітектури. Програмні засоби, де використовуються grid-технології, є програмним забезпеченням, при функціонуванні якого інтенсивно використовуються ресурси процесора. В grid-програмах розподіляються операції опрацювання даних на невеликі набори елементарних операцій, що виконуються ізольовано.Використання хмарної інфраструктури суттєво спрощує та здешевлює створення grid-програм. Якщо потрібно опрацювати якісь дані, використовують сервер для опрацювання даних. Після завершення опрацювання даних сервер можна призупинити, або задати для опрацювання новий набір даних.На рисунку 1 подано схему функціонування grid-програми. На сервер, або кластер серверів, поступає набір даних, які потрібно опрацювати. На першому етапі дані передаються в чергу повідомлень (1). На інших вузлах аналізується чергою повідомлень (2) про нові набори даних. Коли набір даних з’являється в черзі повідомлень, він аналізується на першому комп’ютері, де його виявлено, а результати надсилаються назад в чергу повідомлень (3), звідки вони зчитуються сервером або кластером серверів (4). Обидва компоненти можуть функціонувати незалежно один від одного, а кожен з них може функціонувати навіть в тому випадку, якщо другий компонент не задіяний на жодному комп’ютері. Рис. 1. Архітектура grid-програм У такій ситуації використовуються хмарні обчислення, оскільки при цьому не потрібні власні сервери, а за відсутності даних для опрацювання не потрібні сервери взагалі. Таким чином можна масштабувати потужності, що використовуються. Інакше кажучи, щоб комп’ютер не використовувався «вхолосту», важливо опрацьовувати дані за мірою їх надходження. Сервери включаються, коли потік даних інтенсивний, а виключаються в міру ослаблення інтенсивності потоку. Grid-програми мають дещо обмежену область застосування (опрацювання великих об’ємів наукових і фінансових даних). В переважній частині таких програм використовуються транзакційні обчислення.Транзакційна система – це система, де один і більше вхідних наборів даних опрацьовуються одночасно в рамках однієї транзакції та в

Об’єктом дослідження є розподілені обчислення із використанням алгоритмів асиметричного шифрування та їх методи реалізації у сучасних системах. Предметом дослідження є моделі розподілених обчислень із використанням алгоритмів асиметричного шифрування. Метою дипломної роботи є аналіз та реалізація рішень застосування методів та систем розподілених обчислень із використанням асиметричних алгоритмів шифрування.

Розподілені обчислювальні системи – це сформована сфера високопродуктивних обчислень, що володіє своєю специфікою, яскраво вираженим класом вирішуваних завдань і методами їх вирішення. Розробляються і впроваджуються нові концепції побудови розподілених систем, розширюється коло розв'язуваних ними завдань, спрощується процес організації, розробляється більш прості методи використання ресурсів кінцевими користувачами.

В даній роботі досліджуються питання підвищення ефективності високонавантажених обчислень в розподілених комп’ютерних системах за рахунок їх організації із застосуванням технології WCF (Windows Communication Foundation). Розподілені комп’ютерні системи станом на сьогодні є основними цільовими платформами для проведення високонавантажених обчислень. При цьому основними технологіями для організації паралельних обчислень в розподілених комп’ютерних системах лишаються низькорівнева передача повідомлень (найпопулярнішим втіленням якої є бібліотека MPI) та розпаралелювання за допомогою директив компілятора (яку втілює в собі бібліотека OpenMP).

Кузьмина, В. I. Система безпеки для хмарних сховищ : дипломна робота : 125 – Кібербезпека / В. І. Кузьмина ; керівник роботи М. А. Синенко ; НУ "Чернігівська політехніка", кафедра кібербезпеки та математичного моделювання. – Чернігів, 2021. – 56 с.
Мета роботи: аналіз ефективності захисту приватної інформації користувача при використанні хмарних технологій. Об’єктом дослідження є процес захищеного обміну даними в хмарних сховищах. Предметом дослідження є система захисту хмарних сховищ. Методи дослідження. Були використані два основні методи дослідження: 1. Ступінь новизни одержаних результатів; 2. Практичне значення одержаних результатів. Результати та новизна. Було проведено дослідження ситуації з хмарною системою зберігання даних. Проведено аналіз стану розвитку хмарної системи зберігання даних. На цій основі в роботі досліджується ключова технологія, що включає два способи зберігання, такі як віртуалізація та розподілена технологія зберігання. Дослідження технології хмарного зберігання, включаючи архітектуру та особливості хмарної платформи, компоненти хмарних додатків та середовище розробки життєвого циклу хмарних сховищ. Дослідження технології розподіленого зберігання включаючи мережеве сховище розподілених систем та технології розподілених файлових систем.

Роговенко, А. І. Методи та інформаційна технологія прискореного обчислення великих даних для систем розподіленої обробки інформації : дис. ... канд. техн. наук : 05.13.06 / А. І. Роговенко. - Чернігів, 2021. - 178 с.
Дисертація присвячена дослідженню актуальних проблем підвищення ефективності цифрових обчислювальних засобів алгоритмів кодування/декодування завадостійких кодів шляхом зменшення складності реалізації за умови високої швидкості й великого об’єму вхідного потоку даних, із використанням особливостей і властивостей апаратної платформи сучасної мікропроцесорної техніки. У першому розділі дисертаційної роботи проаналізовано сучасний стан і перспективи прискорення обчислень у сучасних системах розподіленої обробки інформації. Особлива потреба в прискорювачах виникає у криптографічних системах та системах завадостійкого кодування, де суттєву частину всіх обчислювальних перетворень над великими даними становлять операції в полях Галуа. Проведений аналіз задачі прискорення обчислень у системах розподіленої обробки інформації виявив необхідність зменшення обчислювальної складності реалізації базових операцій, які використовуються в технологіях вирішення задачі виявлення та виправлення помилок у системах розподіленої обробки інформації, зокрема в сучасних системах радіозв’язку. Проаналізовано коди, що використовуються для коригування помилок у сучасних системах радіозв’язку, та визначені основні напрямки прискорення процесу кодування/декодування при використанні алгебраїчних кодів. На основі аналізу було визначено, що процес кодування/декодування базується на апараті арифметики скінчених полів. Таким чином, спрощення та прискорення виконання операції в полях Галуа має привести до зменшення обчислювальної складності реалізації процедур кодування/декодування завадостійких кодів. Проведений аналіз основних методів обчислень операцій у полях Галуа, виявив, що більш пріоритетною є задача спрощення та прискорення виконання операцій додавання, як складових операцій множення, піднесення до степеня та інших. На основі аналізу існуючих методів обчислень операцій у полях Галуа було зроблено висновок, що сучасні широко представлені реалізації блоків обчислення операцій у скінчених полях мають обмеження та недоліки, які призводять до зменшення використовуваності алгебраїчних кодів у вирішеннях задачі виявлення та виправлення помилок. Отже, необхідно розробити методи підвищення продуктивності спеціалізованих обчислювальних засобів із урахуванням особливостей і властивостей апаратної платформи сучасної мікропроцесорної техніки, складності реалізації та швидкодія яких задовольняла б існуючі вимоги та була прогнозованою залежно від розрядності (розміру) оброблюваних послідовностей. У другому розділі роботи проводиться удосконалення методу прискорення та зменшення апаратних витрат на реалізацію блоків виконання операцій за модулем, розробка структурних рішень та модифікація алгоритмів виконання операцій за модулем. Розроблено та запропоновано метод зменшення апаратних витрат суматора за модулем на основі одновимірного каскаду конструктивних модулів з однорідною структурою. Цей метод базується на введенні у схему ланцюгів наскрізного переносу. Ефект від впровадження цього удосконалення полягає у зменшенні обчислювальної ємнісної складності, що забезпечує зменшення апаратних витрат у середньому на 10 % порівняно з наявним базовим методом. Розроблено та запропоновано удосконалений метод зменшення обчислювальної ємнісної складності реалізації моделі суматора за модулем на основі одновимірного каскаду конструктивних модулів, який, на відміну від раніше запропонованого, використовує конструктивні модулі нерегулярного типу. Встановлено, що модифікацію методу можна застосовувати для зменшення обчислювальної складності в разі некритичності вимог до регулярності структури обчислювача. Використання модифікованого методу дозволяє зменшити обчислювальну ємнісну складність, що забезпечує зменшення апаратних витрат у середньому на 50 % порівняно з наявним базовим методом. Розроблено та запропоновано метод збільшення швидкодії суматора за модулем на основі одновимірного каскаду конструктивних модулів, який, на відміну від відомих, використовує ланцюги групового переносу, що дозволяє підвищити швидкість виконання операцій у 8 разів порівняно з реалізацією базовим методом. Запропоновано модифікацію алгоритму множення та піднесення до степеня за змінним модулем, з урахуванням особливостей застосування моделей суматорів на основі одновимірних каскадів конструктивних модулів, в якому зменшене значення нижньої оцінка часової складності. У третьому розділі запропоновано модель обчислювальних структур завадостійких кодів для виконання операцій за змінним простим модулем над числами великої розрядності, виконано її реалізацію та дослідження. Модель була створена з орієнтацією на адаптацію до елементів операційного обчислювального середовища для забезпечення можливості конструювання необхідних комбінацій виконавчих пристроїв для виконання однотипних арифметичних інструкцій за модулем над числами великої розрядності. Також у цьому розділі виконана адаптація алгоритму обчислення операції множення та піднесення до степеня за модулем з урахуванням особливостей її побудови раніше запропонованим методом одновимірного каскаду. Запропонована структура моделі та алгоритм роботи спрощеного завантаження багаторозрядних операндів до блоків виконання операції за модулем. При реалізації моделі використовувався структурний опис з використанням бібліотеки стандартних ресурсів Xilinx мовою опису апаратури VHDL. Запропонований алгоритм роботи блоку спрощеного завантаження операндів. Цей блок являє собою блок керування без логіки вибору операції, оскільки для дослідження одного конкретного обчислювача вона не потрібна, але може справляти додатковий вплив на характеристики. Розроблена модель обчислювальних структур завадостійких кодів для виконання операцій за змінним простим модулем, як і більшість подібних до неї, рідко використовуються як окрема одиниця та зазвичай являють собою частину складнішої синхронної системи. Таким чином, проведені експерименти вирішили задачу визначення максимальної тактової частоти, на якій може працювати розроблена модель без помилок у обчисленнях вихідної функції. Четвертий розділ присвячений розробці інформаційної технології прискореного обчислення великих даних для систем розподіленої обробки інформації. Інформаційна технологія базується на розроблених раніше удосконалених методах зменшення апаратних витрат та прискорення обчислення великих даних. Інформаційна технологія ґрунтується на розроблених раніше, удосконалених методах зменшення апаратних витрат та прискорення обчислення великих даних. Додатково, для доповнення технології було розроблено: проєкт обчислювальної системи на основі софтпроцесора, проєкт співпроцесора з драйверами до обчислювальної системи, набір програмних функцій мовою С, які реалізують програмне виконання базових операцій, та засоби тестування для моделі обчислювальних структур. Для автоматизації процесу створення та тестування моделей був реалізований набір скриптів та бібліотека моделей мовою VHDL, яка містить моделі обчислювальних структур. Також було розроблено архітектуру та систему команд функціональної моделі співпроцесора, орієнтованого на виконання операцій у скінченних полях.
The dissertation is devoted to research of actual problems of increase of efficiency of digital computing means of algorithms of coding / decoding of noise - tolerant codes by reduction of complexity of realization at the condition of high speed and big volume of an input data stream, using features and properties of a hardware platform of modern microprocessor technics. In the first section of the dissertation the current state and prospects of acceleration of calculations in modern systems of distributed information processing are analyzed. A special need for accelerators arises in cryptographic systems and noise-tolerant coding systems, where a significant part of all computational transformations over big data are operations in Galois fields. The analysis of the problem of computing acceleration in distributed information processing systems revealed the need to reduce the computational complexity of the basic operations used in technologies to solve the problem of detecting and correcting errors in distributed information processing systems, in particular in modern radio systems. The codes used to correct errors in modern radio communication systems are analyzed, and the main directions of accelerating the encoding / decoding process when using algebraic codes are identified. Based on the analysis, it was determined that the encoding / decoding process is based on the finite field arithmetic apparatus. Thus, simplifying and speeding up the operation in Galois fields should reduce the computational complexity of implementing encoding / decoding procedures for noise-tolerant codes. An analysis of the main methods of calculating operations in Galois fields, found that the priority is to simplify and accelerate the execution of addition operations, as components of multiplication, multiplication and others. Based on the analysis of existing methods of computing operations in Galois fields, it was concluded that modern widely implemented implementations of computing units in finite fields have limitations and shortcomings that lead to reduced use of algebraic codes in solving problems of error detection and correction. performance of specialized computing facilities, taking into account the features and properties of the hardware platform of modern microprocessor technology, the complexity of implementation and speed of which would meet existing requirements and be predicted depending on the bit size of the processed sequences. In the second section of the work is the development of improving the method of acceleration and reduction of hardware costs for the implementation of units of operations on the module, development of structural solutions and modification of algorithms for operations on the module. A method for reducing the hardware costs of the adder per module based on a one-dimensional cascade of structural modules with a homogeneous structure is developed and proposed. This method is based on the introduction into the circuit of through transmission circuits. The effect of implementing this improvement is to reduce the computational complexity, which reduces hardware costs by an average of 10% compared to the existing basic method. An improved method for reducing the computational capacity of the modulator adder model implementation based on a one-dimensional cascade of structural modules is developed and proposed, which, in contrast to the previously proposed, uses structural modules of irregular type. It is established that the modification of the method can be used to reduce the computational complexity in the case of non-critical requirements for the regularity of the computer structure. The use of a modified method reduces the computational complexity, which reduces hardware costs by an average of 50% compared to the existing basic method. A method of increasing the speed of the adder modulo based on a onedimensional cascade of structural modules is developed and proposed, which, unlike the known ones, uses group transfer chains, which allows to increase the speed of operations 8 times compared to the basic method. A modification of the algorithm of multiplication and exponentiation by a variable module is proposed, taking into account the peculiarities of the application of adder models based on one-dimensional cascades of structural modules, in which the value of the lower estimate of time complexity is reduced. The third section proposes a model of computational structures of noise-tolerant codes for performing operations on a variable simple module over high-digit numbers, its implementation and research. The model was created with a focus on adaptation to the elements of the operational computing environment to provide the ability to design the necessary combinations of actuators to perform the same type of arithmetic instructions modulo over high-digit numbers. Also in the section the adaptation of the algorithm for calculating the operation of multiplication and exponentiation modulo taking into account the peculiarities of its construction by the previously proposed method of one-dimensional cascade. The structure of the model and the algorithm of work of the simplified loading of multi-bit operands to blocks of performance of operation on the module are offered. The model was implemented using a structural description using the Xilinx standard resource library in the VHDL hardware description language. The algorithm of operation of the block of the simplified loading of operands is offered. This unit is a control unit without the logic of the choice of operation, as for the study of one particular computer, it is not required, but can have an additional impact on performance. Keep in mind that the contribution of the FSL interface and the simplified load scheme to the values of resources and delays may not have characteristics with a high coefficient of determination, as their implementation uses a behavioral description. The model of computational structures of noise-tolerant codes for performing operations on a variable simple module, like most similar ones, is rarely used as a separate unit, and is usually part of a more complex synchronous system. Thus, the experiments solved the problem of determining the maximum clock frequency at which the developed model can work without errors in the calculations of the original function. The fourth section is devoted to the development of information technology for accelerated computation of large data for distributed information processing systems. Information technology is based on previously developed advanced methods to reduce hardware costs and speed up the calculation of big data. Information technology is based on previously developed, improved methods to reduce hardware costs and speed up the calculation of big data. In addition, to complement the technology, a computer processor-based computer system project, a coprocessor project with computer system drivers, a set of C-program functions that implement software execution of basic operations, and testing tools for the computer structure model were developed. To automate the process of creating and testing models, a set of scripts and a library of models in VHDL, which contains models of computational structures, was implemented. The architecture and command system of the functional model of the coprocessor, focused on performing operations in finite fields, were also developed.

Дипломна робота присвячена розробці математичної моделі та програмного забезпечення грід-системи для виконання високонавантажених обчислень. У ході викладу проводиться аналіз способів зберігання даних, протоколів взаємодії та архітектурних рішень. Обгрунтовується вибір мікросервісного підходу для створення запропонованої моделі програмного продукту. Проводиться аналіз проблематики високонавантажених обчислень та способів їх вирішення, збереження даних та побудови грід-систем.
Graduate work deals with developmenting mathematical model and software Grid-system to perform heavy computing. During the presentation analyzes the methods of data storage, interaction protocols and architectural solutions. Substantiates the choice of micro-service approach proposed model for creating software. Evaluated problems of the heavy computing solutions, data storage and building Grid systems.

Огляд існуючих розподілених систем показує, що, за рідкісними винятками, вони є вузькоспеціалізованими, призначеними для рішення одного завдання чи класу задач. Найкраще на метакомп’ютерах розв’язуються завдання пошукового й переборного характеру. При цьому обчислювальні вузли практично не взаємодіють під час розрахунку й основну частину роботи виконують незалежно один від одного. Проте головною проблемою для дослідника є не стільки вибір засобу мережного зв’язку, скільки ефективна реалізація обчислювальних алгоритмів. Одним з ефективних засобів для ефективної організації обчислень є системи комп’ютерної математики, проте їх пряме застосування у грід-комп’ютингу донедавна було досить обмежене. Усунення цього протиріччя шляхом об’єднання можливостей систем комп’ютерної математики та розподілених обчислень в єдиному динамічному мережному середовищі і визначає актуальність роботи. Головною перевагою застосування систем комп’ютерної математики є можливість проведення експериментальної роботи математиками без залучення програмістів. Виходячи з цього, постає актуальна проблема – надати засоби розподілених обчислень користувачам систем комп’ютерної математики. Однією з найбільш вдалих спроб зробити це є модуль Distributed Sage – частина вільно поширюваного ММС Sage. В процесі розв’язання поставленої проблеми ми виходили з того, що застосування ММС Sage для реалізації розподілених обчислень дозволить спростити метакомп’ютерні дослідження для непрограмуючих математиків за рахунок автоматизації процесу розрахунку, розподілу завдань та збирання статистики.