Academic literature on the topic 'Розподілена обробка потоків'

Проведено аналіз сучасних алгоритмів потокової обробки масивів цифрових даних та методик формалізації зазначених процедур з метою побудови відповідного математичного апарату. Побудовано узагальнену схемупотокової передачі масивів даних та схему апаратно-програмного комплексу хмарного сервісу. Вказано на особливості організації апаратно-програмного комплексу мережевого вузлавідповідно до архітектурирозподіленої інформаційної системи. Вказанона задачі, що мають бути вирішені з метою оптимізації зазначеної структури, зокрема задачу налаштування графіка обробки запитів відповідно до особливостей роботи загального комплексу та задачуналаштування алгоритмів паралельної обробки. Розроблено спеціалізовану математичну модель розподіленої інформаційної системи апаратно‑програмного комплексу хмарного сервісу, що складається з центрального обчислювального вузла іпериферійних обчислювальних вузлів, та включає у себе параметри відповідних компонент, функції відображення процедури розгортання завдання і функції маршрутизації потоку вхідних даних. На базі побудованої математичної моделі розроблено методикупроведення розрахункупоказників пропускної здатності і часу затримки при обробці запитів користувачів хмарного сервісу, що запропоновано розглядати як показники цільових функцій

Проведено аналіз сучасних алгоритмів потокової обробки масивів цифрових даних та методик формалізації зазначених процедур з метою побудови відповідного математичного апарату. Побудовано узагальнену схемупотокової передачі масивів даних та схему апаратно-програмного комплексу хмарного сервісу. Вказано на особливості організації апаратно-програмного комплексу мережевого вузлавідповідно до архітектурирозподіленої інформаційної системи. Вказанона задачі, що мають бути вирішені з метою оптимізації зазначеної структури, зокрема задачу налаштування графіка обробки запитів відповідно до особливостей роботи загального комплексу та задачуналаштування алгоритмів паралельної обробки. Розроблено спеціалізовану математичну модель розподіленої інформаційної системи апаратно‑програмного комплексу хмарного сервісу, що складається з центрального обчислювального вузла іпериферійних обчислювальних вузлів, та включає у себе параметри відповідних компонент, функції відображення процедури розгортання завдання і функції маршрутизації потоку вхідних даних. На базі побудованої математичної моделі розроблено методикупроведення розрахункупоказників пропускної здатності і часу затримки при обробці запитів користувачів хмарного сервісу, що запропоновано розглядати як показники цільових функцій

Метакомп’ютінг (розподілені обчислення в Інтернет) – одна з «модних» технологій останніх десятиліть, призначена насамперед для рішення задач, що вимагають розподіленої обробки великих масивів даних. Для розв’язання на метакомп’ютерах найбільш придатні задачі пошукового і переборного характеру. Класичним прикладом таких задач є задачі теорії чисел. Огляд існуючих розподілених систем показує, що, за рідким винятком, вони є вузькоспеціалізованими (призначеними для розв’язання однієї задачі). Тому розробка архітектури універсальної метакомп’ютерної системи, призначеної для розв’язання вказаного класу переборних задач, має високу актуальність.Основна мета роботи полягала в розробці архітектури універсальної розподіленої системи для розв’язання теоретико-числових проблем та її програмної реалізації. В результаті аналізу літератури та існуючого програмного забезпечення було встановлено, що:Найбільш придатними для розв’язання в розподілених системах є задачі, що вимагають обробки великих обсягів слабко корельованих даних, зокрема теоретико-числові проблеми.Для реалізації розподіленої системи доцільно використовувати класичні технології: інтерфейс сокетів та багатопоточність.Аналіз існуючих метакомп’ютерних систем показує практично повну відсутність оболонок для створення таких систем при високому попиті на даний клас програмного забезпечення.Засоби, використані при побудові розподіленої системи: pthread – застосовується для багатопоточної роботи програмного комплексу; Boost – використовується для створення надійної, розширюваної та простої архітектури програмного комплексу; log4cxx – застосовується для реєстрації процесу роботи програмного комплексу; GMP – використовується для математичних обчислень з високою точністю; OpenSSL, на прикладі якої розглядається можливість організації захищеного зв’язку у програмних засобах за архітектурою “клієнт-сервер”.Функціональна схема роботи створеного в процесі дослідження комплексу Metacomputing Framework (http://sf.net/projects/mcframework/):один сервер займається розв’язанням однієї задачі;при старті сервер одержує діапазон і бібліотеку, що він буде надсилати клієнту;агент одночасно виконує тільки одну задачу (бібліотеку) і з’єднується тільки з одним сервером, але може обробляти кілька діапазонів одночасно (у різних потоках);на одній машині може бути запущено кілька серверів для розв’язання різних задач, так само і з клієнтами;після видачі клієнту конкретного діапазону, сервер чекає на результат протягом визначеного часу, за який цей діапазон нікому іншому не видається; у випадку одержання результату від клієнта, даний діапазон позначається відповідним чином; якщо клієнт не виходив на зв’язок протягом визначеного терміну, даний діапазон вважається неопрацьованим і розподіляється заново;сервер є відмовостійким та періодично зберігає отримані результати у файл, використовуючи який, можна поновити роботи після збою системи чи тимчасової зупинки сервера;агент є кросплатформеним, підтримувані платформи – POSIX (Linux, FreeBSD і т.д.), Windows;агент щораз відкриває і закриває з’єднання із сервером під час звітування та повернення результатів;агент зберігає завантажені бібліотеки. При старті клієнт перевіряє наявність яких-небудь файлів у визначених директоріях, обчислює хеш кожного зі знайдених файлів і намагається по черзі завантажити їх як динамічну бібліотеку. Якщо це вдається, то клієнт одержує версію бібліотеки, викликавши відповідну інтерфейсну функцію;зв’язок між агентом і сервером здійснюється по двох каналах: 1) керуючий (передача команд); 2) канал даних (передача даних, таких як файли бібліотек, результати обчислень тощо).Обчислювальний експеримент проводився на ПП «Апріоріт» (м. Дніпропетровськ). Тривалість експерименту склала двоє доби (49 годин 23 хвилини 55 секунд). В ході експерименту було обчислено 27 перших простих числа Мерсенна, що зайняло 28 годин 7 хвилин і 5 секунд.Усі розрахунки є вірними і відповідають уже відомим числам Мерсенна. Під час експерименту не було отримано помилкових даних, внаслідок чого можна зробити висновок про те, що розроблений програмний комплекс успішно справляється з задачами, для виконання яких він призначений та повністю відповідає технічному завданню.Подальший розвиток дослідження передбачає розширення функціональності програмного комплексу Metacomputing Framework шляхом створення допоміжних програмних утиліт, що надають статистику про хід виконання обчислень в режимі реального часу та дозволяють прозоро додавати і видаляти в працюючій системі нові завдання, а також розподіляти обчислювальні ресурси агентських машин між різними задачами по пріоритетах.

Для дослідження теплофізичних властивостей матеріалів за допомогою обернених методів було виведено відповідний клас математичних моделей. Процедура обробки математичних моделей зведена до екстремальної постановки, що дозволило розробити ефективні алгоритми розв'язування коефіцієнтних задач довільного порядку точності. Представлені результати розв’язування тестових задач на основі запропонованого підходу. Виведено додаткові умови, які дозволяють розділити досліджувану проблему на дві задачі: а) температурну; б) потокову. Перша з них дає можливість розв’язувати коефіцієнтну задачу на всьому заданому діапазоні зміни температури за допомогою управляючого параметра у вигляді коефіцієнта дифузії; друга спрямована на визначення коефіцієнтів теплопровідності або теплоємності. Дослідження математичних моделей 1 і 2 проводили із застосуванням методу прямих. Запропоновані моделі дозволяють розв’язувати задачі в екстремальних постановках. Для розв’язання заданих задач методами математичного моделювання розроблено пакет прикладних задач. Створення пакету було здійснено з урахуванням вимог об'єктно-орієнтованого програмування. Процедура моделювання була реалізована на основі застосування багатопроцесорної обчислювальної системи. Пакет прикладних програм призначений для опрацювання теплофізичних експериментів оберненими методами.

Підручник, залишаючись основним дидактичним засобом навчання у школі та вузі, відіграє важливу роль у навчальному процесі. Він окреслює предметний зміст освіти та визначає види діяльності, призначені програмою для обов’язкового засвоєння. Одним із напрямів побудови підручника є цілеспрямоване формування усіма доступними засобами системи дидактичних функцій підручника та їх реалізація в його структурі.Засновником теорії підручника став чеський педагог Ян Амос Коменський, який не тільки створив перший ілюстрований підручник «Світ чуттєвих речей у картинках», що на сторіччя визначив шлях розвитку учбової книги, а і зафіксував теоретичні принципи побудови підручника, багато з яких зберігають свою цінність до теперішнього часу. У своїх наукових працях Я. А. Коменський чітко сформулював положення про научність (зміст повинен бути повним, ґрунтовно продуманим) та доступність (ясна чітка побудова, доступна для учня) підручника; про місце підручника в структурі навчання та його форму (невеликий за обсягом).Вітчизняна наука розглядає підручник як основний інструмент вчителя в процесі викладання учбових дисциплін. Теорія підручника постійно розробляється та вдосконалюється провідними вченими. Вона будується на основних принципах дидактики, враховує положення науки та теорії навчального предмета. Дидактичні основи шкільного підручника розробляли В. П. Беспалько, М. І. Бурда, Г. П. Бевз, Л. Я. Зоріна, В. В. Краєвський, І. Я. Лернер, Н. Ф. Тализіна та інші. Так, І. Я. Лернер визначає підручник, виходячи із уявлення про зміст освіти, як матеріалізовано зафіксований обсяг соціального досвіду. що потребує обов’язкового засвоєння [2]. В. П. Беспалько розуміє під підручником комплексну інформаційну модель, яка відображає основні елементи педагогічної системи – цілі навчання, зміст навчання, вибір та розробку дидактичних процесів, орієнтацію на організаційні форми навчання і яка дозволяє відтворити їх на практиці [1]. Історичні аспекти видання навчальної літератури взагалі та для вищої школи зокрема, розглянуто в дослідженнях В. Г. Бейлінсона, Д. Д. Зуєва, Т. Г. Купріянової. Втім, аналіз наукової літератури та існуючих підручників засвідчив недостатню розробку науково-педагогічних основ підготовки вузівського підручника, як інформаційно-методичного засобу забезпечення якості освіти для окремих категорій студентів. Деякі підручники були позбавлені науково обґрунтованих узагальнень і досягнень дидактики, психології, логіки, книгознавства. В кінцевому підсумку користувачі підручника зустрічалися з відсутністю обґрунтованих вимог до підготовки та використання цих досить важливих учбових книг. Разом з тим, учбова книга, що створена як базовий інструмент педагогічної діяльності в процесі навчання, може бути спроектована тільки на основі чіткого уявлення про цілі, форми і методи навчання і виховання конкретної групи людей. Тому перше, що необхідно визначити, – це місце підручника в системі наук.Створення якісного підручника для студентів-іноземців в сучасних умовах залежить від багатьох чинників. Будучи засобом навчання, підручник з одного боку, є важливим джерелом знань, носієм змісту освіти для значної маси студентів, в ньому формулюються і розкриваються основні наукові поняття, що передбачені програмою, визначається обсяг основ навчального матеріалу. З другого боку, підручник – це засіб навчання і як засіб навчання він покликаний допомогти студенту засвоїти навчальний матеріал в строго обумовлений програмою обсяг знань. Більше того, підручник повинен сприяти засвоєнню конкретних знань, напрацюванню студентами в процесі навчання умінь та навичок, досвіду самостійної творчої діяльності, вмінню орієнтуватися в навчальному предметі, шукати та знаходити необхідну інформацію. Він повинен сприяти накопиченню соціального досвіду студентів-іноземців, формуванню уміння оцінювати явища та події оточуючого середовища.Основою дослідницького підходу до найважливіших проблем підручника є діалектична єдність змісту та форми. Важко перелічити всі проблеми, що входять до дидактичної концепції підручника, але про їх актуальність свідчить необхідність визначення обсягу предметних знань, умінь та навичок, що повинні знайти відображення в кожному підручнику. Необхідно науково обґрунтоване дозування матеріалу, призначеного на кожну учбову годину з урахуванням специфіки предмету, принципу доступності, рівня розвитку студента, а також загального обсягу знань, що він повинен засвоїти у відповідний відрізок часу.Головною методичною умовою написання підручника для іноземних студентів є те, що матеріал з предмету має бути поданим російською або українською мовою як іноземною з урахуванням рівня володіння студентами цією мовою на кожному конкретному етапі навчання.Теорія підручника спирається на вікову психологію, широко використовує досягнення психологічної науки. Безумовним є, наприклад, зв’язок теорії підручника з психологією сприйняття та розуміння навчального матеріалу (читання та розуміння змісту тексту, сприйняття ілюстрованого матеріалу тощо ).Відповідно до вимог сучасної дидактики потрібно покращувати структуру підручника, кожного його компонента, виявляючи внутрішні резерви, за допомогою яких може бути активізовано процес навчання. В той самий час підручник не є єдиним засобом навчання, але, як і раніше, займає центральне місце в навчальному процесі.Матеріал багатьох посібників з математики, хімії, біології для іноземних студентів підготовчих відділень розподілений по заняттях, кожне з яких має таку структуру:– полімовний словник основних термінів теми та граматичні конструкції, за допомогою яких подається текстовий матеріал;– текст заняття, що містить основні положення теми;– питання до тексту, що передбачають пошук інформації, її трансформацію, а також практичні завдання, що формують навички використання теоретичного матеріалу для розв’язування різного типу задач [5].Навчально-методичний комплекс містить в собі велику кількість компонентів, що доповнюють підручник:– дидактичні матеріали;– словники;– довідники;– науково-популярна література,– інформаційно-комп’ютерні засоби навчання.Дидактичні функції підручника – це цілеспрямовано сформовані його властивості (якості) як носія змісту освіти і базового книжкового засобу навчання, що найбільш повно відповідає цільовому призначенню підручника в процесі реалізації змісту освіти в умовах розвиваючого та виховуючого навчання.Аналізуючи цілі та зміст навчання, враховуючи закономірності процесу засвоєння та індивідуальні особливості студентів-іноземців, можна виділити такі дидактичні функції підручника :– інформаційна;– трансформаційна;– систематизуюча;– закріплення, самоконтроль та самоосвіта;– інтегруюча;– координуюча;– розвиваюче-виховна;– діагностична.Даний перелік дидактичних функцій є, безумовно, відкритою системою що не претендує на закінченість, а, скоріше за все, є відправним для подальшого дослідження.Переваги наведеної системи дидактичних функцій полягають, на наш погляд, в тому, що вона, по-перше, спирається на системний підхід, відображає реальні вимоги реалізації змісту освіти. По-друге, конкретизує їх стосовно головного засобу навчання, яким є підручник. Можна стверджувати, що ні одна з перелічених дидактичних функцій підручника не протирічить загальним принципам та функціям навчання.Зупинимося конкретніше на перелічених функціях.Інформаційна функція.Поряд зі словом вчителя підручник є основним джерелом обов’язкової для засвоєння інформації. Підручник розкриває основний зміст освіти, інформує про нього іноземного студента підготовчого відділення. Сьогодні актуальним є питання дидактичного обґрунтування змісту освіти – обґрунтування того конкретного мінімуму знань про сучасний світ, який повинен бути сформованим в процесі пізнання, та тих засобів, які повинні забезпечити засвоєння змісту освіти, необхідний рівень розвитку та виховання студентів. Саме цьому цей мінімум має бути включеним до підручника, також має бути визначеним обов’язковий для засвоєння обсяг інформації. Формування інформаційної функції підручника має на увазі в першу чергу високу якість учбового матеріалу, його високий науковий рівень. Відбір текстів в посібниках з природничо-математичного циклу для іноземних студентів підготовчих відділень здійснюється за такими критеріями: короткі, змістовні тексти, насичені актуальною інформацією і дією; урахування майбутньої спеціальності студента та професійного інтересу; наявність набору термінів і слів (лексичного мінімуму).Трансформаційна функція.Підручник включає в себе перероблені, перетворені основи знань. Це перетворення відбувається на основі дидактичних принципів і правил для того, щоб зміст освіти був найкращим чином засвоєний студентом. Основним напрямком трансформації змісту предмета при переказі на рівень учбового матеріалу є:– забезпечення доступності освіти – дидактична переробка навчального матеріалу;– установлення значущих для певної категорії студентів зв’язків виучуваного матеріалу з життєвою практико;– оптимальна активізація навчання студентів шляхом введення елементів проблемного навчання, посилення його переконливості та емоційної виразності.Характерною рисою посібника для іноземних студентів підготовчих відділень є трансформація знань, символіки, логічних структур, отриманих іноземним студентом раніше з підручників в країні попереднього навчання в норми підручників вітчизняної освіти.Проблема дидактичної переробки вихідного матеріалу підручників з природничо-математичних дисциплін для підготовчих відділень для іноземних громадян досліджується багато років поспіль. Вона полягає в тому, щоб забезпечити належну комунікацію між підручником та студентом. До засобів забезпечення розуміння навчального матеріалу відносяться:– урахування базових знань студента;– опора на актуалізацію цих знань, встановлення між ними та новими знаннями міцних логічних зв’язків;– строга регламентація кількості пізнавальних задач, їх постановка в доступній для певного рівня підготовки вербальній формі.Забезпечення доступності, вміла дидактична обробка вихідного матеріалу є важливою складовою трансформаційної функції підручника. Трансформуючи науковий матеріал в навчальний, викладачі-методисти повинні дати в руки студентів інструмент практичного пізнання та впливу на світ і оточуючу реальність.Систематизуюча функція.В кожному підручнику повинно бути забезпечене строго послідовне подання інформації, яка є змістом навчального курсу, а сам підручник повинен навчати студента прийомам та методам наукової систематизації. Подача інформації іноземним студентам на підготовчому відділенні здійснюється за принципом поступового збільшення словникового запасу студентів. Реалізація систематизуючої функції є необхідною передумовою існування інших функцій підручника, що забезпечує цілісне уявлення про навколишній світ. Вона також повинна активізувати процес оволодіння студентами учбовим матеріалом на нерідній для них мові, допомогти викладачеві в управлінні процесом навчання.Функція закріплення та самоконтролю. Функція самоосвіти.Будучи носієм певного учбового матеріалу, підручник має полегшити студенту засвоєння та закріплення цього матеріалу, допомогти йому самостійно заповнити прогалини в знаннях та уміннях. Повна реалізація функцій закріплення знань і самоконтролю також, як і функція самоосвіти безпосередньо пов’язана з тими компонентами підручника, які мають забезпечити послідовне формування умінь працювати з навчальною книгою.Навчати студента – це, передусім, викликати в нього бажання вчитися і навчити його вчитися самостійно, при цьому вчитися активно, творчо, а не тільки копіювати та наслідувати. Підручник – це важливий інструмент в руках викладача, який має допомогти йому сформувати у студента потребу оволодіти не тільки конкретним змістом предмета, певним обсягом інформації, але і уміти узагальнювати вивчене, перевіряти вірогідність знань, застосовувати їх в тій чи іншій конкретній ситуації.Інтегруюча функція.Засоби масової інформації, технічні засоби навчання та інформаційно-комп’ютерні технології мають велику цінність для загальної освіти іноземного студента, але охоплюють (іноді дуже глибоко) якусь конкретну частину змісту освіти і така інформація залишається по своїй суті фрагментарною. В підручнику цілеспрямовано відібрано головне, він має дати цілісне уявлення про предмет навчання, а в кінцевому результаті в ньому повинні бути відпрацьовані в системі фундаментального знання. Розраховані на постійне та повсякденне користування протягом тривалого часу, підручники з дисциплін природничо-математичного циклу передусім інтегрують знання і уміння, набуті студентами-іноземцями в рамках учбової програми країн їх попереднього навчання, в різних видах діяльності та з різних навчальних джерел. Такі підручники володіють реальною можливістю для того, щоб послідовно формувати методи наукового мислення, виховувати у студентів уміння самостійно та вірно оцінювати факти мовою, яка не є для них рідною, переробляти всю ту масу інформації, яка поступає. Інтегруюча функція підручника служить, таким чином, певним каркасом, що з’єднує внутрішню структуру підручника і систему навчальних посібників, в яких закладені знання та уміння, що є опорними при вивченні матеріалу.Слід зазначити, що з усіх засобів навчання, що є в розпорядженні викладача, тільки підручник має інтегруючу функцію, тільки він здатен забезпечити внутрішній взаємозв’язок компонентів системи навчання з опорою на міжпредметні зв’язки.Координуюча функція.Принципова особливість підручника для студентів-іноземців полягає в тому, що він є ядром, навколо якого групуються всі інші засоби навчання. Підручник координує функціональне застосування всіх засобів навчання, а також використання відповідних змісту освіти відомостей, які несуть засоби масової інформації та інформаційно-комп’ютерні технології навчання. Координаційна функція підручника має максимально забезпечити викладачу диференційований підхід до навчання, виробити у студентів вміння орієнтуватися в потоці інформації, поглиблювати отримані знання, виробити вміння застосовувати ці знання в процесі практичної діяльності.Розвиваюче-виховна функція.Активна розвиваюче-виховна функція підручника визначається у великій мірі науковістю змісту освіти. У самих основах наук завдяки зв’язку навчання й життя закладені великі можливості формування світогляду особистості. Напрямки виховної функції є багатовекторними: виховується працелюбність, відповідальність, зосередженість, набувається системний підхід до розв’язання не тільки учбових, але і життєвих проблем.Підручникам з природничо-математичних дисциплін для підготовчих відділень, що рекомендуються студентам-іноземцям, вважаємо за необхідне додати діагностичну функцію з метою виявлення відповідності учбових програм з математики країн попереднього навчання студентів з вітчизняними навчальними програмами.

У цій роботі було розроблено ефективні стратегії управління ресурсами для розподіленої обробки потоків щодо різноманітних цілей. Зокрема, було визначено чотири проблеми при розробці стратегій розміщення операторів та управління ресурсами для DSP. Для вирішення проблем пропонується п’ять дослідницьких питань, тоді як кожне питання фокусується на одній із проблем із запропонованими рішеннями. Питання дослідження були визначені для вирішення чотирьох проблем у потоковій обробці: 1) різноманітний попит на ресурси та швидкість передачі даних окремими операторами DSP, 2) різні чутливості до затримок у програмах DSP, 3) динамічний стан мережі та схема передачі даних, і 4) значна вартість операторів з державним статусом.

Об’єктом дослідження є обробка розподілених потоків даних. Предметом дослідження є методи розподілу обчислювальних ресурсів для обробки розподілених потоків даних. Мета роботи – розробити метод розподілу обчислювальних ресурсів для обробки розподілених потоків даних з метою досягнення ефективності обробки. У кваліфікаційній роботі проаналізовані методи розподілу обчислювальних ресурсів для обробки розподілених потоків даних. Розроблений метод розподілу обчислювальних ресурсів для обробки розподілених потоків даних, що дає змогу досягти ефективності обробки, на відміну від відомих методів, за рахунок інтегрованого поєднання схем планування та балансування навантаження між обчислювальними ресурсами.