Academic literature on the topic 'Метод навчання нейромережі'

Досліджено та обґрунтовано вибір нейромережевих структур для оброблення статистичних даних з метою прогнозування та виявлення аномальних показників споживання енергоресурсів. Показано, що системам на основі нейронних мереж завжди протиставлялись експертні системи, які, на відміну від перших, очевидно програмувались. Середовище, в якому працює система, не завжди є статичним і потрібні методи опрацювання даних, які могли б адекватно реагувати на зміну середовища та вміти відповідно адаптувати отримувані результати. Нейронні мережі володіють такою особливістю, як вміння навчатись. Ця особливість і є основним аргументом для застосування таких структур у системах управління енергоефективністю. Розроблена архітектура мережі та застосований процес навчання дав змогу прогнозувати показники спожитої електроенергії з урахуванням багатьох параметрів. Особливістю розробленої архітектури є можливість здійснювати перенавчання у процесі функціонування, не перериваючи його. Використання адаптивного та безперервного навчання нейромережі дасть змогу виявляти аномальні показники даних. Точність такого виявлення було перевірено на реальній вибірці даних. Аналіз отриманих результатів показує, що використання нейронних мереж хоч і потребує швидкодії і часу на навчання, проте, під час класифікації вхідного вектора, швидкодія нейронної мережі перевищує будь-який алгоритм кластеризації.

Наукові дослідження стають ефективними тоді, коли природу подій чи явищ можна розглядати з єдиних позицій, виробити універсальний підхід до них, сформувати загальні закономірності. Більшість сучасних фундаментальних наукових проблем і високих технологій тісно пов’язані з явищами, які лежать на границях різних рівнів організації. Природничі та деякі з гуманітарних наук (економіка, соціологія, психологія) розробили концепції і методи для кожного із ієрархічних рівнів, але не володіють універсальними підходами для опису того, що відбувається між цими рівнями ієрархії. Неспівпадання ієрархічних рівнів різних наук – одна із головних перешкод для розвитку дійсної міждисциплінарності (синтезу різних наук) і побудови цілісної картини світу. Виникає проблема формування нового світогляду і нової мови.Теорія складних систем – це одна із вдалих спроб побудови такого синтезу на основі універсальних підходів і нової методології [1]. В російськомовній літературі частіше зустрічається термін “синергетика”, який, на наш погляд, означує більш вузьку теорію самоорганізації в системах різної природи [2].Мета роботи – привернути увагу до нових можливостей, що виникають при розв’язанні деяких задач, виходячи з уявлень нової науки.На жаль, теорія складності не має до сих пір чіткого математичного визначення і може бути охарактеризована рисами тих систем і типів динаміки, котрі являються предметом її вивчення. Серед них головними є:– Нестабільність: складні системи прагнуть мати багато можливих мод поведінки, між якими вони блукають в результаті малих змін параметрів, що управляють динамікою.– Неприводимість: складні системи виступають як єдине ціле і не можуть бути вивчені шляхом розбиття їх на частини, що розглядаються ізольовано. Тобто поведінка системи зумовлюється взаємодією складових, але редукція системи до її складових спотворює більшість аспектів, які притаманні системній індивідуальності.– Адаптивність: складні системи часто включають множину агентів, котрі приймають рішення і діють, виходячи із часткової інформації про систему в цілому і її оточення. Більш того, ці агенти можуть змінювати правила своєї поведінки на основі такої часткової інформації. Іншими словами, складні системи мають здібності черпати скриті закономірності із неповної інформації, навчатися на цих закономірностях і змінювати свою поведінку на основі нової поступаючої інформації.– Емерджентність (від існуючого до виникаючого): складні системи продукують неочікувану поведінку; фактично вони продукують патерни і властивості, котрі неможливо передбачити на основі знань властивостей їх складових, якщо розглядати їх ізольовано.Ці та деякі менш важливі характерні риси дозволяють відділити просте від складного, притаманного найбільш фундаментальним процесам, які мають місце як в природничих, так і в гуманітарних науках і створюють тим самим істинний базис міждисциплінарності. За останні 30–40 років в теорії складності було розроблено нові наукові методи, які дозволяють універсально описати складну динаміку, будь то в явищах турбулентності, або в поведінці електорату напередодні виборів.Оскільки більшість складних явищ і процесів в таких галузях як екологія, соціологія, економіка, політологія та ін. не існують в реальному світі, то лише поява сучасних ЕОМ і створення комп’ютерних моделей цих явищ дозволило вперше в історії науки проводити експерименти в цих галузях так, як це завжди робилось в природничих науках. Але комп’ютерне моделювання спричинило розвиток і нових теоретичних підходів: фрактальної геометрії і р-адичної математики, теорії хаосу і самоорганізованої критичності, нейроінформатики і квантових алгоритмів тощо. Теорія складності дозволяє переносити в нові галузі дослідження ідеї і підходи, які стали успішними в інших наукових дисциплінах, і більш рельєфно виявляти ті проблеми, з якими інші науки не стикалися. Узагальнюючому погляду з позицій теорії складності властиві більша евристична цінність при аналізі таких нетрадиційних явищ, як глобалізація, “економіка, що заснована на знаннях” (knowledge-based economy), національні і світові фінансові кризи, економічні катастрофи і ряд інших.Однією з інтригуючих проблем теорії є дослідження властивостей комплексних мережеподібних високотехнологічних і інтелектуально важливих систем [3]. Окрім суто наукових і технологічних причин підвищеної уваги до них є і суто прагматична. Справа в тому, що такі системи мають системоутворюючу компоненту, тобто їх структура і динаміка активно впливають на ті процеси, які ними контролюються. В [4] наводиться приклад, коли відмова двох силових ліній системи електромережі в штаті Орегон (США) 10 серпня 1996 року через каскад стимульованих відмов призвели до виходу із ладу електромережі в 11 американських штатах і 2 канадських провінціях і залишили без струму 7 млн. споживачів протягом 16 годин. Вірус Love Bug worm, яких атакував Інтернет 4 травня 2000 року і до сих пір блукає по мережі, приніс збитків на мільярди доларів.До таких систем відносяться Інтернет, як складна мережа роутерів і комп’ютерів, об’єднаних фізичними та радіозв’язками, WWW, як віртуальна мережа Web-сторінок, об’єднаних гіперпосиланнями (рис. 1). Розповсюдження епідемій, чуток та ідей в соціальних мережах, вірусів – в комп’ютерних, живі клітини, мережі супермаркетів, актори Голівуду – ось далеко не повний перелік мережеподібних структур. Більш того, останнє десятиліття розвитку економіки знань привело до зміни парадигми структурного, функціонального і стратегічного позиціонування сучасних підприємств. Вертикально інтегровані корпорації повсюдно витісняються розподіленими мережними структурами (так званими бізнес-мережами) [5]. Багато хто з них замість прямого виробництва сьогодні займаються системною інтеграцією. Тому дослідження структури та динаміки мережеподібних систем дозволить оптимізувати бізнес-процеси та створити умови для їх ефективного розвитку і захисту.Для побудови і дослідження моделей складних мережеподібних систем введені нові поняття і означення. Коротко опишемо тільки головні з них. Хай вузол i має ki кінців (зв’язків) і може приєднати (бути зв’язаним) з іншими вузлами ki. Відношення між числом Ei зв’язків, які реально існують, та їх повним числом ki(ki–1)/2 для найближчих сусідів називається коефіцієнтом кластеризації для вузла i:. Рис. 1. Структури мереж World-Wide Web (WWW) і Інтернету. На верхній панелі WWW представлена у вигляді направлених гіперпосилань (URL). На нижній зображено Інтернет, як систему фізично з’єднаних вузлів (роутерів та комп’ютерів). Загальний коефіцієнт кластеризації знаходиться шляхом осереднення його локальних значень для всієї мережі. Дослідження показують, що він суттєво відрізняється від одержаних для випадкових графів Ердаша-Рені [4]. Ймовірність П того, що новий вузол буде приєднано до вузла i, залежить від ki вузла i. Величина називається переважним приєднанням (preferential attachment). Оскільки не всі вузли мають однакову кількість зв’язків, останні характеризуються функцією розподілу P(k), яка дає ймовірність того, що випадково вибраний вузол має k зв’язків. Для складних мереж функція P(k) відрізняється від розподілу Пуассона, який мав би місце для випадкових графів. Для переважної більшості складних мереж спостерігається степенева залежність , де γ=1–3 і зумовлено природою мережі. Такі мережі виявляють властивості направленого графа (рис. 2). Рис. 2. Розподіл Web-сторінок в Інтернеті [4]. Pout – ймовірність того, що документ має k вихідних гіперпосилань, а Pin – відповідно вхідних, і γout=2,45, γin=2,1. Крім цього, складні системи виявляють процеси самоорганізації, змінюються з часом, виявляють неабияку стійкість відносно помилок та зовнішніх втручань.В складних системах мають місце колективні емерджентні процеси, наприклад синхронізації, які схожі на подібні в квантовій оптиці. На мові системи зв’язаних осциляторів це означає, що при деякій критичній силі взаємодії осциляторів невелика їх купка (кластер) мають однакові фази і амплітуди.В економіці, фінансовій діяльності, підприємництві здійснювати вибір, приймати рішення доводиться в умовах невизначеності, конфлікту та зумовленого ними ризику. З огляду на це управління ризиками є однією з найважливіших технологій сьогодення [2, 6].До недавніх часів вважалось, що в основі розрахунків, які так чи інакше мають відношення до оцінки ризиків лежить нормальний розподіл. Йому підпорядкована сума незалежних, однаково розподілених випадкових величин. З огляду на це ймовірність помітних відхилень від середнього значення мала. Статистика ж багатьох складних систем – аварій і катастроф, розломів земної кори, фондових ринків, трафіка Інтернету тощо – зумовлена довгим ланцюгом причинно-наслідкових зв’язків. Вона описується, як показано вище, степеневим розподілом, “хвіст” якого спадає значно повільніше від нормального (так званий “розподіл з тяжкими хвостами”). У випадку степеневої статистики великими відхиленнями знехтувати вже не можна. З рисунку 3 видно, наскільки добре описуються степеневою статистикою торнадо (1), повені (2), шквали (3) і землетруси (4) за кількістю жертв в них в США в ХХ столітті [2]. Рис. 3. Системи, які демонструють самоорганізовану критичність (а саме такі ми і розглядаємо), самі по собі прагнуть до критичного стану, в якому можливі зміни будь-якого масштабу.З точки зору передбачення цікавим є той факт, що різні катастрофічні явища можуть розвиватися за однаковими законами. Незадовго до катастрофи вони демонструють швидкий катастрофічний ріст, на який накладені коливання з прискоренням. Асимптотикою таких процесів перед катастрофою є так званий режим з загостренням, коли одна або декілька величин, що характеризують систему, за скінчений час зростають до нескінченності. Згладжена крива добре описується формулою,тобто для таких різних катастрофічних явищ ми маємо один і той же розв’язок рівнянь, котрих, на жаль, поки що не знаємо. Теорія складності дозволяє переглянути деякі з основних положень ризикології та вказати алгоритми прогнозування катастрофічних явищ [7].Ключові концепції традиційних моделей та аналітичних методів аналізу і управління капіталом все частіше натикаються на проблеми, які не мають ефективних розв’язків в рамках загальноприйнятих парадигм. Причина криється в тому, що класичні підходи розроблені для опису відносно стабільних систем, які знаходяться в положенні відносно стійкої рівноваги. За своєю суттю ці методи і підходи непридатні для опису і моделювання швидких змін, не передбачуваних стрибків і складних взаємодій окремих складових сучасного світового ринкового процесу. Стало ясно, що зміни у фінансовому світі протікають настільки інтенсивно, а їх якісні прояви бувають настільки неочікуваними, що для аналізу і прогнозування фінансових ринків вкрай необхідним став синтез нових аналітичних підходів [8].Теорія складних систем вводить нові для фінансових аналітиків поняття, такі як фазовий простір, атрактор, експонента Ляпунова, горизонт передбачення, фрактальний розмір тощо. Крім того, все частіше для передбачення складних динамічних рядів використовуються алгоритми нейрокомп’ютинга [9]. Нейронні мережі – це системи штучного інтелекту, які здатні до самонавчання в процесі розв’язку задач. Навчання зводиться до обробки мережею множини прикладів, які подаються на вхід. Для максимізації виходів нейронна мережа модифікує інтенсивність зв’язків між нейронами, з яких вона побудована, і таким чином самонавчається. Сучасні багатошарові нейронні мережі формують своє внутрішнє зображення задачі в так званих внутрішніх шарах. При цьому останні відіграють роль “детекторів вивчених властивостей”, оскільки активність патернів в них є кодування того, що мережа “думає” про властивості, які містяться на вході. Використання нейромереж і генетичних алгоритмів стає конкурентноздібним підходом при розв’язанні задач передбачення, класифікації, моделювання фінансових часових рядів, задач оптимізації в галузі фінансового аналізу та управляння ризиком. Детермінований хаос пропонує пояснення нерегулярної поведінки і аномалій в системах, котрі не є стохастичними за природою. Ця теорія має широкий вибір потужних методів, включаючи відтворення атрактора в лаговому фазовому просторі, обчислення показників Ляпунова, узагальнених розмірностей і ентропій, статистичні тести на нелінійність.Головна ідея застосування методів хаотичної динаміки до аналізу часових рядів полягає в тому, що основна структура хаотичної системи (атрактор динамічної системи) може бути відтворена через вимірювання тільки однієї змінної системи, фіксованої як динамічний ряд. В цьому випадку процедура реконструкції фазового простору і відтворення хаотичного атрактора системи при динамічному аналізі часового ряду зводиться до побудови так званого лагового простору. Реальний атрактор динамічної системи і атрактор, відтворений в лаговому просторі по часовому ряду при деяких умовах мають еквівалентні характеристики [8].На завершення звернемо увагу на дидактичні можливості теорії складності. Розвиток сучасного суспільства і поява нових проблем вказує на те, що треба мати не тільки (і навіть не стільки) експертів по деяким аспектам окремих стадій складних процесів (професіоналів в старому розумінні цього терміну), знадобляться спеціалісти “по розв’язуванню проблем”. А це означає, що істинна міждисциплінарність, яка заснована на теорії складності, набуває особливого значення. З огляду на сказане треба вчити не “предметам”, а “стилям мислення”. Тобто, міждисциплінарність можна розглядати як основу освіти 21-го століття.

Роботу присвячено вирішенню актуального завдання створення математичного забезпечення для побудови моделей кількісних залежностей на основі багатошарових нейронних мереж та вирішенню за його допомогою практичної задачі моделювання залежностей параметрів процесу роботи авіаційних двигунів під час їх випробувань. Запропоновано метод побудови глибоких нейронних мереж прямого поширення, який використовує коригувальну нейронну мережу для покращення результатів роботи звичайної нейромережі. Пропонована архітектура нейромережі складається з двох блоків-нейромереж: перший – чотиришарова нейромережа прямого поширення, другий – нейронна мережа, що виправляє результати роботи першої. Для цього значення виходу першої мережі передається на вхід другої разом із вхідними параметрами. При цьому для збільшення точності для кожного вихідного параметра будується окрема модель. Кожна з нейронних мереж навчається окремо, що дозволяє спростити та прискорити процес навчання. Навчання пропонованої нейромережі пропонується проводити на основі градієнтного методу та техніки зворотного поширення помилки. У процесі навчання мінімізується функція помилки мережі, яка визначає різницю між виходами мережі і реальними значеннями. Для збільшення точності моделі, побудованої на основі гібридної нейромережі із коригувальним блоком, пропонується виконувати відбір інформативних ознак шляхом послідовного видалення найменш інформативних ознак, доки помилка нейронної мережі не збільшиться від чергового видалення ознаки. Для прискорення відбору доцільно використовувати зменшену кількість епох навчання та не використовувати коригувальну нейронну мережу. Розроблено програмне забезпечення, яке реалізує запропонований метод і дозволяє виконувати побудову нейронних мереж, їх навчання та тестування на вибірках даних; вирішено практичне завдання визначення значень параметрів авіаційних двигунів при проведені їх випробувань.

В статті досліджено особливості створення штучних нейронних мереж, їх навчання, застосування в економічній сфері та порівняння їх ефективності з статистичними методами. Встановлено, що наукові роботи стосовно нейронних мереж є лише загальними та не відображають особливості використання різних архітектур. Проведене дослідження особливостей різних ядер нейромереж на основі методу опорних векторів та порівняння їх ефективності між собою для класифікації даних. Завдяки дослідженню показано, що метод опорних векторів дозволяє нам ефективно класифікувати дані, в тому числі з нелінійною структурою. З’ясовано, що нейронні мережі дійсно ефективні для аналізу економічних показників і вже значно випереджають класичні методи аналізу. Встановлено, що нейромережі використовуються для вирішення трьох основних типів задач: прогнозування, класифікація та моделювання. Представлено платформи та бібліотеки, що допомагають при створенні нейронної мережі та мають готові зразки використання та детальну документацію. Підтверджено, що основні переваги нейронних мереж – це здатність до навчання, можливість працювати з неповними даними, можливість автоматизувати аналіз, висока точність результатів. З’ясовано, що основні недоліки нейромереж – це технічні вимоги, необхідність великої кількості зібраних і оброблених даних для навчання та складність реалізації в кожному окремому випадку. Представлено найбільш поширені типи нейромереж та алгоритми навчання, а також в задачах яких типів будуть ефективними різні нейронні мережі. Запропоновано порівняння ефективності перцептрона та логістичної регресії при вирішенні однакової задачі класифікації. Отже, штучні нейронні мережі дійсно переважають класичні методи аналізу даних, а розмір цієї переваги буде залежати від кількості факторів, що впливають на результат та складності взаємозв’язків між ними.

Розглянуті питання виявлення помилок в штучних нейромережах, що пов’язані з суперечливістю думок експертів та/або обмеженістю (недосконалістю) опису предметної області. Проаналізовано підходи щодо їх відлагодження. Показані шляхи вдосконалення існуючих підходів щодо відлагодження помилок типу “забування про виключення”. Показано можливі шляхи застосування отриманих рішень для відлагодження помилок “перетин критичних подій”. Запропоновано формалізоване визначення помилки нейромережевої інтелектуальної системи з урахуванням вимог до оперативності і точності подання інформації. Розглянуті питання впливу некоректної організації машинного навчання на точність класифікації елементів нейромережевої інтелектуальної системи. Доведено можливість застосування методів контрастування мереж на підготовчому етапі до тестування бази знань інтелектуальної системи підтримки прийняття рішень, що дозволяє зменшити ймовірність виникнення помилок даного типу для зазначених систем. Наведено класифікацію алгоритмів вибірки знань з інтелектуальної нейронної мережі, виконано їх аналіз та показано, що для виявлення зазначених типів помилок доцільно використовувати модифікований алгоритм GLARE з процедурою адаптації. Наведено блок-схеми алгоритмів відлагодження БЗ ІСППР, що використовують отримані теоретичні рішення. Запропоновано схему організації процесу тестування за рівнями деталізації для інтеграційного та модульного тестування, що може бути застосована для реалізації процесів тестування Agile-методології, зокрема: Agile Modeling, Agile Unified Process, Agile Data Method, Essential Unified Process, Extreme Programming, Feature Driven Development, Getting Real, Open UP, Scrum, Kanban.

Розглянуті питання виявлення помилок в штучних нейромережах, що пов’язані з суперечливістю думок експертів та/або обмеженістю (недосконалістю) опису предметної області. Проаналізовано підходи щодо їх відлагодження. Показані шляхи вдосконалення існуючих підходів щодо відлагодження помилок типу “забування про виключення”. Показано можливі шляхи застосування отриманих рішень для відлагодження помилок “перетин критичних подій”. Запропоновано формалізоване визначення помилки нейромережевої інтелектуальної системи з урахуванням вимог до оперативності і точності подання інформації. Розглянуті питання впливу некоректної організації машинного навчання на точність класифікації елементів нейромережевої інтелектуальної системи. Доведено можливість застосування методів контрастування мереж на підготовчому етапі до тестування бази знань інтелектуальної системи підтримки прийняття рішень, що дозволяє зменшити ймовірність виникнення помилок даного типу для зазначених систем. Наведено класифікацію алгоритмів вибірки знань з інтелектуальної нейронної мережі, виконано їх аналіз та показано, що для виявлення зазначених типів помилок доцільно використовувати модифікований алгоритм GLARE з процедурою адаптації. Наведено блок-схеми алгоритмів відлагодження БЗ ІСППР, що використовують отримані теоретичні рішення. Запропоновано схему організації процесу тестування за рівнями деталізації для інтеграційного та модульного тестування, що може бути застосована для реалізації процесів тестування Agile-методології, зокрема: Agile Modeling, Agile Unified Process, Agile Data Method, Essential Unified Process, Extreme Programming, Feature Driven Development, Getting Real, Open UP, Scrum, Kanban.

Кваліфікаційна робота розв’язує задачу автоматизованого розпізнавання образів нейромережею перцептрон, навчання якої здійснюється за допомогою генетичного алгоритму, зокрема, при навчанні двошарової нейромережі перцептрон за допомогою генетичного алгоритму навчання виконується повне поступове налаштування множини ваг синапсів нейромережі, що складається із двох підмножин, які утворюються предсинаптичними зв’язками схованого та вихідного прошарків нейронів мережі.