Academic literature on the topic 'Каскадні нейронні мережі'

Робота присвячена аналізу інформаційних технологій хронобіологічного моніторингу кардіосистем, розробці систему підтримки прийняття рішень для лікаря-дослідника на базі методів класифікації з використанням нейронних мереж таких як імовірностна неронна мережа PNN (Probabilistic Neural Networks), багатошаровий персептрон MLP NN (Multi-Layer Perceptron), каскадно-кореляційна мережа CasCor (Cascade Correlation). У результаті отримано наступне: найкращим класифікатором є нейромережа каскадної кореляції з 85-88% точністю класифікації. Найгіршим класифікатором стала ймовірнісна нейронна мережа, оскільки точність цього алгоритму залежить від розміру набору даних.

Анотація. Система розпізнавання облич – це технологія, здатна зіставляти людське обличчя з цифровим зображенням або відеокадром з базою даних осіб, зазвичай використовується для автентифікації користувачів за допомогою служб перевірки особистості, працює шляхом точного визначення і вимірювання рис обличчя по даному зображенню. Системи розпізнавання обличчя використовуються сьогодні в усьому світі урядами та приватними компаніями, їх ефективність різна, і деякі системи раніше були списані через їх неефективність. Отже, створення програми для розпізнавання людського обличчя є актуальною темою. Метою статті є дослідження теоретичних аспектів розробки системи розпізнавання людського обличчя. Процедура розпізнавання обличчя просто вимагає, щоб будь-який пристрій, оснащений цифровою фотографічною технологією, генерував і отримував зображення та дані, необхідні для створення та запису біометричного малюнка обличчя людини, якого необхідно ідентифікувати. Розглянуто основні алгоритми розпізнавання людського обличчя: розпізнавання обличчя з використанням різних поверхонь облич, метод облич Фішера, метод аналізу головних компонентів та машина опорних векторів, метод каскадів Хаара. Наведено їх переваги та недоліки. Наведено застосування згорткової нейронної мережі до розпізнавання облич. Запропоновано реалізацію алгоритму роботи системи розпізнавання обличчя. В даній роботі проаналізовано наявні алгоритми та системи виявлення та розпізнавання обличчя, зважені їх переваги та недоліки. Розглянуто використання згорткової нейронної системи з метою розпізнавання обличчя. Проаналізовано на практиці відсоток точності розпізнавання людського обличчя та продуктивність, враховуючі такі фактори як освітлення, якість зображення, кількість облич на зображенні використовуючи бібліотеку з відкритим вихідним кодом Face recognition із сімейства бібліотек DLib в основі якої лежить згорткова нейронна мережа.

Наукові дослідження стають ефективними тоді, коли природу подій чи явищ можна розглядати з єдиних позицій, виробити універсальний підхід до них, сформувати загальні закономірності. Більшість сучасних фундаментальних наукових проблем і високих технологій тісно пов’язані з явищами, які лежать на границях різних рівнів організації. Природничі та деякі з гуманітарних наук (економіка, соціологія, психологія) розробили концепції і методи для кожного із ієрархічних рівнів, але не володіють універсальними підходами для опису того, що відбувається між цими рівнями ієрархії. Неспівпадання ієрархічних рівнів різних наук – одна із головних перешкод для розвитку дійсної міждисциплінарності (синтезу різних наук) і побудови цілісної картини світу. Виникає проблема формування нового світогляду і нової мови.Теорія складних систем – це одна із вдалих спроб побудови такого синтезу на основі універсальних підходів і нової методології [1]. В російськомовній літературі частіше зустрічається термін “синергетика”, який, на наш погляд, означує більш вузьку теорію самоорганізації в системах різної природи [2].Мета роботи – привернути увагу до нових можливостей, що виникають при розв’язанні деяких задач, виходячи з уявлень нової науки.На жаль, теорія складності не має до сих пір чіткого математичного визначення і може бути охарактеризована рисами тих систем і типів динаміки, котрі являються предметом її вивчення. Серед них головними є:– Нестабільність: складні системи прагнуть мати багато можливих мод поведінки, між якими вони блукають в результаті малих змін параметрів, що управляють динамікою.– Неприводимість: складні системи виступають як єдине ціле і не можуть бути вивчені шляхом розбиття їх на частини, що розглядаються ізольовано. Тобто поведінка системи зумовлюється взаємодією складових, але редукція системи до її складових спотворює більшість аспектів, які притаманні системній індивідуальності.– Адаптивність: складні системи часто включають множину агентів, котрі приймають рішення і діють, виходячи із часткової інформації про систему в цілому і її оточення. Більш того, ці агенти можуть змінювати правила своєї поведінки на основі такої часткової інформації. Іншими словами, складні системи мають здібності черпати скриті закономірності із неповної інформації, навчатися на цих закономірностях і змінювати свою поведінку на основі нової поступаючої інформації.– Емерджентність (від існуючого до виникаючого): складні системи продукують неочікувану поведінку; фактично вони продукують патерни і властивості, котрі неможливо передбачити на основі знань властивостей їх складових, якщо розглядати їх ізольовано.Ці та деякі менш важливі характерні риси дозволяють відділити просте від складного, притаманного найбільш фундаментальним процесам, які мають місце як в природничих, так і в гуманітарних науках і створюють тим самим істинний базис міждисциплінарності. За останні 30–40 років в теорії складності було розроблено нові наукові методи, які дозволяють універсально описати складну динаміку, будь то в явищах турбулентності, або в поведінці електорату напередодні виборів.Оскільки більшість складних явищ і процесів в таких галузях як екологія, соціологія, економіка, політологія та ін. не існують в реальному світі, то лише поява сучасних ЕОМ і створення комп’ютерних моделей цих явищ дозволило вперше в історії науки проводити експерименти в цих галузях так, як це завжди робилось в природничих науках. Але комп’ютерне моделювання спричинило розвиток і нових теоретичних підходів: фрактальної геометрії і р-адичної математики, теорії хаосу і самоорганізованої критичності, нейроінформатики і квантових алгоритмів тощо. Теорія складності дозволяє переносити в нові галузі дослідження ідеї і підходи, які стали успішними в інших наукових дисциплінах, і більш рельєфно виявляти ті проблеми, з якими інші науки не стикалися. Узагальнюючому погляду з позицій теорії складності властиві більша евристична цінність при аналізі таких нетрадиційних явищ, як глобалізація, “економіка, що заснована на знаннях” (knowledge-based economy), національні і світові фінансові кризи, економічні катастрофи і ряд інших.Однією з інтригуючих проблем теорії є дослідження властивостей комплексних мережеподібних високотехнологічних і інтелектуально важливих систем [3]. Окрім суто наукових і технологічних причин підвищеної уваги до них є і суто прагматична. Справа в тому, що такі системи мають системоутворюючу компоненту, тобто їх структура і динаміка активно впливають на ті процеси, які ними контролюються. В [4] наводиться приклад, коли відмова двох силових ліній системи електромережі в штаті Орегон (США) 10 серпня 1996 року через каскад стимульованих відмов призвели до виходу із ладу електромережі в 11 американських штатах і 2 канадських провінціях і залишили без струму 7 млн. споживачів протягом 16 годин. Вірус Love Bug worm, яких атакував Інтернет 4 травня 2000 року і до сих пір блукає по мережі, приніс збитків на мільярди доларів.До таких систем відносяться Інтернет, як складна мережа роутерів і комп’ютерів, об’єднаних фізичними та радіозв’язками, WWW, як віртуальна мережа Web-сторінок, об’єднаних гіперпосиланнями (рис. 1). Розповсюдження епідемій, чуток та ідей в соціальних мережах, вірусів – в комп’ютерних, живі клітини, мережі супермаркетів, актори Голівуду – ось далеко не повний перелік мережеподібних структур. Більш того, останнє десятиліття розвитку економіки знань привело до зміни парадигми структурного, функціонального і стратегічного позиціонування сучасних підприємств. Вертикально інтегровані корпорації повсюдно витісняються розподіленими мережними структурами (так званими бізнес-мережами) [5]. Багато хто з них замість прямого виробництва сьогодні займаються системною інтеграцією. Тому дослідження структури та динаміки мережеподібних систем дозволить оптимізувати бізнес-процеси та створити умови для їх ефективного розвитку і захисту.Для побудови і дослідження моделей складних мережеподібних систем введені нові поняття і означення. Коротко опишемо тільки головні з них. Хай вузол i має ki кінців (зв’язків) і може приєднати (бути зв’язаним) з іншими вузлами ki. Відношення між числом Ei зв’язків, які реально існують, та їх повним числом ki(ki–1)/2 для найближчих сусідів називається коефіцієнтом кластеризації для вузла i:. Рис. 1. Структури мереж World-Wide Web (WWW) і Інтернету. На верхній панелі WWW представлена у вигляді направлених гіперпосилань (URL). На нижній зображено Інтернет, як систему фізично з’єднаних вузлів (роутерів та комп’ютерів). Загальний коефіцієнт кластеризації знаходиться шляхом осереднення його локальних значень для всієї мережі. Дослідження показують, що він суттєво відрізняється від одержаних для випадкових графів Ердаша-Рені [4]. Ймовірність П того, що новий вузол буде приєднано до вузла i, залежить від ki вузла i. Величина називається переважним приєднанням (preferential attachment). Оскільки не всі вузли мають однакову кількість зв’язків, останні характеризуються функцією розподілу P(k), яка дає ймовірність того, що випадково вибраний вузол має k зв’язків. Для складних мереж функція P(k) відрізняється від розподілу Пуассона, який мав би місце для випадкових графів. Для переважної більшості складних мереж спостерігається степенева залежність , де γ=1–3 і зумовлено природою мережі. Такі мережі виявляють властивості направленого графа (рис. 2). Рис. 2. Розподіл Web-сторінок в Інтернеті [4]. Pout – ймовірність того, що документ має k вихідних гіперпосилань, а Pin – відповідно вхідних, і γout=2,45, γin=2,1. Крім цього, складні системи виявляють процеси самоорганізації, змінюються з часом, виявляють неабияку стійкість відносно помилок та зовнішніх втручань.В складних системах мають місце колективні емерджентні процеси, наприклад синхронізації, які схожі на подібні в квантовій оптиці. На мові системи зв’язаних осциляторів це означає, що при деякій критичній силі взаємодії осциляторів невелика їх купка (кластер) мають однакові фази і амплітуди.В економіці, фінансовій діяльності, підприємництві здійснювати вибір, приймати рішення доводиться в умовах невизначеності, конфлікту та зумовленого ними ризику. З огляду на це управління ризиками є однією з найважливіших технологій сьогодення [2, 6].До недавніх часів вважалось, що в основі розрахунків, які так чи інакше мають відношення до оцінки ризиків лежить нормальний розподіл. Йому підпорядкована сума незалежних, однаково розподілених випадкових величин. З огляду на це ймовірність помітних відхилень від середнього значення мала. Статистика ж багатьох складних систем – аварій і катастроф, розломів земної кори, фондових ринків, трафіка Інтернету тощо – зумовлена довгим ланцюгом причинно-наслідкових зв’язків. Вона описується, як показано вище, степеневим розподілом, “хвіст” якого спадає значно повільніше від нормального (так званий “розподіл з тяжкими хвостами”). У випадку степеневої статистики великими відхиленнями знехтувати вже не можна. З рисунку 3 видно, наскільки добре описуються степеневою статистикою торнадо (1), повені (2), шквали (3) і землетруси (4) за кількістю жертв в них в США в ХХ столітті [2]. Рис. 3. Системи, які демонструють самоорганізовану критичність (а саме такі ми і розглядаємо), самі по собі прагнуть до критичного стану, в якому можливі зміни будь-якого масштабу.З точки зору передбачення цікавим є той факт, що різні катастрофічні явища можуть розвиватися за однаковими законами. Незадовго до катастрофи вони демонструють швидкий катастрофічний ріст, на який накладені коливання з прискоренням. Асимптотикою таких процесів перед катастрофою є так званий режим з загостренням, коли одна або декілька величин, що характеризують систему, за скінчений час зростають до нескінченності. Згладжена крива добре описується формулою,тобто для таких різних катастрофічних явищ ми маємо один і той же розв’язок рівнянь, котрих, на жаль, поки що не знаємо. Теорія складності дозволяє переглянути деякі з основних положень ризикології та вказати алгоритми прогнозування катастрофічних явищ [7].Ключові концепції традиційних моделей та аналітичних методів аналізу і управління капіталом все частіше натикаються на проблеми, які не мають ефективних розв’язків в рамках загальноприйнятих парадигм. Причина криється в тому, що класичні підходи розроблені для опису відносно стабільних систем, які знаходяться в положенні відносно стійкої рівноваги. За своєю суттю ці методи і підходи непридатні для опису і моделювання швидких змін, не передбачуваних стрибків і складних взаємодій окремих складових сучасного світового ринкового процесу. Стало ясно, що зміни у фінансовому світі протікають настільки інтенсивно, а їх якісні прояви бувають настільки неочікуваними, що для аналізу і прогнозування фінансових ринків вкрай необхідним став синтез нових аналітичних підходів [8].Теорія складних систем вводить нові для фінансових аналітиків поняття, такі як фазовий простір, атрактор, експонента Ляпунова, горизонт передбачення, фрактальний розмір тощо. Крім того, все частіше для передбачення складних динамічних рядів використовуються алгоритми нейрокомп’ютинга [9]. Нейронні мережі – це системи штучного інтелекту, які здатні до самонавчання в процесі розв’язку задач. Навчання зводиться до обробки мережею множини прикладів, які подаються на вхід. Для максимізації виходів нейронна мережа модифікує інтенсивність зв’язків між нейронами, з яких вона побудована, і таким чином самонавчається. Сучасні багатошарові нейронні мережі формують своє внутрішнє зображення задачі в так званих внутрішніх шарах. При цьому останні відіграють роль “детекторів вивчених властивостей”, оскільки активність патернів в них є кодування того, що мережа “думає” про властивості, які містяться на вході. Використання нейромереж і генетичних алгоритмів стає конкурентноздібним підходом при розв’язанні задач передбачення, класифікації, моделювання фінансових часових рядів, задач оптимізації в галузі фінансового аналізу та управляння ризиком. Детермінований хаос пропонує пояснення нерегулярної поведінки і аномалій в системах, котрі не є стохастичними за природою. Ця теорія має широкий вибір потужних методів, включаючи відтворення атрактора в лаговому фазовому просторі, обчислення показників Ляпунова, узагальнених розмірностей і ентропій, статистичні тести на нелінійність.Головна ідея застосування методів хаотичної динаміки до аналізу часових рядів полягає в тому, що основна структура хаотичної системи (атрактор динамічної системи) може бути відтворена через вимірювання тільки однієї змінної системи, фіксованої як динамічний ряд. В цьому випадку процедура реконструкції фазового простору і відтворення хаотичного атрактора системи при динамічному аналізі часового ряду зводиться до побудови так званого лагового простору. Реальний атрактор динамічної системи і атрактор, відтворений в лаговому просторі по часовому ряду при деяких умовах мають еквівалентні характеристики [8].На завершення звернемо увагу на дидактичні можливості теорії складності. Розвиток сучасного суспільства і поява нових проблем вказує на те, що треба мати не тільки (і навіть не стільки) експертів по деяким аспектам окремих стадій складних процесів (професіоналів в старому розумінні цього терміну), знадобляться спеціалісти “по розв’язуванню проблем”. А це означає, що істинна міждисциплінарність, яка заснована на теорії складності, набуває особливого значення. З огляду на сказане треба вчити не “предметам”, а “стилям мислення”. Тобто, міждисциплінарність можна розглядати як основу освіти 21-го століття.

Дисертацію присвячено розробці моделей та алгоритмів аналізу фінансового стану та прогнозування ризику банкрутства підприємств та банків в умовах невизначеності, неповної та недостовірної інформації на прикладі економіки України. Проаналізовано класичні статистичні методи прогнозування ризику банкрутства підприємств на основі методів багатовимірного дискримінантного аналізу, зокрема метод Альтмана. Виявлено його недоліки та недоцільність використання в умовах економіки України, оскільки він базується на використанні достовірної інформації про стан підприємств. Тому в роботі обгрунтовано використання для прогнозування ризику банкрутства в умовах неповноти та невизначеності нечітких нейронних мереж (НММ) з виведеннями Мамдані та Цукамото. В дисертації розроблено базу правил для вирішення задачі аналізу фінансового стану та прогнозування ризику банкрутства підприємств в умовах невизначеності для нейромереж Мамдані та Цукомото. Оскільки загальний розмір повної бази нечітких правил великий, що не дає можливості її навчання за короткий час, запропоновано спосіб скорочення розмірів бази правил та її наглядне представлення шляхом використання бальних оцінок. Розроблено алгоритми прогнозування ризику банкрутства підприємств з використанням ННМ Мамдані та Цукамото. Далі в роботі розглянуто нео-фаззі каскадні мережі для аналізу фінансового стану та прогнозуванню ризику банкрутства підприємств в умовах невизначеності. Їх особливостями є відсутність бази правил висновку, а також те, що функції належності фіксовані і не потребують навчання, навчаються лише лінійні параметри – ваги зв’язків ННМ. Тому ці мережі мають прискорену збіжність навчання в порівнянні з ННМ з висновками Мамдані та Цукамото. Проведено експериментальні дослідження запропонованих моделей та алгоритмів для прогнозування ризику банкрутства підприємств України та порівняльний аналіз з класичними методами. Результати експериментів показали, що точність прогнозування ризику банкрутства складає методом Альтмана - 68-70%, матричним методом - 80%, нео-фазі каскадною нейромережею - 87%, а ННМ Мамдані та Цукамото -88-90 %. В роботі також було досліджено проблему прогнозування ризику банкрутства в банківській сфері України в умовах невизначеності. Для вирішення цієї проблеми запропоновано використання ННМ TSK та ANFIS. Проведено експериментальні дослідження ефективності використання ННМ для прогнозування ризику банкрутства банків та порівняння зі статистичними моделями ARIMA, logit-model та probit–model, а також із нечітким МГУА. В результаті експериментів встановлено, що найбільшу точність прогнозування забезпечує використання ННМ TSK (2%) та нечіткого МГУА (4%), тоді як статистичні моделі мають точність: logit-model - 16%, probit –model - 14%) та ARIMA - 18%. В процесі експериментів також було визначено адекватні фінансово-економічні показники банків для прогнозування ризику банкрутства.
The thesis is devoted to the development of models and algorithms for analysis of financial state and forecasting of bankruptcy risk of enterprises and banks in condition of uncertainty, incomplete and unreliable information on the example of the Ukrainian economy. Classical statistical methods for predicting the risk of bankruptcy on the basis of multivariate discriminant analysis, in particular the method of Altman, are analyzed. It revealed its deficiencies and inappropriateness of its use in Ukraine's economy, since it is based on the use of reliable information on the state enterprises. Therefore, the use of fuzzy neural networks (FNN) with the conclusions Mamdani and Tsukamoto to forecast the risk of bankruptcy in the conditions of incompleteness and uncertainty is entirely justified. In the thesis rule base is developed for solving the problem of financial analysis and forecasting the risk of bankruptcy of enterprises for neural networks Mamdani and Tsukamoto. Since the total size of the comprehensive fuzzy rule base is great that does not allow its training in a short time, a method of reducing the size of the rule base and its visual representation through the use of scores is suggested. Algorithms for predicting the risk of bankruptcy of enterprises with FNN Mamdani and Tsukamoto are developed. Further in the paper the cascade neo-fuzzy network (CNFN) for predicting the risk of bankruptcy in condition of uncertainty is suggested. Its features is the absence of the rule base, as well as the fact that the membership functions are fixed and does not need training. Therefore, these networks have accelerated the convergence of training compared with FNN Mamdani and Tsukamoto. Experimental studies of the proposed models and algorithms for the forecasting of the risk of bankruptcy in Ukraine and comparative analysis with classical methods are presented. The experimental results showed that the accuracy of predicting the bankruptcy risk by Altmana- by 68- 70%, matrix method - 80%, cascade neo-fuzzy neural network - 87% and FNN Mamdanі and Tsukamoto - 88-90%. The paper also studied the problem of forecasting the risk of bankruptcy in the banking sector of Ukraine in conditions of uncertainty. To solve this problem using FNN TSK and ANFIS is proposed. Experimental research of effectiveness of using FNN to predict the risk of bank failures and comparison with statistical models ARIMA, logit-model, probit-model and fuzzy GMDH are presented. The experiment established that the greatest prediction accuracy allows the use of FNN TSK (2%) and fuzzy GMDH (4%), while the statistical models: logit-model - 16%, probit-model - 14% and ARIMA - 18%. During the experiments adequate financial and economic indicators of banks to predict the risk of bankruptcy were determined.
Диссертация посвящена разработке моделей и алгоритмов анализа финансового состояния и прогнозирования риска банкротства предприятий и банков в условиях неопределенности, неполной и недостоверной информации на примере экономики Украины. Проанализированы классические статистические методы прогнозирования риска банкротства предприятий на основе методов многомерного дискриминантного анализа, в частности метод Альтмана. Выявлено его недостатки и нецелесообразность использования в условиях экономики Украины, поскольку он базируется на использовании достоверной информации о состоянии предприятий. Поэтому в работе обосновано использование для прогнозирования риска банкротства в условиях неполноты и неопределенности нечетких нейронных сетей (ННС) с выводами Мамдани и Цукамото. В дисертации разработана база правил для решения задачи анализа финансового состояния и прогнозирования риска банкротства предприятий в условиях неопределенности для нейросетей Мамдани и Цукамото. Поскольку общий размер полной базы нечетких правил большой, что не дает возможности ее обучения за короткое время, предложен способ сокращения размеров базы правил и ее наглядное представление путем использования балльных оценок. Разработаны алгоритмы прогнозирования риска банкротства предприятий с использованием ННС Мамдани и Цукамото. Далее в работе рассмотрены каскадные нео-фаззи сети для прогнозирования риска банкротства предприятий в условиях неопределенности. Их особенностями является отсутствие базы правил вывода, а также то, что функции принадлежностей фиксированные и не нуждаются в обучении, обучаются лишь линейные параметры – веса связей ННС. Поэтому эти сети имеют ускоренную сходимость обучения в сравнении с ННС Мамдани и Цукамото. Проведены экспериментальные исследования предложенных моделей и алгоритмов для прогнозирования риска банкротства предприятий Украины и сравнительный анализ с классическими методами. Результаты экспериментов показали, что точность прогнозирования риска банкротства составляет методом Альтмана - 68-70%, матричным методом - 80%, нео-фаззи каскадной нейросетью - 87%, а ННМ Мамдани и Цукамото -88-90 %. В работе также была исследована проблема прогнозирования риска банкротства в банковской сфере Украины в условиях неопределенности. Для решения этой проблемы предложено использование ННС TSK и ANFIS. Проведены экспериментальные исследования эффективности использования ННС для прогнозирования риска банкротства банков и сравнение со статистическими моделями ARIMA, logit-model и probit–model, а также с нечетким МГУА. В результате экспериментов установлено, что самую большую точность прогнозирования обеспечивает использование ННМ TSK (2%) и нечеткий МГУА (4%), тогда как статистические модели имеют точность: logit-model - 16%, probit–model - 14% и ARIMA - 18%. В процессе экспериментов были также определены адекватные финансово-экономические показатели банков для прогнозирования риска банкротства.