Добірка наукової літератури з теми "Рекурентна нейронна мережа Елмана"

Для оцінки ризику сумісного прийняття помилкових рішень пілотом та авіадиспетчером в особливих випадках в польоті (ОВП) була розроблена чотиришарова рекурентна нейронна мережа з додатковими входами – зсувами: перший шар (вхід) – збитки при виникненні ОВП в залежності від виду польотної ситуації; другий шар (прихований) – нормативний час на виконання технологічних процедур з парирування ОВП; третій шар (прихований) – нормативна послідовність виконання технологічних процедур з парирування ОВП; четвертий шар (вихід) – оцінка ризику при виникненні ОВП. Розроблена нейромережева модель за рахунок зсувів дає змогу врахувати взаємодію між пілотом та авіадиспетчером при виконанні технологічних процедур з парирування ОВП і за допомогою зворотного зв’язку коригувати прогнозовану оцінку ризику сумісного прийняття помилкових рішень на основі динамічних даних про дотримання операторами узгоджених нормативів часу та нормативної послідовності дій. За допомогою нейроемулятора NeuroSolutions на прикладі ОВП “Відмова та пожежа двигуна на повітряному судні при наборі висоти після зльоту” побудовано та навчено з вчителем процедурою оберненого поширення помилки багатошарового прямонаправленого персептрона зі зсувами.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13. 03 – системи та процеси керування. – Національний технічний університет "Харківський політехнічний інститут", Харків, 2016. Дисертація присвячена вирішенню науково-практичної задачі вдосконалення оптимальною за витратами енергії системи керування. У дисертаційній роботі розглянуто метод оптимального керування в лінійній системі при квадратичному критерії якості з урахуванням обмежень на керовані координати, стосовно до розімкнутої системи. Показано, що існує шість варіантів алгоритмів оптимального керування, в залежності від поєднання обмежень, що накладаються на керовані координати. В залежності від тривалості процесу оптимального керування, алгоритми розташовуються у певному порядку, відносно один одного, утворюючи область рішення, обмежену часом максимальної швидкодії з одного боку і часом мінімальних витрат з іншого. Математичні залежності для визначення цих обмежень, а також кордонів сусідніх алгоритмів всередині цієї області виведені в дисертації. В дисертації запропоновано метод ідентифікації параметрів позиційного приводу, заснований на рекурентної нейронної мережі Елмана. Математичний зв'язок між ваговими коефіцієнтами рекурентного і зовнішнього шарів мережі з параметрами двигуна дозволяє застосувати здатність мережі до навчання як спосіб ідентифікації. В роботі запропонована функціональна схема дворівневої системи оптимального керування. На верхньому рівні здійснюється вибір алгоритму оптимального керування і розрахунок тривалості його інтервалів. Контролер нижнього рівня здійснює вироблення керуючих впливів на об'єкт, форма і тривалість яких визначена ЕОМ верхнього рівня.
The thesis for scientific degree of candidate of technical sciences in the specialty 05.13.03 – control systems and processes. – National Technical University "Kharkov Polytechnic Institute", Kharkov, 2016. The thesis is devoted to solving scientific and practical problems of improvement of cost effective energy control system. In the thesis has given the method of optimal control in a linear open-loop system with quadratic criteria of quality. It is shown that there are six variants of the algorithms of optimal control, depending on the combination of constraints on the controlled axes. Depending on the duration, optimal control algorithms are arranged in a specific order, relative to each other, thereby forming a region of the problem solution by the time of maximum speed with one hand and minimal time costs with other. Mathematical dependences for definition of these limits and the borders of neighbour algorithms within this field are derived in the thesis. In the thesis is proposed a method for the identification of the drive parameters. This method based on recurrent neural network Elman. The mathematical relationship between the weight coefficients of the network layers and parameters of the engine allows using the network learning as a way of identification. The paper presents a functional diagram of a two-tier system of optimal control. On the upper level, there is a choice of algorithm of optimal control and calculation of intervals durations. The lower level controller performs the generation of control actions on the object, the shape and duration of which is determined the upper-level computer.

У роботі розглядається проблема побудови моделі прогнозування забруднення повітря. Контроль якості повітря важливий для досягнення сприйнятних екологічних умов. Цей тип контролю здійснюється за допомогою контролю повітря. Рішення проблеми базується на рекурентних нейронних мережах, а точніше на мережах LSTM.

Мета даного дисертацiйного дослiдження полягає в детальному розглядi, розробцi та удосконаленнi систем автоматичної комп’ютерної дiагностики раку легень використовуючи методи штучного iнтелекту, зокрема застосовуючи та удосконалюючи останнi досягнення в областi глибинного навчання. Для дiагностування раку легенiв в сучасних медичних закладах використовують комп’ютерну томографiю, що представляє собою тривимiрне зображення легенiв пацiєнта, отримане за допомогою рентгенiвського променю, що пошарово та поступово проходить через тканини людського тiла в рiзних напрямках, з рiзних кутiв та положень. Такий вид зображень використовується в роботi для аналiзу присутностi пухлини в легенях за допомогою згорткових нейронних мереж. Однак, такi особливi данi накладають свої складностi в розробцi систем медичного комп’ютерного дiагностування, оскiльки при роботi з ними необхiдно враховувати їхню тривимiрну природу та вiдповiднi просторовi зв’язки. Тому, в дисертацiйному дослiдженнi розглядається три основнi пiдходи для роботи з такими даними: 1. Використання двовимiрної згорткової нейронної мережi. Для кожного шару КТ знiмка застосовується згорткова нейронна мережа. Виходи мережi для кожного шару знiмку об’єднуються та фiнальний висновок робиться на основi правил навчання за набором зразкiв. 2. Використання тривимiрних згорткових нейронних мереж, якi враховують тривимiрну природу вхiдних даних та можуть вiднайти кориснi патерни використовуючи всi три просторовi вiсi. Часто, такi системи роздiляють задачу на декiлька етапiв, кожен з яких використовує тривимiрну згорткову нейронну мережу налаштовану пiд конкретну пiдзадачу. 3. Використання комбiнованої структури двовимiрної згорткової та рекурентної нейронних мереж. В такому пiдходi двовимiрну згорткову нейронну мережу використовують для представлення вхiдних даних в менш мiрному просторi шляхом навчання многовиду меншої розмiрностi. Завдяки цьому на кожному шарi КТ зображення будуть видiлятися тiльки найбiльш важливi високорiвневi ознаки. Отриманi ознаки обробляються двонаправленою рекурентною нейронною мережею з вентильним вузлом (англ. bidirectional gated recurrent neural network), яка навчається складним нелiнiйним функцiям, що описують просторовi залежностi та вплив мiж ними. Вихiд рекурентної мережi повертає ймовiрнiсть наявностi пухлини на знiмку. В рамках даного дисертацiйного дослiдження проводиться аналiз та виконується експерименти для кожного пiдходу, а отриманi результати порiвнюються з роботами iнших авторiв. Експерименти показують, що найбiльш точними є системи побудованi iз декiлькох тривимiрних згорткових нейронних мереж (одна мережа сегментує потенцiйнi проблемнi регiони, iнша класифiкує присутнiсть в таких регiонах пухлини). Однак, такi системи мають дуже великi обчислювальнi вимоги, через те що використовують операцiю тривимiрної згортки, вимоги до обчислювальної потужностi якої ростуть кубiчно зi збiльшенням розмiрностi вхiдного зображення. В такому випадку, запропонована архiтектура рекурентної згорткової нейронної мережi дозволяє отримати точнiсть роботи системи на достатньо високому рiвнi, в той же час використовуючи значно менш вимогливу до обчислювальних потужностей та пам’ятi операцiю двовимiрної згортки. Наукова новизна отриманих результатiв дисертацiї полягає в запропонованому здобувачем методi побудови комбiнованої структури системи комп’ютерної дiагностики, що полягає в поєднаннi двовимiрної згорткової та двонаправленої рекурентної нейронної мережi LSTM. На вiдмiну вiд iнших рiшень, така система враховує просторовi зв’язки мiж рiзними шарами знiмку комп’ютерної томографiї шляхом використання двонаправленої рекурентної нейронної мережi, на входi якої використовують високорiвневi ознаки сформованi за допомогою двовимiрної згорткової нейронної мережi. Високорiвневi ознаки будуються для кожного шару знiмку пацiєнта. За результатами експериментiв така архiтектура нейронної мережi змогла досягти значення AUC ROC на рiвнi 83%, що трохи нижче у порiвнянi з системами тривимiрних згорткових нейронних мереж, що показують значення AUC ROC на рiвнi 90-95%. Однак, отриманi результати є найвищими результатами для рекурентних нейронних мереж, що застосовуються для побудови систем комп’ютерної дiагностики раку легенiв. Також, запропонована архiтектура має вищу швидкодiю, що досягається шляхом використання операцiї двовимiрної згортки замiсть операцiї тривимiрної згортки, вимоги якої до обчислювальної потужностi та пам’ятi ростуть квадратично з розмiром вхiдних даних, а не кубiчно. Для ефективного навчання комбiнованої структури згорткової рекурентної нейронної мережi був запропонований механiзм м’якої уваги, що надав можливiсть нейроннiй мережi отримати iнформацiю про локацiю пухлини пiд час навчання. Згiдно проведених експериментiв, такий пiдхiд допомiг покращити показники метрики AUC ROC бiльш нiж на 8%. Практичне значення отриманих результатiв полягає в розширенi та удосконаленi iснуючих методiв побудови систем комп’ютерної дiагностики. Запропонована комбiнована структура згорткової нейронної мережi та двонаправленої рекурентної мережi дозволяє отримати достатньо високу точнiсть роботи системи та пiдвищує точнiсть роботи системи у порiвнянi з використанням звичайних рекурентних нейронних мереж. Також, така система вiдзначається використанням меншої кiлькостi ресурсiв чим у тривимiрної згорткової нейронної мережi. Проведенi експерименти та аналiз iснуючих методiв систем комп’ютерної дiагностики дозволив сформулювати необхiднi вимоги та пiдходи, якi потрiбно використовувати в залежностi вiд прiоритету швидкодiї чи точностi роботи системи. Запропонований механiзм м’якої уваги дозволяє значно пiдвищити ефективнiсть навчання комбiнованих архiтектур згорткових рекурентних нейронних мереж. Результати дисертацiйного дослiдження впроваджено в НДР за темою “Розроблення та дослiдження методiв обробки, розпiзнавання, захисту та зберiгання медичних зображень в розподiлених комп’ютерних системах” за номером держ реєстрацiї 0117U004267 (тема №2021п, код КВНТД I.1 01.05.02). Також, основнi результати роботи викладенi в 6 друкованих наукових роботах, з них двоє статей в наукових фахових виданнях України, 2 опублiковано в iноземних журналах, що iндексується в Googel Scholar та iнших базах даних, 1-а стаття у виданнi, що входить до Web of Science Core Collection та SCOPUS. Також опублiковано одну роботу в тезах доповiдей мiжнародної наукової конференцiї.