Дисертації з теми "Алгоритм класифікації"

Актуальність теми. Оскільки розмір цифрової інформації зростає в геометричній прогресії, потрібно витягувати великі обсяги необроблених даних. На сьогоднішній день існує кілька методів налаштування та обробки даних відповідно до наших потреб. Найбільш поширеним методом є використання інтелектуального аналізу даних (Data Mining). Data Mining застосовується для вилучення неявних, дійсних та потенційно корисних знань із великих обсягів необроблених даних. Видобуті знання повинні бути точними, читабельними та легкими для розуміння. Крім того, процес видобутку даних також називають процесом виявлення знань, який використовувався в більшості нових міждисциплінарних областей, таких як бази даних, статистика штучного інтелекту, візуалізація, паралельні обчислення та інші галузі. Одним із нових і надзвичайно потужних алгоритмів, що використовуються в Data Mining, є еволюційні алгоритми та підходи, що базуються на рії, такі як мурашиний алгоритм та оптимізація рою частинок. В даній роботі запропоновано використати для інтелектуального аналізу даних досить нову ідею алгоритма бджолиного рою для широко розповсюдженої задачі класифікації. Мета роботи: покращення результатів класифікації даних в сенсі в точності і сталості за допомогою алгоритму інтелектуального аналізу даних на основі алгоритму бджолиного рою. Об’єктом дослідження є процес інтелектуального аналізу даних для задачі класифікації. Предметом дослідження є використання алгоритму бджолиного рою для інтелектуального аналізу даних. Методи дослідження. Використовуються методи параметричного дослідження евристичних алгоритмів, а також методи порівняльного аналізу для алгоритмів інтелектуального аналізу даних. Наукова новизна одержаних результатів роботи полягає в тому, що після проведеного аналізу існуючих рішень, запропоновано використати алгоритм бджолиного рою для задачі класифікації, точність і сталість якого перевищує показники існуючих класифікаторів. Практичне значення одержаних результатів полягає в тому, що розроблений алгоритм показує кращі результати в сенсі точності і сталості в порівнянні з іншими алгоритмами інтелектуального аналізу даних. Тобто адаптація бджолиного алгоритму може розглядатися як корисне та точне рішення для такої важливої проблеми, як задача класифікації даних. Апробація роботи. Основні положення й результати роботи були представлені та обговорювались на науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2019 (Київ, 2019 р.), а також на науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2020 (Київ, 2020 р.). Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів, висновків та додатків. У вступі надано загальну характеристику роботи, виконано оцінку сучасного стану проблеми, обґрунтовано актуальність напрямку досліджень, сформульовано мету і задачі досліджень, показано наукову новизну отриманих результатів і практичну цінність роботи, наведено відомості про апробацію результатів і їх впровадження. У першому розділі розглянуто алгоритми інтелектуального аналізу даних, які використовуються для задачі класифікації. Обґрунтовано можливість використання евристичних алгоритмів, а саме алгоритму бджолиного рою для цієї задачі. У другому розділі детально розглянуто алгоритм бджолиного рою та принципи його роботи, також описано запропоновану методику його застосування для інтелектуального аналізу даних, а саме для задачі класифікації. У третьому розділі описано розроблений алгоритм та програмний додаток, в якому він реалізований. У четвертому розділі приведена оцінка ефективності запропонованого алгоритм, на основі тестування алгоритму, а також порівняльного аналізу між розробленим алгоритмом та вже існуючими. У висновках представлені результати магістерської дисертації. Робота виконана на 81 аркуші, містить посилання на список використаних літературних джерел з 18 найменувань. У роботі наведено 38 рисунків та 5 додатків.
Actuality of theme. As the size of digital information grows exponentially, large amounts of raw data need to be extracted. To date, there are several methods to customize and process data according to our needs. The most common method is to use Data Mining. Data Mining is used to extract implicit, valid and potentially useful knowledge from large amounts of raw data. The knowledge gained must be accurate, readable and easy to understand. In addition, the data mining process is also called the knowledge discovery process, which has been used in most new interdisciplinary fields, such as databases, artificial intelligence statistics, visualization, parallel computing, and other fields. One of the new and extremely powerful algorithms used in Data Mining is evolutionary algorithms and swarm-based approaches, such as the ant algorithm and particle swarm optimization. In this paper, it is proposed to use a fairly new idea of the swarm of bee swarm algorithm for data mining for a widespread classification problem. Purpose: to develop an algorithm for data mining for the classification problem based on the swarm of bee swarms, which exceeds other common classifiers in terms of accuracy of results and consistency. The object of research is the process of data mining for the classification problem. The subject of the study is the use of a swarm of bee swarms for data mining. Research methods. Methods of parametric research of heuristic algorithms, and also methods of the comparative analysis for algorithms of data mining are used. The scientific novelty of the work is as follows: 1. As a result of the analysis of existing solutions for the classification problem, it is decided to use such metaheuristics as the swarm of bee swarm. 2. The implementation of the bee algorithm for data mining is proposed. The practical value of the results obtained in this work is that the developed algorithm can be used as a classifier for data mining. In addition, the proposed adaptation of the bee algorithm can be considered as a useful and accurate solution to such an important problem as the problem of data classification. Approbation of work. The main provisions and results of the work were presented and discussed at the scientific conference of undergraduates and graduate students "Applied Mathematics and Computing" PMK-2019 (Kyiv, 2019), as well as at the scientific conference of undergraduates and graduate students "Applied Mathematics and Computing" PMK-2020 (Kyiv, 2020). Structure and scope of work. The master's dissertation consists of an introduction, four chapters, conclusions and appendices. The introduction provides a general description of the work, assesses the current state of the problem, substantiates the relevance of research, formulates the purpose and objectives of research, shows the scientific novelty of the results and the practical value of the work, provides information on testing and implementation. The first section discusses the data mining algorithms used for the classification problem. The possibility of using heuristic algorithms, namely the bee swarm algorithm for this problem, is substantiated. The second section discusses in detail the algorithm of the bee swarm and the principles of its operation, also describes the proposed method of its application for data mining, namely for the classification problem. The third section describes the developed algorithm and the software application in which it is implemented. In the fourth section the estimation of efficiency of the offered algorithm, on the basis of testing of algorithm, and also the comparative analysis between the developed algorithm and already different is resulted. The conclusions present the results of the master's dissertation. The work is performed on 89 sheets, contains a link to the list of used literature sources with 18 titles. The paper presents 38 figures and 2 appendices.

Побудовано штучну нейронну мережу для класифікації жанрів музичних творів, що навчається з допомогою генетичного алгоритму. Розроблено автоматизовану систему, що реалізує обраний метод. Виконано випробування розробленої системи

Запропоновано інтелектуальну систему прийняття рішення щодо функціонування елементів розумного будинку на основі класифікації видів діяльності людини, яка на відміну від відомих залучає методи машинного навчання, що дозволило підвищити ступінь автоматизації процесів у розумних будинках

Розроблено систему класифікації дефектів в водостічних трубах на основі Rotation forest. Розроблений алгоритм реалізовано у формі програмного забезпечення, написаного на мові програмування Python 3.

В роботі проведено аналітичний огляд сучасних методів побудови класифікаторів. Наведено математичні основи побудови моделей такими методами: метод головних компонент (PCA), дерево прийняття рішення (CART), нейронні мережі прямого поширення(FF NN), наївний баєсів класифікатор (NB), метод опорних векторів (SVM). Побудовано власний алгоритм класифікації даних, що ґрунтується на методі k-найближчих сусідів. Розроблено програмний комплекс, що включає в себе перехресну перевірку, реалізації розглянутих методів та вибір фінального методу використовуючи жадібний алгоритм.

Дисертація містить основну частину на 38 аркушах, 24 ілюстрації. Метою дисертації є аналіз та моделювання алгоритмів розпізнавання емоцій за мовленнєвими сигналами. Об’єктом дослідження є алгоритми розпізнавання емоцій. Предметом дослідження є розпізнавання емоцій за мовленнєвим сигналом. Результатом роботи є: Дослідження принципів дії алгоритмів розпізнавання емоцій; Дослідження акустичних ознак мовленнєвого сигналу; Моделювання та порівняння різних алгоритмів розпізнавання емоцій за мовленнєвим сигналом. Галузь застосування: цифрова обробка акустичних сигналів.
The thesis contains the main part on 38 sheets, 24 illustrations. The purpose of the dissertation is to analyze and simulate the algorithms for recognizing emotions by speech signals. The object of research is the algorithms of emotion recognition. The subject of the study is the recognition of emotions by the speech signal. The result of the work is: Research of the principles of the algorithms of emotional recognition; Investigation of acoustic signs of a speech signal; Simulation and comparison of various algorithms for recognizing emotions by speech signal. Field of application: digital processing of acoustic signals.
Целью диссертации является анализ и моделирование алгоритмов распознавания эмоций по речевыми сигналам. Объектом исследования являются алгоритмы распознавания эмоций. Предметом исследования является распознавание эмоций по речевым сигналом. Результатом работы являются: Исследование принципов действия алгоритмов распознавания эмоций; Исследование акустических признаков речевого сигнала; Моделирование и сравнения различных алгоритмов распознавания эмоций по речевым сигналом. Область применения: цифровая обработка акустических сигналов.

The main goal of this work is to show the ways to use machine learning algorithms to solve classification tasks. One of the most efficient algorithms is Gradient Boosting (XGB Classier). This is a method which is usually used in competitions because of his speed and opportunity to work with big amount of data.

Метою роботи є застосування кластеризації науково-технічних даних не тільки для наглядного представлення об’єктів, але і для розпізнавання нових. Метою кластеризації документів є автоматичне виявлення груп семантично схожих документів серед заданої фіксованої множини. Групи формуються тільки на основі попарної схожості описів документів, і ніякі характеристики цих груп не задаються заздалегідь. Для видалення неінформативних слів розглянуто методи: видалення стоп-слів, стеммінг, N-діаграми, приведення регістра. Для виділення ключових слів та класифікації результатів використано наступні методи: словниковий, статистичний та побудований на основі Y-інтерпретації закону Бредфорда, TF-IDF міра, F-міра та метод лакричних шаблонів. Для реалізації системи кластерного аналізу науково-технічних даних обрано високорівневу мову програмування Python, реалізація інтерпретатора 2.7. Даний програмний код читається легше, його багаторазове використання і обслуговування виконується набагато простіше, ніж використання програмного коду на інших мовах.
The aim of the work is to use the clustering of scientific and technical data not only for the visual representation of objects, but also for the recognition of new ones. The purpose of document clustering is to automatically detect groups of semantically similar documents among a given fixed set. Groups are formed only on the basis of pairwise similarity of document descriptions, and no characteristics of these groups are set in advance. Methods for deleting uninformative words are considered: deletion of stop words, stemming, N-diagrams, case reduction. The following methods were used to highlight keywords and classify the results: dictionary, statistical and based on the Y-interpretation of Bradford's law, TF-IDF measure, F-measure and the method of licorice patterns. Python programming language was chosen to implement the system of cluster analysis of scientific and technical data, a high-level, the implementation of the interpreter 2.7. This program code is easier to read, its reuse and maintenance is much easier than using program code in other languages.
Целью работы является применение кластеризации научно-технических данных не только для наглядного представления объектов, но и для распознавания новых. Целью кластеризации документов является автоматическое выявление групп семантически похожих документов среди заданной фиксированной множества. Группы формируются только на основе попарно сходства описаний документов, и никакие характеристики этих групп не задаются заранее. Для удаления неинформативных слов рассмотрены методы: удаление стоп-слов, стемминг, N-диаграммы, приведение регистра. Для выделения ключевых слов и классификации результатов использованы следующие методы: словарный, статистический и построен на основе Y-интерпретации закона Брэдфорда, TF-IDF мера, F-мера и способ лакричным шаблонов. Для реализации системы кластерного анализа научно-технических данных избран высокоуровневый язык программирования Python, реализация интерпретатора 2.7. Данный программный код читается легче, его многократное использование и обслуживание выполняется гораздо проще, чем использование программного кода на других языках.

Алгоритмы машинного обучения позволяют более эффективно рубрицировать тексты, выделять из них знания, а также решать множество других задач, связанных с обработкой естественного языка. Бустинг – это один из ансамблевых подходов к улучшению моделей машинного обучения, суть которого состоит в том, что базовые модели обучаются последовательно: каждая следующая обучается на ошибках предыдущей. Работа посвящена сравнению двух наиболее популярных алгоритмов бустинга: AdaBoost и градиентного бустинга в задаче классификации научных статей по рубрикам первого уровня УДК. Главное различие этих алгоритмов заключается в методе коррекции весовых коэффициентов и параметров базовых моделей, входящих в их состав.

Работа посвящена сравнению двух наиболее популярных алгоритмов бустинга: AdaBoost и градиентного бустинга в задаче классификации научных статей по рубрикам первого уровня УДК. Главное различие этих алгоритмов заключается в методе коррекции весовых коэффициентов и параметров базовых моделей, входящих в их состав.

У дисертаційній роботі вирішено актуальну науково-прикладну проблему у галузі інструментального забезпечення біоінформатики – розвиток теоретичних засад і нових підходів до удосконалення комп’ютерних систем опрацювання біосигналів на основі широкого використання штучних нейромереж і технологій глибинного навчання. Представлено концепцію трьох системних рівнів комп’ютерного опрацювання біосигналів, що базується на чіткому розмежуванні функцій системних рівнів від методів і засобів, що їх реалізують. Таке розділення сприяє структуризації знань, уможливлює оцінювання ефективності різних методів і вибір кращих проектних рішень із урахуванням специфіки завдань, умов і сценаріїв. Автоматизовано пошук оптимальних значень гіперпараметрів багатошарового нейрокласифікатора шляхом використання простої прогностичної моделі машинного навчання. Це дає змогу на 4 порядки скоротити час пошуку порівняно із повним перебором в просторі можливих значень. Розроблено і апробовано підхід до виявлення і коригування залишкових аномалій в біосигналах, який базується на застосуванні нейромережевих автоенкодерів для нелінійної фільтрації завад, зосереджених в тій самій частині спектру, що й корисний сигнал. Застосування підходу у 5-7 разів зменшує похибку ідентифікації. Результати роботи можуть бути застосовані до різних прикладних задач, у таких сферах як кібербезпека та системи доступу (біометрична ідентифікація), робототехніка (нейромережеві інтерфейси управління) і афективна інформатика (аналіз психоемоційного стану), а також у медицині (діагностика, клінічні дослідження тощо). В диссертационной работе решена актуальная научно-прикладная проблема в области инструментального обеспечения биоинформатики - развитие теоретических основ и новых подходов к совершенствованию компьютерных систем обработки биосигналов на основе широкого использования искусственных нейронных сетей и технологий глубинного обучения. Представлена концепция трех системных уровней компьютерной обработки биосигналов, основанная на четком разграничении функций системных уровней от методов и средств, которые используются для их реализации. Такое разделение способствует структуризации знаний, позволяет оценить эффективность различных методов и выбрать лучшие проектные решения с учетом специфики задач, условий и сценариев. Автоматизирован поиск оптимальных значений гиперпараметров многослойного нейроклассификатора путем использования простой прогностической модели машинного обучения. Это позволяет на 4 порядка сократить время поиска по сравнению с полным перебором в пространстве всех возможных значений. Разработан и апробирован подход к выявлению и коррекции остаточных аномалий в биосигналах, основанный на применении нейросетевых автоэнкодеров для нелинейной фильтрации помех, сосредоточенных в той же части спектра, и полезный сигнал. Применение коррекции аномалий в 5-7 раз уменьшает погрешность идентификации. Результаты работы могут быть применены в различных направлениях, таких как компьютерная безопасность и системы доступа (биометрическая идентификация), робототехника (нейросетевые интерфейсы управления) и аффективная информатика (анализ психоэмоционального состояния), а также в медицине (диагностика, клинические исследования и т.п.). The thesis solves a scientific problem in the field of instrumental support of bioinformatics - the development of theoretical foundations, improvement of methodological, algorithmic, software, and technical basis of the computer systems for processing of biosignals and data based on the extensive use of artificial neural networks and deep learning technologies. Current state and future perspectives of machine learning usage in the computer bioinformatics systems are analyzed in the thesis. It is shown that the heterogeneousness of data and a wide range of bioinformatics tasks influenced the development of specialized solutions for each separate domain or application. This complicates the possibility to compare the effectiveness of certain methods as well as the usage of the best system design variants for the new tasks. A novel framework related to the development of principles for the design of the biosignals computer processing systems involving a combination of machine learning techniques and digital signal processing is presented in the thesis. The expediency of separation of the system levels within the process of biosignals processing is reasoned, and their functions are outlined. Innovativeness of the suggested approach lies in the separation of functions of the lower, middle, and upper levels from methods with the help of which they are realized, as well as from the implementation variants for these methods based on the hardware and software components. The middle system level is significantly invariable both in regards to the task to be solved and to the biosignal type. At the same time, the upper level is specific as to the final application, and the lower level is specific as to the type of biosignal. Distinct outlining of functions for each system level and the inter-level interfaces opens perspectives for information structuring during the analysis of the known decisions, which simplifies the analysis and comparison of the effectiveness of these solutions. The design process of the computer system for the specific tasks gets simplified and potentially quickens due to the possibility of transferring the best results among the related tasks. On the basis of the developed three system levels concept the range of tasks related to machine learning application and biosignals processing on all the system levels was studied and analyzed. A novel method of optimal hyperparameters selection for a multilayer neural network classifier based on the Monte Carlo method and predictive modeling was developed and introduced in the thesis, new algorithms for detection and correction of anomalies in ECG-signals were presented as well. This resulted in reduction of hyperparameters optimization time by 4 orders compared to a grid search approach in the entire hyperspace of possible values. A new approach to the detection and correction of residual anomalies in biosignals was developed and tested. This approach is based on the use of neural network autoencoders for nonlinear filtering of distortions that are located in the same spectral band as the useful signal and its application reduces identification error by 5-7 times. A method of software conditioning of biosignals was developed, which enabled parameters unification of digital records of biosignals from open databases by resampling, rescaling, time normalization, etc. and its application improves the issue of low data volume while deep neural networks training. A comprehensive study of the influence of the variability of ECG signal acquisition systems (different data sets, sampling frequency, recording duration, data volume) on the accuracy of biometric identification was performed. The obtained results proved sufficient stability and reliability of the electrocardiogram as a biometric marker and confirmed the possibility of its real-world application in biometric identification systems. Neural network equalizer was designed for dynamical error correction of bioimpedance sensors, which resulted in expanding the operating frequency band up to 100 times. Functionality was expanded, metrological characteristics were improved and the speed of the digital rheograph was doubled by improving the Howland current pump by compensating the basic bioimpedance with a coded potentiometer (trimmer) and using a direct digital synthesis of orthogonal probing signals. Intelligent processing of vibroarthrography signals based on a combination of machine learning algorithms and wavelet decomposition was developed, which allowed to achieve better accuracy in terms of knee joint disorders analysis. The results of the work can be used in various applications, such as cybersecurity and access systems (biometric identification), robotics (bio-machine control interfaces), and affective informatics (psycho-emotional state analysis), as well as a medical domain (diagnostics, clinical trials).

As one of the excellent learning and classification performance, SVM and ISVM has become a research topic in the field of machine learning and has been applied in many areas, such as face detection and recognition, handwriting automatic identification and automatic text categorization. Face recognition is a challenging computer vision problem. Given a face database, goal of face recognition is to compare the input image class with all the classes and then declare a decision that identifies to whom the input image class belongs to or if it doesn’t belong to the database at all. In this survey, we study face recognition as a pattern classification problem.In this paper, we study the concept of SVM and sophisticated classification techniques for face recognition using the SVM and ISVM along with the advantages and disadvantages. This paper not only provides an up-to-date critical survey of machine learning techniques but also performance analysis of various SVM and ISVM techniques for face recognition are compared.