Дисертації з теми "Класифікації даних"

Дисертаційна робота присвячена дослідженню особливостей логічних та алгоритмічних дерев класифікації, деяких питань їх застосування в задачах інтелектуального аналізу даних, розпізнавання образів шляхом створення ефективних моделей класифікації та аналізу великих масивів даних, універсальних систем розпізнавання дискретних об’єктів. Проаналізовано та досліджено деревоподібні моделі класифікації різних типів. Розроблено комплексний метод побудови деревоподібних моделей класифікації, який базується на поетапній апроксимації масиву початкових даних НВ набором відібраних та оцінених незалежних алгоритмів розпізнавання. Розроблено метод Т – опорних множин, який полягає у відборі, фіксації набору ознак разом зі своїми значеннями – класифікаторів в структурі ЛДК. Розроблено моделі та методи побудови структур АДК двох типів, де отримані дерева класифікації складаються з різних алгоритмів та методів розпізнавання й в свою чергу представляють собою нові алгоритми, схеми класифікації. Розроблено модель та метод побудови обмежених структур АДК, які спрямовані на добудову лише тих шляхів, ярусів конструкції дерева класифікації, де є найбільша кількість помилок усіх типів класифікації. Розроблено методи знаходження подібності конструкцій логічних дерев в задачах мінімізації їх структур. Здійснено числову оцінку впливу процедури обрізки побудованого ЛДК – перестановки ярусів, рівнів, блоків структури ЛДК в конструкції регулярного логічного дерева на його загальну складність. Здійснено оцінку збіжності процедури побудови моделей дерев класифікації, запропонованих в дослідженні структур АДК для умов слабкого та сильного розділення класів початкової НВ. Present thesis is devoted to studying the specific features of both logical and algorithmic classification trees, some issues of their use in the problems of intelligence data analysis and image recognition by creating the efficient models of classification and analysis of large and super-large data arrays and universal systems of discrete object recognition. Tree-like classification models of various types are analyzed and studied. The concept of constructing tree-like classification models based on a step-by-step approximation of an array of initial TS data with a set of selected and evaluated independent recognition algorithms is proposed. The concept of T – reference sets is proposed, which consists in selecting and fixing a set of features together with their classifier values in the LCT structure. Models and methods for constructing ACT structures of two types are developed, where the resulting classification trees consist of various algorithms and recognition methods, which in turn represent new algorithms and classification schemes. A model and method for constructing bounded ACT structures are developed, which are aimed at completing only those paths, tiers of the classification tree structure where there are the largest number of errors of all classification types. Methods for finding the similarity of logical tree structures in problems of minimizing their structures are developed. A numerical estimate of the impact of the pruning procedure of the constructed LCT – rearrangement of tiers, levels, and blocks of the LCT structure in the construction of a regular logical tree on its overall complexity is given. The convergence of the procedure for constructing classification tree models proposed in the study of ACT structures for conditions of weak and strong separation of initial TS classes is estimated. Диссертационная работа посвящена исследованию особенностей логических и алгоритмических деревьев классификации, некоторых вопросов их применения в задачах интеллектуального анализа данных, распознавания образов путем создания эффективных моделей классификации и анализа больших массивов данных, универсальных систем распознавания дискретных объектов. В работе исследована и решена актуальная научно-прикладная проблема развития теории анализа и синтеза деревьев решений, разработки моделей, методов, прикладного инструментария интеллектуального анализа данных на основе логических и алгоритмических деревьев классификации с большей точностью, уменьшенной сложностью моделей и повышенной эффективностью классификации дискретных объектов. Проанализированы и исследованы древовидные модели классификации различных типов. Предложен комплексный метод построения древовидных моделей классификации, который базируется на поэтапной аппроксимации массива начальных данных набором отобранных и оцененных независимых алгоритмов распознавания. Предложен метод Т – опорных множеств, который заключается в отборе, фиксации набора признаков вместе со своими значениями – классификаторов в структуре ЛДК. Разработаны модели и методы построения структур АДК двух типов, где полученные деревья классификации состоят из различных алгоритмов и методов распознавания и в свою очередь представляют собой новые алгоритмы, схемы классификации. Разработана модель и метод построения ограниченных структур АДК, которые направлены на достройку только тех путей, ярусов конструкции дерева классификации, где есть наибольшее количество ошибок всех типов классификации. Разработаны методы нахождения сходства конструкций логических деревьев в задачах минимизации их структур. Дана числовая оценка влияния процедуры обрезки построенного ЛДК – перестановки ярусов, уровней, блоков структуры ЛДК в конструкции регулярного логического дерева на его общую сложность. Дана оценка сходимости процедуры построения моделей деревьев классификации, предложенных в исследовании структур АДК для условий слабого и сильного разделения классов начальной ОВ. Разработан программный инструментарий построения структур ЛДК/АДК (моделей деревьев классификации различных типов), который позволяет решать широкий спектр разнотипных прикладных задач распознавания образов. По результатам диссертационного исследования проведено экспериментальное моделирование, апробация разработанных моделей и методов на практических задачах, а определения эффективности предложенных в работе методов построения АДК осуществлено на основе интегральных показателей качества моделей.

Актуальність теми. Оскільки розмір цифрової інформації зростає в геометричній прогресії, потрібно витягувати великі обсяги необроблених даних. На сьогоднішній день існує кілька методів налаштування та обробки даних відповідно до наших потреб. Найбільш поширеним методом є використання інтелектуального аналізу даних (Data Mining). Data Mining застосовується для вилучення неявних, дійсних та потенційно корисних знань із великих обсягів необроблених даних. Видобуті знання повинні бути точними, читабельними та легкими для розуміння. Крім того, процес видобутку даних також називають процесом виявлення знань, який використовувався в більшості нових міждисциплінарних областей, таких як бази даних, статистика штучного інтелекту, візуалізація, паралельні обчислення та інші галузі. Одним із нових і надзвичайно потужних алгоритмів, що використовуються в Data Mining, є еволюційні алгоритми та підходи, що базуються на рії, такі як мурашиний алгоритм та оптимізація рою частинок. В даній роботі запропоновано використати для інтелектуального аналізу даних досить нову ідею алгоритма бджолиного рою для широко розповсюдженої задачі класифікації. Мета роботи: покращення результатів класифікації даних в сенсі в точності і сталості за допомогою алгоритму інтелектуального аналізу даних на основі алгоритму бджолиного рою. Об’єктом дослідження є процес інтелектуального аналізу даних для задачі класифікації. Предметом дослідження є використання алгоритму бджолиного рою для інтелектуального аналізу даних. Методи дослідження. Використовуються методи параметричного дослідження евристичних алгоритмів, а також методи порівняльного аналізу для алгоритмів інтелектуального аналізу даних. Наукова новизна одержаних результатів роботи полягає в тому, що після проведеного аналізу існуючих рішень, запропоновано використати алгоритм бджолиного рою для задачі класифікації, точність і сталість якого перевищує показники існуючих класифікаторів. Практичне значення одержаних результатів полягає в тому, що розроблений алгоритм показує кращі результати в сенсі точності і сталості в порівнянні з іншими алгоритмами інтелектуального аналізу даних. Тобто адаптація бджолиного алгоритму може розглядатися як корисне та точне рішення для такої важливої проблеми, як задача класифікації даних. Апробація роботи. Основні положення й результати роботи були представлені та обговорювались на науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2019 (Київ, 2019 р.), а також на науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2020 (Київ, 2020 р.). Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів, висновків та додатків. У вступі надано загальну характеристику роботи, виконано оцінку сучасного стану проблеми, обґрунтовано актуальність напрямку досліджень, сформульовано мету і задачі досліджень, показано наукову новизну отриманих результатів і практичну цінність роботи, наведено відомості про апробацію результатів і їх впровадження. У першому розділі розглянуто алгоритми інтелектуального аналізу даних, які використовуються для задачі класифікації. Обґрунтовано можливість використання евристичних алгоритмів, а саме алгоритму бджолиного рою для цієї задачі. У другому розділі детально розглянуто алгоритм бджолиного рою та принципи його роботи, також описано запропоновану методику його застосування для інтелектуального аналізу даних, а саме для задачі класифікації. У третьому розділі описано розроблений алгоритм та програмний додаток, в якому він реалізований. У четвертому розділі приведена оцінка ефективності запропонованого алгоритм, на основі тестування алгоритму, а також порівняльного аналізу між розробленим алгоритмом та вже існуючими. У висновках представлені результати магістерської дисертації. Робота виконана на 81 аркуші, містить посилання на список використаних літературних джерел з 18 найменувань. У роботі наведено 38 рисунків та 5 додатків.
Actuality of theme. As the size of digital information grows exponentially, large amounts of raw data need to be extracted. To date, there are several methods to customize and process data according to our needs. The most common method is to use Data Mining. Data Mining is used to extract implicit, valid and potentially useful knowledge from large amounts of raw data. The knowledge gained must be accurate, readable and easy to understand. In addition, the data mining process is also called the knowledge discovery process, which has been used in most new interdisciplinary fields, such as databases, artificial intelligence statistics, visualization, parallel computing, and other fields. One of the new and extremely powerful algorithms used in Data Mining is evolutionary algorithms and swarm-based approaches, such as the ant algorithm and particle swarm optimization. In this paper, it is proposed to use a fairly new idea of the swarm of bee swarm algorithm for data mining for a widespread classification problem. Purpose: to develop an algorithm for data mining for the classification problem based on the swarm of bee swarms, which exceeds other common classifiers in terms of accuracy of results and consistency. The object of research is the process of data mining for the classification problem. The subject of the study is the use of a swarm of bee swarms for data mining. Research methods. Methods of parametric research of heuristic algorithms, and also methods of the comparative analysis for algorithms of data mining are used. The scientific novelty of the work is as follows: 1. As a result of the analysis of existing solutions for the classification problem, it is decided to use such metaheuristics as the swarm of bee swarm. 2. The implementation of the bee algorithm for data mining is proposed. The practical value of the results obtained in this work is that the developed algorithm can be used as a classifier for data mining. In addition, the proposed adaptation of the bee algorithm can be considered as a useful and accurate solution to such an important problem as the problem of data classification. Approbation of work. The main provisions and results of the work were presented and discussed at the scientific conference of undergraduates and graduate students "Applied Mathematics and Computing" PMK-2019 (Kyiv, 2019), as well as at the scientific conference of undergraduates and graduate students "Applied Mathematics and Computing" PMK-2020 (Kyiv, 2020). Structure and scope of work. The master's dissertation consists of an introduction, four chapters, conclusions and appendices. The introduction provides a general description of the work, assesses the current state of the problem, substantiates the relevance of research, formulates the purpose and objectives of research, shows the scientific novelty of the results and the practical value of the work, provides information on testing and implementation. The first section discusses the data mining algorithms used for the classification problem. The possibility of using heuristic algorithms, namely the bee swarm algorithm for this problem, is substantiated. The second section discusses in detail the algorithm of the bee swarm and the principles of its operation, also describes the proposed method of its application for data mining, namely for the classification problem. The third section describes the developed algorithm and the software application in which it is implemented. In the fourth section the estimation of efficiency of the offered algorithm, on the basis of testing of algorithm, and also the comparative analysis between the developed algorithm and already different is resulted. The conclusions present the results of the master's dissertation. The work is performed on 89 sheets, contains a link to the list of used literature sources with 18 titles. The paper presents 38 figures and 2 appendices.

Магістерська дисертація: 100 с., 15 рис., 14 табл., 1 додаток, 83 джерела. Зараз одним з основних етапів при дослідженні об’єктів, явищ і процесів різної природи є математичне моделювання і пов’язаний ним комп’ютерний експеримент. Чисельні експерименти дають можливість, як планувати натурний експеримент, так і отримувати нові знання про ті процеси і явища для яких утруднений, або взагалі неможливий натурний експеримент. Велика кількість математичних моделей після виконання відповідних перетворень можуть бути описанні системами лінійних алгебраїчних рівнянь (СЛАР) з розрідженими матрицями. Основною особливістю таких систем є їхні великі порядки і невелика кількість ненульових елементів. Великі порядки СЛАР виникають за рахунок того, що дослідники хочуть отримати якомога достовірніші результати, через це будуються більш деталізовані моделі. Мала кількість ненульових елементів пояснюється особливостями дискретизації моделі. Зокрема, системи рівнянь з розрідженими матрицями виникають у задачах аналізу міцності конструкцій у цивільному та промисловому будівництві, фільтрації, тепло- та масо переносу, тощо. Область застосування методів розв’язування СЛАР з розрідженими матрицями постійно розширюється. Через це виникає інтерес до проблеми побудови ефективних методів розв’язання таких систем, порядки яких перевищую сотні тисяч. Класичні результати, що стосуються розробки методів розв’язання СЛАР з розрідженими матрицями висвітлюються у ряді монографій американських і вітчизняних авторів: А. Джорджа, Дж. Лю, С. Писанецьки, Дж. Голуба, Р. Тюарсона, І.А. Блатова, М.Е. Ексаревської та інших. Також зростають вимоги до обчислювальної техніки, що використовується для проведення комп’ютерного експерименту. Вона повинна забезпечувати достатню швидкодію і мати необхідну кількість ресурсів, щоб результат експерименту можна було отримати за досить невеликий проміжок часу. Зараз на ринку представлені багато різних архітектур комп’ютерів з паралельною організацією обчислень. Найбільш продуктивними є платформи так званої «гібридної» архітектури. Дані системи поєднують у собі MIMD- (multiple instructions – multiple data) та SIMD-архітектури (single instruction – multiple data), а саме у системі з багатоядерними процесорами обчислення прискорюються за рахунок графічного прискорювача. Отже одним з ефективних підходів до розв’язання СЛАР з розрідженими матрицями є побудова паралельних алгоритмів, що враховують особливості архітектури комп’ютера. Основними проблемами розробки ефективних паралельних алгоритмів є: аналіз структури матриці, або приведення її до відповідного вигляду, застосовуючи відповідні алгоритми перетворення; вибір ефективної декомпозиції даних; визначення ефективної кількості процесорних ядер і графічних прискорювачів, що використовуються для обчислень; визначення топології міжпроцесних зв’язків, яка зменшує кількість комунікацій і синхронізацій. Саме для аналізу структури розрідженої матриці використовується нейрона мережа, яка дозволить виділити групи ненульових елементів, які можуть оброблятись незалежно. За результатами аналізу буде будуватись декомпозиція даних та обиратись кількість обчислювальних ядер, що забезпечить найкоротший час розрахунків для конкретної структури матриці. Мета та завдання дослідження. Метою роботи є розробка та дослідження паралельних методів та комп’ютерних алгоритмів для дослідження та розв’язування СЛАР з розрідженими матрицями нерегулярної структури на комп’ютерах MIMD-архітектури та комбінації MIMD- і SIMD-архітектури, апробація алгоритмів при математичному моделюванні у прикладних задачах. До завдань дослідження належать: • розробка та дослідження ітераційних паралельних алгоритмів для СЛАР з розрідженими матрицями нерегулярної структури з наближеними даними; • розробка алгоритмів та програм дослідження достовірності розв’язків, отриманих прямими та ітераційними методами; • апробація алгоритмів для математичного моделювання в прикладних задачах. Об’єкт дослідження – математичні моделі, що описуються СЛАР з розрідженими матрицями нерегулярної структури. Предмет дослідження – паралельні методи та комп’ютерні алгоритми знаходження розв’язку СЛАР з розрідженими матрицями нерегулярної структури. Методи дослідження. У роботі застосовуються методи теорії матриць, лінійної алгебри, теорії графів, функціонального аналізу, теорії похибок, теорія нейронних мереж.
Now one of the main stages in the study of objects, phenomena and processes of different nature is mathematical modeling and related computer experiment. Numerous experiments give an opportunity to plan a full-scale experiment, as well as to get new knowledge about those processes and phenomena for which it is difficult, or in general, impossible to carry out a full-scale experiment. A large number of mathematical models can be described by systems of linear algebraic equations (SLRs) with soldered matrices after performing the corresponding transformations. The main feature of such systems is their large orders and a small number of non-zero elements. Large orders of SLAR arise due to the fact that researchers want to get the most reliable results, which is why more detailed models are being built. The small number of non-zero elements is due to the discretization of the model. In particular, systems of equations with sparse matrices arise in problems of analysis of the strength of structures in civil and industrial construction, filtration, heat and mass transfer, and others like that. Scope of the methods of solving SLR with sparse matrices is constantly expanding. Because of this, there is an interest in the problem of constructing effective methods for solving such systems, whose orders exceed hundreds of thousands. Classical results concerning the development of methods for solving SLRR with rarefied matrices are covered in a series of monographs of American and domestic authors: A. George, J. Liu, S. Pisanetski, J. Golub, R. Tjurson, I. A. Blatova, ME Ekseryrovskaya and others. Also, the requirements for the computer technology used to conduct a computer experiment are growing. It must provide sufficient speed and have the required amount of resources so that the result of the experiment can be obtained over a relatively short period of time. Now in the market there are many different architectures of computers with parallel computing organization. The most productive are the platforms of the so-called "hybrid" architecture. These systems combine MIMD (multiple instructions - multiple data) and SIMD architecture (single instruction - multiple data), in particular, in a multi-core processor system, computations are accelerated by means of a graphical accelerator. Hence, one of the effective approaches to solving SLR with sparse matrices is the construction of parallel algorithms that take into account the peculiarities of computer architecture. The main problems of developing effective parallel algorithms are: analysis of the structure of the matrix, or bringing it to the corresponding form, using appropriate conversion algorithms; choice of effective data decomposition; determining the effective number of processor cores and graphic accelerators used for calculations; definition of the interprocess communication topology, which reduces the number of communications and synchronizations. It is precisely for analyzing the structure of a sparse matrix that a neural network is used which allows the selection of groups of non-zero elements that can be processed independently. The results of the analysis will be based on the decomposition of data and the number of computing cores to be selected, which will provide the shortest settlement time for a particular matrix structure. The purpose and objectives of the study. The purpose of the work is to develop and research parallel methods and computer algorithms for research and solving SLR with sparse matrices of irregular structure on computers of MIMD architecture and MIMD and SIMD architecture combinations, testing of algorithms in mathematical modeling in applied problems. The research tasks include: • development and research of iterative parallel algorithms for SLR with sparse matrices of irregular structure with approximate data; • development of algorithms and programs for investigating the validity of solutions obtained by direct and iterative methods; • Approbation of algorithms for mathematical modeling in applied problems. The object of the study is the mathematical models described by SLAR with sparse matrices of the irregular structure. The subject of the study is parallel methods and computer algorithms for locating the SLR solution with sparse matrices of the irregular structure. Research methods. The paper uses methods of matrix theory, linear algebra, graph theory, functional analysis, error theory, and the theory of neural networks.

Cпроектовано та розроблено класифікатор детектування стану трубопроводів. При цьому задача оцінки стану труб була розв’язана за допомогою підходу аугментації зображень, а сама технологія працює в режимі екзамену. Розроблений алгоритм реалізовано у формі програмного забезпечення, створеного за допомогою інструментального програмного середовища Python 3.0.

Метою роботи є застосування кластеризації науково-технічних даних не тільки для наглядного представлення об’єктів, але і для розпізнавання нових. Метою кластеризації документів є автоматичне виявлення груп семантично схожих документів серед заданої фіксованої множини. Групи формуються тільки на основі попарної схожості описів документів, і ніякі характеристики цих груп не задаються заздалегідь. Для видалення неінформативних слів розглянуто методи: видалення стоп-слів, стеммінг, N-діаграми, приведення регістра. Для виділення ключових слів та класифікації результатів використано наступні методи: словниковий, статистичний та побудований на основі Y-інтерпретації закону Бредфорда, TF-IDF міра, F-міра та метод лакричних шаблонів. Для реалізації системи кластерного аналізу науково-технічних даних обрано високорівневу мову програмування Python, реалізація інтерпретатора 2.7. Даний програмний код читається легше, його багаторазове використання і обслуговування виконується набагато простіше, ніж використання програмного коду на інших мовах.
The aim of the work is to use the clustering of scientific and technical data not only for the visual representation of objects, but also for the recognition of new ones. The purpose of document clustering is to automatically detect groups of semantically similar documents among a given fixed set. Groups are formed only on the basis of pairwise similarity of document descriptions, and no characteristics of these groups are set in advance. Methods for deleting uninformative words are considered: deletion of stop words, stemming, N-diagrams, case reduction. The following methods were used to highlight keywords and classify the results: dictionary, statistical and based on the Y-interpretation of Bradford's law, TF-IDF measure, F-measure and the method of licorice patterns. Python programming language was chosen to implement the system of cluster analysis of scientific and technical data, a high-level, the implementation of the interpreter 2.7. This program code is easier to read, its reuse and maintenance is much easier than using program code in other languages.
Целью работы является применение кластеризации научно-технических данных не только для наглядного представления объектов, но и для распознавания новых. Целью кластеризации документов является автоматическое выявление групп семантически похожих документов среди заданной фиксированной множества. Группы формируются только на основе попарно сходства описаний документов, и никакие характеристики этих групп не задаются заранее. Для удаления неинформативных слов рассмотрены методы: удаление стоп-слов, стемминг, N-диаграммы, приведение регистра. Для выделения ключевых слов и классификации результатов использованы следующие методы: словарный, статистический и построен на основе Y-интерпретации закона Брэдфорда, TF-IDF мера, F-мера и способ лакричным шаблонов. Для реализации системы кластерного анализа научно-технических данных избран высокоуровневый язык программирования Python, реализация интерпретатора 2.7. Данный программный код читается легче, его многократное использование и обслуживание выполняется гораздо проще, чем использование программного кода на других языках.

Для побудови моделей на основі методу класифікації застосовано програмну систему Data Mining бібліотеки Xelopes. Розв’язано дві задачі класифікації. Виконано застосування моделі для нових даних. Показано, що система зручна, її можна використовувати для навчання студентів технологіям Data Mining, а також для розв’язання задач класифікації, які виникають в економіці.
To build a model based on the method of classification used software system Data Mining Library Xelopes. Solved two problems of classification. Completed application model for the new data. It is shown that the system is easy, it can be used to teach students techniques Data Mining, as well as for solving classification problems arising in the economy.

The main purpose of this work is to compare classifiers. Random Forest and XGBoost are two popular machine learning algorithms. In this paper, we looked at how they work, compared their features, and obtained accurate results from their robots.

The main goal of this work is to show the ways to use machine learning algorithms to solve classification tasks. One of the most efficient algorithms is Gradient Boosting (XGB Classier). This is a method which is usually used in competitions because of his speed and opportunity to work with big amount of data.

Дипломна робота: 94 c., 24 рис., 7 табл., 2 додатків, 21 джерело. Предмет дослідження: алгоритми прогнозування інсульту на основі статистичних та структурних моделей. Об’єкт дослідження: відкритий набір медичних даних пацієнтів з веб- платформи Kaggle. Мета дослідження: проаналізувати існуючі моделі прогнозування, розробити власну систему прогнозування інсульту на прикладі медичних даних пацієнтів. Використані моделі: у програмній реалізації було використано модель градієнтного бустингу. Актуальність роботи обумовлена тенденціями глобалізації та діджиталізації, які в свою чергу призводять до зміни образу життя сучасної людини, що викликає потребу у розробці новітніх методів діагностики захворювань, а також вимагає нетривіальних рішень зі зберігання та обробки медичних даних. Отримані результати: побудована система прогнозування інсульту, що може класифікувати ризик виникнення інсульту у пацієнта з прийнятною точністю. У рамках подальшого розвитку дослідження пропонується підвищувати точність отриманих моделей, врахування більшої кількості характеристик стану здоров’я пацієнтів, що можуть бути пов’язані із настанням інсульту.
Thesis: 94 p., 24 fig., 10 tabl., 2 appendices, 21 sources. Subject of research: stroke prediction algorithms based on statistical and structural models. Object of study: a set of patients` medical data from the Kaggle web platform. The purpose of the study: to analyze existing models of prognosis, to develop their own system for predicting stroke on the example of medical data of patients. Models used: gradient boosting model was used in the software implementation. The urgency of the work is due to trends in globalization and digitalization, which in turn lead to changes in the lifestyle of modern man, which necessitates the development of new methods for diagnosing diseases, as well as requires non-trivial solutions for storage and processing of medical data. Results obtained: A stroke prediction system has been developed that can classify the risk of stroke in a patient with acceptable accuracy. As part of the further research, it is proposed to increase the accuracy of the obtained models, taking into account more characteristics of the health status of patients that may be associated with the stroke disease.

Москаленко, Д. М. Підсистема збору та визначення розподільчих рис даних соціальних мереж в системі виявлення кіберзагроз : магістерська робота : 121 «Інженерія програмного забезпечення», ОНП / Д. М. Москаленко ; керівник роботи М. С. Дорош ; НУ «Чернігівська політехніка», кафедра інформаційних технологій і програмної інженерії. – Чернігів, 2021. – 83 с.
Метою даної кваліфікаційної роботи є розробка підсистеми збору та визначення розподільчих рис даних соціальних мереж в системі виявлення кіберзагроз. Об'єктом дослідження є методи та моделі обробки природної мови за допомогою нейронних мереж. Предметом дослідження є методи та моделі збору та визначення особливостей розподілу даних соціальних мереж у системі виявлення кіберзагроз. В роботі проведено аналіз загроз в соціальних мережах спричинених небезпечними повідомленнями, а також аналіз задачі визначення емоційного тону текстових даних у соціальних мережах. Побудована архітектура та визначені методи та моделі обробки природньої мови та автоматизованої класифікації. В результаті чого була розроблена підсистема збору та визначення розподільчих рис даних соціальних мереж в системі виявлення кіберзагроз. Методи дослідження. В основі досліджень лежить архітектура системи збору даних з соціальної мережі Twitter яка використовує методи машинного навчання та штучного інтелекту для обробки та визначення розподільчих рис даних повідомлень користовачів [47]. Реалізація програмного забезпечення виконувалась з використанням мови програмування Python за підтримки бібліотеки програмного забезпечення з відкритим кодом для машинного навчання TensorFlow та Keras. Результати представлені у вигляді таблиць та ілюстрацій, що демонструють правильність вибору методів збору та визначення розподільчих рис даних соціальних мереж в системі виявлення кіберзагроз на прикладі класифікації повідомлень. Результати роботи можуть бути використані для подальшої розробки системи пошуку наприклад загроз від онлайн хижаків, користувачів які попагандують ідеї тероризму чи екстремізму у соціальних мережах або перекваліфікації для пошуку повідомлень іншого характеру.

В магістерській проведенні дослідження впливу короткострокової аренди на стан індустрії рентування житла та проведено порівняння з такими класичними сервісами як готельні послуги. В роботі розроблено та реалізовано аналітичний підхід з використанням засобі машинного навчання по аналізу прогнозованості завантаження приватних житлових сервісів.

В магістерській роботі розроблено рекомендаціну систему пошуку житла та співмешканців в бюджетному сегменті. Така система дозволяє багатьом користувачам уникнути проблем, пов’язаних із дорогим сервісом служб, що падають подібні послуги, та на первинному етапі оцінити можливі ризики та переваги спільного проживання.

Магістерська дисертація: 62 с., 8 рис., 23 табл., 2 дод., 14 джерел. Об'єкт дослідження – набір даних у вигляді музикальних творів як набір характеристик та зміст цих даних. Мета роботи – аналіз інформації про музикальні твори, з використанням засобів інтелектуального аналізу даних задля кластеризації їх по жанрам. В роботі проаналізовано існуючі засоби, які використовуються при аналізі даних, визначено їхні основні переваги та недоліки, запропоновано метод для кластеризації творів. Побудовано архітектуру системи, що проводить задану кластеризацію. Реалізовано запропоновану архітектуру у форматі додатку для веб-інтерфейсу. В подальшому рекомендується покращити цю дипломну роботу, врахувавши більшу кількість характеристик музикальних творів та розширити географію досліджень.
Masters thesis: 62 p., 8 fig., 23 tables, 2 appendices, 14 sources. The object of study is a set of data in the form of musical works as a set of characteristics and content of this data. The purpose of the work is to analyze information about musical works, using data mining tools to cluster them by genre. The paper analyzes the existing tools used in data analysis, identifies their main advantages and disadvantages, and proposes a method for clustering works. The architecture of the system that performs the given clustering is built. The proposed web interface architecture has been implemented. In the future, it is recommended that you improve this diploma thesis by taking into account more characteristics of musical works and expanding the geography of research.

Актуальність теми дослідження. Сучасний широкий інтернет є істотним джерелом даних для використання у наукових та бізнес-дослідженнях. Можливість видобувати актуальні дані часто є ключовою для досягнення необхідних цілей, але сучасні якісні рішення з застосуванням технологій машинного зору та інших можуть бути дорогими до придбання або розробки, тому прості та дешеві як з точки зору розробки та підтримки, так і з точки зору експлуатації рішення є необхідними. Метою дослідження є створення програмного інструментарію екстракції структурованих даних з веб-сторінок новинних ресурсів для подальшої класифікації за достовірністю. Для досягнення поставленої мети було окреслено та виконано наступні завдання: - провести огляд існуючих підходів та програмних аналогів у областях екстракції даних з веб-ресурсів та оцінки якості новин; - позробити та реалізувати алгоритми екстракції, підготовки та класифікації даних; - порівняти результати, отримані розробленим алгоритмом та результатами тренування алгоритмів машинного навчання на даних, видобутих ним з існуючим аналогом та результатами тренування на даних аналогу. Об’єктом дослідження є процес екстракції текстових даних з подальшою обробкою методами машинного навчання. Предметом дослідження є методи та засоби екстракції та аналізу структурованих текстових даних. Наукова новизна одержаних результатів. Було створено простий жадібний алгоритм у якому суміщено процеси пошуку посилань та видобування інформації, доведено доцільність використання простих алгоритмів для збору даних з ресурсів у мережі Інтернет з ціллю використання у тренуванні алгоритмів машинного навчання. Було доведено що як класичні алгоритми навчання здатні досягати результатів, співставним з такими у нейронних мереж, таких як мережі ДКЧП, та показано що такі моделі здатні працювати на двомовному датасеті. Публікації. Матеріали роботи було опубліковано у п’ятій Всеукраїнській науково-практичній конференції молодих вчених та студентів «Інформаційні системи та технології управління» (ІСТУ-2020) «Класифікація новин за достовірністю на основі методів машинного навчання».
Relevance of the research topic. Modern wide internet is a considerable source of data to be used in scientific and business applications. An ability to extract up to date data is frequently crutial for reaching necessary goals, though, modern quality solutions to this problem, which are using computer vision and other technologies, may be finantially demanding to acquire or develop, thus simple and cheap to develop, maintain and use solutions are necessary. The purpose of the study is to create a software instrument aimed at extraction of structured data from news websites for usage in news trustworthiness classification. Following tasks were outlined and implemented to achieve the aforementioned goal: - Outline existing approaches and analogues in areas of data extraction and news classification; - Design and develop extraction, preparation and classification algorhitms; - Compare the results achieved with developed extraction algorhitm and with existing software solution, including comparing machine learning accuracies on both of the extractors. The object of the study is the process of text data extraction with subsequent machine learning analysis. The subjects of the study are methods and tools of extraction and analysis of text data. Scientific novelty of the obtained results. A simple greedy algorithm was created, combining the process of link discovery and data extraction. Expediency of usage of simple web data extraction algorithms for composing machine learning datasets was proven. It was also proven that classical machine learning algorithms can achieve results similar to neural networks such as LSTM. Capabilities of machine learning systems to function efficiently in a bilingual context were also shown. Publications. Materials, related to this study, were published in the All-Ukrainian Scientific and Practical Conference of Young Scientists and Students “Information Systems and Management Technologies” (ISTU-2019) “News trustworthiness classification with machine learning”.

Кваліфікаційна робота присвячена комплексному аналізу структури, вмісту, методів та засобів аналітичного опрацювання глобальних наборів даних про COVID-19. Мета роботи: підвищення рівня поінформованості громадян та медичних працівників щодо COVID-19. В першому розділі кваліфікаційної роботи Проведено аналіз предметної області. Описано джерела даних про COVID-19, подано їх інтегральну характеристику та конвеєрне опрацювання даних. В другому розділі кваліфікаційної роботи описано аналітичне опрацювання даних SARS-CoV-2 на основі відомостей БД Omics. Розглянуто філогенний та мутаційний варіаційний аналіз даних щодо COVID-19. Досліджено аналітичне опрацювання генетичної інформаційї шодо COVID-19. Подано особливості інтерактомного аналізу відомостей щодо COVID-19. Висвітдено аналіз зображень грудної клітки для діагностики та моніторингу COVID-19. Описано аналітичне опрацювання в процесах використання та перепризначення лікарських препаратів для COVID-19. Зокрема, наведено класифікаційну таблицю методів аналітичного опрацювання відомостей щодо COVID-19.
Qualification work is devoted to a comprehensive analysis of the structure, content, methods and tools of analytical processing of global datasets about COVID-19. Purpose: to raise awareness of citizens and health professionals about COVID-19. In the first section of the qualification work the analysis of the subject area is carried out. The sources of data about COVID-19 are described, their integral characteristic and conveyor data processing are given. The second section of the qualification work describes the analytical processing of SARS-CoV-2 data based on information from the Omics database. Phylogenetic and mutational variational analysis of data on COVID-19 are considered. Analytical processing of genetic information according to COVID-19 was investigated. Features of interactive analysis of information on COVID-19 are presented. Analysis of chest images for diagnosis and monitoring of COVID-19 is covered. Analytical processing in the processes of use and reassignment of drugs for COVID-19 is described. In particular, the classification table of methods of analytical processing of information on COVID-19 is given.
ВСТУП 7 1 COVID-19, ДЖЕРЕЛА ДАНИХ ТА ЇХ КОНВЕЄРНЕ ОПРАЦЮВАННЯ 9 1.1 Аналіз предметної області 9 1.2 Джерела даних щодо COVID-19 11 1.2.1 Дані Omics 12 1.2.2 Інтерактомні дані 13 1.2.3 Дані ренгенографічних зображень грудної клітки 14 1.2.4 Епідеміологічні дані 15 1.2.5 Бази даних медичних препаратів 17 1.3 Конвеєрне опрацювання даних щодо COVID-19 18 1.4 Висновок до першого розділу 22 2 КОМПЛЕКСНИЙ МЕТААНАЛІЗ ГЛОБАЛЬНИХ НАБОРІВ ДАНИХ ЩОДО COVID-19 23 2.1 Метааналіз глобальних наборів даних щодо COVID-19 23 2.2 Аналітичне опрацювання даних SARS-CoV-2 Omics 23 2.3 Філогенний та мутаційний варіаційний аналіз даних щодо COVID-19 24 2.4 Аналітичне опрацювання генетичної інформаційї шодо COVID-19 25 2.5 Інтерактомний аналіз відомостей щодо COVID-19 26 2.6 Аналіз зображень грудної клітки для діагностики та моніторингу COVID-19 27 2.7 Аналітичне опрацювання в процесах використання та перепризначення лікарських препаратів для COVID-19 29 2.8 Аналітичне опрацювання метаболічних змін для важких та фатальних випадків COVID-19 32 2.9 Висновок до другого розділу 37 3 БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ХОРОНИ ПРАЦІ 38 3.1 Актуальність безпеки життєдіяльності людини 38 3.2 Долікарська допомога при пораненнях 40 3.3 Висновок до третього розділу 41 ВИСНОВКИ 42 ПЕРЕЛІК ДЖЕРЕЛ 43

Кваліфікаційна робота присвячена розробленню бази даних з веб-інтерфесом для пошуку та систематизації відомостей щодо ліків що використовуються при COVID-19. Метою даної кваліфікаційної роботи є підвищення рівня поінформованості дослідників та медичних працівників щодо ліків від COVID-19. В першому розділі подано аналіз предметної області, виконано постановку завдання проєктування БД ліків для COVID-19, досліджено джерела відомостей щодо ліків від COVID-19, описано мережі взаємодії ліків та генів для пошуку медикаментозних засобів від COVID-19. В другому розділі виконано проєктування структури та архітектури БД для пошуку та систематизації відомостей щодо ліків що використовуються при COVID-19. Подано опис розроблення робочого процесу відбору даних. Проаналізовано синтаксис пошукових запитів у БД. Розглянуто імпорт відомостей та перетворення ідентифікаторів БД. Описано розроблений веб-інтерфейс БД для пошуку та систематизації відомостей щодо ліків що використовуються при COVID-19.
Qualification work is devoted to the development of a database with a web interface for searching and systematizing information on drugs used in COVID-19. The purpose of this qualification work is to increase the level of awareness of researchers and health professionals about drugs from COVID-19. The first section presents an analysis of the subject area, performed the task of designing a database of drugs for COVID-19, investigated sources of information on drugs from COVID-19, described the networks of interaction of drugs and genes to search for drugs from COVID-19. In the second section, the structure and architecture of the database are designed to search for and systematize information on drugs used in COVID-19. A description of the development of the data selection workflow is given. The syntax of search queries in the database is analyzed. Import of information and transformation of database identifiers are considered. The developed web interface of the database for search and systematization of information on drugs used in COVID-19 is described.
ВСТУП 8 1 АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ, ДЖЕРЕЛ ДАНИХ ТА ПОСТАНОВКА ЗАВДАННЯ РОЗРОБЛЕННЯ БД З ВЕБ-ІНТЕРФЕЙСОМ 10 1.1 Аналіз предметної області 10 1.2 Постановка завдання проєктування БД ліків для COVID-19 12 1.3 Джерела відомостей щодо ліків від COVID-19 14 1.4 Мережі взаємодії ліків та генів для пошуку медикаментозних засобів проти COVID-19 16 1.5 Висновок до першого розділу 18 2 ПРОЄКТУВАННЯ ТА ПРАКТИЧНА РЕАЛІЗАЦІЯ БД З ВЕБ-ІНТЕРФЕЙСОМ ДЛЯ ПОШУКУ ТА СИСТЕМАТИЗАЦІЇ ВІДОМОСТЕЙ ЩОДО ЛІКІВ ЩО ВИКОРИСТОВУЮТЬСЯ ПРИ COVID-19 19 2.1 Проєктування структури БД для пошуку та систематизації відомостей щодо ліків що використовуються при COVID-19 19 2.2 Розроблення робочого процесу відбору даних щодо ліків які використовуються при COVID-19 21 2.3 Проєктування архітектури ПЗ БД для пошуку та систематизації відомостей щодо ліків що використовуються при COVID-19 23 2.4 Синтаксис пошукових запитів у БД 26 2.5 Імпорт відомостей та перетворення ідентифікаторів БД 27 2.6 Апаратне та програмне забезпечення БД для пошуку та систематизації відомостей щодо ліків від COVID-19 29 2.7 Веб-інтерфейс БД для пошуку та систематизації відомостей щодо ліків що використовуються при COVID-19 30 2.8 Висновок до другого розділу 35 3 БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ХОРОНИ ПРАЦІ 36 3.1 Працездатність людини – оператора 36 3.2 Санітарно-гігієнічні вимоги до умов праці 38 3.3 Висновок до третього розділу 40 ВИСНОВКИ 41 ПЕРЕЛІК ДЖЕРЕЛ 42