Academic literature on the topic 'Класифікатор тексту'

Здійснено порівняльний аналіз різних методів оброблення природної мови для виявлення симптомів ментального захворювання. Розглянуто принцип роботи та ефективність моделей оцінювання семантичної когерентності тексту (моделі тан-генційності та некогерентності) для класифікації текстів здорових і хворих осіб. У роботі зазначається залежність точності моделей некогерентності та тангенційності від моделі семантичного представлення фрагментів тексту; підкреслюється недолік використання такої моделі в зв'язку з відсутністю можливості враховувати регулярне повторення фраз. Проаналізовано переваги та недоліки застосування комбінації моделей семантичного представлення елементів тексту для врахування постійних повторів його фрагментів. Обґрунтовано доцільність застосування лінгвістичних характеристик тексту пацієнта для підвищення точності класифікаторів виявлення симптомів захворювань та розрізнення їх типу. Розглянуто можливість аналізу частоти появи неоднозначних займенників у тексті для підвищення точності класифікації даних. Проаналізовано особливості застосування різних методів виявлення симптомів ментального захворювання для текстів англійською, німецькою та російською мовами. Запропоновано здійснювати оцінювання зв'язності тексту за допомогою графу узгодженості словосполучень. Здійснено експериментальну перевірку ефективності пропонованого підходу для побудови класифікаційної моделі порівняно з іншими характеристиками тексту.

У роботі представлено порівняльне оцінювання ефективності систем автоматизованої комп'ютерної діагностики, розроблених на основі двох класифікаторів — каскаду дескрипторів Хаара та AdaBoost, під час лапароскопічної діагностики апендициту та метастазів печінки. Для навчання використовували зображення, а також гама-кореговані та конвертовані у HSV шкалу кольори RGB зображення, отримані під час лапароскопічної діагностики. Дескриптори, що використовували для навчання класифікатора AdaBoost отримували за допомогою методу локального бінарного патерну, який включав інформаційні показники кольору, а також показники текстури. Після завершення навчання проводили тест оцінювання ефективності діагностики при якому використовували зображення, що не застосовували для навчання. Найбільш високим показник повноти (recall) був при тестовій діагностиці апендициту за допомогою навчання класифікатора AdaBoost дескрипторами модифікованого кольору локального бінарного патерну, отриманими з RGB зображень, — 0,745, а під час діагностики метастазів печінки — 0,902. Також коректність діагностики (accuracy) склала 74,4 % під час діагностики апендициту та 89,3 % при діагностиці метастазів печінки. Коректність діагностики із застосуванням класифікатора Хаара була найбільш високою за умови діагностики метастазів печінки та склала 0,672 при використанні RGB зображень, 0,723 — при навчанні HSV зображеннями. Діагностика із застосуванням класифікатора Хаара є менш ефективною порівняно з діагностикою, що здійснювалась із застосуванням класифікатора AdaBoost, навчання якого здійснювали із застосуванням дескрипторів модифікованого кольору локального бінарного патерну.

В даній статті розглядається підхід навчання з вчителем (supervised learning) для вирішення проблеми, пов’язаної з Natural Language Processing (NLP), а саме сентимент-аналіз текстових даних. В ході роботи було реалізовано 4 різних класифікатори на одній й тій самій виборці даних та порівняно їх ефективність за часом навчання, тестування та точності класифікації. В результаті роботи було визначено, що найкращий метод серед реалізованих – 3D CNN модель, яка використовує BERT токенізатор для попередньої обробки тексту. Саме завдяки використанню BERT для препроцессінгу тексту цей метод показав кращі результати.

Реферат: Проблематика. При інтенсивному моніторингу профілактичного огляду пацієнтів у медичних закладах первинної ланки найбільш зручно по ультразвуковим зображенням діагностувати лише наявність чи відсутність фіброзних змін печінки. Подібний підхід є найбільш ефективним при профілактиці захворювань, при цьому алгоритм класифікації визначає лише наявність патології, а уточнення діагнозу, ступінь ураження вже знайденої патології може визначатися в подальшому у спеціалізованих медичних закладах висококваліфікованим лікарем діагностом. Однак, розробка автоматизованих систем підтримки рішень при диференціації клінічно схожих захворювань завжди є актуальною задачею в медичній практиці. Однією з таких задач є диференціація аутоімунного гепатиту і хвороби Вільсона. Мета. Розробити діагностичний алгоритм класифікації аутоімунного гепатиту і хвороби Вільсона за результатами аналізу ультразвукових зображень печінки. Методика реалізації. Дані для виконання дослідження надано Інститутом ядерної медицини та променевої діагностики НАМН України – 9 знімків УЗД стосуються хворих на аутоімунній гепатит, 20 знімків пацієнтів з хворобою Вільсона. Об’єктами класифікації є області інтересу, що було виділено на ультразвукових зображеннях медичними фахівцями. Для збільшення об’єму навчальної вибірки та підвищення якості системи класифікації застосовано аугментацію одержаних зображень. В результаті для навчання (навчальна вибірка) та верифікації (тестова вибірка) було одержано загалом 600 областей інтересу (150 для аутоімунного гепатиту і 450 для хвороби Вільсона). Виходячі з припущення, що відмінності у характеристиках зображень класів знаходяться у відмінностях їх текстур в роботі розраховані текстурні ознаки на основі частот зустрічаємості патернів бінарного шаблону відтінків сірого. Для побудови класифікатора застовано алгоритм Random Forest. Результати дослідження. Загальна вибірка з 600 областей інтересу була розбита випадковим чином на навчальну (80%) і тестову (20%). Одержано модель класифікатору алгоритмом Random Forest з показниками якості класифікації на навчальній вибірці: точність - 100%, чутливість - 1, специфічність - 1, F-score -1, та на тестовій вибірці: точність 90,8% , чутливість 0.767 , специфічність – 0,956, F-score – 0,873. Висновки. Запропоновано ефективний підхід для вирішення задачі автоматичної диференційної діагностики аутоімунного гепатиту та хвороби Вільсона. На основі текстурних ознак та алгоритму випадкового лісу була отримана високоякісна модель класифікації Ключові слова – диференціальна діагностика, аутоімунний гепатит, хвороба Вільсона, ультразвукова діагностика, аугментація зображень, патерни, локальні бінарні шаблони, Random Forest.

Зі збільшенням обсягів інформації, отриманої у результаті роботи інформаційних систем і процесів, у ході діяльності підприємств або іншої діяльності людства, обробка й аналіз даних стають значно складними. Для первинної обробки інформації з метою її структурування, виділення характерних ознак, узагальнення, сортування тощо застосовують Data Mining або інтелектуальний аналіз даних. Важливим складником Data Mining є обробка текстової інформації. Такого роду задачі опираються на поняття класифікації й кластеризації. Як показали отримані результати, наївний баєсівський класифікатор достатньо ефективно може використовуватися для розробки програмного забезпечення з обробки мовної інформації. Проте, у подальшому бажано як параметри розглядати також ланцюжки з декількох слів. У самому алгоритмі для запобігання втрат точності на довгих текстах потрібно використовувати замість перемножування ймовірностей (частот) додавання їх логарифмів.

Реферат – Проблематика. Визначення структури ураження легеневої тканини хворих на COVID-19 по типовим ознакам «матове скло», «бруківка», «консолідація» є важливою складовою обґрунтування діагнозу та лікувальних заходів на поточний момент терапії пацієнта. Найбільш поширеним засобом визначення стадії та типу ураження дихальних шляхів є аналіз рентген зображень та комп’ютерної томографії (КТ). Оскільки особливістю вірусної пневмонії SARS-CoV-2 є швидкий перехід від легких стадій до важких з розвитком цитокинового шторму і розповсюдження вірусу в артеріальний кровотік, то надійний та швидкий аналіз КТ зображень легень пацієнта є запорукою прийняття своєчасних лікувальних заходів. В даній роботі розглядаються можливості застосування засобів штучного інтелекту для вирішення задачі класифікації уражень легень при захворюванні COVID-19. Мета. Метою роботи є створення класифікаційної системи типу уражень легень при COVID-19 по типовим ознакам «матове скло», «бруківка», «консолідація» на основі згорткової нейронної мережі CNN та текстурних ознак, джерелом яких є матриці суміжності GLCM при різних значеннях кутів напрямку аналізу. Методика реалізації. Оскільки основою відмінностей різних типів ураження легеневої тканини на КТ зображеннях є відмінності у їх текстурних характеристиках, то в основу простору ознак класифікаційної системи закладемо елементи гістограм на основі матриць суміжності областей інтересу КТ зображень легень. У зв’язку з високими якостями перетворення простору ознак до потреб задач класифікації згортковими шарами мережі, засобом побудови класифікатора пропонується застосувати згорткову нейронну мережу. Для навчання системи ДУ “«Національний інститут фтизіатрії і пульмонології ім. Ф.Г. Яновського НАМН України» було надано 794 КТ зрізів від 20 пацієнтів із масками зображень, на яких виділені 4714 зони інтересу з означеними типами уражень легень. Була побудована модель семишарової згорткової нейронної мережі: із чотирма згортковими шарами, після перших трьох з яких йдуть агрегувальні шари. На вхід згорткової нейронної мережі одночасно подаються текстурні ознаки двох GLCM, які були отримані із сегментованих КТ зображень під різними кутами. В якості функції втрат була використана NLLLOSS. Шар активації Softmax визначає результат задачі класифікації. Результати дослідження. Побудована згорткова нейронна мережа на тестовій вибірці з 472 зображень має загальну точність класифікації у 83%, на класі «матове скло» - 90,1%, «бруківки» - 70,5%, «консолідація» – 54,2% та на робочій вибірці з 4714 ROI зображень має загальну точність у 98%, на класі «матове скло» - 98,6%, «бруківка» - 96,8%, «консолідація» – 95,4% Висновки. В роботі одержано модель з високою ефективністю класифікації типу уражень легень при COVID-19. Класифікатор побудовано на основі згорткової нейронної мережі та ознак текстури, джерелом яких є матриці суміжності областей інтересу КТ зображень легень. Ключові слова – GLCM, матриця суміжності, область інтересу, комп’ютерна томографія, COVID-19, згорткова нейронна мережа, ураження легень, матове скло, бруківка, консолідація.

У статті розглядаються методи та засоби реалізації діалогової системи з використанням сучасних технологій обробки природної мови, що дозволить відвідувачам віртуальних художніх виставок отримувати інформацію про виставку, автора та роботи у формі інтерактивної бесіди, яка є побудована за правилами освітня функція в системі «Виставка», яку сучасні веб-сервіси віртуальних виставок не підтримують. Проаналізовано архітектури діалогових систем, класифікатори текстів, корпуси українських текстів, засоби реалізації діалогових систем для веб-додатків на JavaScriptта Python. Виходячи з їх можливостей, недоліків та переваг було обрано інструменти для розробки віртуального довідника. Розглянуто існуючі системи штучного інтелекту для екскурсій, а саме роботи «Promobot» та «Pepper», а також існуючі діалогові системи «Siri» та «Alice». Виявлено та обґрунтовано необхідність створення модуля «Довідник»у системі «Виставка». Розроблено архітектуру діалогової системи для проведення віртуальних екскурсій у співпраці з веб-сервісом художніх виставок. Результатом стала система діалогу «Exi», яка була інтегрована у веб-сервіс дляорганізації та проведення художніх виставок «Xolst». Експериментально доведено, що віртуальний гід реалізує необхідний функціонал для проведення екскурсій, підвищує інтерес користувачів до виставки, покращує сприйняття творів мистецтва та створює позитивне емоційне середовище. Бібл. 29, іл. 5.

Структура та обсяг роботи. Пояснювальна записка дипломного проекту складається з п’яти розділів, містить 26 рисунків, 7 таблиць, 1 додаток, 17 джерел. Дипломний проект присвячений автоматизації процесів проведення аналізу тональності текстів, застосовуючи різні алгоритми та порівняння ефективності цих алгоритмів. В даному проекті описуються методи визначення тональності текстів та способи їх застосування при розробці інформаційної технології визначення тональності текстів. У розділі інформаційного забезпечення були наведені набори вхідних та вихідних даних, а також описано їх формат, структуру та призначення у програмному продукті. Розділ математичного забезпечення, насамперед, присвячений опису змістовної та математичної постановок задачі, а також ключових методів розв’язання поставленої задачі. Крім цього, наводиться обґрунтування вибору даних методів для їх реалізації у програмному продукті. У розділі програмного забезпечення наводяться засоби розробки, які були використані у даному програмному продукті, а також описується принцип роботи веб-застосування у вигляді різних діаграм. У технологічному розділі наводиться керівництво користувачу при користуванні даною програмою, а також описуються результати випробувань.
Structure and scope of work. The explanatory note of the diploma project consists of five sections, contains 26 figures, 7 tables, 1 appendix, 17 sources. The diploma project is devoted to automation of processes of the sentimental analysis of texts, applying various algorithms, and comparison of efficiency of these algorithms. This project describes the methods of sentimental analysis of texts and principles of their application in the development of information technology for text sentimental analysis. The information support section provided sets of input and output data, as well as described their format, structure and purpose in the software product. The section of mathematical support is primarily devoted to the description of meaningful and mathematical formulations of the problem, as well as key methods for solving the problem. In addition, the rationale for the choice of these methods for their implementation in the software product. The software section lists the development tools that have been used in this software product, as well as how the web application works in the form of various diagrams. The technological section provides user guidance for using this program, as well as describes the test results.

Обсяг магістерської дисертації складає 85 сторінок, зокрема 20 ілюстрації, 14 таблицю, 6 формул та … джерело інформації. Актуальність теми. За думкою експертів, більше ніж 85% даних формуються у неструктурованій формі. До неструктурованих даних можна віднести текст, мультимедія (відео, голос, зображення), тобто це дані, які не мають заздалегідь визначеної структури, або не організована у встановленому порядку. Це все призводить до труднощів аналізу, особливо у випадку використання традиційного програмного забезпечення, яке призначене для роботи зі структурованими даними. Повсякчас, у неструктурованих даних можливо знайти більш цікаві та потенційно більш ціні експертні оцінки, висновки. Особливо, якщо брати до уваги бурхливих розвиток гаджетів і IoT, які формують величезні потоки трафіку, які необхідно обробити. Тема магістерської дисертації є актуальною, тому що незважаючи на бурхливий розвиток Big Data, технологія тільки на початку свого розвитку і з кожним роком кількість питань тільки збільшується. В обробці неструктурованих даних, перш за все зацікавлений бізнес, тому що з розвитком соціальних мереж кількість актуального неструктурованого контенту зростає і обробляти інформацію вручну не під силу. Саме тому перед дослідниками постає питання автоматичної обробки та класифікації тексту. Метою випускної кваліфікованої роботи є дослідження алгоритмів аналізу неструктурованої та слабо структурованої інформації та створення класифікатору тексту за допомогою середовища моделювання SPSS Modeler. Відповідно до поставленої мети були сформульовані такі завдання: – розглянути основні алгоритми аналізу неструктурованої та слабоструктурованої інформації; – виробити критерії оцінки алгоритмів неструктурованої та слабоструктурованої інформації; – розробити класифікатор тексту на основі процесу CRISP-DM; – реалізувати класифікатор тексту у середовищі моделювання SPSS Modeler; – протестувати роботу моделі. Об’єктом дослідження є неструктуровані дані. Предметом дослідження є алгоритми аналізу неструктурованої та слабоструктурованої інформаціх. Методи дослідження. В ході роботи були використані: методи теоретичного дослідження, емпіричний підхід, методи логічного проектування та процедурної алгоритмізації, прийоми динамічного програмування. Апробація результатів дисертації. Основні результати дисертаційного дослідження оприлюднено в ході міжнародної науково-практичної конференції «Наука та освіта: ключові питання сучасності», 2018. (м. Чернігів) Публікації. Основні положення і результати дисертаційної роботи знайшли своє відображення на Міжнародній науково-практичній конференції «Наука та освіта: ключові питання сучасності», 2018. (м. Чернігів).
The work contains 85 pages, 20 illustrations, 14 table, 6 formulas and … sources. Relevance of the topic. According to experts, more than 85% of data is formed in an unstructured form. Unstructured data can include text, multimedia (video, voice, image), it is data that does not have a predefined structure, or not organized in the prescribed manner. All this leads to difficulty in analysis, especially when using traditional software that is designed to work with structured data. At all times, it is possible to find more interesting and potentially more valuable expert assessments, conclusions in unstructured data. Especially we see the rapid development of gadgets and IoT that form huge traffic flows that need to be processed. The topic of the master's thesis is relevant, because despite the rapid development of Big Data, technology is only at the beginning of its development, and with each passing year the number of questions only increases. In the processing of unstructured data, primarily interested in business, as the development of social networks the amount of actual unstructured content increases and handled manual information is not feasible. That is why researchers are faced with the question of automatic processing and classification of the text. The purpose of the thesis is to develop the algorithms for analysis of unstructured and poorly structured information and to create a text classifier using the SPSS Modeler simulation environment. In accordance with the stated goal, the following objectives were formulated: - to consider the basic algorithms of analysis of unstructured and poorly structured data; - to develop criteria for evaluating algorithms of unstructured and poorly structured data; - develop a text classifier based on the CRISP-DM process; - to implement the text classifier in the SPSS Modeler simulation environment; - test the model work. The object of research is an unstructured data. The subject of research are algorithms for analysis of unstructured and poorly structured data. Research methods. In the course of the work were used: methods of theoretical research, empirical approach, methods of logical design and procedural algorithmization, techniques of dynamic programming. Approbation of the results of the dissertation. The main results of the dissertation research was published during the iternational scientific and practical conference "Science and education: key issues of our time", 2018. (Chernihiv)

Тhe main tasks and possible application areas of author of a document determining problem are investigated; the choice of the classification model and the Python software environment for practical implementation of the method of the document authorship identification is substantiated. Tests of the implemented naive Bayes classification model of for real data were carried out. The basic criteria of model accuracy for different size of feature vector space were compared, the influence of different methods of text documents normalization on accuracy for classification problems was analyzed.
В роботі досліджено основні завдання та можливі сфери застосування задачі визначення авторства деякого документу, обґрунтовано вибір моделі класифікації та програмного середовища Python для практичної реалізації методу визначення автора документу. Проведено тестування імплементованої класифікаційної моделі наївного Байєса для реальних даних, здійснено порівняння основних показників точності моделі для різного розміру простору ознак, проведено аналіз впливу на точність різних методів нормування текстових документів для задач класифікації.
ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ, СИМВОЛІВ, ОДИНИЦЬ, СКОРОЧЕНЬ І ТЕРМІНІВ 11 ВСТУП 12 1 ФОРМАЛЬНІ МЕТОДИ АНАЛІЗУ ДАНИХ, НА ЯКИХ БАЗУЄТЬСЯ ВИЗНАЧЕННЯ АВТОРСТВА 14 1.1 Основні завдання та застосування науки про визначення авторства 14 1.2 Історія виникнення науки стилеметрії 15 1.3 Класифікація методів дослідження стилю написання текстів 17 1.4 Штучний інтелект 18 1.4.1 Нейронна мережа 20 1.4.2 Пошук та оптимізація 20 1.4.3 Логіка 21 1.4.4 Теорія управління 22 1.5 Машинне навчання 23 1.6 Класифікація 25 1.6.1 Метод k найближчих сусідів 25 1.6.2 Класифікатор наївного Байєса 27 1.6.3 Дерева рішень 30 1.6.4 Метод опорних векторів (SVM) 32 1.7 Висновки до першого розділу 34 2 ОСОБЛИВОСТІ ПОБУДОВИ ТА ОЦІНКИ ЯКОСТІ КЛАСИФІКАЦІЙНИХ МОДЕЛЕЙ ТЕКСТОВИХ ДОКУМЕНТІВ 35 2.1 Мульти-класифікація 35 2.2 Представлення текстових документів для аналізу 36 2.3 Зупинка слів (stopwords) 38 2.4 Стемінг (stemming) 39 2.5 Лематизація (Lemmatization) 42 2.6 Використання корисної інформації для зменшення розмірності ознак 43 2.7 Представлення текстових документів: побудова моделі векторного простору 44 2.8 Лексичні методи вилучення ключових слів 46 2.9 Нормалізація ваг 47 2.10 Вимірювання відстані між двома векторами 49 2.11 Оцінка текстового класифікатора 50 2.12 Висновки до розділу 2 52 3 ПРАКТИЧНА РЕАЛІЗАЦІЯ МЕТОДУ ІДЕНТИФІКАЦІЇ АВТОРА 53 3.1 Набір даних 53 3.2 Вибір програмного середовища 54 3.2.1 Бібліотека Scikit-learn 57 3.2.2 Бібліотека Pandas 59 3.2.3 Бібліотека NLTK 61 3.3 Підготовка середовища 61 3.4 Завантаження даних 63 3.5 Очищення та нормалізація даних 67 3.5.1 Скорочення простору атрибутів 69 3.5.2 Лематизація 70 3.5.3 Стеммінг 71 3.6 Побудова моделі класифікації 72 3.7 Оцінка точності методу класифікації 73 3.8 Висновки до розділу 3 74 4 СПЕЦІАЛЬНА ЧАСТИНА 75 4.1 Основні типи даних в Python 75 4.1.1 Булевий тип (bool) 75 4.1.2 Числа 76 4.1.3 Екрановані послідовності 77 4.1.4 Список (list) 77 4.1.5 Кортеж (tuple) 78 4.1.6 Словник (dict) 78 4.2 Структури даних Pandas 79 4.2.1 Структура даних Series 79 4.2.2 Структура даних DataFrame 80 4.3 Висновки до розділу 4 81 5 ОБҐРУНТУВАННЯ ЕКОНОМІЧНОЇ ЕФЕКТИВНОСТІ 82 5.1 Розрахунок норм часу на виконання науково-дослідної роботи 82 5.2 Визначення витрат на оплату праці та відрахувань на соціальні заходи 83 5.3 Розрахунок матеріальних витрат 86 5.4 Розрахунок витрат на електроенергію 87 5.5 Розрахунок суми амортизаційних відрахувань 88 5.6 Обчислення накладних витрат 89 5.7 Складання кошторису витрат та визначення собівартості науково-дослідницької роботи 89 5.8 Розрахунок ціни науково-дослідної роботи 90 5.9 Визначення економічної ефективності і терміну окупності капітальних вкладень 91 5.10 Висновки до розділу 5 92 6 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 93 6.1 Охорона праці 93 6.2 Безпека в надзвичайних ситуаціях 96 6.2.1 Фактори виробничого середовища і їх вплив на життєдіяльність людини 96 6.2.2 Підвищення стійкості роботи промислового підприємства в умовах впливу ЕМІ ядерних вибухів 99 6.3 Висновки до розділу 6 101 7 ЕКОЛОГІЯ 102 7.1 Зниження енергоємності та енергозбереження 102 7.2 Індексний метод в екології 104 7.3 Висновки до розділу 7 108 ВИСНОВКИ 109 БІБЛІОГРАФІЯ 110 ДОДАТКИ