Добірка наукової літератури з теми ""Великі масиви даних""

У статті наведений аналітичний огляд інформаційних технологій, що використовуються в юридичній діяльності. Інформаційні системи, які формують практичні підстави для використання інформаційних технологій, автором класифіковані в такий спосіб: інформаційно-довідкові системи; інформаційно-логічні системи; автоматизовані робочі місця; експертні системи. Автором доведено, що використання цих технологій дозволяє вирішувати масу поточних проблем, прискорювати збір і пошук інформації, зберігати великі масиви даних, проводити експертизи і аналіз статистичної інформації, підвищуючи, тим самим, ефективність юридичного процесу.

Для відновлення ресурсу деталей машин широко застосовують різні способи наплавлення їхніх поверхонь. Встановлено, що найкращі результати показують способи вібродугового наплавлення через слабкий нагрів відновлюваної деталі, незначну величину термічного впливу, внаслідок чого хімічний склад та фізико-механічні властивості деталі майже не змінюються. З'ясовано, що застосуванням електродного дроту з відповідним вмістом вуглецю можна отримати всі види загартованих структур наплавленого металу, який характеризується достатньо високою твердістю та зносостійкістю. Виявлено, що структура та твердість наплавленого металу виходить неоднорідною, на межі оплавлення деяких валиків трапляються пори й мікротріщини. Великі внутрішні розтягувальні напруження, що виникають у покритті, й дефекти структури, у вигляді пор та мікротріщин, різко знижують втомну міцність деталей, що працюють за знакозмінних навантажень. Тому у роботі наведено результати досліджень, які показують залежність втомної міцності і твердості поверхні деталі під час наплавлення зразків електродом з різним вмістом вуглецю без охолоджувальної рідини (в атмосфері повітря та вуглекислого газу) і з охолоджувальною рідиною за подачі її на наплавлюваний зразок на різних режимах. Ці залежності відображають зв'язок між досліджуваними змінними і можуть бути подані у вигляді математичних моделей, які бувають лінійними та нелінійними. Для отримання моделі за певним алгоритмом опрацьовано масиви вхідних і вихідних даних, для яких методом найменших квадратів визначено числові значення коефіцієнтів моделі. Опрацювання емпіричних залежностей твердості поверхні наплавлених зразків від вмісту вуглецю в електроді дало змогу побудувати лінійну модель, а для втомної міцності деталі від вмісту вуглецю – параболічну. Розраховані коефіцієнти кореляції підтвердили достовірний характер отриманих моделей для визначення впливу вмісту вуглецю в електроді на твердість поверхні та втомну міцність деталі.

У статті досліджено принципи формування масиву даних на базі нейронної мережі у сфері Інтернету речей. Зазначається, що Інтернет речей генерує величезну кількість неструктурованих даних, і аналітика великих даних є ключовим аспектом. Концепція Інтернет речей являє особливу цінність для розвитку бізнесу завдяки даним, які можуть бути отримані від підключених елементів. Сформовано дві теореми, які сприяють роз- криттю принципу обміну знаннями, які можна взяти із взаємодії людина–комп’ютер. Наголошено, що присвоєння імені суб’єкту господарювання повинне включати у себе слова мовою людини, а не абревіатури, коди або двійкове відображення, що можуть інтерпре- тувати лише машини, незважаючи на те, що останні технічно ефективніші з точки зору простору для зберігання даних або пропускної здатності мережі. Розкрито принципи теорії верифікаціонізму та описано шляхи адаптації структури масиву даних. Схема- тично запропоновано структуру машинних знань, яку представлено щодо формування масиву даних на базі нейронної мережі у сфері Інтернету речей. Описана структура має три бази знань: гіпотезу, онтологію та параметри. Підкреслено, що запропонована інтелектуальна база масиву даних може бути застосована до різних галузей Інтернету речей щодо автономного обміну та накопичення знань, а платформа, своєю чергою, може використовувати онтології для інтеграції пристроїв IoT з інтелектуальними системами. Описано переваги та недоліки моделі. Так, зазначено, що перевагою цієї моделі є те, що датчики Інтернету речей у хмарі можуть навчатися у віддалених датчиків у фоновому режимі, незалежно від затримки мережі, що підключається до віддаленої програми, а недоліком є те, що затримка мережі може стати вузьким місцем, коли потреба у при- йнятті рішень у режимі реального часу зростає. Наголошено, що реалізація описаного алгоритму формування масиву даних, а також відповідної інтелектуальної середи доз- волить зменшити поріг входження розробників у сферу рішення задач за допомогою ней- ронної мережі.

Складністю інформаційно-аналітичної діяльності експертів у певній отраслі за різними тематичними профілями, є проблема накопичення великих обсягів наукової і науково-технічної продукції, що являє собою пасивну розподілену систему знань. Ця проблема великих даних (Big Data), потребує новітніх рішень, що забезпечують інтегративне використання експертами наративу описів усіх документів, які характеризують наукову та науково-технічну продукцію. Одним із механізмів опанування змістовності мережевих документів є наративний дискурс, що реалізується на основі процедур аналізу, структуризації, класифікації, крітеріалізаці, синтезу й оцінювання тощо. Однак первинним для цих процедур є формування таксономій, що відображають семантичну змістовність кожного документу. Тоді представлення мережевих документів у форматі наративного дискурсу реалізує підтримку процесів взаємодії експертів. Такий підхід із забезпечення інформаційно-аналітичної діяльності експертів створює умови оптимального оброблення ними великої кількості різнопланових інформаційних масивів. На основі таксономічного представлення великих даних для них реалізується компонентна архітектура сервісів підтримки прийняття відповідних рішень.

Розглянуто нові концептуальні підходи до використання великих масивів даних у соціогуманітарних дослідженнях і проаналізовано сучасні напрями їх використання у науково-дослідній діяльності гуманітарного спрямування. Обґрунтовано актуальність використання технологій Big Data в історичних наукових дослідженнях і використання таких технологій для побудови науково-дослідних кластерів з метою ефективного дослідження й опрацювання масових історичних джерел, а саме зведених статистичних даних. Опрацьовано зведені статистичні дані індустріального розвитку, перепису населення та експертного оцінювання соціо-економічного і демографічного розвитку Сполучених Штатів Америки та Української Радянської Соціалістичної Республіки у 1970-1980-х роках. Апробовано кількісний метод для отримання консолідованої статистики, що дасть змогу виявити особливості статистичної сукупності загалом і в окремих її компонентах, показати регулярність досліджуваних соціально-економічних явищ процесів. Оцінено вагомість консолідованих статистичних даних, опублікованих на вітчизняних та іноземних ресурсах для їх подальшого використання в історичних дослідженнях. Подано у форматі таблиці, змодельовано кліометричні характеристики консолідованих статистичних даних розвитку Сполучених Штатів Америки та України у 1970-х та у 1980-х роках. Обґрунтовано, що кліометричні характеристики консолідованої статистики розвитку Сполучених Штатів Америки та Української Радянської Соціалістичної Республіки у 1970-1980-х роках, які отримують за допомогою моделювання даних економічного розвитку, даних перепису населення, даних національного доходу та зайнятості, експертного оцінювання, можна використати як нове джерело для вивчення актуального історичного періоду.

У статті зосереджено увагу на поняттях «цифровізація» та «глобалізація». Визначено основні тенденції глобалізаційних процесів, їх позитивні та негативні наслідки для суспільства. Охарактеризовано блоки цифровізаційної екосистеми. Визначено, що ті масиви даних, які наразі існують є двигуном інновацій та виступають новими, альтернативними джерелами статистичних даних для офіційної статистики. З метою усвідомлення ієрархії даних, розроблено організацію великих даних. З’ясовано, що незважаючи на усі ризики, глобалізація відкриває нові можливості для розвитку освіти, науки, медицини. розвиваючись в глобалізаційних умовах, країнам необхідно діяти консолідовано, з метою подолання глобальних проблем. Таким чином, наукова розвідка сучасного стану цифровізаційних процесів в умовах глобалізації 4.0, стали основною метою написання цієї роботи.

Сучасні бортові цифрові системи автоматичного управління, контролю і діагностики дозволяють вимірювати велику кількість параметрів технологічного обладнання повітряного судна і отримувати масиви такої інформації в цифровому вигляді. Прогнозування особливих випадків в польоті є основним завданням параметричного діагностування технологічного обладнання повітряного судна. Однак існуючі діагностичні моделі, що базуються на відповідних математичних моделях, не повною мірою використовують масиви діагностичних даних та не завжди дозволяють прогнозувати виникнення відмов технологічного обладнання, що робить задачу прогнозування особливих випадків в польоті актуальною. Мета статті полягає в розробці методу прогнозування особливих випадків в польоті на основі виявлення аномальних послідовностей в діагностичних даних технологічного обладнання повітряного судна; з метою підвищення безпеки польотів. Результати дослідження. У роботі запропоновано метод прогнозування особливих випадків в польоті на основі завчасного виявлення аномальних послідовностей в діагностичних даних технологічного обладнання повітряного судна. Для завчасного виявлення аномальних послідовностей пропонується використовувати гібридну стохастичну модель та метод виявлення аномальних послідовностей в діагностичних даних технологічного обладнання повітряного судна. Вхідна тренувальна інформація надається у вигляді векторів спостережень за розвитком процесу в яких особливо виділене кінцеве значення, в якості результату, що характеризують факти приналежності вектору до класу нормальних або аномальних темпоральних патернів. Висновок. Застосування запропонованого методу дозволить впровадити прогностичний принцип управління безпекою польотів, а також отримати економічний ефект від запобігання простою повітряного судна через раптової відмови обладнання

У статті зазначається, що питанням прогнозування в Держприкордонслужбі України приділялося дуже велика увага з боку науковців. В основному досліджувалось прогнозування показників оперативно-службової діяльності, виникнення конфліктних ситуацій, безперебійності роботи пунктів пропуску, регіональної стабільності тощо. На сьогодні, нерозглянутими залишаються питання здійснення прогнозів для застосування сил (засобів) органів охорони кордону в районі проведення операції Об’єднаних сил. Разом з тим, методики, що пропонувалися потребують відповідних спеціальних навичок посадових осіб органів військового управління у зв’язку зі складністю математичного апарату, а також обов’язкового застосування автоматизації процесу обробки масивів даних. Крім того, методики потребують великої вибірки даних за часом, що не завжди є можливим. Виходячи з практики, на сьогодні визначення напрямків та характеру можливої злочинної або протиправної діяльності в основному здійснюється на підставі практичного досвіду офіцерів, інформації про скоєні правопорушення за попередні роки або результативні випадки організації служби. Разом із тим, не повною мірою враховуються тенденції розвитку обстановки, не прогнозуються зміни окремих факторів, які можуть вплинути на стан протиправної діяльності на державному кордоні, в тому числі – в районі проведення операції Об’єднаних сил з його динамічним розвитком.

Військовий конфлікт на Сході України, значне збільшення кількості терористичних актів ставлять перед хірургами велику кількість питань щодо організації та надання медичної допомоги постраждалим із мінно-вибуховою травмою (МВТ). Під час проведення антитерористичної операції (АТО) на Сході України спостерігається значне збільшення постраждалих із мінно-вибуховою травмою. Причому більша частина ранньої госпітальної допомоги надається в умовах цивільних лікарень, що розташовані поруч із місцями проведення бойових дій.У порядку проведення дослідження нами було вивчено та піддано аналізу 101 випадок МВТ, при яких надавалась спеціалізована хірургічна допомога в умовах Артемівської ЦРЛ Донецької області за період січень — лютий 2015 року під час АТО на Сході України. Аналіз даних проводився відповідно до критеріїв та вимог доказової медицини методами непараметричної статистики за допомогою комп’ютерних технологій.Вивчено клініко-епідеміологічну структуру постраждалих із МВТ. Клініко-епідеміологічна характеристика масиву постраждалих із МВТ вказує на те, що внаслідок сучасних бойових дій страждають особи найбільш працездатного та життєво активного віку, переважно чоловіки. Співвідношення постраждалих військовослужбовців та цивільних осіб становить 3 : 1, що певною мірою суперечить даним світових досліджень та потребує подальшої верифікації.Опосередкована оцінка тяжкості пошкоджень та відповіді організму постраждалого на виникнення пошкодження вказує на досить тяжку травму та потребує подальших досліджень.

Об’єкт дослідження – дистанційні курси з аналізу даних «Кількісні та дослідницькі методи для лідерів» (Університет Франкліна Пірса, США), «Статистичні методи аналізу в бізнесі» (Луганський національний університет імені Тараса Шевченка, Україна), «Великі дані в освіті» (Колумбійський університет, США). Кожен курс розглядався як педагогічна система. Предметом дослідження виступали структурні компоненти цих систем. Метою статті була презентація результатів порівняльного аналізу трьох конкретних дистанційних курсів крізь призму досвіду учасника. Головним методом дослідження виступав case study. У результаті аналізу встановлено спільні риси та відмінності між трьома курсами, їхні недоліки та переваги. Зроблено висновок про корисність для викладачів ВНЗ брати участь у відкритих дистанційних курсах у якості студентів, що дає змогу не лише підвищити рівень своєї кваліфікації, а й по-іншому подивитися на свій курс, підсилити його переваги й подолати недоліки.

При виявленні асоціативних правил на основі заданих транзакційних баз даних, як правило, виконується пошук часто зустрічаючихся послідовностей, з яких на наступних етапах формуються правила [1, 2]. Використання такого підходу не дозволяє виявляти нові знання про досліджувані об’єкти та процеси у вигляді правил, які не є такими, що часто зустрічаються у заданих базах транзакцій, проте є цікавими для даної предметної області.

Обсяг магістерської дисертації складає 85 сторінок, зокрема 20 ілюстрації, 14 таблицю, 6 формул та … джерело інформації. Актуальність теми. За думкою експертів, більше ніж 85% даних формуються у неструктурованій формі. До неструктурованих даних можна віднести текст, мультимедія (відео, голос, зображення), тобто це дані, які не мають заздалегідь визначеної структури, або не організована у встановленому порядку. Це все призводить до труднощів аналізу, особливо у випадку використання традиційного програмного забезпечення, яке призначене для роботи зі структурованими даними. Повсякчас, у неструктурованих даних можливо знайти більш цікаві та потенційно більш ціні експертні оцінки, висновки. Особливо, якщо брати до уваги бурхливих розвиток гаджетів і IoT, які формують величезні потоки трафіку, які необхідно обробити. Тема магістерської дисертації є актуальною, тому що незважаючи на бурхливий розвиток Big Data, технологія тільки на початку свого розвитку і з кожним роком кількість питань тільки збільшується. В обробці неструктурованих даних, перш за все зацікавлений бізнес, тому що з розвитком соціальних мереж кількість актуального неструктурованого контенту зростає і обробляти інформацію вручну не під силу. Саме тому перед дослідниками постає питання автоматичної обробки та класифікації тексту. Метою випускної кваліфікованої роботи є дослідження алгоритмів аналізу неструктурованої та слабо структурованої інформації та створення класифікатору тексту за допомогою середовища моделювання SPSS Modeler. Відповідно до поставленої мети були сформульовані такі завдання: – розглянути основні алгоритми аналізу неструктурованої та слабоструктурованої інформації; – виробити критерії оцінки алгоритмів неструктурованої та слабоструктурованої інформації; – розробити класифікатор тексту на основі процесу CRISP-DM; – реалізувати класифікатор тексту у середовищі моделювання SPSS Modeler; – протестувати роботу моделі. Об’єктом дослідження є неструктуровані дані. Предметом дослідження є алгоритми аналізу неструктурованої та слабоструктурованої інформаціх. Методи дослідження. В ході роботи були використані: методи теоретичного дослідження, емпіричний підхід, методи логічного проектування та процедурної алгоритмізації, прийоми динамічного програмування. Апробація результатів дисертації. Основні результати дисертаційного дослідження оприлюднено в ході міжнародної науково-практичної конференції «Наука та освіта: ключові питання сучасності», 2018. (м. Чернігів) Публікації. Основні положення і результати дисертаційної роботи знайшли своє відображення на Міжнародній науково-практичній конференції «Наука та освіта: ключові питання сучасності», 2018. (м. Чернігів).
The work contains 85 pages, 20 illustrations, 14 table, 6 formulas and … sources. Relevance of the topic. According to experts, more than 85% of data is formed in an unstructured form. Unstructured data can include text, multimedia (video, voice, image), it is data that does not have a predefined structure, or not organized in the prescribed manner. All this leads to difficulty in analysis, especially when using traditional software that is designed to work with structured data. At all times, it is possible to find more interesting and potentially more valuable expert assessments, conclusions in unstructured data. Especially we see the rapid development of gadgets and IoT that form huge traffic flows that need to be processed. The topic of the master's thesis is relevant, because despite the rapid development of Big Data, technology is only at the beginning of its development, and with each passing year the number of questions only increases. In the processing of unstructured data, primarily interested in business, as the development of social networks the amount of actual unstructured content increases and handled manual information is not feasible. That is why researchers are faced with the question of automatic processing and classification of the text. The purpose of the thesis is to develop the algorithms for analysis of unstructured and poorly structured information and to create a text classifier using the SPSS Modeler simulation environment. In accordance with the stated goal, the following objectives were formulated: - to consider the basic algorithms of analysis of unstructured and poorly structured data; - to develop criteria for evaluating algorithms of unstructured and poorly structured data; - develop a text classifier based on the CRISP-DM process; - to implement the text classifier in the SPSS Modeler simulation environment; - test the model work. The object of research is an unstructured data. The subject of research are algorithms for analysis of unstructured and poorly structured data. Research methods. In the course of the work were used: methods of theoretical research, empirical approach, methods of logical design and procedural algorithmization, techniques of dynamic programming. Approbation of the results of the dissertation. The main results of the dissertation research was published during the iternational scientific and practical conference "Science and education: key issues of our time", 2018. (Chernihiv)

Розглядаються основні поняття алгоритмізації, а також техніка застосування у програмуванні базових алгоритмічних структур і структур даних. Розв’язана велика кількість різноманітних задач з оброблення масивів і файлів, сортування та пошуку, створення і оброблення графічних зображень тощо. Усі розв’язання супроводжуються детальними коментарями, описом алгоритмів та застосованої техніки програмування.

Розглядаються основні поняття алгоритмізації, а також техніка застосування у програмуванні базових алгоритмічних структур і структур даних. Розв’язана велика кількість різноманітних задач з оброблення масивів і файлів, сортування та пошуку, створення і оброблення графічних зображень тощо. Усі розв’язання супроводжуються детальними коментарями, описом алгоритмів та застосованої техніки програмування.