Academic literature on the topic 'Швидкість обробки даних'

Розглядаються механізми візуалізації для побудови термінологічних хмар. На прикладі JSON, HTML, CSV, XLSX, XML, TXT наведений перелік типів файлів та ресурсів. Проаналізовано можливості добування та збереження вхідних даних. Проведено дослідження аналогічних систем, на основі якого було обрано два оптимальні типи файлів, а саме CSV та TXT. Виявлено підхід формування списку ключових слів для наукових публікацій або виокремлення провідної тематики різних текстів. Встановлено, що у разі необхідністі обробки великих текстів спільної спрямованості, якими наприклад можуть бути літературні твори, наукові статті, судові вироки тощо, достатнім буде використання малих веб-додатків для побудови тегових хмар. Тегові хмари на основі алгоритму k-середніх здатні досить ефективно виявити ключові поняття, найбільш уживані слова та провідні концепції. При порівнянні між собою форматів CSV та TXT, було підтверджено, що швидкість обробки залежить скоріше від об’єму вхідної інформації, ніж від структури файлу. Звідси, можна стверджувати, що використання одного або іншого формату зумовлено вибором користувача. Проведено аналіз з якого відзначено, що формат CSV потребує верхнього рядка, в якому вказують атрибути. Для більшої коректності подальшого аналізу, атрибути слід вказати і формувати кожний наступний рядок даних строго по черзі. Така незначна особливість структури допомагає досліднику орієнтуватися серед набору текстової інформації, а при подальшій обробці перший рядок можна не враховувати. На відміну від попереднього формату, формат TXT не потребує формування першого рядка атрибутів. Це ускладнює візуальне сприйняття наявної інформації. Не рекомендовано вводити атрибути самостійно, в подальшому при обробці це буде впливати на коректність результатів кластеризації в негативний бік.

Проведено дослідження принципів формування стійкого каналу передачі даних у мережі Інтернет. Розкрито моделі, методи та алгоритми реалізації передачі даних у мережі Інтернет. Описано принципи формування мережі передачі даних. Підкреслено, що такий параметр, як швидкість передачі пакетів даних у мережі Інтернет контролюється потоком даних і одночасно – непрямими вимірами. Зазначено, що особливої проблематики набуває розподіл потоків даних найкоротшими шляхами для здійснення швидкої і якісної передачі масивів даних. Наголошено, що способи передачі даних у мережі Інтернет, які вимагають мінімального часу, або способи з мінімальними перешкодами належать до такого роду проблем, на основі цього, зауважено, що оптимізація тракту повинна здійснюватися за будь-якими технічними та економічними критеріями, а обрані шляхи повинні гарантувати ефективне використання ліній та вершин зв'язку. Обґрунтована необхідність створення та розвитку нових моделей комп’ютерних мереж у зв’язку з появою глобальних мереж, зростанням інформації, що підлягає передачі, її об’ємами та необхідністю підтримки якісної комп'ютерної безпеки. Описано реалізацію методу Дейкстри, Джонсона та Джексона. Математично обґрунтовано кожен з алгоритмів та сформовано низку переваг та недоліків описаних алгоритмів у процесі передачі даних у мережі Інтернет з урахуванням умов передачі, кількості інформації, що передається та каналів, як застосовано для передачі. Наголошено, що застосування розглянутих алгоритмів передачі даних дозволить оптимізувати процес передачі та обробки даних у комп’ютерних мережах, в свою чергу, оптимізована передача та обробка даних значно скоротить час роботи, а також витрати на розробку та підтримку програмних продуктів, зменшення витрат на вдосконалення серверного програмного забезпечення можливо за рахунок інтеграції інформаційних ресурсів у центр обробки даних, за умови здійснення інтеграції, значно знизяться витрати на послуги та передачу даних у мережі Інтернет.

Проведено дослідження принципів формування стійкого каналу передачі даних у мережі Інтернет. Розкрито моделі, методи та алгоритми реалізації передачі даних у мережі Інтернет. Описано принципи формування мережі передачі даних. Підкреслено, що такий параметр, як швидкість передачі пакетів даних у мережі Інтернет контролюється потоком даних і одночасно – непрямими вимірами. Зазначено, що особливої проблематики набуває розподіл потоків даних найкоротшими шляхами для здійснення швидкої і якісної передачі масивів даних. Наголошено, що способи передачі даних у мережі Інтернет, які вимагають мінімального часу, або способи з мінімальними перешкодами належать до такого роду проблем, на основі цього, зауважено, що оптимізація тракту повинна здійснюватися за будь-якими технічними та економічними критеріями, а обрані шляхи повинні гарантувати ефективне використання ліній та вершин зв'язку. Обґрунтована необхідність створення та розвитку нових моделей комп’ютерних мереж у зв’язку з появою глобальних мереж, зростанням інформації, що підлягає передачі, її об’ємами та необхідністю підтримки якісної комп'ютерної безпеки. Описано реалізацію методу Дейкстри, Джонсона та Джексона. Математично обґрунтовано кожен з алгоритмів та сформовано низку переваг та недоліків описаних алгоритмів у процесі передачі даних у мережі Інтернет з урахуванням умов передачі, кількості інформації, що передається та каналів, як застосовано для передачі. Наголошено, що застосування розглянутих алгоритмів передачі даних дозволить оптимізувати процес передачі та обробки даних у комп’ютерних мережах, в свою чергу, оптимізована передача та обробка даних значно скоротить час роботи, а також витрати на розробку та підтримку програмних продуктів, зменшення витрат на вдосконалення серверного програмного забезпечення можливо за рахунок інтеграції інформаційних ресурсів у центр обробки даних, за умови здійснення інтеграції, значно знизяться витрати на послуги та передачу даних у мережі Інтернет.

Розглянуто використання векторних SIMD інструкцій на x86 сумісних процесорах для покращення ефективності обчислення та обробки даних. Застосування векторного набору інструкцій дозволяє збільшити кількість операцій виконуваних за такт, при цьому зменшення розгалужень у алгоритмах позитивно влипає на швидкість виконання програми за рахунок меншого навантаження на модуль передбачення умовних переходів у процесорі. До цього часу існує програмне забезпечення, що виконується на x86 архітектурі процесорних ядер, даний факт не завжди дає змогу використовувати новітні векторні інструкції починаючи з SSE4.1. Головним недоліком попередніх реалізацій векторних наборів інструкцій – це відсутність логічних і арифметичних операцій з деякими типами даних, особливо це спостерігається у операціях з цілими числами. Використання особливості бінарної реалізації цілих чисел зі знаком і без знаку, дозволяє компенсувати відсутність логічних операцій для цих типів даних. Експлуатація вироджених та непрямих властивостей деяких інструкцій допомагає, як компенсувати відсутність арифметичних операцій з необхідними типами даних або операцій для цілих чисел іншої розрядності, так і оптимізувати виконання математичних операцій таких, як знаходження суми, різниці, множення та скалярного добутку. арифметична операція, векторна інструкція, набір інструкцій процесора, операнд константи, оптимізація процесу обробки даних, паралелізм на рівні інструкцій, паралельне обчислення.

При проектуванні технологічних процесів механообробки використовується банк даних, в якому необхідно знайти потрібну інформацію та скомпонувати її в залежності від задачі. При цьому виникає необхідність побудови багаторівневої структури обробки даних. Також необхідно забезпечити швидкий пошук необхідної інформації, яка знаходиться в банку даних. Вирішити цю проблему можна за допомогою асоціативної пам'яті, застосувати яку можна як при пошуку інформації, так і при подальшому збереженні отриманого технологічного процесу. Метою роботи є розробка нейронних мереж асоціативної пам'яті для проектування і зберігання технологічних процесів для високоточних і унікальних деталей. Результати. За допомогою запропонованих нейронних мереж асоціативної пам'яті розроблено технологічний процес для виробництва конкретної деталі. Алгоритм навчання окремих модулів багатошарової мережі являє собою процес визначення навчального набору зображень і побудови матриць вагів зв’язків між вхідним і вихідними шарами нейронів. При використанні асоціативної пам'яті збільшується швидкість роботи з даними за рахунок паралельної обробки інформації. Математичне моделювання технологічного процесу виробництва деталі підтвердило правильність теоретичних положень. Висновки. Розроблені нейронні мережі для проектування і зберігання технологічних процесів для виробництва високоточних деталей.

Запропоновано алгоритм послідовного аналізу варіантів (ПАВ) для вирішення задачі розподілу віртуальних машин по фізичним серверам у центрах обробки даних. Визначено набір елімінуючих тестів і правил алгоритму ПАВ. Приведено результати експериментальних досліджень для задач різної розмірності. Проведено порівняння запропонованого алгоритму з евристичними і генетичним алгоритмами. Оцінено часові витрати роботи алгоритму ПАВ в залежності від розмірності задачі. Дано рекомендації щодо використання алгоритму ПАВ. Для задач, де необхідна висока точність розподілу, краще використовувати алгоритм ПАВ, оскільки він знаходить оптимальне рішення, тоді як евристичні та еволюційні алгоритми дозволяють швидко отримати ефективне рішення. Швидкість роботи евристичних і еволюційних алгоритмів істотно не залежить від розмірності задачі, проте якість їх рішень поступається алгоритму ПАВ.

Актуальність теми дослідження. Нині великою популярністю користуються «розумні пристрої». Такі пристрої зазвичай є певною модернізацією вже звичних речей. У цій статті представлена розробка пристрою «розумний відеореєстратор», що підтримує можливість розпізнавання українських автомобільних номерів. Такий засіб може підвищити рівень захищеності на дорогах, що також є актуальним питанням. Постановка проблеми. У процесі розробки комплексу такого рівня з’являється безліч питань, пов’язаних із його архітектурою та роботою з даними, а саме: які методи та алгоритми використовувати для перетворення даних у потрібний формат, передачі, прийому, консолідації даних та зберігання їх у базі даних. Крім того, необхідно взяти за увагу, що в процесі побудови необхідно враховувати фізичні особливості модулів та їхні можливості з обробки та передачі даних (швидкість роботи процесора, розмір пам’яті). Аналіз останніх досліджень та публікацій. Були розглянуті останні технології у сфері обробки даних (бібліотеки для серіалізації та десеріалізації), алгоритми розпізнавання автомобільних номерів та бази даних із можливістю текстового пошуку. Виділення недослідженої частини загальної проблеми. Побудова архітектури та розробка програмних модулів розумного відеореєстратора, вирішення задачі передачі даних до кластера за умови великої завантаженості та переривчастого інтернет-зв’язку, повнотекстовий та частковий пошук автомобільних номерів у базі даних, алгоритм розпізнавання автомобільних номерів у русі. Постановка задачі. Вибір необхідної комбінації методів та алгоритмів для успішної реалізації інформаційної системи розумного відеореєстратора. Виклад основного матеріалу. Опис основних модулів, з яких складається пристрій розумного відеореєстратора, та з якою метою використовується кожний модуль. Представлена схема роботи системи загалом та описаний алгоритм знаходження автомобільних номерів у режимі реального часу YOLO. Розглянуто основні принципи комунікації між серверами та пристроями. Висновки відповідно до статті. Наданий матеріал надає змогу зрозуміти, яким чином може бути побудований такий пристрій, які проблеми можуть з'явитись та як знайти шляхи їх вирішення.

Для перевірки адекватності математичної моделі руху транспортного засобу за їздовим циклом є потреба в комплексі приладів для реєстрації його параметрів під час руху. В якості таких параметрів колісного трактора з газовим двигуном обрано частоту обертання колінчастого вала, розрідження у впускному колекторі, кут відкриття дросельних заслінок, швидкість руху. Розроблено апаратну частину комплексу: підібрано датчики, вибрано аналого-цифровий перетворювач (АЦП), ноутбук для опрацювання інформації, здійснено підключення датчиків до АЦП, а АЦП до ноутбука. Підібрано програму для моніторингу та запису сигналів датчиків на ноутбук. Розроблено програму для остаточної обробки отриманих даних — перетворення сигналів датчиків у величини досліджуваних параметрів. Комплекс приладів змонтований на колісному тракторі МТЗ-80 з переобладнаним з дизеля газовим двигуном. Здійснено декілька записів вибраних параметрів у дорожніх умовах.

У наш час найбільш точні моделі для розпізнавання об’єктів базуються на двоступеневому підході, популяризованому як R-CNN. На відміну від них, одноступеневі моделі, що застосовуються під час регулярного, детального відбору зразків, можуть бути швидшими та простішими, але вони не досягають точності двоступеневих моделей. Проте з новою функцією втрат, дисбаланс класу, який виникає під час тренування на наборі даних, зникає. Саме тому одноступенева модель має переваги в продуктивності та точності на відміну від двоступеневої. У роботі використано цей дисбаланс класів, щоб переформувати стандартні, перехресні ентропійні втрати таким чином, щоб зменшити їх. В архітектурі RetinaNet[1], функція втрат Focal Loss[1] сфокусовує навчання на наборі даних, які зустрічаються рідше, і запобігає перевантаженню моделі під час тренувань. Архітектура RetinaNet була протестована на наборі даних CROHME[4], що був розширений за допомогою алгоритму Data Augmentation[9] для збільшення частоти входження певних елементів формул. Також було порівняно дві бібліотеки машинного навчання: TensorFlow та Torch. Отримані результати показують, що коли модель тренується з фокальною втратою, RetinaNet показує дуже добрі результати та має хорошу швидкість виконання. Окрім того, отриману модель було інтегровано в веб-застосунок на основі мікросервісної архітектури. Основними веб-фреймворками було використано NodeJs для серверної частини та VueJs для рівня подання. Для роботи з базами даних ми використовуємо MongoDB. Розгортання програми відбувається за допомогою хмарної служби AWS на основі Lambda-функцій, що дає змогу виокремити процеси навчання, обробки, візуалізації та контролювати ресурси серверу окремо для кожного процесу.

Однією з важливих умов під час експлуатації вузлового обладнання комп’ютерних мереж є забезпечення високого значення коефіцієнту корисного завантаження обладнання [1]. Цей коефіцієнт визначають як відношення середньої швидкості передачі даних крізь вузлове обладнання до пропускної здатності даного обладнання. Проблема збільшення коефіцієнту корисного завантаження вузлового обладнання полягає в тому, що магістральний трафік має пульсуючий характер, який відносять до самоподібних (фрактальних) випадкових процесів [2]. Таким процесам притаманні непередбачувані зміни та неможливість прогнозування. Через це існуючі технології обробки протокольних блоків даних в умовах пульсуючого трафіку не в змозі забезпечити високий рівень завантаження вузлового обладнання (ВО), зокрема магістральних мультиплексорів, комутаторів, маршрутизаторів, шлюзів, серверів тощо.Ступінь завантаження ВО поточним трафіком на проміжку часу τ визначається коефіцієнтом завантаження КВО – відношенням досягнутої на цьому проміжку швидкості (інтенсивності) обробки пакетів ІВО до пропускної спроможності цього обладнання СВО,тобтоКВО=ІВО/СВО. По мірі підвищення завантаження ВО на часових ділянках сплесків трафіку ймовірність перенавантаження зростає, що може призвести до лавиноподібного збільшення втрат пакетів і, отже, до перевищення нормативного значення коефіцієнту втрат пакетів, що неприпустимо [3]. Тому доводиться суттєво обмежувати середню швидкість обробки пакетів на портах ВО у порівнянні із його пропускною здатністю з тим, щоб уникнути втрат пакетів під час пульсацій трафіку. Робота пакетної мережі може вважатися лише тоді ефективною, коли кожен її ресурс є суттєво завантаженим, але не перенавантаженим. Оскільки обладнання сучасних пакетних мереж є високо вартісним, то міркування економічної доцільності змушують прагнути до найбільш повного використання ресурсів такого обладнання, щоб обробляти якомога більші обсяги даних у перерахунку на одиницю вартості задіяного обладнання, і при цьому в умовах пульсацій трафіка намагатися не втратити якість обробки інформації. Тобто, необхідно намагатися забезпечити оптимальний компроміс між рівнем завантаження ресурсів мережі і якістю надання послуг.З метою підвищення завантаженості вузлового обладнання (ВО) визначено можливі шляхи удосконалення технології адаптивного управління розподілом ресурсів пакетних мереж [4; 5]. У роботі [5]пропонується ефективний спосіб збільшення корисного завантаження ВО за рахунок використання механізму адаптивного перерозподілу пропускної спроможності пакетного комутатора між його портами у реальному часі. Проте цей спосіб не враховує статистичні характеристики реального пакетного трафіку, що суттєво зменшує ефективність застосування вищеназваного способу на практиці. Окрім того, не враховується негативний вплив системних помилок, пов’язаних із адаптивністю та дискретністю процесу перерозподілу. З метою підвищення ефективності адаптивного управління авторами проведено дослідження статистичних характеристик реального пакетного трафіку і запропоновано способи перетворення нестаціонарних потоків трафіку у квазістаціонарні відрізки, що надає можливість зменшення системних помилок адаптивного управління. При цьому потік пакетів розподіляється на декілька черг з різним пріоритетом [5]. Для визначення пріоритету аналізуються тільки заголовки пакетів, що забезпечує мінімальну затримку під час аналізу.