Littérature scientifique sur le sujet « Reti Neural Artificiali »

- This essay proposes a historical reconstruction in three phases of the relationship between sociology and mathematics: (a) P.F. Lazarfeld's choices regarding theory, methodology and mathematics within the objectivity paradigm; (b) the relationship between mathematics and sociology, from statistic models and artificial societies to social simulation; (c) the new possibilities that Artificial Neural Networks offer sociology.

The soil moisture retention curves (SMRCs) were measured in laboratory conditions. The sand table and pressure extractor method were used to obtain a 9-point SMRCs for undisturbed soil samples taken from 20 cm depth. The data points of the individual retention curves were parameterized using the RETC computer program. For the same soil, the SMRCs were estimated by two models of pedotransfer functions (PTFs). In the first part of the study the Rosetta program with the model of artificial neural network (Schaap et al., 1998) was used. The PTFs derived by Wösten et al. (1998) were used in the second part of the study. The reliability of selected PTFs models were tested on local soils from one site of the South Moravia. The quality of estimated retention curves was evaluated using the coefficient for correlation R between the measured and the estimated soil water content at several pF values and the root mean squared error RMSE. Of the two models of PTFs, which have been tested in the study, Wösten’s model showed better agreement with the measured retention curves (RMSESch = 0.0383 (cm3.cm−3), RMSEW = 0.0264 (cm3.cm−3)).

This paper presents PyramidNet tool as a fast and easy way to develop Modular and Hierarchic Neural Network-based Systems. This tool facilitates the fast emergence of autonomous behaviors in agents because it uses a hierarchic and modular control methodology of heterogeneous learning modules: the pyramid. Using the graphical resources of PyramidNet the user is able to specify a behavior system even having little understanding of artificial neural networks. Experimental tests have shown that a very significant speedup is attained in the development of modular and hierarchic neural network-based systems by using this tool.

During the first semesters of Computer Engineering the amount of human tutors is insufficient: the students/tutors ratio is very high and there is a great difference in the acquired knowledge and backgrounds of the students. The main idea of this paper is to describe a system that could emulate the human tutor and provide to the student with a degree of flexibility for the selection of the most adequate tutorial type. This could be a feasible solution to the stated problem. But a tutorial system should not only emulate the human tutor but besides it should be designed from an epistemological conception of what teaching Basic Programming means specially in an Engineering course due to the profile and identity of the future engineer. The stated solution implement a series of artificial neural networks to determine if there is a relationship between the given initial population of students learning predilections and the different tutoring types. A series of experiences were carried out to validate the current model.

ABSTRACT Ground-motion prediction models (GMPMs) have been developed to estimate seismic intensity considering earthquake magnitude, source-to-site distance, site condition, and so on. This study proposes GMPMs to predict 5% damped pseudospectral acceleration (PSA) for 27 periods ranging from 0.01 to 10 s in Korea, based on three machine-learning techniques (i.e., artificial neural network [ANN], random forest [RF], and gradient boosting [GB]). We use 1189 ground motions recorded at 50 surface stations during the 77 earthquakes with a local magnitude (ML) greater than 3.0, including the Gyeongju and Pohang earthquakes with ML of 5.8 and 5.4, respectively. We compare the performances of the three machine-learning-based models and the classical regression-based model in terms of the coefficient of determination (R2), root mean square error (RMSE), mean absolute error (MAE), standard deviation of residuals, and between-event and within-event residuals. The GB-based model shows the best performance. In addition, we analyze the working process of the GB-based model using variable importance and partial dependence (PD) plots. Among the five independent variables (ML, epicentral distance [Repi], average shear-wave velocity of the upper 30 m [VS30], focal depth, and slope angle) used in this study, ML and Repi are the most influential variables and show strong correlations with PSAs. We apply the GB-based model to three recent earthquakes larger than ML 3.0, and the model accurately predicts the PSAs at various stations. We also generate maps of estimated PSA (PSAest) values for the four periods (T = 0.01, 0.1, 1, and 3 s) for the scenario earthquake with an ML of 5.0. We provide a method for training the GB-based model using the Python library, which can enhance the ground-motion prediction not only in Korea but also worldwide, and an executable version of the validated GB-based model.

Molte delle tecnologie impiegate nei moderni sistemi di ausilio alla navigazione terrestre, risalgono a circa un quarto di secolo. Generalmente, i principali sistemi in uso negli apparati per la navigazione terrestre, risultano essere i Sistemi di Posizionamento Globale (GPS) ed i Sistemi di Navigazione Inerziale (INS). Tali apparati tecnologici, necessitano di componenti fondamentali di qualità più o meno spinta che ne determina costi di mercato progressivamente crescenti, in grado di soddisfare le più diverse applicazioni di navigazione, passando da quella veicolare terrestre, sino a quella aerospaziale, ma includendo anche applicazione di handling o gestione di flotte veicolari. Negli ultimi anni, i sistemi di navigazione hanno visto applicazioni su larga scala, come sistemi di ausilio alla navigazione terrestre, in particolare con l’impiego del sistema GPS. Per ovviare agli inconvenienti che esso presenta, ultimamente si sono sviluppati sistemi integrati low-cost per la navigazione terrestre con applicazioni su larga scala, tra i quali si distingue, per rilevanti aspetti tecnici ed economici, il sistema integrato INS/GPS. Per ovviare alla bassa qualità dei sensori impiegati, si è dovuto ricorrere all’impiego di modelli matematici in grado di correggere le risposte dei sensori. Da qui, negli anni, uno dei maggiori strumenti di utilizzo si è dimostrato essere il filtro di Kalman nel data fusion INS/GPS; nonostante esso presenti diverse limitazioni. La necessità della correzione dell’INS è legata sia all’ottenimento di una risposta più affidabile nei brevi percorsi rispetto al GPS, sia alla generazione di un data base ove vengano raccolte tutta una serie di informazioni tra le caratteristiche cinematiche, geometriche ed ambientali necessarie, qual’ora venisse ad essere assente o di scarsa qualità il segnale GPS. A tale scopo, si cerca di rendere intelligente il sistema di navigazione: Il filtro di Kalman ha fatto scuola negli anni passati ed ha indirizzato la ricerca verso l’impiego di sistemi intelligenti, quali ad esempio la logica fuzzy, gl algoritmi genetici o le reti neurali. Quest’ultime sono in grado di rendere i sistemi integrati INS/GPS dei sistemi intelligenti, cioè capaci di prendere delle decisioni autonome nella correzione dei dati, a fronte di capacità di apprendimento. Ciò che qui si è perseguito è stato l’impiego delle Reti Neurali Artificiali, al fine di sopperire alla sola risposta del sistema INS qualora si verificasse l’outage del GPS. In tali situazioni, a causa delle inevitabili derive causate dagli effetti del random walk dell’INS, si necessita di eseguire una correzione dei dati inerziali, demandata alle Reti Neurali. Si è resa necessaria un’investigazione dei modelli più attinenti con tali tipologia di dati, nonché un tuning delle rete stesse. Quindi è stato sviluppato sia un sistema di memorizzazione dei dati sensibili, basato sull’aggiornamento della memoria della rete, ( i pesi ), sia un sistema di correzione dei dati inerziali. La valutazione è stata eseguita su test case evidenziando, rispetto agli impieghi di correzione con sistemi classici un netto miglioramento di performance. Tali applicazioni, come anche evidenziato in lavori scientifici, possono considerarsi come un metodo per gli sviluppi futuri delle nuove piattaforme integrate per la navigazione terrestre. Inoltre esse sono in grado di fornire informazioni di assetto, necessarie per la guida dei sistemi autonomi. ed i loro bassi costi di mercato, ne consentono l’impiego su vastissima scala, conseguendo vantaggi in ambito di sicurezza stradale e di ricostruzione di eventi accidentali.
Many of the technologies used in the modern systems of aid to terrestrial navigation go back to approximately a quarter of century. Generally, the main systems in use in the equipments for terrestrial Navigation are the Global Positioning Systems (GPS) and the Inertial Navigation Systems (INS). Such technological apparatus, need fundamental components of high or quite almost quality, which cause progressively growing market costs and can satisfy the most various range of applications in the navigation field, from the vehicular terrestrial one to the aerospace application, but also including handling applications or the management of vehicular fleets. In the last few years, the navigation systems have seen applications on a large scale, as the terrestrial navigation aid systems, in particular with the use of the GPS system. In order to avoid the disadvantages that it can cause, integrated low-cost systems for terrestrial navigation have been lately developed with applications on a large scale, among which, for important technical and economic aspects, the integrated INS/GPS system. The need to avoid the low quality of the used sensors led to the application of mathematical models able to correct the sensors’ answers. From here, one of the most used instrument throughout the years has been the Kalman filter, as an optimal linear Gaussian estimator in the data fusion INS/GPS. However, as multi-sensor integration methodology, it has various limits. The INS correction is needed either to get a more reliable answer in the short route compared the GPS-based navigation system, and to generate a data base in which a series of information are collected, among the necessary cinematic, geometric and environmental characteristics, in case the GPS signal is absent or of low quality. For that purpose, the attempt is to make the navigation system intelligent: the Kalman filter has been shown to be in the last years the reference model which has addressed the research to the use of intelligent models, such as for example the fuzzy logic, the genetic algorithms or the neural networks. The latter can make the integrated INS/GPS systems intelligent, or capable to take independent decisions in the data correction, after a learning process. The aim which has been reached is the use of the Artificial Neural Networks (ANN), in order to compensate for the answer of the INS system, in case the GPS outage occurred. In such situations, due to the unavoidable drifts caused by the INS random walk effects, a correction of the inertial data is needed, through the Neural Networks. A research of the models more related to this kind of data has been necessary, as well as a tuning of the networks. Therefore it has been developed either a storage system for the sensitive data, based on the updating of the network memory, (the weights), and a correction system of the inertial data. The evaluation has been carried out on many test cases and it has shown a definite improvement in performance compared to the use of the correction with conventional systems. Such applications, as also emphasized in scientific works, can be considered as a method for the future developments of the new integrated platforms for terrestrial navigation. Moreover, they can supply attitude configuration needed for the control of the autonomous systems and their low market costs allow a large scale applications, and also advantages in the road safety field and the reconstruction of accidental events.

La tesi si avvia con una prima analisi sull'autopilota attualmente in dotazione sui velivoli, del quale si vanno a individuare le funzionalità e gli algoritmi di sviluppo, con i relativi limiti. Queste limitazioni possono essere superate attraverso un nuovo approccio progettuale: le reti neurali artificiali. Quest'ultime andranno a modellare un nuovo autopilota, detto intelligente. Si analizza la struttura delle reti neurali e come esse si addestrano per andare a creare un nuovo sistema di controllo del volo. Successivamente si vanno ad osservare i risultati di uno studio basato sull'addestramento di un prototipo di autopilota intelligente, creato attraverso l'impiego di un numero ridotto di neuroni e con un database ristretto.

Il presente elaborato è finalizzato a determinare un metodo di indagine che consenta l’identificazione e la valutazione di danneggiamenti in strutture reticolari, mediante l’utilizzo di modi di vibrare e reti neurali artificiali. Nell’ambito dell’ingegneria civile, con il termine Structural Health Monitoring, si identificano le metodologie di monitoraggio che permettono l’individuazione di anomalie strutturali, consentendo la valutazione, in modo continuo ed automatizzato, dello stato di salute di un’opera. Metodologie Deep Learning, applicate allo SHM, sono al centro della ricerca scientifica degli ultimi anni, grazie ai progressi tecnologici e all’introduzione di strumenti di calcolo dalle notevoli capacità computazionali, in grado di elaborare grandi quantità di dati. In questo contesto, la metodologia di apprendimento supervisionato proposta si basa sull’utilizzo di una rete neurale convoluzionale (CNN), capace, sulla base di un dataset di informazioni dinamiche relative alle configurazioni di danno previste, di riconoscere e classificare la condizione strutturale di un’opera, identificando, localizzando e quantificando un eventuale danneggiamento. La classificazione della condizione strutturale avviene sulla base del training specifico della rete realizzato su grandi quantità di informazioni generate analiticamente da un modello strutturale. L’elaborazione dei dati di esempio, consente alla rete di identificare automaticamente le caratteristiche di interesse del problema, e di prevedere la condizione strutturale per dati in input non ancora visionati. In questa analisi, il parametro Modal Assurance Criterion (MAC), strumento di confronto tra modi di vibrare, viene utilizzato come indicatore dello stato di salute strutturale. Il problema di identificazione del danno viene valutato, ponendo le basi per ulteriori analisi, mediante l’applicazione del metodo su due casi studio, relativi, rispettivamente, ad un modello piano e ad uno spaziale.

Negli ultimi venti anni l’uso di metodi basati sull’intelligenza artificiale per la costruzione di modelli in ecologia si è diffuso e sviluppato grazie alla capacità di questi metodi di dar luogo, in base ad opportuni algoritmi di apprendimento e alle informazioni contenute nei dati (quindi empiricamente), a rappresentazioni dei sistemi ecologici che spesso sono più efficaci rispetto a quelle fornite dai metodi tradizionali (basati su indici o sulla statistica multivariata). Lo scopo principale di questo lavoro è stato un esame sperimentale di cinque ipotesi circa altrettante potenziali strategie di ottimizzazione di modelli costituiti da reti neurali artificiali supervisionate (percettroni) che ricostruiscono le relazioni tra componenti abiotiche (descrittori ambientali) e biotiche (presenza di specie all’interno di popolamenti ittici) in ecosistemi fluviali. I temi toccati hanno riguardato la previsione di variabili binarie (presenza/assenza delle specie), le variazioni di performance in funzione della soglia di discretizzazione dell’output, la previsione di specie rare, la previsione di specie singole o di gruppi di specie, la pre-elaborazione dei dati con particolare riferimento al partizionamento richiesto dalla tecnica dell’early stopping. I risultati dimostrano l’interesse pratico e teorico di lavorare con modelli predittivi di questo tipo, sia per l’efficacia dei modelli costruiti, che per la possibilità di suggerire nuove idee alla ricerca ecologica. Al di là dell’analisi delle ipotesi studiate, il lavoro ha prodotto un metodo e uno strumento informatico che possono essere riutilizzati per testare altre strategie di ottimizzazione e per operare con diversi data set.
The use of artificial intelligence methods for ecosystems modeling has had a considerable development in the last 20 years, due to their specific ability, in several conditions and once supported by suitable “learning” algorithms, to build from the data more effective representations of ecological systems than traditional methods (based on indexes or multivariate statistics). The main purpose of this work was an experimental examination of five hypotheses about as many potential strategies for the optimization of supervised artificial neural networks (perceptrons) which reconstruct the relations between the abiotic (environmental variables) and biological components (presence values of the species within fish assemblages) in river ecosystems. The themes we dealt with included the prevision of binary variables (species presence/absence), the variation of the performance as a function of the output discretization threshold, the prevision of rare species, the prevision of single species or group of species, data pre-processing and specifically the partitioning required by the early stopping technique. The results prove the practical and theoretical interest in working with predictive models, for both the effectiveness of the models and the possibility of giving hints to ecological research. Beyond the hypotheses studied here, the work produced a method and a computer tool that can test other optimization strategies and operate with different data set.

La ricerca di anomalie nei processi produttivi è una tematica molto attuale, di estremo interesse e di notevole complessità. Lo scopo di questa tesi è stato quello di verificare se, attraverso l'utilizzo di strategie di deep learning, fosse possibile sviluppare una soluzione in grado di distinguere quali fossero i campioni anomali rispetto ai campioni normali esaminando nello specifico immagini ottenute dal processo di lavorazione di superfici metalliche, che presentavano texture poco marcate e variabili. Dopo aver valutato il problema ed aver analizzato le soluzioni presenti in letteratura inerenti al nostro caso d'interesse, abbiamo deciso di basare la nostra soluzione sull'utilizzo degli autoencoder, in combinazione con tecniche di visione artificiale necessarie a identificare ed evidenziare i difetti presenti nei campioni oggetto di studio. Addestrando l'autoencoder a ricostruire solo campioni normali si ottiene che, nella ricostruzione di un campione anomalo, il difetto venga eliminato in quanto non è mai stato visto dalla rete nella fase di addestramento. Uno dei vantaggi delle soluzioni basate su questo tipo di architettura è quindi dovuto al fatto che è necessario conoscere solo i campioni normali e, qualsiasi tipo di anomalia si presenti, potenzialmente anche anomalie mai viste prima, esse non vengano ricostruite dalla rete, risolvendo così il problema dato dall'impossibilità di conoscere a priori tutti i possibili difetti che si possono presentare in fase di produzione. In particolare sono state esplorate varie metodologie e architetture (Convolutional Autoencoders, Variational Autoencoders, Transfer Learning) adottando quella più idonea al tipo di dato in nostro possesso. Attraverso la soluzione sviluppata siamo riusciti ad ottenere buoni risultati sia per quanto riguarda le prestazioni inerenti a data set pubblici, utilizzati come benchmark, sia sul data set privato in nostro possesso, obiettivo primario di questa ricerca.

Il natural language processing è un campo di ricerca interdisciplinare che spazia tra informatica, linguistica e intelligenza artificiale, che si pone come obiettivo il trattamento automatico del linguaggio naturale, ovvero l’analisi, la comprensione e l’elaborazione del linguaggio da parte dei calcolatori. Uno dei problemi più interessanti e ancora aperti di questa disciplina è la capacità di dialogo per la quale ricercatori e studiosi stanno ideando e impiegando nuovi approcci, in particolare basati su reti neurali artificiali, raggiungendo risultati sempre migliori. In questa tesi, oltre a dare una panoramica dello stato dell'arte, si espone lo sviluppo di un chatbot in contesto universitario, realizzato con il framework Rasa. Esso è pensato per gli studenti del Campus di Cesena e fornisce informazioni relative alla vita universitaria, principalmente sui corsi di laurea e sui bandi di Ateneo.

Le reti neurali sono uno strumento informatico che si è progressivamente affermato dalla sua nascita, e si è distinto per le sue grandi potenzialità. Pur non essendo ancora presente una teoria matematica formale che le descriva, esse sono state approfonditamente studiate da ingegneri e informatici, rendendo il loro studio una branca tanto ampia quanto preziosa. In questa tesi presento alcuni modelli di rete neurale e ne illustro le caratteristiche a livello di topologia, elaborazione e addestramento.

Il presente elaborato illustra l'applicazione delle reti neurali artificiali nel rilevamento, a fini di screening, di malattie oculari. Di particolare interesse in questo ambito sono le reti neurali convoluzionali, generalmente usate nel riconoscimento delle immagini, che vengono impiegate per rilevare i sintomi delle malattie oculari fornendo loro foto di occhi. Nell'elaborato verranno analizzate le applicazioni delle reti neurali artificiali nel rilevamento di malattie oculari nell'infanzia, nel rilevamento del glaucoma e nel rilevamento della retinopatia diabetica. La tesi sarà suddivisa in capitoli: nel primo capitolo, saranno analizzati i concetti base dietro al funzionamento di una rete neurale artificiale, partendo dal machine learning, branca dell'intelligenza artificiale a cui appartengono le reti neurali artificiali; nel secondo capitolo saranno esposte le malattie trattate nell'elaborato, spiegando i sintomi che dovranno essere rilevati dalle reti neurali; nel terzo capitolo saranno esposti alcuni esempi di applicazioni delle reti neurali artificiali nel rilevamento delle malattie oculari esposte, di cui saranno analizzate sensibilità e specificità, parametri importanti nello screening.

Nella parte iniziale viene fornita una panoramica circa la misurazione del rischio di credito e il contesto normativo di riferimento (Accordi di Basilea). Dopo un'analisi delle tecniche statistiche tradizionali per la stima dell'insolvenza aziendale più note in letteratura, vengono introdotte tecniche alternative basate sul machine learning. L'obiettivo principale dell'elaborato consiste nel valutare la capacità di quest'ultime e, in particolar modo delle Reti neurali artificiali, di sovraperformare rispetto agli strumenti statistici tradizionali. A tale scopo vengono comparate le performance previsive del modello Logit con un Multilayer Perceptron in un dataset contenente circa 400 imprese italiane.

Frank Rosenblatt, padre del percettrone, nel 1962 sottolineò che l’ obiettivo ultimo della ricerca nel campo delle reti neurali artificiali doveva essere “indagare le strutture fisiche ed i principi neurodinamici che stanno alla base dell’intelligenza naturale”. A differenza di quel che desiderava Rosenblatt, i metodi maggiormente utilizzati e di conseguenza studiati sono quelli supervisionati, non biologicamente plausibili, ritenuti maggiormente efficaci rispetto alle reti che sfruttano metodi di apprendimento ispirati dalla biofisica dei neuroni. L’ obiettivo della tesi è quello di analizzare due metodi di apprendimento non supervisionati basati su sistemi neuronali biologici: il modello di L.Bienenstock, N.Cooper e W. Mundro del 1982 (BCM) ed il modello di D.Krotov e J.Hopfield del 2019, e comprenderne le reali capacità. La prima parte della tesi rappresenta un’ introduzione al concetto di rete neurale artificiale, al significato di rete multistrato e all’ algoritmo di apprendimento della retro propagazione dell’ errore, tipico delle reti supervisionate. La seconda parte della tesi illustra il funzionamento della BCM e della rete di Hopfield e Krotov. Nei risultati riguardanti la rete del 2019, viene riportato un confronto tra questo modello ed un modello addestrato tramite retro propagazione dell’ errore, con cui riesce a competere nel riconoscimento delle immagini appartenenti a due data set: il MNIST ed il CIFAR-10. Per quanto riguarda la BCM, vengono riportati e discussi i risultati di alcune simulazioni effettuate con la rete modello BCM della libreria Plasticity. Lo scopo delle simulazioni era quello di portare i pesi della rete a memorizzare il maggior numero di pattern differenti possibili, appartenenti al data set MNIST.