Auswahl der wissenschaftlichen Literatur zum Thema „Recherche Automatique d'Architecture Neuronale“

La traduction automatique neuronale et son adaptation à des domaines spécifiques par le biais de corpus spécialisés ont permis à cette technologie d’intégrer bien plus largement qu’auparavant le métier et la formation des traducteur·trice·s. Si le paradigme neuronal (et le deep learning de manière générale) a ainsi pu investir des domaines parfois insoupçonnés, y compris certains où la créativité est de mise, celui-ci est moins marqué par un gain phénoménal de performance que par une utilisation massive auprès du public et les débats qu’il génère, nombre d’entre eux invoquant couramment le cas littéraire pour (in)valider telle ou telle observation. Pour apprécier la pertinence de cette technologie, et ce faisant surmonter les discours souvent passionnés des opposants et partisans de la traduction automatique, il est toutefois nécessaire de mettre l’outil à l’épreuve, afin de fournir un exemple concret de ce que pourrait produire un système entraîné spécifiquement pour la traduction d’œuvres littéraires. Inscrit dans un projet de recherche plus vaste visant à évaluer l’aide que peuvent fournir les outils informatiques aux traducteurs et traductrices littéraires, cet article propose par conséquent une expérience de traduction automatique de la prose qui n’a plus été tentée pour le français depuis les systèmes probabilistes et qui rejoint un nombre croissant d’études sur le sujet pour d’autres paires de langues. Nous verrons que si les résultats sont encourageants, ceux-ci laissent présager une tout autre manière d’envisager la traduction automatique, plus proche de la traduction humaine assistée par ordinateur que de la post-édition pure, et que l’exemple des œuvres de littérature soulève en outre des réflexions utiles pour la traduction dans son ensemble.

Lors de la création d'un modèle de réseau de neurones, l'étape dite du "fine-tuning" est incontournable. Lors de ce fine-tuning, le développeur du réseau de neurones doit ajuster les hyperparamètres et l'architecture du réseau pour que ce-dernier puisse répondre au cahier des charges. Cette étape est longue, fastidieuse, et nécessite de l'expérience de la part du développeur. Ainsi, pour permettre la création plus facile de réseaux de neurones, il existe une discipline, l'"Automatic Machine Learning" (Auto-ML), qui cherche à automatiser la création de Machine Learning. Cette thèse s'inscrit dans cette démarche d'automatisation et propose une méthode pour créer et optimiser des architectures de réseaux de neurones (Neural Architecture Search). Pour ce faire, un nouvel espace de recherche basé sur l'imbrication de blocs à été formalisé. Cet espace permet de créer un réseau de neurones à partir de blocs élémentaires connectés en série ou en parallèle pour former des blocs composés qui peuvent eux-mêmes être connectés afin de former un réseau encore plus complexe. Cet espace de recherche à l'avantage d'être facilement personnalisable afin de pouvoir influencer la recherche automatique vers des types d'architectures (VGG, Inception, ResNet, etc.) et contrôler le temps d'optimisation. De plus il n'est pas contraint à un algorithme d'optimisation en particulier. Dans cette thèse, la formalisation de l'espace de recherche est tout d'abord décrite, ainsi que des techniques dîtes d'"encodage" afin de représenter un réseau de l'espace de recherche par un entier naturel (ou une liste d'entiers naturels). Puis, des stratégies d'optimisation applicables à cet espace de recherche sont proposées. Enfin, des expérimentations de recherches d'architectures neuronales sur différents jeux de données et avec différents objectifs en utilisant l'outil développé (nommé OpenNas) sont présentées
When creating a neural network, the "fine-tuning" stage is essential. During this fine-tuning, the neural network developer must adjust the hyperparameters and the architecture of the network so that it meets the targets. This is a time-consuming and tedious phase, and requires experience on the part of the developer. So, to make it easier to create neural networks, there is a discipline called Automatic Machine Learning (Auto-ML), which seeks to automate the creation of Machine Learning. This thesis is part of this Auto-ML approach and proposes a method for creating and optimizing neural network architectures (Neural Architecture Search, NAS). To this end, a new search space based on block imbrication has been formalized. This space makes it possible to create a neural network from elementary blocks connected in series or in parallel to form compound blocks which can themselves be connected to form an even more complex network. The advantage of this search space is that it can be easily customized to influence the NAS for specific architectures (VGG, Inception, ResNet, etc.) and control the optimization time. Moreover, it is not constrained to any particular optimization algorithm. In this thesis, the formalization of the search space is first described, along with encoding techniques to represent a network from the search space by a natural number (or a list of natural numbers). Optimization strategies applicable to this search space are then proposed. Finally, neural architecture search experiments on different datasets and with different objectives using the developed tool (named OpenNas) are presented

L'intelligence artificielle (IA) a gagné en popularité ces dernières années, principalement en raison de ses applications réussies dans divers domaines tels que l'analyse de données textuelles, la vision par ordinateur et le traitement audio. La résurgence des techniques d'apprentissage profond a joué un rôle central dans ce succès. L'article révolutionnaire de Krizhevsky et al., AlexNet, a réduit l'écart entre les performances humaines et celles des machines dans les tâches de classification d'images. Des articles ultérieurs tels que Xception et ResNet ont encore renforcé l'apprentissage profond en tant que technique de pointe, ouvrant de nouveaux horizons pour la communauté de l'IA. Le succès de l'apprentissage profond réside dans son architecture, conçue manuellement avec des connaissances d'experts et une validation empirique. Cependant, ces architectures n'ont pas la certitude d'être la solution optimale. Pour résoudre ce problème, des articles récents ont introduit le concept de Recherche d'Architecture Neuronale ( extit{NAS}), permettant l'automatisation de la conception des architectures profondes. Cependant, la majorités des approches initiales se sont concentrées sur de grandes architectures avec des objectifs spécifiques (par exemple, l'apprentissage supervisé) et ont utilisé des techniques d'optimisation coûteuses en calcul telles que l'apprentissage par renforcement et les algorithmes génétiques. Dans cette thèse, nous approfondissons cette idée en explorant la conception automatique d'architectures profondes, avec une emphase particulière sur les méthodes extit{NAS} différentiables ( extit{DNAS}), qui représentent la tendance actuelle en raison de leur efficacité computationnelle. Bien que notre principal objectif soit les réseaux convolutifs ( extit{CNNs}), nous explorons également les Vision Transformers (ViTs) dans le but de concevoir des architectures rentables adaptées aux applications en temps réel
Artificial Intelligence (AI) has gained significant popularity in recent years, primarily due to its successful applications in various domains, including textual data analysis, computer vision, and audio processing. The resurgence of deep learning techniques has played a central role in this success. The groundbreaking paper by Krizhevsky et al., AlexNet, narrowed the gap between human and machine performance in image classification tasks. Subsequent papers such as Xception and ResNet have further solidified deep learning as a leading technique, opening new horizons for the AI community. The success of deep learning lies in its architecture, which is manually designed with expert knowledge and empirical validation. However, these architectures lack the certainty of an optimal solution. To address this issue, recent papers introduced the concept of Neural Architecture Search (NAS), enabling the learning of deep architectures. However, most initial approaches focused on large architectures with specific targets (e.g., supervised learning) and relied on computationally expensive optimization techniques such as reinforcement learning and evolutionary algorithms. In this thesis, we further investigate this idea by exploring automatic deep architecture design, with a particular emphasis on differentiable NAS (DNAS), which represents the current trend in NAS due to its computational efficiency. While our primary focus is on Convolutional Neural Networks (CNNs), we also explore Vision Transformers (ViTs) with the goal of designing cost-effective architectures suitable for real-time applications

L'augmentation de la puissance de calcul et de la quantité de données disponible ont permis la montée en popularité de l'apprentissage profond. Cependant, l'expertise et les ressources nécessaires pour construire de tels algorithmes ainsi que l'empreinte mémoire et le temps d'inférence lors de l'utilisation sont autant d'obstacles à l'utilisation de ces méthodes. Dans cette thèse, nous proposons de construire des modèles d'apprentissage profond de manière plus efficace et automatisée. Tout d'abord, nous nous concentrons sur l'apprentissage d'une architecture efficace pour les problèmes de traitement d'images. Nous proposons un modèle dans lequel nous pouvons guider la procédure d'apprentissage d'architecture en spécifiant un budget et une fonction de coût fixes. Ensuite, nous considérons le problème de la classification de séquences, où un modèle peut être encore plus efficace en adaptant dynamiquement sa taille à la complexité du signal à venir. Enfin, nous abordons le problème de l'efficacité sous l'angle de l'apprentissage par transfert, une procédure d'apprentissage pouvant être rendue encore plus efficace si elle s'appuie sur des connaissances acquises lors d'expériences précédentes. Nous explorons les architectures modulaires dans le scénario de l'apprentissage continuel et présentons un nouveau benchmark permettant une évaluation fine des différents types de transfert
The recent increase in computation power and the ever-growing amount of data available ignited the rise in popularity of deep learning. However, the expertise, the amount of data, and the computing power necessary to build such algorithms as well as the memory footprint and the inference latency of the resulting system are all obstacles preventing the widespread use of these methods. In this thesis, we propose several methods allowing to make a step towards a more efficient and automated procedure to build deep learning models. First, we focus on learning an efficient architecture for image processing problems. We propose a new model in which we can guide the architecture learning procedure by specifying a fixed budget and cost function. Then, we consider the problem of sequence classification, where a model can be even more efficient by dynamically adapting its size to the complexity of the signal to come. We show that both approaches result in significant budget savings. Finally, we tackle the efficiency problem through the lens of transfer learning. Arguing that a learning procedure can be made even more efficient if, instead of starting tabula rasa, it builds on knowledge acquired during previous experiences. We explore modular architectures in the continual learning scenario and present a new benchmark allowing a fine-grained evaluation of different kinds of transfer

Cette thèse porte sur la reconnaissance d'actions humaines dans des séquences vidéo RGB-D monoculaires. La question principale est, à partir d'une vidéo ou d'une séquence d'images donnée, de savoir comment reconnaître des actions particulières qui se produisent. Cette tâche est importante et est un défi majeur à cause d'un certain nombre de verrous scientifiques induits par la variabilité des conditions d'acquisition, comme l'éclairage, la position, l'orientation et le champ de vue de la caméra, ainsi que par la variabilité de la réalisation des actions, notamment de leur vitesse d'exécution. Pour surmonter certaines de ces difficultés, dans un premier temps, nous examinons et évaluons les techniques les plus récentes pour la reconnaissance d'actions dans des vidéos. Nous proposons ensuite une nouvelle approche basée sur des réseaux de neurones profonds pour la reconnaissance d'actions humaines à partir de séquences de squelettes 3D. Deux questions clés ont été traitées. Tout d'abord, comment représenter la dynamique spatio-temporelle d'une séquence de squelettes pour exploiter efficacement la capacité d'apprentissage des représentations de haut niveau des réseaux de neurones convolutifs (CNNs ou ConvNets). Ensuite, comment concevoir une architecture de CNN capable d'apprendre des caractéristiques spatio-temporelles discriminantes à partir de la représentation proposée dans un objectif de classification. Pour cela, nous introduisons deux nouvelles représentations du mouvement 3D basées sur des squelettes, appelées SPMF (Skeleton Posture-Motion Feature) et Enhanced-SPMF, qui encodent les postures et les mouvements humains extraits des séquences de squelettes sous la forme d'images couleur RGB. Pour les tâches d'apprentissage et de classification, nous proposons différentes architectures de CNNs, qui sont basées sur les modèles Residual Network (ResNet), Inception-ResNet-v2, Densely Connected Convolutional Network (DenseNet) et Efficient Neural Architecture Search (ENAS), pour extraire des caractéristiques robustes de la représentation sous forme d'image que nous proposons et pour les classer. Les résultats expérimentaux sur des bases de données publiques (MSR Action3D, Kinect Activity Recognition Dataset, SBU Kinect Interaction, et NTU-RGB+D) montrent que notre approche surpasse les méthodes de l'état de l'art. Nous proposons également une nouvelle technique pour l'estimation de postures humaines à partir d'une vidéo RGB. Pour cela, le modèle d'apprentissage profond appelé OpenPose est utilisé pour détecter les personnes et extraire leur posture en 2D. Un réseau de neurones profond est ensuite proposé pour apprendre la transformation permettant de reconstruire ces postures en trois dimensions. Les résultats expérimentaux sur la base de données Human3.6M montrent l'efficacité de la méthode proposée. Ces résultats ouvrent des perspectives pour une approche de la reconnaissance d'actions humaines à partir des séquences de squelettes 3D sans utiliser des capteurs de profondeur comme la Kinect. Nous avons également constitué la base CEMEST, une nouvelle base de données RGB-D illustrant des comportements de passagers dans les transports publics. Elle contient 203 vidéos de surveillance collectées dans une station du métro incluant des événements "normaux" et "anormaux". Nous avons obtenu des résultats prometteurs sur cette base en utilisant des techniques d'augmentation de données et de transfert d'apprentissage. Notre approche permet de concevoir des applications basées sur des techniques de l'apprentissage profond pour renforcer la qualité des services de transport en commun
This thesis is dealing with automatic recognition of human actions from monocular RGB-D video sequences. Our main goal is to recognize which human actions occur in unknown videos. This problem is a challenging task due to a number of obstacles caused by the variability of the acquisition conditions, including the lighting, the position, the orientation and the field of view of the camera, as well as the variability of actions which can be performed differently, notably in terms of speed. To tackle these problems, we first review and evaluate the most prominent state-of-the-art techniques to identify the current state of human action recognition in videos. We then propose a new approach for skeleton-based action recognition using Deep Neural Networks (DNNs). Two key questions have been addressed. First, how to efficiently represent the spatio-temporal patterns of skeletal data for fully exploiting the capacity in learning high-level representations of Deep Convolutional Neural Networks (D-CNNs). Second, how to design a powerful D-CNN architecture that is able to learn discriminative features from the proposed representation for classification task. As a result, we introduce two new 3D motion representations called SPMF (Skeleton Posture-Motion Feature) and Enhanced-SPMF that encode skeleton poses and their motions into color images. For learning and classification tasks, we design and train different D-CNN architectures based on the Residual Network (ResNet), Inception-ResNet-v2, Densely Connected Convolutional Network (DenseNet) and Efficient Neural Architecture Search (ENAS) to extract robust features from color-coded images and classify them. Experimental results on various public and challenging human action recognition datasets (MSR Action3D, Kinect Activity Recognition Dataset, SBU Kinect Interaction, and NTU-RGB+D) show that the proposed approach outperforms current state-of-the-art. We also conducted research on the problem of 3D human pose estimation from monocular RGB video sequences and exploited the estimated 3D poses for recognition task. Specifically, a deep learning-based model called OpenPose is deployed to detect 2D human poses. A DNN is then proposed and trained for learning a 2D-to-3D mapping in order to map the detected 2D keypoints into 3D poses. Our experiments on the Human3.6M dataset verified the effectiveness of the proposed method. These obtained results allow opening a new research direction for human action recognition from 3D skeletal data, when the depth cameras are failing. In addition, we collect and introduce in this thesis, CEMEST database, a new RGB-D dataset depicting passengers' behaviors in public transport. It consists of 203 untrimmed real-world surveillance videos of realistic "normal" and "abnormal" events. We achieve promising results on CEMEST with the support of data augmentation and transfer learning techniques. This enables the construction of real-world applications based on deep learning for enhancing public transportation management services

Intelligence artificielle et softpower de la traduction assistée par ordinateur et de la traduction automatique : perspectives sur le processus d’enseignement et d’apprentissage des langues. En raison de la croissance de l’utilisation des traducteurs automatiques, il est important de se poser la question á propos de quand ou bien si l’intelligence artificielle a pénétré ce domaine de l’enseignement-apprentissage des langues. Malgré les nombreux traducteurs automatiques et d’outils de traduction assistée existants, il est évident que la main de l’homme est unique. Néanmoins, si le travail d’un traducteur pourrait bénéficier d’un gain de temps de temps, en même temps que d’une amélioration concernant le choix lexical, il vaut la peine d’étudier ce domaine dans l’intérêt de la traduction. Dans cette étude, on se propose d’analyser l’intelligence artificielle dans le champ de la traduction et enseignement des langues étrangères, en s’appuyant sur les outils de la traduction automatique déjà existants. À partir d’une analyse minutieuse de la littérature et recherches disponibles, on examinera la traduction automatique neuronale (NMT), le ICALL, dérivant du CALL, pour terminer par les outils de la traduction automatique tels que Google Translator, Translation Online et d’autres, qui s’améliorent avec le temps, malgré le fait que le traducteur humain doive réviser dans la phase de post-édition. Pour ce faire, nous avons analysé un corpus basé sur les commentaires des traducteurs dans des groupes privés de Facebook et LinkedIn á propos de la révision. Dans le même temps, nous avons constaté que l’intelligence artificielle remplacera les professeurs, mais redéfinira leur rôle en tant que professeurs, les convertissant « des guides latéraux » (Morrison, 2014), puisque avec l’apprentissage des langues utilisant les outils de l’intelligence artificielle dans le domaine de la correction, de la notation et des papiers administratifs, les professeurs pourraient avoir plus de temps pour coordonner le processus de d’apprentissage et orienter leurs étudiants. Cette recherche se compose de trois parties : révision bibliographique et de ces études antérieures et analyse des outils de traduction automatique, étude d’un corpus des commentaires de traducteurs et enfin, implication/intégration de l’intelligence artificielle dans les domaines de la traduction et de l’apprentissage des langues.

We present a set of approaches to facilitate the integration of Neural Machine Translation (NMT) in teaching and research favouring an interdisciplinary perspective. The study suggests that a nuanced comparison of NMT generated translations requires translation experts to move from passive consumption to active participation in the construction of controlled models. This transition requires an understanding of the fundamentals of NMT, which calls for changes in pedagogical models to promote digital literacy while maintaining the standards of professional translation education in line with translation competence frameworks.

Les assistants intelligents, comme Alexa ou Siri, accompagnent la numérisation de nombre d’interactions humaines, qu’il s’agisse de comportements d’achat, de recherche d’information ou de mise en relation entre personnes. Conçus au départ dans un environnement anglophone par Amazon, Apple ou Microsoft, ces outils servent les stratégies de gains de parts de marchés pour ces entreprises qui s’en servent comme portail d’accès à leurs services. Les assistants traduisent de la voix en texte et vice-versa et doivent pouvoir s’adapter aux contraintes locales en termes d’accents, de politique de genre ou de codes culturels par exemple, ce qui serait impossible à grande échelle sans l’utilisation des techniques de traduction neuronale. Dans cette communication, on reviendra sur les politiques linguistiques qui ont accompagné le développement d’Alexa et de Siri, en en retraçant l’historique. Puis on reviendra sur les enjeux linguistiques qu’ils posent, notamment dans le traitement des erreurs et omissions, et leur articulation à un écosystème d’outils automatisés de maniement du langage, lesquels risquent à terme de produire une standardisation des usages de la langue, au sein de chaque langue et par calque vis-à-vis de l’anglais américain. Enfin on explorera la question des enjeux sociétaux, économiques et éthiques associés à l’usage généralisé de tels outils, conçus et mis en œuvre par des acteurs économiques en situation hyperdominante. Se posent notamment des questions de sécurité, de gestion des données, de censure…