Auswahl der wissenschaftlichen Literatur zum Thema „Textes générés automatiquement“

Résumé II arrive souvent, dans les services de traduction, que l'on soit obligé de morceler les textes volumineux. Dans une telle situation, il incombe généralement au réviseur de fusionner les parties traduites par les différents traducteurs et de faire en sorte que le tout soit cohérent. Un élément important de cette tâche est d'assurer la cohérence terminologique. Intuitivement, ce que l'on veut dire par cohérence terminologique ici est assez clair : chaque unité terminologique doit être traduite de la même façon partout dans le texte. Au CITI, nous développons un outil d'aide à l'intention du réviseur (qui peut être le traducteur lui-même) dont le but est de valider certaines propriétés d'un texte traduit. Appelé TransCheck, le premier prototype de ce système est décrit en détail dans Macklovitch (1994). Dans cet article, nous décrivons les premiers essais pour incorporer la vérification de la cohérence terminologique dans le système TransCheck. L'idée de base est assez simple : le réviseur fournit un lexique au système; ensuite, TransCheck balaie deux textes alignés et signale chaque occurrence d'un terme source qui n'est pas traduit par le terme cible désigné dans le lexique. Les résultats de ces expériences nous ont montré qu'une définition naïve de la cohérence terminologique, telle que celle donnée ci-dessus, est trop rigide et simpliste; mais la ventilation du bruit généré nous indique clairement comment il faudra assouplir l'application de cette définition par le système pour que la validation automatique de la cohérence terminologique devienne praticable.

Notre étude porte sur les « hallucinations », des productions langagières générées par des outils d’intelligence artificielle de type générateurs de textes, productions qui ne correspondent pas à ce qu’il est attendu de l’outil. Nous testons l’hypothèse selon laquelle il est possible de discerner des patrons langagiers dans ces générations inadéquates. Nous menons des analyses quantitatives et qualitatives des données, selon plusieurs entrées : le degré d’adéquation grammaticale et sémantique des séquences générées, les relations sémantiques, les fonctions sémantico-pragmatiques et les discrépances combinatoires. Nos analyses montrent que les outils de génération textuelle procèdent à de généralisations abusives en mettant en exergue des patrons dont la portée n’est pas validée par l’usage. D’un point de vue informatique, les « hallucinations » soulèvent des questions quant au paramétrage des modèles langagiers exploités par les réseaux neuronaux et la génération statistique. D’un point de vue linguistique, nos observations soulèvent la question de l’interface entre les usages purement linguistiques et leurs différents contextes sur le terrain des pratiques langagières qui ancrent ces patterns dans l’usage.

Inspirée d’une critique de la formule antérieure qui était appliquée à de nombreux index produits au Centre de documentation de la Bibliothèque à l’Université Laval (ex : Index analytique), répondant à quatre critères : plus grand nombre d’entrées, réduction maximale des renvois, analyse plus approfondie des textes, réduction maximale des coûts, fondés sur trois concepts de base en science de l’information (pertinence, précision et rappel) et confirmée par une étude d’index, une nouvelle structure de répertoire a été élaborée au Service d’analyse et d’indexation. Pour générer automatiquement le nouveau répertoire, on créa la programmerie CARA. Les services rendus : en l’occurence, la production de RADAR, Répertoire analytique d’articles de revues du Québec, Volume 1. 1972-1973.

L’expérience acquise dans notre équipe en recherche d’information et en génération automatique de textes (production de textes par un système informatique à partir d’un contenu formel) nous a montré que la relation de l’utilisateur avec le système de recherche d’information n’était pas naturelle, l’utilisateur devant généralement s’adapter au système. Pour simplifier cette interaction personne-système, nous avons étudié les apports d’un système de génération automatique à un système de recherche d’information. Le processus de recherche d’information se compose de trois phases :• formulation de la requête par l’utilisateur,• traitement de la requête par le système,• affichage des résultats.En quoi et comment un système de génération automatique rend-il l’utilisation d’un système de recherche d’information plus efficace et facilite-t-il son appréhension ? Ceci fait l’objet de cette publication. Quand la formulation de la requête est inadéquate, on peut en générer automatiquement différentes reformulations en fonction des caractéristiques du système de recherche d’information. Il est également possible d’engendrer une explication sur la méthode employée et le type de données traitées par le système afin que l’utilisateur puisse comprendre le processus de recherche et adapter sa requête. Si une trop grande quantité d’informations est délivrée, il est nécessaire de structurer, d’organiser la présentation des résultats voire, selon l’application, de produire un résumé des réponses. Le générateur intervient donc au niveau de l’interface personne-machine et communique avec le système et l’utilisateur. Nos travaux sur la structuration et la mise en forme des textes produits, sur la génération de textes explicatifs et la reformulation de requêtes ont servi de point de départ à ce travail dont l’objectif final est la mise en oeuvre d’une application réelle.

Le texte généré automatiquement a été utilisé dans de nombreuses occasions à des buts différents. Il peut simplement passer des commentaires générés dans une discussion en ligne à une tâche beaucoup plus malveillante, comme manipuler des informations bibliographiques. Ainsi, cette thèse introduit d'abord différentes méthodes pour générer des textes libres ayant trait à un certain sujet et comment ces textes peuvent être utilisés. Par conséquent, nous essayons d'aborder plusieurs questions de recherche. La première question est comment et quelle est la meilleure méthode pour détecter un document entièrement généré.Ensuite, nous irons un peu plus loin et montrer la possibilité de détecter quelques phrases ou un petit paragraphe de texte généré automatiquement en proposant une nouvelle méthode pour calculer la similarité des phrases en utilisant leur structure grammaticale. La dernière question est comment détecter un document généré automatiquement sans aucun échantillon, ceci est utilisé pour illustrer le cas d'un nouveau générateur ou d'un générateur dont il est impossible de collecter des échantillons dessus.Cette thèse étudie également l'aspect industriel du développement. Un aperçu simple d'un flux de travail de publication d'un éditeur de premier plan est présenté. À partir de là, une analyse est effectuée afin de pouvoir intégrer au mieux notre méthode de détection dans le flux de production.En conclusion, cette thèse a fait la lumière sur de multiples questions de recherche importantes concernant la possibilité de détecter des textes générés automatiquement dans différents contextes. En plus de l'aspect de la recherche, des travaux d'ingénierie importants dans un environnement industriel réel sont également réalisés pour démontrer qu'il est important d'avoir une application réelle pour accompagner une recherche hypothétique
Automatically generated text has been used in numerous occasions with distinct intentions. It can simply go from generated comments in an online discussion to a much more mischievous task, such as manipulating bibliography information. So, this thesis first introduces different methods of generating free texts that resemble a certain topic and how those texts can be used. Therefore, we try to tackle with multiple research questions. The first question is how and what is the best method to detect a fully generated document.Then, we take it one step further to address the possibility of detecting a couple of sentences or a small paragraph of automatically generated text by proposing a new method to calculate sentences similarity using their grammatical structure. The last question is how to detect an automatically generated document without any samples, this is used to address the case of a new generator or a generator that it is impossible to collect samples from.This thesis also deals with the industrial aspect of development. A simple overview of a publishing workflow from a high-profile publisher is presented. From there, an analysis is carried out to be able to best incorporate our method of detection into the production workflow.In conclusion, this thesis has shed light on multiple important research questions about the possibility of detecting automatically generated texts in different setting. Besides the researching aspect, important engineering work in a real life industrial environment is also carried out to demonstrate that it is important to have real application along with hypothetical research

Dans cette thèse, nous avons concentré notre intérêt sur l'identification de technologies/méthodologies de détection de contenus académiques générés artificiellement. Les principales contributions de cette thèse sont triples. Tout d'abord, nous avons construit plusieurs corpus composés de textes académiques générés automatiquement. Dans cette tâche, nous avons utilisé plusieurs derniers modèles NLG pour la tâche de génération. Ces corpus contiennent des contenus entièrement générés ainsi que des contenus composés de manière hybride (avec intervention humaine). Ensuite, nous avons utilisé plusieurs modèles statistiques et d'apprentissage profond pour la détection des contenus générés à partir du contenu original (écrit par l'homme). Dans ce scénario, nous avons considéré la détection comme une tâche de classification binaire. Ainsi, plusieurs modèles de classification SOTA ont été utilisés. Les modèles ont été améliorés ou modifiés à l'aide de techniques d'assemblage pour obtenir une plus grande précision de détection. De plus, nous avons utilisé plusieurs outils de détection les plus récents pour identifier leur capacité à distinguer le texte généré automatiquement. Enfin, les corpus générés ont été testés par rapport aux bases de connaissances afin de trouver d'éventuelles inadéquations susceptibles d'aider à améliorer la tâche de détection. Les résultats de cette thèse soulignent l'importance d'imiter le comportement humain en tirant parti des modèles de génération ainsi que d'utiliser des corpus réalistes et stimulants dans les recherches futures visant à détecter des textes générés artificiellement. Enfin, nous souhaitons souligner le fait que, quelle que soit l'avancée de la technologie, il est toujours crucial de se concentrer sur l'aspect éthique de son utilisation
In this thesis, we have focused our interest on identifying technologies /methodologies in detecting artificially generated academic content. The principal contributions of this thesis are threefold. First, we built several corpora that are composed of machine generated academic text. In this task we utilized several latest NLG models for the generation task. These corpora contain contents that are fully generated as well as contents that are composed in a hybrid manner (with human intervention). Then, we employed several statistical as well as deep learning models for the detection of generated contents from original (human written) content. In this scenario, we considered detection as a binary classification task. Thus several SOTA classification models were employed. The models were improved or modified using ensembling techniques to gain higher accuracies in detection. Moreover, we made use of several latest detection tools to identify their capability in distinguishing machine generated text. Finally, the generated corpora were tested against knowledge bases to find any mismatches that could help to improve the detection task. The results of this thesis underline the importance of mimicking human behavior in leveraging the generation models as well of using realistic and challenging corpora in future research aimed at detecting artificially generated text. Finally, we would like to highlight the fact that no matter how advanced the technology is, it is always crucial to concentrate on the ethical aspect of making use of such technology