Dissertations / Theses: 'Évaluation automatique de la L2'

1

Kobylyanskaya, Sofiya. "Towards multimodal assessment of L2 level : speech and eye tracking features in a cross-cultural setting." Electronic Thesis or Diss., université Paris-Saclay, 2024. http://www.theses.fr/2024UPASG111.

Full text

Abstract:

Ces dernières années, le monde de l’éducation a subi des changements importants, notamment avec la digitalisation massive du système en 2020 et l’avancement des technologies d’IA générative. Le projet LeCycl "Learning Cyclotron" (Vargo et al., 2023) s’inscrit dans cette tendance scientifique et vise à accélérer la circulation des connaissances; en prenant en compte trois processus principaux d’apprentissage : la perception, la maîtrise et le transfert. Cette thèse, faisant partie du projet LeCycl, exploite des stratégies de lecture orale en langue étrangère (L2) en analysant les difficultés rencontrées par des représentants de différentes cultures et leurs stratégies pour les surmonter. À cette fin, nous utilisons des indices multimodaux (la parole et le mouvement des yeux) ainsi qu’un protocole original introduisant des nudges (représentés par des bandes dessinées) pour l’adaptation culturelle (Hutin et al., 2023), Nous avons développé un protocole impliquant la collecte de données de lecture à voix haute des locuteurs français et japonais de l’anglais L2 et deslocuteurs natifs de l’anglais (Kobylyanskaya, 2022).Nous avons analysé les performances des locuteurs à travers des mesures acoustiques et linguistiques (réalisation acoustique des phonèmes, prosodie et disfluences telles que les pauses, hésitations, troncations), ainsi que des mesures de mouvements oculaires (El Baha et al., 2022; Kobylyanskaya et al., 2023). Ensuite, nous avons utilisé des méthodes d’apprentissage automatique pour définir le niveau de L2 des locuteurs à partir de ces mesures. Enfin, nous avons évalué la contribution des images sur les performances de lecture orale des locuteurs. Les résultats montrent que les représentants de langues maternelles Français et Japonais sont confrontés à des défis spécifiques lorsqu’ils lisent des textes en langue étrangère et adoptent différentes stratégies pour les surmonter, ce qui se traduit à la fois au niveau verbal et oculaire.Nos résultats soulignent la nécessité de développer des outils d’apprentissage adaptés aux cultures ainsi que les défis associés à leur conception
In recent years, the world of education has undergone critical changes, especially with the system’s massive digitalization in 2020, as well as the advancement of generative AI technologies. LeCycl "Learning Cyclotron" (Vargo et al., 2023) project is a part of this scientific trend and its aim is to accelerate the knowledge flow. It takes into consideration 3 main processes of learning: perception, mastering and transfer. This thesis, as part of the LeCycl project, focuses on exploring second language (L2) oral reading strategies and analyzing difficulties faced by representatives of different cultures and their techniques of coping with them. For this purpose, we are relying on multimodal cues including speech and eye tracking, as well as an original protocol that introduces nudges (represented by comic books) for the cultural adaptation (Hutin et al., 2023). For this purpose, we developed a protocol involving the collection of readingaloud data from both native and non-native English speakers (French and Japanese speakers) (Kobylyan- skaya, 2022). We analyzed speakers’ performance through acoustic and linguistic measures (phoneme realization, prosody and disfluencies such as pauses, hesitations, truncations), as well as eye movement measures (El Baha et al. 2022; Kobylyanskaya et al., 2023). Then, we used machine learning methods to define the speaker’s L2 level based on the extracted measures. Finally, we evaluate the contribution of comic books images on speakers’ oral reading performance. The results highlight that the representatives of different cultures face different challenges when reading in a foreign language and employ different strategies to overcome them, which are translated both at verbal and ocular levels. Our results underline the need for culturally adapted learning tools and the challenges involved in developing them

APA, Harvard, Vancouver, ISO, and other styles

2

Leman, Adrien. "Diagnostic et évaluation automatique de la qualité vocale à partir d'indicateurs hybride." Phd thesis, INSA de Lyon, 2011. http://tel.archives-ouvertes.fr/tel-00679705.

Full text

Abstract:

Les opérateurs de télécommunications ont besoin de superviser en temps réel la qualité vocale des services qu'ils proposent. La qualité vocale peut être évaluée par tests subjectifs auprès d'utilisateurs; mais ces méthodes sont très coûteuses et peu adaptées à la supervision. Des modèles objectifs sont ainsi proposés afin de prédire la qualité vocale à moindre coût. Cette thèse propose un modèle de diagnostic et d'évaluation utilisant les informations disponibles au point de mesure : le modèle DESQHI (Diagnostic and Speech Quality using Hybrid Indicators). Il se distingue des modèles existants par deux caractéristiques principales. La première concerne la structure du cœur du modèle. Il est montré que la qualité vocale peut être représentée comme un phénomène multidimensionnel faisant intervenir trois dimensions perceptives correspondant à bruyance, codage de la parole et continuité. Cette structure permet de diagnostiquer la qualité vocale en identifiant les principales causes perceptives de sa dégradation. La deuxième caractéristique concerne le type d'indicateur utilisé pour représenter ces dimensions perceptives, à savoir l'utilisation d'indicateurs basés sur le signal et paramétriques. Les indicateurs basés sur le signal utilisent les informations numériques pour représenter les caractéristiques du signal (par exemple le rapport signal sur bruit qui donne une estimation du niveau sonore du bruit de fond). Les indicateurs paramétriques sont issus des statistiques du réseau (par exemple le pourcentage de pertes de paquets qui fournit une indication sur le niveau de discontinuité du signal de parole). L'utilisation d'indicateurs hybrides utilisant à la fois les informations du signal numérique et les statistiques du réseau permet d'améliorer les performances globales de la prédiction de la qualité vocale, comparativement aux modèles uniquement basés sur le signal (p. ex. modèle P.563) et aux modèles utilisant les indicateurs paramétriques (p. ex. modèle E).

APA, Harvard, Vancouver, ISO, and other styles

3

Bove, Clara. "Conception et évaluation d’interfaces utilisateur explicatives pour systèmes complexes en apprentissage automatique." Electronic Thesis or Diss., Sorbonne université, 2023. https://accesdistant.sorbonne-universite.fr/login?url=https://theses-intra.sorbonne-universite.fr/2023SORUS247.pdf.

Full text

Abstract:

Cette thèse se place dans le domaine de l’IA eXplicable (XAI) centrée sur l’humain, et plus particulièrement sur l’intelligibilité des explications pour les utilisateurs non-experts. Le contexte technique est le suivant : d’un côté, un classificateur ou un régresseur opaque fournit une prédiction, et une approche XAI post-hoc génère des informations qui agissent comme des explications ; de l’autre côté, l’ utilisateur reçoit à la fois la prédiction et ces explications. Dans ce contexte, plusieurs problèmes peuvent limiter la qualité des explications. Ceux sur lesquels nous nous concentrons sont : le manque d’informations contextuelles dans les explications, le manque d’orientation pour la conception de fonctionnalités pour permettre à l’utilisateur d’explorer et la confusion potentielle qui peut être générée par la quantité d’informations. Nous développons une procédure expérimentale pour concevoir des interfaces utilisateur explicatives et évaluer leur intelligibilité pour les utilisateurs non- experts. Nous étudions des opportunités d’amélioration XAI sur deux types types d’explications locales : l’importance des variables et les exemples contre- factuels. Aussi, nous proposons des principes XAI génériques pour contextualiser et permettre l’exploration sur l’importance des variables; ainsi que pour guider les utilisateurs dans l’analyse comparative des explications contrefactuelles avec plusieurs exemples. Nous proposons une application de ces principes pro- posés dans deux interfaces utilisateur explicatives distinctes, respectivement pour un scénario d’assurance et un scénario financier. Enfin, nous utilisons ces interfaces améliorées pour mener des études utilisateurs en laboratoire et nous mesurons deux dimensions de l’intelligibilité, à savoir la compréhension objective et la satisfaction subjective. Pour l’importance des variables locales, nous montrons que la contextualisation et l’exploration améliorent l’intelligibilité de ces explications. De même, pour les exemples contrefactuels, nous montrons qu’avoir plusieurs exemples plutôt qu’un améliore également l’intelligibilité, et que l’analyse comparative est un outil prometteur pour la satisfaction des utilisateurs. À un niveau fondamental, nous considérons la question théorique des incohérences éventuelles de ces explications. Dans le contexte considéré dans cette thèse, la qualité d’une explication repose à la fois sur la capacité du système d’apprentissage automatique à générer une explication cohérente et sur la capacité de l’utilisateur final à interpréter correctement ces explications. Cependant, il peut y avoir plusieurs limitations: d’un côté, la littérature a rapporté plusieurs limitations techniques de ces systèmes, rendant les explications potentiellement incohérentes ; de l’autre, des études utilisateurs ont montré que les interprétations des utilisateurs ne sont pas toujours exactes, même si des explications cohérentes leur ont été présentées. Nous étudions donc ces incohérences et proposons une ontologie pour structurer les incohérences les plus courantes de la littérature. Cette ontologie constitue un outil pour comprendre les limites actuelles en XAI pour éviter les pièges des explications
This thesis focuses on human-centered eXplainable AI (XAI) and more specif- ically on the intelligibility of Machine Learning (ML) explanations for non-expert users. The technical context is as follows: on one side, either an opaque classifier or regressor provides a prediction, with an XAI post-hoc approach that generates pieces of information as explanations; on the other side, the user receives both the prediction and the explanations. Within this XAI technical context, several is- sues might lessen the quality of explanations. The ones we focus on are: the lack of contextual information in ML explanations, the unguided design of function- alities or the user’s exploration, as well as confusion that could be caused when delivering too much information. To solve these issues, we develop an experimental procedure to design XAI functional interfaces and evaluate the intelligibility of ML explanations by non-expert users. Doing so, we investigate the XAI enhancements provided by two types of local explanation components: feature importance and counterfac- tual examples. Thus, we propose generic XAI principles for contextualizing and allowing exploration on feature importance; and for guiding users in their com- parative analysis of counterfactual explanations with plural examples. We pro- pose an implementation of such principles into two distinct explanation-based user interfaces, respectively for an insurance and a financial scenarios. Finally, we use the enhanced interfaces to conduct users studies in lab settings and to measure two dimensions of intelligibility, namely objective understanding and subjective satisfaction. For local feature importance, we demonstrate that con- textualization and exploration improve the intelligibility of such explanations. Similarly for counterfactual examples, we demonstrate that the plural condition improve the intelligibility as well, and that comparative analysis appears to be a promising tool for users’ satisfaction. At a fundamental level, we consider the issue of inconsistency within ML explanations from a theoretical point of view. In the explanation process consid- ered for this thesis, the quality of an explanation relies both on the ability of the Machine Learning system to generate a coherent explanation and on the ability of the end user to make a correct interpretation of these explanations. Thus, there can be limitations: on one side, as reported in the literature, technical limitations of ML systems might produce potentially inconsistent explanations; on the other side, human inferences can be inaccurate, even if users are presented with con- sistent explanations. Investigating such inconsistencies, we propose an ontology to structure the most common ones from the literature. We advocate that such an ontology can be useful to understand current XAI limitations for avoiding explanations pitfalls

APA, Harvard, Vancouver, ISO, and other styles

4

Farenc, Christelle. "Ergoval : une méthode de structuration des règles ergonomiques permettant l'évaluation automatique d'interfaces graphiques." Toulouse 1, 1997. http://www.theses.fr/1997TOU10013.

Full text

Abstract:

Cette thèse propose une nouvelle méthode de structuration des règles ergonomiques permettant l'évaluation des interfaces graphiques. Cette méthode réalisée dans le cadre d'un contrat d'étude passé entre le SRTP (Service de Recherche Technique de la Poste) et le laboratoire LIS a été définie en vue d'être utilisée par des informaticiens et d'être intégrée dans un outil d'évaluation automatique de la présentation statique des interfaces. Pour fournir des résultats directement utilisables lors de la modification de l'interface et pour pouvoir implémenter la méthode dans un outil d'évaluation automatique, les règles ergonomiques ont été reformulées pour qu'elles s'appliquent directement aux objets de présentation, les connaissances nécessaires à l'évaluation ont été structurées de la manière suivante : * l'interface est décomposée suivant les objets de présentation qui la constituent, * une structure intermédiaire entre les objets de présentation et les règles ergonomiques a été défini. Cette structure, appelée typologie, correspond à une hiérarchie de classes qui regroupe les objets graphiques concernés par les mêmes règles ergonomiques. À la place de porter sur les objets graphiques, ces règles sont rattachées aux classes de la typologie. Une maquette de l'outil ERGOVAL, sous la forme d'un système expert, a été réalisée pour valider cette structuration des connaissances et pour définir les spécifications de l'outil final. De manière à pouvoir déterminer le champ d'application de l'outil, nous avons étudié la dimension automatique de l'outil d'évaluation, notamment la récupération automatique de la description de l'interface, et la dimension qualitative de l'évaluation représentée par le nombre et le niveau des règles ergonomiques intégrées dans l'outil. Nous avons ainsi défini la qualité d'une évaluation qui serait réalisée de manière totalement automatique et la qualité d'une évaluation qui intégrerait des règles ergonomiques de plus haut niveau et notamment des règles ergonomiques liées à la tâche
The thesis introduces a new method for structuring ergonomic rules in order to evaluate graphical user interface. This method performed in collaboration with the SRTP (post office technical research unit) aims to be used by computer experts and to be integrated in an automatic user interface evaluation tool : ERGOVAL. In order to provide information to developers in a way they can handle it to modify the interface, ergonomic rules were reformulated to concern directly graphical objects of the user interface. Knowledge involved in the evaluation was structured in this way : * a representation of the UI in terms of the interaction objects of the norm CUA was built : this is the decomposition of graphical objects * all graphical objects concerned by the same set of ergonomic rules are grouped together into classes of objects : the typology of graphic objects. . The resulting typology consists in several levels of abstraction, the graphical objects being the leaves of this typology. The links of this typology are types of links which have hierarchical properties, i. E. Each type inherits attributes from the parent type and associated rules. A mock-up of the ERGOVAL tool was made to validate knowledge structuration and to define specifications of the final tool. In order to determine the scale application, the automatic and qualitative dimensions were studied especially the automatic retrieval of interface description and the number and level of ergonomic rules integrated in the mock-up. Consequently, the quality of an automatic evaluation and an evaluation of high level ergonomic rules were determined

APA, Harvard, Vancouver, ISO, and other styles

5

Reveret, Lionel. "Conception et évaluation d'un système de suivi automatique des gestes labiaux en parole." Grenoble INPG, 1999. https://tel.archives-ouvertes.fr/tel-00389380.

Full text

Abstract:

Cette these presente un systeme de suivi automatique des gestes labiaux a partir d'une sequence video d'un locuteur. Le systeme combine une analyse ascendante et descendante de la forme des levres. Une premiere etape d'analyse chromatique, basee sur un apprentissage statistique, fournit une image en niveaux de gris ou le contraste entre levres et peau est rehausse. Parallelement, un modele lineaire 3d des gestes labiaux est appris pour un locuteur a partir de formes cles phonetiquement pertinentes. Le modele est alors synthetise et projete sur l'image imposant a priori les caracteristiques de la forme des levres. Il est adapte sur l'image rehaussee des levres par optimisation de ses parametres de controle. Ce systeme combine ainsi de maniere hybride la precision de l'analyse chromatique et la robustesse imposee par le modele. Ce systeme est evalue sous divers aspects : ses capacites a s'adapter a la morphologie labiale et aux strategies articulatoire de plusieurs locuteurs, la qualite des mesures geometriques delivrees et sa rapidite d'analyse. Le systeme complet a ete implante et teste en langage c sur une station de travail monoprocesseur. L'execution est evaluee en nombre d'instructions a partir du code machine genere par le compilateur du systeme de la station. Ces resultats ont permis d'identifier les zones critiques de traitement pour lesquels des optimisations sont proposees. Compte tenu de ces optimisations, il apparait que la cadence de 50 images par seconde est alors accessible sans avoir recours a une implantation materielle specialisee.

APA, Harvard, Vancouver, ISO, and other styles

6

Pho, Van-Minh. "Génération automatique de questionnaires à choix multiples pédagogiques : évaluation de l'homogénéité des options." Thesis, Paris 11, 2015. http://www.theses.fr/2015PA112192/document.

Full text

Abstract:

Ces dernières années ont connu un renouveau des Environnements Informatiques pour l'Apprentissage Humain. Afin que ces environnements soient largement utilisés par les enseignants et les apprenants, ils doivent fournir des moyens pour assister les enseignants dans leur tâche de génération d'exercices. Parmi ces exercices, les Questionnaires à Choix Multiples (QCM) sont très présents. Cependant, la rédaction d'items à choix multiples évaluant correctement le niveau d'apprentissage des apprenants est une tâche complexe. Des consignes ont été développées pour rédiger manuellement des items, mais une évaluation automatique de la qualité des items constituerait un outil pratique pour les enseignants.Nous nous sommes intéressés à l'évaluation automatique de la qualité des distracteurs (mauvais choix de réponse). Pour cela, nous avons étudié les caractéristiques des distracteurs pertinents à partir de consignes de rédaction de QCM. Cette étude nous a conduits à considérer que l'homogénéité des distracteurs et de la réponse est un critère important pour valider les distracteurs. L'homogénéité est d'ordre syntaxique et sémantique. Nous avons validé la définition de l'homogénéité par une analyse de corpus de QCM, et nous avons proposé des méthodes de reconnaissance automatique de l'homogénéité syntaxique et sémantique à partir de cette analyse.Nous nous sommes ensuite focalisé sur l'homogénéité sémantique des distracteurs. Pour l'estimer automatiquement, nous avons proposé un modèle d'ordonnancement par apprentissage, combinant différentes mesures d'homogénéité sémantique. L'évaluation du modèle a montré que notre méthode est plus efficace que les travaux existants pour estimer l'homogénéité sémantique des distracteurs
Recent years have seen a revival of Intelligent Tutoring Systems. In order to make these systems widely usable by teachers and learners, they have to provide means to assist teachers in their task of exercise generation. Among these exercises, multiple-choice tests are very common. However, writing Multiple-Choice Questions (MCQ) that correctly assess a learner's level is a complex task. Guidelines were developed to manually write MCQs, but an automatic evaluation of MCQ quality would be a useful tool for teachers.We are interested in automatic evaluation of distractor (wrong answer choice) quality. To do this, we studied characteristics of relevant distractors from multiple-choice test writing guidelines. This study led us to assume that homogeneity between distractors and answer is an important criterion to validate distractors. Homogeneity is both syntactic and semantic. We validated the definition of homogeneity by a MCQ corpus analysis, and we proposed methods for automatic recognition of syntactic and semantic homogeneity based on this analysis.Then, we focused our work on distractor semantic homogeneity. To automatically estimate it, we proposed a ranking model by machine learning, combining different semantic homogeneity measures. The evaluation of the model showed that our method is more efficient than existing work to estimate distractor semantic homogeneity

APA, Harvard, Vancouver, ISO, and other styles

7

Adda-Decker, Martine. "Évaluation d'unités de décision pour la reconnaissance de la parole continue." Paris 11, 1988. http://www.theses.fr/1988PA112342.

Full text

Abstract:

Présentation de la place de l'unité de décision dans un système de reconnaissance orienté vers une approche globale. Les problèmes posés par la variabilité du signal de parole lors de la création du dictionnaire d'unité de décision sont étudiés. Développement de la reconnaissance par diphonie, pour laquelle un algorithme par mots enchainés a été adopté. La reconnaissance par unités phonétiques utilise une approche centiseconde, évaluée sur une segmentation manuelle et une segmentation automatique à partir d'une courbe de loudness. Une évaluation précise des différentes approches a été faite au niveau décodage acoustico-phonetique. Un lexique a été introduit pour tenir compte des contraintes lexicales de l'approche mixte (diphone et unité phonétique)

APA, Harvard, Vancouver, ISO, and other styles

8

Vanackère, Vincent. "Trust : un système de vérification automatique de protocoles cryptographiques." Aix-Marseille 1, 2004. http://www.theses.fr/2004AIX11063.

Full text

Abstract:

La vérification automatique des protocoles cryptographiques est un problème difficile et aux répercussions économiques importantes. On sait par ailleurs qu'il n'admet pas de solution générale car il est indécidable pour un nombre non borné de sessions. Nous nous intéressons dans cette thèse à l'étude des protocoles comportant un nombre borné de sessions en parallèle. Nous introduisons un système de réduction symbolique qui permet dans ce cadre d'effectuer une vérification exacte de ces protocoles. Afin de rendre cette méthode utilisable en pratique sur des protocoles comportant plusieurs sessions en parallèle, nous développons deux méthodes avancées de réduction de l'espace d'états adaptées à une recherche en profondeur. Enfin, nous présentons TRUST, un outil pour la vérification automatique de protocoles cryptographiques. TRUST intègre l'ensemble de ces résultats théoriques afin de fournir un outil de vérification qui soit à la fois simple à utiliser et efficace.

APA, Harvard, Vancouver, ISO, and other styles

9

Santi, Serge. "Synthèse vocale de sons du français : modélisation acoustique et évaluation perceptive." Aix-Marseille 1, 1992. http://www.theses.fr/1992AIX10049.

Full text

Abstract:

Cette etude est consacree a la synthese vocale du francais a travers l'etude d'un corpus de logatomes de type vcv ou v est une des voyelles cardinales a, i, u et c une des consonnes occlusives p, t, k, b, d, g. A partir de l'analyse d'un corpus de parole naturelle, une extraction des indices caracteristiques des sons consideres est effectuee. Ces indices sont ensuite modelises sous la forme de regles d'evolution des parametres de commande du synthetiseur. Les stimuli synthetiques ainsi generes sont soumis a differentes evaluations diagnostiques, destinees non seulement a quantifier une performance, mais egalement a rendre compte de certains processus perceptifs specifiques ou non a la parole de synthese. Les bases theoriques et historiques de la synthese vocale et des methodes d'evaluation sont egalement presentees
This research deals with the vocal synthesis of some sounds of french. A corpus of vcv nonsense words, where v is one of the cardinal vowels a, i, u and c one of the stop consonants p, t, k, b, d, g , is considered. Relevant acoustic cues are extracted from natural speech material, then modeled by means of rules. These rules determine the evolution of the command parameters of the synthesizer. The synthetic data is evaluated by means of diagnostic evaluation methods. These evaluation tests are used not only to quantify the performance of the synthesizer but also to investigate some processes involved in both natural and synthetic speech perception. Theorical and historical aspects of speech synthesis and evaluation techniques are also included

APA, Harvard, Vancouver, ISO, and other styles

10

Ciguene, Richardson. "Génération automatique de sujets d'évaluation individuels en contexte universitaire." Electronic Thesis or Diss., Amiens, 2019. http://www.theses.fr/2019AMIE0046.

Full text

Abstract:

Ce travail de thèse s'intéresse à l'évaluation des apprentissages et notamment à la génération automatique de sujets d'évaluations dans les universités. Nous nous appuyons sur une base de questions sources pour créer les questions des sujets grâce à des algorithmes qui sont en mesure de construire des tests d'évaluation différenciés. Ces recherches ont permis d'élaborer une métrique qui mesure cette différenciation et de proposer des algorithmes visant à maximiser la différenciation totale sur des collections de tests, tout en minimisant le nombre de patterns nécessaires. Les performances en moyenne de ces derniers dépendent du nombre de patterns disponibles dans la base source (en regard du nombre d'items souhaités dans les tests), et de la taille des collections générées. On s'est focalisé sur la différenciation possible dans de très petites collections de sujets, et propose des pistes méthodologiques pour optimiser la distribution de ces sujets différenciés à des cohortes d'étudiants en respectant les contraintes de l'enseignant. La suite de ce travail sera éventuellement de prendre en compte le niveau de difficulté d'un Test comme nouvelle contrainte, en s'appuyant en partie sur les données statistiques et sémantiques récoltées après chaque Épreuve. Le but est de pouvoir maximiser la différenciation en gardant l'équité entre les Tests d'une Collection, pour une distribution optimisée lors des Épreuves
This PhD work focuses on the evaluation of learning and especially the automatic generation of evaluation topics in universities. We rely on a base of source questions to create topic questions through algorithms that are able to construct differentiated assessment tests. This research has made it possible to develop a metric that measures this differentiation and to propose algorithms aimed at maximizing total differentiation on test collections, while minimizing the number of necessary patterns. The average performance of the latter depends on the number of patterns available in the source database (compared to the number of items desired in the tests), and the size of the generated collections. We focused on the possible differentiation in very small collections of subjects, and proposes methodological tracks to optimize the distribution of these differentiated subjects to cohorts of students respecting the constraints of the teacher. The rest of this work will eventually take into account the level of difficulty of a test as a new constraint, relying in part on the statistical and semantic data collected after each test. The goal is to be able to maximize the differentiation by keeping the equity between the Tests of a Collection, for an optimized distribution during the Events

APA, Harvard, Vancouver, ISO, and other styles

11

Mognol, Pascal. "Contribution à la génération automatique de gammes en tournage : génération dirigée par évaluation progressive." Cachan, Ecole normale supérieure, 1994. http://www.theses.fr/1994DENS0019.

Full text

Abstract:

Ce travail de recherche porte sur la génération automatique de gammes d'usinage en tournage. La complexité de ces recherches porte principalement sur deux points: il faut, d'une part, formaliser la connaissance de l'expert en gammes d'usinage (connaissance basée sur des calculs scientifiques mais aussi principalement sur l'expérience) et d'autre part, utiliser cette connaissance au mieux pour obtenir un système de génération automatique de gammes d'usinage (expertise cogniticienne). Il faut mettre en œuvre une méthode qui évite l'explosion combinatoire du nombre de solutions possibles, tout en ne réduisant pas l'espace des solutions envisagées. Pour répondre a ces exigences, nous avons mis en place un nouveau concept base sur la construction d'un graphe de résolution. Ce principe est du type ascendant. L'étude de la pièce finie permet, par habillages successifs, d'obtenir la forme brute. Des critères technologiques, qui traduisent l'expertise du gammiste, évaluent et éliminent progressivement les solutions peu fiables, tout en ne réduisant pas l'espace des solutions valides. De plus, l'analyse des critères défaillants permet de diriger l'élaboration du graphe vers des solutions répondant aux problèmes décelés. Le principe même d'élaboration du graphe garantit la non explosion combinatoire du nombre de solutions. Le graphe finalement obtenu, ne contient qu'un nombre restreint de gammes technologiquement faisables, sur lesquelles une étude finale et complète (étude de cout, par exemple) est menée. L'utilisateur peut ainsi choisir, en toutes connaissances de cause, la gamme qu'il va mettre en œuvre. Une maquette informatique a été réalisée. Les résultats obtenus ont permis de valider ces concepts dans le cadre du tournage

APA, Harvard, Vancouver, ISO, and other styles

12

Cauvin, Evelyne. "Elaboration de critères prosodiques pour une évaluation semi-automatique des apprenants francophones de l'anglais." Thesis, Sorbonne Paris Cité, 2017. http://www.theses.fr/2017USPCC097/document.

Full text

Abstract:

L’objectif de cette thèse est de modéliser l’interlangue prosodique des apprenants francophones de l’anglais afin de pouvoir élaborer des critères utilisables pour une évaluation semi-automatique de leur niveau prosodique. Le domaine évaluatif requiert la plus grande rigueur dans la mise en place de ses critères pour aboutir à la validité, la fiabilité, la faisabilité et l’équité maximales, alors que la prosodie anglaise de la langue cible se caractérise par son extrême variabilité. Aussi, peu d’études se sont engagées dans l’évaluation de la prosodie, qui représente une réelle gageure. Pour relever ce défi, une stratégie particulière a été mise en place pour élaborer une méthodologie permettant d’atteindre l’objectif fixé, en lecture.L’approche choisie repose sur la symbiose permanente qu’entretient la prosodie avec le monde dans lequel évolue le locuteur. Cette méthodologie, ou « profilage », est destinée à sélectionner par inclusion ou exclusion les éléments analysés tant au niveau perceptif qu’acoustique. Le profilage des réalisations sur l’axe syntagmatique permet de sélectionner les locuteurs natifs servant de modèles, et celui basé sur le phénomène d’emphase rend possible un ciblage de leurs réalisations les plus pertinentes à modéliser sur l’axe paradigmatique. Conformément à cette méthodologie d’investigation nouvelle et aux résultats perceptifs et acoustiques concordants pour la langue cible, les réalisations des apprenants francophones du corpus Longdale-Charliphonia sont analysés acoustiquement. Le classement automatique à partir des variables prosodiques (acoustiques et perceptives) est confronté à celui d’experts évaluant par perception classique.Les travaux de cette thèse aboutissent essentiellement à : Une modélisation de la prosodie anglaise non native par grilles évaluatives critériées s’appuyant sur critères distinctifs natifs et non natifs issus de variables temporelles (vitesse d’élocution avec ou sans pauses), de registre et de mélodie, ainsi que de rythme, À partir de ces variables, une évaluation semi-automatisée de 15 apprenants représentatifs du corpus par classement et notation, une correspondance des résultats de l’évaluation traditionnelle avec celle semi-automatique évoluant entre 56,83% et 59,74% dans une catégorisation des apprenants en 3 niveaux de maîtrise, en fonction du profilage d’experts évaluateurs
The aim of our study is to modelise the prosodic interlanguage of Francophone learners of English in order to provide useful criteria for a semi-automatic assessment of their prosodic level in English. Learner assessment is a field that requires to be very rigorous and fair when setting up criteria that ensure validity, reliability, feasibility and equality, whereas English prosody is highly variable. Hence, few studies have carried out research in assessing prosody because it represents a real challenge. To address this issue, a specific strategy has been devised to elaborate a methodology that would ensure assessing a reading task successfully.The approach relies upon the constant symbiosis between prosody and a speaker’s subjective response to their environment. Our methodology, also known as « profiling », first aims at selecting relevant native perceived and acoustic prosodic features that will optimize assessment criteria by using their degree of emphasis and creating speakers’ prosodic profiles. Then, using the Longdale-Charliphonia corpus, the learner's productions are analysed acoustically. The automatic classification of the learners based on acoustic or perception prosodic variables is then submitted to expert aural assessment which assesses the learner evaluation criteria.This study achieves: A modelisation of non-native English prosody based on assessment grids that rely upon features of both native and non-native speakers of English, namely, speech rate – with or without the inclusion of pauses, register, melody and rhythm,A semi-automatic evaluation of 15 representative learners based on the above modelisation – ranking and marking,A comparison of the semi-automatic results with those of experts' auditory assessment; correspondence between the two varies from 56.83% to 59.74% when categorising the learners into three prosodic proficiency groups

APA, Harvard, Vancouver, ISO, and other styles

13

Couronne, Thierry. "Analyse statistique de la performance d'un jury en évaluation sensorielle." Rennes 2, 1997. http://www.theses.fr/1997REN20009.

Full text

Abstract:

L'objectif de cette thèse est de proposer une méthodologie permettant d'analyser la performance d'un jury en évaluation sensorielle. Les données de référence utilisées sont les suivantes : J juges notent P produits via D descripteurs (=variables). L'angle d'analyse de la performance choisi est l'étude de l'homogénéité du jury. La méthodologie proposée met en oeuvre conjointement le modèle linéaire (analyse de la variance) et des méthodes de l'analyse des données multidimensionnelles (ACP et CAH). Une première partie décrit la problématique et les données. Elle résume les approches existantes de la performance. Une seconde partie présente des méthodes autour de quelques résultats originaux. Les données sont analysées descripteur par descripteur. Usuellement, l'homogénéité du jury est mesurée à partir des résidus (= interaction) du modèle additif a deux facteurs : réponse (du juge J sur le produit P) = effet du juge J + effet du produit P + résidu. Il est montre dans ce travail que, dans l'optique d'une analyse de la performance, il est préférable d'étudier les résidus du modèle comportant le seul facteur juge. Cette matrice des résidus donne lieu à une interprétation géométrique qui met en évidence un nuage de juges considérés en tant que variables (on s'intéresse à la fois aux angles entre les juges et à leur norme). Dans un premier temps, on définit une analyse factorielle de ce nuage dans laquelle on introduit une contrainte de contiguité. Dans un second temps, ce nuage est étudié à l'aide de classifications. L'angle d'analyse choisi conduit à définir : - une contrainte de contiguité "stricte" (i. E. Tous les couples de juges d'une même classe doivent vérifier la contrainte), - plusieurs critères d'agrégation. L'ensemble de l'expose est illustre a la fois par des exemples artificiels très simples et par des données réelles
The aim of this thesis is to develop a methodology to analyse assessors' performance in sensory evaluation. The data used are the following : J assessors note P products on d criteria (= variables) the study of the performance is focused on panel's homogeneity. The methodology suggested uses a linear model (analysis of variance) and multidimensionnal data analysis (PCA, classification). The first part describes problematics and data : a state of the art of performance is done. The second part shows some original results. The data are analysed criterion by criterion. Usually, panel homogeneity is measured from residuals (= interaction) of the two ways model : response (of assessor J on product P) = effect of assessor J + effect of product P + residual. This work shows that, in a performance target, it is better to analyse residual of one way model with only assessor effect. This matrix of residual leads to a geometric interpretation which points out a cloud of assessors considered as variables (angles and length are of interest). First, a factorial analysis of this cloud with a contiguity constraint is introduced. Secondly, this cloud is analysed by classification. The approach of the subject leads to : - a "strict" contiguity constraint (i. E. In a class, all the couples of assessors must verify the constraint), - several agregation criteria. The document is illustrated by convenient artificial examples and by true data

APA, Harvard, Vancouver, ISO, and other styles

14

Dang, Quang Vinh. "Évaluation de la confiance dans la collaboration à large échelle." Thesis, Université de Lorraine, 2018. http://www.theses.fr/2018LORR0002/document.

Full text

Abstract:

Les systèmes collaboratifs à large échelle, où un grand nombre d’utilisateurs collaborent pour réaliser une tâche partagée, attirent beaucoup l’attention des milieux industriels et académiques. Bien que la confiance soit un facteur primordial pour le succès d’une telle collaboration, il est difficile pour les utilisateurs finaux d’évaluer manuellement le niveau de confiance envers chaque partenaire. Dans cette thèse, nous étudions le problème de l’évaluation de la confiance et cherchons à concevoir un modèle de confiance informatique dédiés aux systèmes collaboratifs. Nos travaux s’organisent autour des trois questions de recherche suivantes. 1. Quel est l’effet du déploiement d’un modèle de confiance et de la représentation aux utilisateurs des scores obtenus pour chaque partenaire ? Nous avons conçu et organisé une expérience utilisateur basée sur le jeu de confiance qui est un protocole d’échange d’argent en environnement contrôlé dans lequel nous avons introduit des notes de confiance pour les utilisateurs. L’analyse détaillée du comportement des utilisateurs montre que: (i) la présentation d’un score de confiance aux utilisateurs encourage la collaboration entre eux de manière significative, et ce, à un niveau similaire à celui de l’affichage du surnom des participants, et (ii) les utilisateurs se conforment au score de confiance dans leur prise de décision concernant l’échange monétaire. Les résultats suggèrent donc qu’un modèle de confiance peut être déployé dans les systèmes collaboratifs afin d’assister les utilisateurs. 2. Comment calculer le score de confiance entre des utilisateurs qui ont déjà collaboré ? Nous avons conçu un modèle de confiance pour les jeux de confiance répétés qui calcule les scores de confiance des utilisateurs en fonction de leur comportement passé. Nous avons validé notre modèle de confiance en relativement à: (i) des données simulées, (ii) de l’opinion humaine et (iii) des données expérimentales réelles. Nous avons appliqué notre modèle de confiance à Wikipédia en utilisant la qualité des articles de Wikipédia comme mesure de contribution. Nous avons proposé trois algorithmes d’apprentissage automatique pour évaluer la qualité des articles de Wikipédia: l’un est basé sur une forêt d’arbres décisionnels tandis que les deux autres sont basés sur des méthodes d’apprentissage profond. 3. Comment prédire la relation de confiance entre des utilisateurs qui n’ont pas encore interagi ? Etant donné un réseau dans lequel les liens représentent les relations de confiance/défiance entre utilisateurs, nous cherchons à prévoir les relations futures. Nous avons proposé un algorithme qui prend en compte les informations temporelles relatives à l’établissement des liens dans le réseau pour prédire la relation future de confiance/défiance des utilisateurs. L’algorithme proposé surpasse les approches de la littérature pour des jeux de données réels provenant de réseaux sociaux dirigés et signés
Large-scale collaborative systems wherein a large number of users collaborate to perform a shared task attract a lot of attention from both academic and industry. Trust is an important factor for the success of a large-scale collaboration. It is difficult for end-users to manually assess the trust level of each partner in this collaboration. We study the trust assessment problem and aim to design a computational trust model for collaborative systems. We focused on three research questions. 1. What is the effect of deploying a trust model and showing trust scores of partners to users? We designed and organized a user-experiment based on trust game, a well-known money-exchange lab-control protocol, wherein we introduced user trust scores. Our comprehensive analysis on user behavior proved that: (i) showing trust score to users encourages collaboration between them significantly at a similar level with showing nick- name, and (ii) users follow the trust score in decision-making. The results suggest that a trust model can be deployed in collaborative systems to assist users. 2. How to calculate trust score between users that experienced a collaboration? We designed a trust model for repeated trust game that computes user trust scores based on their past behavior. We validated our trust model against: (i) simulated data, (ii) human opinion, and (iii) real-world experimental data. We extended our trust model to Wikipedia based on user contributions to the quality of the edited Wikipedia articles. We proposed three machine learning approaches to assess the quality of Wikipedia articles: the first one based on random forest with manually-designed features while the other two ones based on deep learning methods. 3. How to predict trust relation between users that did not interact in the past? Given a network in which the links represent the trust/distrust relations between users, we aim to predict future relations. We proposed an algorithm that takes into account the established time information of the links in the network to predict future user trust/distrust relationships. Our algorithm outperforms state-of-the-art approaches on real-world signed directed social network datasets

APA, Harvard, Vancouver, ISO, and other styles

15

Pomorski, Denis. "Apprentissage automatique symbolique/numérique : construction et évaluation d'un ensemble de règles à partir des données." Lille 1, 1991. http://www.theses.fr/1991LIL10117.

Full text

Abstract:

Ce travail s'inscrit dans le cadre du thème : Analyse et Surveillance des Processus Industriels Complexes, développé au Laboratoire d'Automatique et d'Information Industrielle de Lille (LAIL-URA 1440). Nous considérons des systèmes pour lesquels aucun modèle de comportement n'est disponible. Leur surveillance passe alors par l'établissement d'un modèle statistique, élaboré à partir de l'analyse des données relevées sur le processus. Après avoir présenté deux systèmes (ID3 et INDUCE) très utilisés en apprentissage, nous caractérisons les propriétés (cohérence, complétude. . . ) d'un ensemble de règles obtenues par une procédure d'apprentissage, et nous proposons des critères permettant d'évaluer ces règles. Nous distinguons deux procédures de construction de règles plus générales: l'agrégation et le prolongement. Nous donnons, pour ces deux cas, des moyens d'évaluation des résultats obtenus reposant sur différentes hypothèses (monde clos, non contradiction, continuité). Nous proposons dès lors la construction d'un modèle explicatif par généralisation des règles constituant le modèle atomique (représentant le comportement déterministe du processus). Nous développons des méthodes d'induction utilisant une représentation globale (construction de partitions) basées sur un critère entropique (issu de la théorie de l'information), et une représentation locale (prise en compte de parties)

APA, Harvard, Vancouver, ISO, and other styles

16

Ben, Jannet Mohamed Amer. "Évaluation adaptative des systèmes de transcription en contexte applicatif." Thesis, Université Paris-Saclay (ComUE), 2015. http://www.theses.fr/2015SACLS041/document.

Full text

Abstract:

Il est important d'évaluer régulièrement les produits de l'innovation technologique afin d'estimer le niveau de maturité atteint par les technologies et d'étudier les cadres applicatifs dans lesquels elles pourront être exploitées. Le traitement automatique des langues (TAL) relève à la fois de la recherche et de l'innovation technologique et a pour but la modélisation et le développement d'outils permettant de traiter automatiquement le langage naturel. Pendant longtemps, les différentes briques technologiques issues du TAL étaient développées séparément. Par conséquent, les méthodes d'évaluation existantes sont dans la plupart modulaires et ne permettent d'évaluer qu'un seul module à la fois, alors qu'aujourd'hui nombreuses applications nécessitent de combiner plusieurs modules de TAL pour résoudre des tâches complexes. Le nouveau défi en terme d'évaluation est alors de pouvoir évaluer les différents modules (ou briques) tout en prenant en compte le contexte applicatif.Notre travail porte sur l'évaluation des systèmes de reconnaissance automatique de la parole (RAP) en contexte applicatif, en particulier, celui de la reconnaissance d'entités nommées (REN).En première partie, nous abordons la problématique de l'évaluation des systèmes de RAP en contexte applicatif à travers une étude de l'état de l'art. Nous y décrivons les tâche de RAP et de REN proposées dans les campagnes d'évaluation ainsi que les protocoles mis en place pour leurs évaluation. Nous y discutons également les limites des approches d'évaluations modulaires et nous y exposons les mesures alternatives proposées dans la littératures. En deuxième partie, nous décrivons la tâche de détection, classification et décomposition d'entités nommées étudiée et nous proposons une nouvelle métriques ETER (Entity Tree Error Rate) permettant de prendre en compte les spécificité de cette tâche et le contexte applicatif lors de l'évaluation. ETER permet également de supprimer les biais observés avec les métriques existantes. En troisième partie, nous définissons une nouvelle mesure ATENE (Automatic Transcriptions Evaluation for Named Entities) qui permet d'évaluer la qualité des systèmes de RAP et l'impact de leurs erreurs pour des systèmes de REN appliqués en aval. ATENE consiste à comparer les probabilités de présence d'entités sur les transcriptions de référence et d'hypothèse plutôt qu'une comparaison directe des graphèmes. Elle est composée de deux mesures élémentaires. Une première permettant l'évaluation de risque d'erreur d'omission et de substitution d'entités et une seconde permettant d'évaluer le risque d'erreur d'insertion d'entités causé par les erreurs de RAP.Nos expériences de validation montrent que les mesures données par ATENE corrèlent mieux que les autres mesures de l'état de l'art avec les performances des systèmes de REN
It is important to regularly assess the technological innovation products in order to estimate the level of maturity reached by the technology and study the applications frameworks in which they can be used. Natural language processing (NLP) aims at developing modules and applications that automatically process the human language. That makes the field relevant to beth research and technological innovation. For years, the different technological modules from the NLP were developed separately. Therefore, the existing evaluation methods are in most modular. They allow to evaluate only one module at a time, while today, many applications need to combine several NLP modules to solve complex tasks. The new challenge in terms of evaluation is then to evaluate the different modules while taking into account the applicative context.Our work addresses the evaluation of Automatic Speech Recognition (ASR) systems according to the applicative context. We will focus on the case of Named Entities Recognition (NER) from spoken documents transcriped automatically. In the first part, we address the issue of evaluating ASR systems according to the application context through a study of the state of the art. We describes the tasks of ASR and NER proposed during several evalution campaigns and we discuss the protocols established for their evaluation. We also point the limitations of modular evaluation approaches and we expose the alternatives measures proposed in the literature. In the second part we describe the studied task of named entities detection, classification and decomposition and we propose a new metric ETER (Entity Tree Error Rate) which allows to take into account the specificity of the task and the applicative context during the evaluation. ETER also eliminates the biases observed with the existing metrics. In the third part, we define a new measure ATENE (Automatic Transcriptions Evaluation for Named Entities) that evaluates the quality of ASR systems and the impact of their errors for REN systems applied downstream. Rather than directly comparing reference and hypothesis transcriptions, ATENE measure how harder it becames to identify entities given the differences between hypothesis and reference by comparing an estimated likelihood of presence of entities. It is composed of two elementary measurements. The first aims to assess the risk of entities deletions and substitutions and the second aims to assess the risk of entities insertions caused by ASR errors.Our validation experiments show that the measurements given by ATENE correlate better than other measures from the state of the art with the performance of REN systems

APA, Harvard, Vancouver, ISO, and other styles

17

Laaridh, Imed. "Évaluation de la parole dysarthrique : Apport du traitement automatique de la parole face à l’expertise humaine." Thesis, Avignon, 2017. http://www.theses.fr/2017AVIG0218/document.

Full text

Abstract:

La dysarthrie est un trouble de la parole affectant la réalisation motrice de la parole causée par des lésions du système nerveux central ou périphérique. Elle peut être liée à différentes pathologies : la maladie de Parkinson, la Sclérose Latérale Amyotrophique(SLA), un Accident Vasculaire Cérébral (AVC), etc. Plusieurs travaux de recherche ont porté sur la caractérisation des altérations liées à chaque pathologie afin de les regrouper dans des classes de dysarthrie. La classification la plus répandue est celle établie parF. L. Darley comportant 6 classes en 1969, (complétée par deux classes supplémentaires en 2005)Actuellement, l’évaluation perceptive (à l’oreille) reste le standard utilisé dans lapratique clinique pour le diagnostique et le suivi thérapeutique des patients. Cette approcheest néanmoins reconnue comme étant subjective, non reproductible et coûteuseen temps. Ces limites la rendent inadaptée à l’évaluation de larges corpus (dans le cadred’études phonétiques par exemple) ou pour le suivi longitudinal de l’évolution des patientsdysarthriques.Face à ces limites, les professionnels expriment constamment leur besoin de méthodesobjectives d’évaluation de la parole dysarthrique. Les outils de Traitement Automatiquede la Parole (TAP) ont été rapidement considérés comme des solutions potentiellespour répondre à cette demande.Le travail présenté dans ce rapport s’inscrit dans ce cadre et étudie l’apport quepeuvent avoir ces outils dans l’évaluation de la parole dysarthrique, et plus généralementpathologique.Dans ce travail, une approche pour la détection automatique des phonèmes anormauxdans la parole dysarthrique est proposée et son comportement est analysé surdifférents corpus comportant différentes pathologies, classes dysarthriques, niveaux desévérité de la maladie et styles de parole. Contrairement à la majorité des approchesproposées dans la littérature permettant des évaluations de la qualité globale de la parole(évaluation de la sévérité, intelligibilité, etc.), l’approche proposée se focalise surle niveau phonème dans le but d’atteindre une meilleure caractérisation de la dysarthrieet de permettre un feed-back plus précis et utile pour l’utilisateur (clinicien, phonéticien,patient). L’approche s’articule autours de deux phases essentielles : (1) unepremière phase d’alignement automatique de la parole au niveau phonème (2) uneclassification de ces phonèmes en deux classes : phonèmes normaux et anormaux. L’évaluation de l’annotation réalisée par le système par rapport à une évaluationperceptive d’un expert humain considérée comme ”référence“ montre des résultats trèsencourageants et confirme la capacité de l’approche à detecter les anomalies au niveauphonème. L’approche s’est aussi révélée capable de capter l’évolution de la sévéritéde la dysarthrie suggérant une potentielle application lors du suivi longitudinal despatients ou pour la prédiction automatique de la sévérité de leur dysarthrie.Aussi, l’analyse du comportement de l’outil d’alignement automatique de la paroleface à la parole dysarthrique a révélé des comportements dépendants des pathologieset des classes dysarthriques ainsi que des différences entre les catégories phonétiques.De plus, un effet important du style de parole (parole lue et spontanée) a été constatésur les comportements de l’outil d’alignement de la parole et de l’approche de détectionautomatique d’anomalies.Finalement, les résultats d’une campagne d’évaluation de l’approche de détectiond’anomalies par un jury d’experts sont présentés et discutés permettant une mise enavant des points forts et des limites du système
Dysarthria is a speech disorder resulting from neurological impairments of the speechmotor control. It can be caused by different pathologies (Parkinson’s disease, AmyotrophicLateral Sclerosis - ALS, etc.) and affects different levels of speech production (respiratory,laryngeal and supra-laryngeal). The majority of research work dedicated tothe study of dysarthric speech relies on perceptual analyses. The most known study, byF. L. Darley in 1969, led to the organization and the classification of dysarthria within 6classes (completed with 2 additional classes in 2005).Nowadays, perceptual evaluation is still the most used method in clinical practicefor the diagnosis and the therapeutic monitoring of patients. However, this method isknown to be subjective, non reproductive and time-consuming. These limitations makeit inadequate for the evaluation of large corpora (in case of phonetic studies) or forthe follow-up of the progression of the condition of dysarthric patients. In order toovercome these limitations, professionals have been expressing their need of objectivemethods for the evaluation of disordered speech and automatic speech processing hasbeen early seen as a potential solution.The work presented in this document falls within this framework and studies thecontributions that these tools can have in the evaluation of dysarthric, and more generallypathological speech.In this work, an automatic approach for the detection of abnormal phones in dysarthricspeech is proposed and its behavior is analyzed on different speech corpora containingdifferent pathologies, dysarthric classes, dysarthria severity levels and speechstyles (read and spontaneous speech). Unlike the majority of the automatic methodsproposed in the literature that provide a global evaluation of the speech on generalitems such as dysarthria severity, intelligibility, etc., our proposed method focuses onthe phone level aiming to achieve a better characterization of dysarthria effects and toprovide a precise and useful feedback to the potential users (clinicians, phoneticians,patients). This method consists on two essential phases : (1) an automatic phone alignmentof the speech (2) an automatic classification of the resulting phones in two classes :normal and abnormal phones.When compared to an annotation of phone anomalies provided by a human expertconsidered to be the ”gold standard“, the approach showed encouraging results andproved to be able to detect anomalies on the phone level. The approach was also able to capture the evolution of the severity of the dysarthria suggesting a potential relevanceand use in the longitudinal follow-up of dysarthric patients or for the automatic predictionof their intelligibility or the severity of their dysarthria.Also, the automatic phone alignment precision was found to be dependent on the severity,the pathology, the class of the dysarthria and the phonetic category of each phone.Furthermore, the speech style was found to have an interesting effect on the behaviorsof both automatic phone alignment and anomaly detection.Finally, the results of an evaluation campaign conducted by a jury of experts on theannotations provided by the proposed approach are presented and discussed in orderto draw a panel of the strengths and limitations of the system

APA, Harvard, Vancouver, ISO, and other styles

18

Pierrejean, Bénédicte. "Qualitative evaluation of word embeddings : investigating the instability in neural-based models." Thesis, Toulouse 2, 2020. http://www.theses.fr/2020TOU20001.

Full text

Abstract:

La sémantique distributionnelle a récemment connu de grandes avancées avec l’arrivée des plongements de mots (word embeddings) basés sur des méthodes neuronales qui ont rendu les modèles sémantiques plus accessibles en fournissant des méthodes d’entraînement rapides, efficaces et faciles à utiliser. Ces représentations denses d’unités lexicales basées sur l’analyse non supervisée de gros corpus sont de plus en plus utilisées dans diverses applications. Elles sont intégrées en tant que première couche dans les modèles d’apprentissage profond et sont également utilisées pour faire de l’observation qualitative en linguistique de corpus. Cependant, malgré leur popularité, il n’existe toujours pas de méthode d’évaluation des plongements de mots qui donne à la fois une vision globale et précise des différences existant entre plusieurs modèles.Dans cette thèse, nous proposons une méthodologie pour évaluer les plongements de mots. Nous fournissons également une étude détaillée des modèles entraînés avec la méthode word2vec.Dans la première partie de cette thèse, nous donnons un aperçu de l’évolution de la sémantique distributionnelle et passons en revue les différentes méthodes utilisées pour évaluer les plongements de mots. Par la suite, nous identifions les limites de ces méthodes et proposons de comparer les plongements de mots en utilisant une approche basée sur les voisins sémantiques. Nous expérimentons avec cette approche sur des modèles entrainés avec différents paramètres ou sur différents corpus. Étant donné la nature non déterministe des méthodes neuronales, nous reconnaissons les limites de cette approche et nous concentrons par la suite sur le problème de l’instabilité des voisins sémantiques dans les modèles de plongement de mots. Plutôt que d’éviter ce problème, nous choisissons de l’utiliser comme indice pour mieux comprendre les plongements de mots. Nous montrons que le problème d’instabilité n’affecte pas tous les mots de la même manière et que plus plusieurs traits linguistiques permettent d’expliquer une partie de ce phénomène. Ceci constitue un pas vers une meilleure compréhension du fonctionnement des modèles sémantiques vectoriels
Distributional semantics has been revolutionized by neural-based word embeddings methods such as word2vec that made semantics models more accessible by providing fast, efficient and easy to use training methods. These dense representations of lexical units based on the unsupervised analysis of large corpora are more and more used in various types of applications. They are integrated as the input layer in deep learning models or they are used to draw qualitative conclusions in corpus linguistics. However, despite their popularity, there still exists no satisfying evaluation method for word embeddings that provides a global yet precise vision of the differences between models. In this PhD thesis, we propose a methodology to qualitatively evaluate word embeddings and provide a comprehensive study of models trained using word2vec. In the first part of this thesis, we give an overview of distributional semantics evolution and review the different methods that are currently used to evaluate word embeddings. We then identify the limits of the existing methods and propose to evaluate word embeddings using a different approach based on the variation of nearest neighbors. We experiment with the proposed method by evaluating models trained with different parameters or on different corpora. Because of the non-deterministic nature of neural-based methods, we acknowledge the limits of this approach and consider the problem of nearest neighbors instability in word embeddings models. Rather than avoiding this problem we embrace it and use it as a mean to better understand word embeddings. We show that the instability problem does not impact all words in the same way and that several linguistic features are correlated. This is a step towards a better understanding of vector-based semantic models

APA, Harvard, Vancouver, ISO, and other styles

19

Balmas, Françoise. "Contribution à la conceptualisation de programmes : modèle, implémentation, utilisation et évaluation." Paris 8, 1995. http://www.theses.fr/1995PA081071.

Full text

Abstract:

Cette these propose un modele de caracterisation de l'activite des programmes. Tout programme est decrit selon l'ensemble des calculs qu'il effectue, ceux-ci etant classes en six categories admettant plusieurs variations. Actuellement, ce modele s'applique aux programmes integrant une seule boucle. La caracterisation d'un programme au travers du modele, ou schema, constitue l'explication globale de ce programme, celle-ci revelant sa structure algorithmique et permettant de le rattacher a un ensemble de stereotypes que les programmeurs experimentes connaissent bien. Le schema est egalement la specification abstraite d'un probleme a implementer, celle-ci etant alors representee sous une forme particulierement concise. La description conceptuelle est l'equivalent du programme resume par un schema dont elle est l'explication ou la specification complete. Sur la base des descriptions conceptuelles, trois systemes ont ete implementes: 1. Prisme calcule le schema et la description conceptuelle d'un programme ; il fournit donc une explication de ce programme qui aide a sa comprehension, 2. Signedit genere un programme a partir d'une description conceptuelle ; de ce fait, il introduit un style de programmation qui minimise les interventions du programmeur, 3. Acl est un langage de programmation qui propose d'utiliser les schemas comme primitives ; il integre ainsi des constructions de haut niveau d'abstraction qui favorisent le paradigme de la programmation conceptuelle. Ces systemes ont permis la validation du modele. En effet, pour environ cent cinquante programmes, le programme genere par signedit a partir de la description conceptuelle calculee par prisme est equivalent, en terme de calculs effectues, au programme original. Actuellement, ils sont intensivement utilises pour effectuer les experimentations necessaires a l'extension du modele, notamment vers un modele conceptualisant des programmes comportant plusieurs boucles.

APA, Harvard, Vancouver, ISO, and other styles

20

Tortel, Anne. "ÉVALUATION QUALITATIVE DE LA PROSODIE D'APPRENANTS FRANÇAIS: APPORT DE PARAMÉTRISATION PROSODIQUES." Phd thesis, Université de Provence - Aix-Marseille I, 2009. http://tel.archives-ouvertes.fr/tel-00455248.

Full text

Abstract:

L'absence de système d'évaluation de la prosodie de l'anglais L2 parlé par des apprenants francophones a motivé la réalisation de ce travail de thèse. Dès lors, l'analyse de facteurs rythmiques dans la production d'apprenants français, qui fait l'objet de cette recherche, a un double objectif : analyser l'influence du rythme de la langue maternelle (L1=français) sur la langue cible (L2=anglais), et d'autre part, proposer des critères évaluatifs du rythme des productions des francophones, à partir de différentes métriques rythmiques proposées dans la littérature. Ces travaux ont mené à l'élaboration d'une base de données d'anglais L1/L2 nommée ANGLISH, à partir de laquelle nous avons montré une discrimination des locuteurs natifs/non natifs s'appuyant sur la combinaison de paramètres rythmiques. Les résultats de ces travaux de recherche montrent donc qu'il est possible de distinguer la L1 de la L2, et de donner une tendance rythmique des productions des apprenants francophones.

APA, Harvard, Vancouver, ISO, and other styles

21

Mdhaffar, Salima. "Reconnaissance de la parole dans un contexte de cours magistraux : évaluation, avancées et enrichissement." Thesis, Le Mans, 2020. http://www.theses.fr/2020LEMA1008.

Full text

Abstract:

Cette thèse s’inscrit dans le cadre d’une étude sur le potentiel de la transcription automatique pour l'instrumentation de situations pédagogiques.Notre contribution porte sur plusieurs axes. Dans un premier temps, nous décrivons l'enrichissement et l'annotation du corpus COCo que nous avons réalisés dans le cadre du projet ANR PASTEL.Ce corpus est composé de vidéos de différents cours magistraux, chacun étant spécialisé dans un domaine particulier (langage naturel, graphes, fonctions...).Dans ce cadre multi-thématiques, nous nous sommes ensuite intéressés à la problématique de l'adaptation linguistique des systèmes de reconnaissance automatique de la parole (SRAP). La proposition d'adaptation des modèles s'appuie à la fois sur les supports de présentation de cours fournis par les enseignants et sur des données spécialisées récoltées automatiquement à partir du web.Puis, nous nous sommes focalisés sur la problématique de l'évaluation des SRAP, les métriques existantes ne permettant pas une évaluation précise de la qualité des transcriptions dans un cadre applicatif déterminé. Ainsi, nous avons proposé deux protocoles d'évaluation. Le premier porte sur une évaluation intrinsèque, permettant d'estimer la performance seulement pour des mots spécialisés de chacun des cours (IWER_Average). D'autre part, nous proposons une évaluation extrinsèque, qui estime la performance pour deux tâches exploitant la transcription: la recherche d'informations et l'indexabilité.Nos résultats expérimentaux montrent que le taux d'erreurs-mots global (WER) masque les apports effectifs de l’adaptation des modèles de langage et prouve la nécessité d’utiliser de nouvelles mesures, telles que celles présentées dans ce manuscrit, pour évaluer l’apport réel de l’adaptation des modèles de langage.L'adaptation reposant sur une collecte de données issues du web, nous avons cherché à rendre compte de la reproductibilité des résultats sur l'adaptation de modèles de langage en comparant les performances obtenues sur une longue période temporelle.Nos résultats expérimentaux montrent que même si les données sur le web changent en partie d’une période à l’autre, la variabilité de la performance des systèmes de transcription adaptés est restée non significative à partir d'un nombre minimum de documents collectés.Enfin, nous avons proposé une approche permettant de structurer la sortie de la transcription automatique en segmentant thématiquement la transcription et en alignant la transcription avec les diapositives des supports de cours.Pour la segmentation, l'intégration de l'information de changement de diapositives dans l'algorithme TextTiling apporte un gain significatif en termes de F-mesure.Pour l'alignement, nous avons développé une technique basé sur des représentations TF-IDF en imposant une contrainte pour respecter l’ordre séquentiel des diapositives et des segments de transcription et nous avons vérifié la fiabilité de l'approche utilisée à l'aide d'une mesure de confiance
This thesis is part of a study that explores automatic transcription potential for the instrumentation of educational situations.Our contribution covers several axes.First, we describe the enrichment and the annotation of COCo dataset that we produced as part of the ANR PASTEL project.This corpus is composed of different lectures' videos. Each lecture is related to a particular field (natural language, graphs, functions ...).In this multi-thematic framework, we are interested in the problem of the linguistic adaptation of automatic speech recognition systems (ASR).The proposed language model adaptation is based both on the lecture presentation supports provided by the teacher and in-domain data collected automatically from the web.Then, we focused on the ASR evaluation problem.The existing metrics don't allow a precise evaluation of the transcriptions' quality.Thus, we proposed two evaluation protocols.The first one deals with an intrinsic evaluation, making it possible to estimate performance only for domain words of each lecture (IWER_Average).The second protocol offers an extrinsic evaluation, which estimates the performance for two tasks exploiting transcription: information retrieval and indexability.Our experimental results show that the global word error rate (WER) masks the gain provided by language model adaptation.So, to better evaluate this gain, it seems particularly relevant to use specific measures, like those presented in this thesis.As LM adaptation is based on a collection of data from the web, we study the reproducibility of language model adaptation results by comparing the performances obtained over a long period of time.Over a collection period of one year, we were able to show that, although the data on the Web changed in part from one month to the next, the performance of the adapted transcription systems remainedconstant (i.e. no significant performance changes), no matter the period considered.Finally, we are intersted on thematic segmentation of ASR output and alignment of slides with oral lectures.For thematic segmentation, the integration of slide's change information into the TextTiling algorithm provides a significant gain in terms of F-measure.For alignment of slides with oral lectures, we have calculated a cosine similarity between the TF-IDF representation of the transcription segments andthe TF-IDF representation of text slides and we have imposed a constraint torespect the sequential order of the slides and transcription segments.Also, we have considered a confidence measure todiscuss the reliability of the proposed approach

APA, Harvard, Vancouver, ISO, and other styles

22

El, Ayari Sarra. "Évaluation transparente du traitement des éléments de réponse à une question factuelle." Phd thesis, Université Paris Sud - Paris XI, 2009. http://tel.archives-ouvertes.fr/tel-00618355.

Full text

Abstract:

Les systèmes de questions-réponses permettent à un utilisateur de rechercher une information précise dans un corpus de données massif, comme le Web. Ce sont des systèmes complexes qui utilisent des techniques de traitement automatique des langues (TAL). Des campagnes d'évaluation sont organisées pour évaluer leur performance fi nale, mais les équipes de recherche doivent ensuite réaliser des évaluation de diagnostic pour savoir les raisons de leurs succès et de leurs échecs. Or, il n'existe ni outil, ni méthode pour réaliser des évaluations systématiques de critères linguistiques pour de tels systèmes. L'objectif de ce travail est de proposer une méthodologie d'évaluation transparente des résultats intermédiaires produits par les systèmes de questions-réponses, en combinant à la fois une évaluation de performance et une analyse de corpus. Ainsi, nous discuterons de l'évaluation telle qu'elle est menée pour ces systèmes, et des limites rencontrées pour une évaluation de diagnostic. Dans un premier temps, nous nous interrogerons sur les pratiques d'évaluation, qu'elles portent sur les résultats finaux d'un système ou bien sur ceux que produisent les différents composants dans l'optique de dégager les tenants et les aboutissants d'une évaluation plus fine des stratégies linguistiques mise en oeuvre au sein des systèmes de questions-réponses. Cette étude nous permettra de dégager les principes d'une méthodologie d'évaluation de diagnostic transparente pour les systèmes de questions-réponses. Dans un deuxième temps, nous nous sommes intéressée aux erreurs classiques d'un système de questions-réponses a n de détailler les fonctionnalités nécessaires à un outil de diagnostic systématique de ces erreurs. Ceci nous a conduit à la création d'un outil d'évaluation, REVISE (Recherche, Extraction, VISualisation et Evaluation ), qui permet de stocker les résultats intermédiaires d'un système de façon à en disposer pour les annoter, les modi fier, les visualiser et les évaluer. Nous avons également discuté la généricité de cet outil à l'aide des résultats du système de questions-réponses RITEL. Enfi n, nous avons mené à l'aide de notre outil deux types d'études sur les systèmes de questions-réponses FRASQUES et QALC, l'une portant sur le critère linguistique focus extrait lors de l'analyse des questions et sur ses variations en contexte dans les phrases réponses sélectionnées par le système ; l'autre sur l'application des règles d'extraction de réponses précises.

APA, Harvard, Vancouver, ISO, and other styles

23

Raybaud, Sylvain. "De l'utilisation de mesures de confiance en traduction automatique : évaluation, post-édition et application à la traduction de la parole." Electronic Thesis or Diss., Université de Lorraine, 2012. http://www.theses.fr/2012LORR0260.

Full text

Abstract:

Cette thèse de doctorat aborde les problématiques de l'estimation de confiance pour la traduction automatique, et de la traduction automatique statistique de la parole spontanée à grand vocabulaire. J'y propose une formalisation du problème d'estimation de confiance, et aborde expérimentalement le problème sous le paradigme de la classification et régression multivariée. Je propose une évaluation des performances des différentes méthodes évoquées, présente les résultats obtenus lors d'une campagne d'évaluation internationale et propose une application à la post-édition par des experts de documents traduits automatiquement. J'aborde ensuite le problème de la traduction automatique de la parole. Après avoir passé en revue les spécificités du medium oral et les défis particuliers qu'il soulève, je propose des méthodes originales pour y répondre, utilisant notamment les réseaux de confusion phonétiques, les mesures de confiances et des techniques de segmentation de la parole. Je montre finalement que le prototype propose rivalise avec des systèmes état de l'art à la conception plus classique
In this thesis I shall deal with the issues of confidence estimation for machine translation and statistical machine translation of large vocabulary spontaneous speech translation. I shall first formalize the problem of confidence estimation. I present experiments under the paradigm of multivariate classification and regression. I review the performances yielded by different techniques, present the results obtained during the WMT2012 internation evaluation campaign and give the details of an application to post edition of automatically translated documents. I then deal with the issue of speech translation. After going into the details of what makes it a very specific and particularly challenging problem, I present original methods to partially solve it, by using phonetic confusion networks, confidence estimation techniques and speech segmentation. I show that the prototype I developped yields performances comparable to state-of-the-art of more standard design

APA, Harvard, Vancouver, ISO, and other styles

24

Fort, Karën. "Les ressources annotées, un enjeu pour l’analyse de contenu : vers une méthodologie de l’annotation manuelle de corpus." Paris 13, 2012. http://scbd-sto.univ-paris13.fr/intranet/edgalilee_th_2012_fort.pdf.

Full text

Abstract:

L’annotation manuelle de corpus est devenue un enjeu fondamental pour le Traitement Automatique des Langues (TAL). En effet, les corpus annotés sont utilisés aussi bien pour créer que pour évaluer des outils de TAL. Or, le processus d’annotation manuelle est encore mal connu et les outils proposés pour supporter ce processus souvent mal utilisés, ce qui ne permet pas de garantir le niveau de qualité de ces annotations. Nous proposons dans cette thèse une vision unifiée de l’annotation manuelle de corpus pour le TAL. Ce travail est le fruit de diverses expériences de gestion et de participation à des campagnes d’annotation, mais également de collaborations avec différents chercheur(e)s. Nous proposons dans un premier temps une méthodologie globale pour la gestion de campagnes d’annotation manuelle de corpus qui repose sur deux piliers majeurs : une organisation des campagnes d’annotation qui met l’évaluation au coeur du processus et une grille d’analyse des dimensions de complexité d’une campagne d’annotation. Un second volet de notre travail a concerné les outils du gestionnaire de campagne. Nous avons pu évaluer l’influence exacte de la pré-annotation automatique sur la qualité et la rapidité de correction humaine, grâce à une série d’expériences menée sur l’annotation morpho-syntaxique de l’anglais. Nous avons également apporté des solutions pratiques concernant l’évaluation de l’annotation manuelle, en donnant au gestionnaire les moyens de sélectionner les mesures les plus appropriées. Enfin, nous avons mis au jour les processus en oeuvre et les outils nécessaires pour une campagne d’annotation et instancié ainsi la méthodologie que nous avons décrite
Manual corpus annotation has become a key issue for Natural Langage Processing (NLP), as manually annotated corpora are used both to create and to evaluate NLP tools. However, the process of manual annotation remains underdescribed and the tools used to support it are often misused. This situation prevents the campaign manager from evaluating and guarantying the quality of the annotation. We propose in this work a unified vision of manual corpus annotation for NLP. It results from our experience of annotation campaigns, either as a manager or as a participant, as well as from collaborations with other researchers. We first propose a global methodology for managing manual corpus annotation campaigns, that relies on two pillars: an organization for annotation campaigns that puts evaluation at the heart of the process and an innovative grid for the analysis of the complexity dimensions of an annotation campaign. A second part of our work concerns the tools of the campaign manager. We evaluated the precise influence of automatic pre-annotation on the quality and speed of the correction by humans, through a series of experiments on part-of-speech tagging for English. Furthermore, we propose practical solutions for the evaluation of manual annotations, that proche che vide the campaign manager with the means to select the most appropriate measures. Finally, we brought to light the processes and tools involved in an annotation campaign and we instantiated the methodology that we described

APA, Harvard, Vancouver, ISO, and other styles

25

Louis, Rambeaux Florence. "Génération et évaluation de résidus pour le diagnostic de systèmes incertains : approche fréquentielle." Nancy 1, 2001. http://www.theses.fr/2001NAN10018.

Full text

Abstract:

Les travaux présentés dans cette thèse concernent l'amélioration des techniques de génération et d'évaluation de résidus pour le diagnostic des systèmes incertains pour lesquels la prise en compte d'incertitudes paramétriques et d'entrées inconnues perturbatrices est nécessaire. La première partie de la thèse traite du diagnostic robuste des systemes incertains. Les principales approches proposées dans la littérature sont étudiées dans le cadre du travail effectué et la pertinence de l'utilisation des méthodes fréquentielles pour les systèmes fortement incertains est mise en évidence. Dans la seconde partie, le développement d'un générateur de résidus base sur un modèle nominal du système incertain est réalisé de manière à augmenter la sensibilité des résidus aux défauts tout en atténuant au mieux l'effet des différentes perturbations inhérentes a un fonctionnement normal du procède et par conséquent à ne pas détecter. Le générateur de résidus est base sur les observateurs d'état de type h/h dont les propriétés fréquentielles permettent de considérer au mieux les contraintes d'isolation des défauts par rapport aux incertitudes. Les techniques d'optimisation par formulation lmi (inégalités linéaires matricielles) sont alors utilisées. La troisième et dernière partie concerne l'effet des incertitudes paramétriques sur l'évaluation des résidus de manière a déterminer le seuillage optimal qui permet de détecter un défaut de taille aussi petite que possible tout en restant insensible au plus grand écart de modèle. Les incertitudes paramétriques considérées sont représentées sous une forme poly topique. La méthode proposée se fonde sur l'utilisation des polynômes de kharitonov et sur le calcul d'enveloppes dans le domaine fréquentiel. Le critère d'évaluation, de type rms (root mean square), est formule de manière à établir facilement le lien entre les propriétés spectrales des signaux de détection (propriétés spectrales directement liées au générateur de résidus) et leur allure temporelle.

APA, Harvard, Vancouver, ISO, and other styles

26

Djedou, Bachir. "Prothèse cochléaire : évaluation de la perceptivité acoustique et de la séparation vocalique à travers le système chorimac." Lyon 1, 1990. http://www.theses.fr/1990LYO10114.

Full text

Abstract:

Ce travail porte sur les protheses auditives etudiees en tant que telles et utilisees comme instrument de simulation. A partir des resultats obtenus avec un patient porteur d'un implant cochleaire, l'auteur propose une evaluation des performances obtenues avec la prothese sur un systeme vocalique. Les methodes employees relevent du traitement du signal de la parole et des techniques discriminantes. La simulation s'appuie sur des resultats obtenus avec des signaux analogiques et avec des signaux numeriques presentes a des sujets en contexte. Les resultats montrent que le codage du signal effectue par la prothese chorimac qui a servi de support a ce travail est satisfaisant lorsqu'on le compare a une analyse classique effectuee par un systeme standard d'etude de la parole. La simulation met en evidence la qualite du signal analogique et degage un certain nombre de parametres importants a prendre en consideration dans la conception des protheses

APA, Harvard, Vancouver, ISO, and other styles

27

Rémillard, Judith. "Utilité et utilisation de la traduction automatique dans l’environnement de traduction : une évaluation axée sur les traducteurs professionnels." Thesis, Université d'Ottawa / University of Ottawa, 2018. http://hdl.handle.net/10393/37784.

Full text

Abstract:

L’arrivée de la traduction automatique (TA) bouleverse les pratiques dans l’industrie de la traduction et soulève par le fait même des questions sur l’utilité et l’utilisation de cette technologie. Puisque de nombreuses études ont déjà porté sur son utilisation dans un contexte où elle est imposée aux traducteurs, nous avons choisi d’adopter la perspective toute particulière des traducteurs pour examiner son utilité et son utilisation volontaire dans l’environnement de traduction (ET). Notre recherche visait à répondre à trois grandes questions : les traducteurs utilisent-ils la TA dans leurs pratiques? Les traducteurs croient-ils que les données de sortie sont utiles et utilisables? Les traducteurs utilisent-ils concrètement ces données de sortie dans le processus de traduction? Pour répondre à ces questions, nous avons d’abord diffusé un sondage à grande échelle afin de mesurer l’utilisation de la TA en tant qu’outil, de recueillir des données sur le profil des répondants et d’évaluer leur perception d’utilité par rapport aux données de sortie et aux divers types de phénomènes que nous avions identifiés au préalable avec l’aide de deux traducteurs professionnels. Ensuite, nous avons réalisé une expérience avec d’autres traducteurs professionnels où nous leur avons demandé de procéder à la traduction de courts segments et avons examiné s’ils utilisaient ou non ces données de sortie pour produire leur traduction. Notre analyse était fondée sur le principe que, dans un contexte d’utilisation volontaire, l’utilisation d’une donnée de sortie permet d’induire une perception d’utilité et d’examiner, par le fait même, l’utilité de la TA. Dans l’ensemble, nous avons trouvé que la TA n’est habituellement pas utilisée de façon volontaire, que les perceptions des traducteurs sont peu favorables à une telle utilisation, que la perception des traducteurs quant à l’utilité des données de sortie est aussi plutôt négative, mais que les données de sortie semblent être beaucoup plus utiles et utilisables que ce que ne pourraient le croire les traducteurs, car ils les ont généralement utilisées dans le processus de traduction. Nous avons aussi examiné les facteurs déterminants de l’utilité et de l’utilisation de la TA et des données de sortie.

APA, Harvard, Vancouver, ISO, and other styles

28

Harbaoui, Ahmed. "Vers une modélisation et un dimensionnement automatique des systèmes répartis." Phd thesis, Université de Grenoble, 2011. http://tel.archives-ouvertes.fr/tel-00649967.

Full text

Abstract:

De nos jours, les systèmes distribués sont caractérisés par une complexité croissante de l'architecture, des fonctionnalités et de la charge soumise. Cette complexité induit souvent une perte de la qualité de service offerte, ou une saturation des ressources, voire même l'indisponibilité des services en ligne, en particulier lorsque la charge est importante. Afin d'éviter les désagrèments causés par d'importantes charges et remplir le niveau attendu de la qualité de service, les systèmes nécessitent une auto-gestion, en optimisant par exemple un tier ou en le renforçant à travers la réplication. Cette propriété autonome requiert une modélisation des performances de ces systèmes. Visant cet objectif, nous développons un framework basé sur une méthodologie théorique et expérimentale d'identification automatique de modèle et de dimensionnement, fournissant en premier un modèle de réseau de file d'attente pour un système distribué. Ensuite, ce Modèle est utilisé au sein de notre framwork pour dimensionner le système à travers une analyse ou une simulation du réseau de file d'attente.

APA, Harvard, Vancouver, ISO, and other styles

29

Dang, Quang Vinh. "Évaluation de la confiance dans la collaboration à large échelle." Electronic Thesis or Diss., Université de Lorraine, 2018. http://www.theses.fr/2018LORR0002.

Full text

Abstract:

Les systèmes collaboratifs à large échelle, où un grand nombre d’utilisateurs collaborent pour réaliser une tâche partagée, attirent beaucoup l’attention des milieux industriels et académiques. Bien que la confiance soit un facteur primordial pour le succès d’une telle collaboration, il est difficile pour les utilisateurs finaux d’évaluer manuellement le niveau de confiance envers chaque partenaire. Dans cette thèse, nous étudions le problème de l’évaluation de la confiance et cherchons à concevoir un modèle de confiance informatique dédiés aux systèmes collaboratifs. Nos travaux s’organisent autour des trois questions de recherche suivantes. 1. Quel est l’effet du déploiement d’un modèle de confiance et de la représentation aux utilisateurs des scores obtenus pour chaque partenaire ? Nous avons conçu et organisé une expérience utilisateur basée sur le jeu de confiance qui est un protocole d’échange d’argent en environnement contrôlé dans lequel nous avons introduit des notes de confiance pour les utilisateurs. L’analyse détaillée du comportement des utilisateurs montre que: (i) la présentation d’un score de confiance aux utilisateurs encourage la collaboration entre eux de manière significative, et ce, à un niveau similaire à celui de l’affichage du surnom des participants, et (ii) les utilisateurs se conforment au score de confiance dans leur prise de décision concernant l’échange monétaire. Les résultats suggèrent donc qu’un modèle de confiance peut être déployé dans les systèmes collaboratifs afin d’assister les utilisateurs. 2. Comment calculer le score de confiance entre des utilisateurs qui ont déjà collaboré ? Nous avons conçu un modèle de confiance pour les jeux de confiance répétés qui calcule les scores de confiance des utilisateurs en fonction de leur comportement passé. Nous avons validé notre modèle de confiance en relativement à: (i) des données simulées, (ii) de l’opinion humaine et (iii) des données expérimentales réelles. Nous avons appliqué notre modèle de confiance à Wikipédia en utilisant la qualité des articles de Wikipédia comme mesure de contribution. Nous avons proposé trois algorithmes d’apprentissage automatique pour évaluer la qualité des articles de Wikipédia: l’un est basé sur une forêt d’arbres décisionnels tandis que les deux autres sont basés sur des méthodes d’apprentissage profond. 3. Comment prédire la relation de confiance entre des utilisateurs qui n’ont pas encore interagi ? Etant donné un réseau dans lequel les liens représentent les relations de confiance/défiance entre utilisateurs, nous cherchons à prévoir les relations futures. Nous avons proposé un algorithme qui prend en compte les informations temporelles relatives à l’établissement des liens dans le réseau pour prédire la relation future de confiance/défiance des utilisateurs. L’algorithme proposé surpasse les approches de la littérature pour des jeux de données réels provenant de réseaux sociaux dirigés et signés
Large-scale collaborative systems wherein a large number of users collaborate to perform a shared task attract a lot of attention from both academic and industry. Trust is an important factor for the success of a large-scale collaboration. It is difficult for end-users to manually assess the trust level of each partner in this collaboration. We study the trust assessment problem and aim to design a computational trust model for collaborative systems. We focused on three research questions. 1. What is the effect of deploying a trust model and showing trust scores of partners to users? We designed and organized a user-experiment based on trust game, a well-known money-exchange lab-control protocol, wherein we introduced user trust scores. Our comprehensive analysis on user behavior proved that: (i) showing trust score to users encourages collaboration between them significantly at a similar level with showing nick- name, and (ii) users follow the trust score in decision-making. The results suggest that a trust model can be deployed in collaborative systems to assist users. 2. How to calculate trust score between users that experienced a collaboration? We designed a trust model for repeated trust game that computes user trust scores based on their past behavior. We validated our trust model against: (i) simulated data, (ii) human opinion, and (iii) real-world experimental data. We extended our trust model to Wikipedia based on user contributions to the quality of the edited Wikipedia articles. We proposed three machine learning approaches to assess the quality of Wikipedia articles: the first one based on random forest with manually-designed features while the other two ones based on deep learning methods. 3. How to predict trust relation between users that did not interact in the past? Given a network in which the links represent the trust/distrust relations between users, we aim to predict future relations. We proposed an algorithm that takes into account the established time information of the links in the network to predict future user trust/distrust relationships. Our algorithm outperforms state-of-the-art approaches on real-world signed directed social network datasets

APA, Harvard, Vancouver, ISO, and other styles

30

Mauclair, Julie. "Mesures de confiance en traitement automatique de la parole et applications." Le Mans, 2006. http://cyberdoc.univ-lemans.fr/theses/2006/2006LEMA1027.pdf.

Full text

Abstract:

Ce travail de thèse se place dans le contexte de la campagne d'évaluation ESTER (Evaluation des Systèmes de Transcription enrichie d'Emissions Radiophonique). L'objectif de ce travail de thèse consiste dans un premier temps à proposer des indicateurs ou mesures de confiance permettant de distinguer les zones correctes ou erronées au sein des hypothèses de reconnaissance fournies par un système de transcription automatique de la parole (STAP). Dans un second temps, deux types d'applications utilisant des mesures de confiance sont appréhendées : - la collecte de corpora de transcriptions automatiques fiables alignés sur de la parole enregistrée, par exemple pour augmenter la taille des corpora d'apprentissage disponibles pour l'estimation de modèles acoustiques ; - l'identification nommée automatique du locuteur, qui consiste à extraire des transcriptions automatiques des noms de locuteurs et à les associer aux étiquettes anonymes utilisées par un système d'indexation. Trois mesures de confiance seront proposées, une mesure de confiance dérivée des sorties acoustiques du STAP, une mesure de confiance basée sur le repli du modèle de langage et une mesure de confiance provenant de la probabilité a posteriori d'un mot. A l'aide de métriques d'évaluation de mesures de confiance, ces trois mesures sont comparées et la meilleure combinaison des trois est calculée. Cette combinaison permet d'accroître les performances de chacun des trois mesures dans la détection des zones erronées ou correctes. La première application vise à accroître les performances du STAP utilisé par le LlUM en augmentant de manière non supervisée les données d'apprentissage des modèles acoustiques. Ainsi, les zones de parole ayant un degré de confiance élevé dans un deuxième corpus transcrit automatiquement sont prélevées et ajoutées au corpus d'apprentissage initial transcrit manuellement. Grâce à cet ajout, les performances du SRAP sont significativement améliorées en termes de taux d'erreur sur les mots. Enfin, dans le cadre de l'identification du locuteur d'un document sonore, des scores de confiance sont utilisés pour déterminer le nom du locuteur directement à partir de la transcription. Environ 70% de la durée totale des émissions est correctement indexée en locuteur sur un corpus de test.

APA, Harvard, Vancouver, ISO, and other styles

31

Frérot, Cécile. "Construction et évaluation en corpus variés de lexiques syntaxiques pour la résolution des ambiguïtés de rattachement prépositionnel." Toulouse 2, 2005. http://www.theses.fr/2005TOU20048.

Full text

Abstract:

Le lexique est aujourd'hui reconnu comme un composant essentiel de tout système de Traitement Automatique des Langues, et l'utilisation de ressources lexicales est en pleine explosion. Les travaux dédiés à la résolution des ambiguïtés de rattachement prépositionnel, une des tâches les plus délicates à résoudre en analyse syntaxique automatique, utilisent massivement des informations lexicales acquises à partir de corpus portant sur la langue générale. L'exploitation de ressources existantes (dictionnaires) reste beaucoup plus marginale ; par ailleurs, peu de travaux ont exploré les deux pans de l'alternative et mesuré l'apport respectif des deux types de ressources. Du côté de l'évaluation, l'efficacité des lexiques est en général testé sur un seul corpus, et la question liée à la nécessité d'adapter le lexique au type de corpus demeure peu explorée. Dans notre étude, nous construisons deux types de lexiques pour le français : l'un est dérivé d'un dictionnaire existant (Lexique-Grammaire) élaboré à partir de l'introspection des linguistes, l'autre est construit à partir de données attestées, en exploitant un très gros corpus journalistique. Nous montrons le rôle joué par les deux types de lexiques dans la désambiguïsation, et mettons en évidence l'efficacité relative des lexiques en fonction du type de corpus (cinq corpus variés, notamment par rapport au domaine thématique et au niveau de spécialité). Nous faisons émerger des corpus des caractéristiques susceptibles d'éclairer les variations observées dans les résultats de la désambiguïsation. La nécessaire adaptation des ressources au type de corpus est rendue plus manifeste encore lorsque nous confrontons l'utilité du lexique acquis à partir du corpus journalistique à un lexique contenant des informations spécifiques à chacun des cinq corpus de test
Lexicon is widely acknowledged as a very important component of any Natural Language Processing system, and the use of lexical resources is growing rapidly. Resolving Prepositional Phrase Attachment Ambiguity is known as a bottleneck in automatic parsing, and nowadays most work use corpus-based lexical resources while using existing intuition-based dictionaries is not so common. Furthermore, there has been very little work on investigating both sides (corpus and intuition-based) and measuring how each type of lexical resource helps in disambiguating. Assessing how well a lexical resource resolves Prepositional Phrase Attachment Ambiguity is mainly performed on a single corpus; therefore, very little work has been done on adapting lexical resources to the type of corpus. In our study, we build two types of corpus : one is based on an existing dictionary (Lexicon-Grammar), the other is corpus-based (a 200 million word newspaper corpus). We show how each lexicon helps in resolving Prepositional Phrase Attachment Ambiguity in five different corpora dealing with vulcanology, law, medicine, literature and journalism. We put forward some linguistic characteristics for each of the five corpora which help to understand why the performance of each lexicon varies according to the corpus. Adapting the type of lexicon resource to be used on a given corpus is made more obvious as we assess how the corpus-based lexicon performs compared with a specialised lexicon acquired from each of the five test corpora

APA, Harvard, Vancouver, ISO, and other styles

32

Morlane-Hondère, François. "Une approche linguistique de l'évaluation des ressources extraites par analyse distributionnelle automatique." Phd thesis, Université Toulouse le Mirail - Toulouse II, 2013. http://tel.archives-ouvertes.fr/tel-00937926.

Full text

Abstract:

Dans cette thèse, nous abordons du point de vue linguistique la question de l'évaluation des bases lexicales extraites par analyse distributionnelle automatique (ADA). Les méthodes d'évaluation de ces ressources qui sont actuellement mises en œuvre (comparaison à des lexiques de référence, évaluation par la tâche, test du TOEFL...) relèvent en effet d'une approche quantitative des données qui ne laisse que peu de place à l'interprétation des rapprochements générés. De ce fait, les conditions qui font que certains couples de mots sont extraits alors que d'autres ne le sont pas restent mal connues. Notre travail vise une meilleure compréhension des fonctionnements en corpus qui régissent les rapprochements distributionnels. Pour cela, nous avons dans un premier temps adopté une approche quantitative qui a consisté à comparer plusieurs ressources distributionnelles calculées sur des corpus différents à des lexiques de références (le Dictionnaire électronique des synonymes du CRISCO et le réseau lexical JeuxDeMots). Cette étape nous a permis, premièrement, d'avoir une estimation globale du contenu de nos ressources, et, deuxièmement, de sélectionner des échantillons de couples de mots à étudier d'un point de vue qualitatif. Cette deuxième étape constitue le cœur de la thèse. Nous avons choisi de nous focaliser sur les relations lexico-sémantiques que sont la synonymie, l'antonymie, l'hyperonymie et la méronymie, que nous abordons en mettant en place quatre protocoles différents. En nous appuyant sur les relations contenues dans les lexiques de référence, nous avons comparé les propriétés distributionnelles des couples de synonymes/antonymes/hyperonymes/méronymes qui ont été extraits par l'ADA avec celles des couples qui ne l'ont pas été. Nous mettons ainsi au jour plusieurs phénomènes qui favorisent ou bloquent la substituabilité des couples de mots (donc leur extraction par l'ADA). Ces phénomènes sont considérés au regard de paramètres comme la nature du corpus qui a permis de générer les bases distributionnelles étudiées (corpus encyclopédique, journalistique ou littéraire) ou les limites des lexiques de référence. Ainsi, en même temps qu'il questionne les méthodes d'évaluation des bases distributionnelles actuellement employées, ce travail de thèse illustre l'intérêt qu'il y a à considérer ces ressources comme des objets d'études linguistiques à part entière. Les bases distributionnelles sont en effet le résultat d'une mise en œuvre à grande échelle du principe de substituabilité, ce qui en fait un matériau de choix pour la description des relations lexico-sémantiques.

APA, Harvard, Vancouver, ISO, and other styles

33

Denoual, Etienne. "Méthodes en caractères pour le traitement automatique des langues." Phd thesis, Université Joseph Fourier (Grenoble), 2006. http://tel.archives-ouvertes.fr/tel-00107056.

Full text

Abstract:

Le traitement automatique des langues fondé sur les données a récemment assimilé de nombreuses techniques et perspectives héritées du domaine de la reconnaissance de parole. Parmi celles-ci, les méthodes qui utilisent le mot comme unité de traitement sont difficilement transposables aux systèmes d'écriture sans séparateur orthographique, et ne sont donc pas multilingues.
Le présent travail promeut l'utilisation de méthodes travaillant au niveau du signal de l'écrit: le caractère, unité immédiatement accessible dans toute langue informatisée, permet de se passer de segmentation en mots, étape actuellement incontournable pour des langues comme le chinois ou le japonais.

Dans un premier temps, nous transposons et appliquons en caractères une méthode bien établie d'évaluation objective de la traduction automatique, BLEU.
Les résultats encourageants nous permettent dans un deuxième temps d'aborder d'autres tâches de traitement des données linguistiques. Tout d'abord, le filtrage de la grammaticalité; ensuite, la caractérisation de la similarité et de l'homogénéité des ressources linguistiques. Dans toutes ces tâches, le traitement en caractères obtient des résultats acceptables, et comparables à ceux obtenus en mots.
Dans un troisième temps, nous abordons des tâches de production de données linguistiques: le calcul analogique sur les chaines de caractères permet la production de paraphrases aussi bien que la traduction automatique.
Ce travail montre qu'on peut construire un système complet de traduction automatique ne nécessitant pas de segmentation, a fortiori pour traiter des langues sans séparateur orthographique.

APA, Harvard, Vancouver, ISO, and other styles

34

Bawden, Rachel. "Going beyond the sentence : Contextual Machine Translation of Dialogue." Thesis, Université Paris-Saclay (ComUE), 2018. http://www.theses.fr/2018SACLS524/document.

Full text

Abstract:

Les systèmes de traduction automatique (TA) ont fait des progrès considérables ces dernières années. La majorité d'entre eux reposent pourtant sur l'hypothèse que les phrases peuvent être traduites indépendamment les unes des autres. Ces modèles de traduction ne s'appuient que sur les informations contenues dans la phrase à traduire. Ils n'ont accès ni aux informations présentes dans les phrases environnantes ni aux informations que pourrait fournir le contexte dans lequel ces phrases ont été produites. La TA contextuelle a pour objectif de dépasser cette limitation en explorant différentes méthodes d'intégration du contexte extra-phrastique dans le processus de traduction. Les phrases environnantes (contexte linguistique) et le contexte de production des énoncés (contexte extra-linguistique) peuvent fournir des informations cruciales pour la traduction, notamment pour la prise en compte des phénomènes discursifs et des mécanismes référentiels. La prise en compte du contexte est toutefois un défi pour la traduction automatique. Évaluer la capacité de telles stratégies à prendre réellement en compte le contexte et à améliorer ainsi la qualité de la traduction est également un problème délicat, les métriques d'évaluation usuelles étant pour cela inadaptées voire trompeuses. Dans cette thèse, nous proposons plusieurs stratégies pour intégrer le contexte, tant linguistique qu'extra-linguistique, dans le processus de traduction. Nos expériences s'appuient sur des méthodes d'évaluation et des jeux de données que nous avons développés spécifiquement à cette fin. Nous explorons différents types de stratégies: les stratégies par pré-traitement, où l'on utilise le contexte pour désambiguïser les données fournies en entrée aux modèles ; les stratégies par post-traitement, où l'on utilise le contexte pour modifier la sortie d'un modèle non-contextuel, et les stratégies où l'on exploite le contexte pendant la traduction proprement dite. Nous nous penchons sur de multiples phénomènes contextuels, et notamment sur la traduction des pronoms anaphoriques, la désambiguïsation lexicale, la cohésion lexicale et l'adaptation à des informations extra-linguistiques telles que l'âge ou le genre du locuteur. Nos expériences, qui relèvent pour certaines de la TA statistique et pour d'autres de la TA neuronale, concernent principalement la traduction de l'anglais vers le français, avec un intérêt particulier pour la traduction de dialogues spontanés
While huge progress has been made in machine translation (MT) in recent years, the majority of MT systems still rely on the assumption that sentences can be translated in isolation. The result is that these MT models only have access to context within the current sentence; context from other sentences in the same text and information relevant to the scenario in which they are produced remain out of reach. The aim of contextual MT is to overcome this limitation by providing ways of integrating extra-sentential context into the translation process. Context, concerning the other sentences in the text (linguistic context) and the scenario in which the text is produced (extra-linguistic context), is important for a variety of cases, such as discourse-level and other referential phenomena. Successfully taking context into account in translation is challenging. Evaluating such strategies on their capacity to exploit context is also a challenge, standard evaluation metrics being inadequate and even misleading when it comes to assessing such improvement in contextual MT. In this thesis, we propose a range of strategies to integrate both extra-linguistic and linguistic context into the translation process. We accompany our experiments with specifically designed evaluation methods, including new test sets and corpora. Our contextual strategies include pre-processing strategies designed to disambiguate the data on which MT models are trained, post-processing strategies to integrate context by post-editing MT outputs and strategies in which context is exploited during translation proper. We cover a range of different context-dependent phenomena, including anaphoric pronoun translation, lexical disambiguation, lexical cohesion and adaptation to properties of the scenario such as speaker gender and age. Our experiments for both phrase-based statistical MT and neural MT are applied in particular to the translation of English to French and focus specifically on the translation of informal written dialogues

APA, Harvard, Vancouver, ISO, and other styles

35

Raybaud, Sylvain. "De l'utilisation de mesures de confiance en traduction automatique : évaluation, post-édition et application à la traduction de la parole." Thesis, Université de Lorraine, 2012. http://www.theses.fr/2012LORR0260/document.

Full text

Abstract:

Cette thèse de doctorat aborde les problématiques de l'estimation de confiance pour la traduction automatique, et de la traduction automatique statistique de la parole spontanée à grand vocabulaire. J'y propose une formalisation du problème d'estimation de confiance, et aborde expérimentalement le problème sous le paradigme de la classification et régression multivariée. Je propose une évaluation des performances des différentes méthodes évoquées, présente les résultats obtenus lors d'une campagne d'évaluation internationale et propose une application à la post-édition par des experts de documents traduits automatiquement. J'aborde ensuite le problème de la traduction automatique de la parole. Après avoir passé en revue les spécificités du medium oral et les défis particuliers qu'il soulève, je propose des méthodes originales pour y répondre, utilisant notamment les réseaux de confusion phonétiques, les mesures de confiances et des techniques de segmentation de la parole. Je montre finalement que le prototype propose rivalise avec des systèmes état de l'art à la conception plus classique
In this thesis I shall deal with the issues of confidence estimation for machine translation and statistical machine translation of large vocabulary spontaneous speech translation. I shall first formalize the problem of confidence estimation. I present experiments under the paradigm of multivariate classification and regression. I review the performances yielded by different techniques, present the results obtained during the WMT2012 internation evaluation campaign and give the details of an application to post edition of automatically translated documents. I then deal with the issue of speech translation. After going into the details of what makes it a very specific and particularly challenging problem, I present original methods to partially solve it, by using phonetic confusion networks, confidence estimation techniques and speech segmentation. I show that the prototype I developped yields performances comparable to state-of-the-art of more standard design

APA, Harvard, Vancouver, ISO, and other styles

36

Srivastava, Brij Mohan Lal. "Anonymisation du locuteur : représentation, évaluation et garanties formelles." Thesis, Université de Lille (2018-2021), 2021. https://pepite-depot.univ-lille.fr/LIBRE/EDMADIS/2021/2021LILUB029.pdf.

Full text

Abstract:

L'émergence et la généralisation des interfaces vocales présentesdans les téléphones, les applications mobiles et les assistantsnumériques ont permis de faciliter la communication entre les citoyens,utilisateurs d'un service, et les prestataires de services. Citons àtitre d'exemple l'utilisation de mots de passe vocaux pour lesopérations bancaires, des haut-parleurs intelligents personnalisés, etc.Pour réaliser ces innovations, la collecte massive de données vocalesest essentielle aux entreprises comme aux chercheurs. Mais le stockagecentralisé à grande échelle des données vocales pose de graves menaces àla vie privée des locuteurs. En effet, le stockage centralisé estvulnérable aux menaces de cybersécurité qui, lorsqu'elles sont combinéesavec des technologies vocales avancées telles que le clonage vocal, lareconnaissance du locuteur et l'usurpation d'identité peuvent conférer àune entité malveillante la capacité de ré-identifier les locuteurs et devioler leur vie privée en accédant à leurs caractéristiques biométriquessensibles, leurs états émotionnels, leurs attributs de personnalité,leurs conditions pathologiques, etc.Les individus et les membres de la société civile du monde entier, etparticulièrement en Europe, prennent conscience de cette menace. Avecl'entrée en vigueur du règlement général sur la protection des données(RGPD), plusieurs initiatives sont lancées, notamment la publication delivres blancs et de lignes directrices, pour sensibiliser les masses etréguler les données vocales afin que la vie privée des citoyens soitprotégée.Cette thèse constitue un effort pour soutenir de telles initiatives etpropose des solutions pour supprimer l'identité biométrique deslocuteurs des signaux de parole, les rendant ainsi inutiles pourré-identifier les locuteurs qui les ont prononcés.Outre l'objectif de protéger l'identité du locuteur contre les accèsmalveillants, cette thèse vise à explorer les solutions qui le font sansdégrader l'utilité de la parole.Nous présentons plusieurs schémas d'anonymisation basés sur des méthodesde conversion vocale pour atteindre ce double objectif. La sortie detels schémas est un signal vocal de haute qualité qui est utilisablepour la publication et pour un ensemble de tâches en aval.Tous les schémas sont soumis à un protocole d'évaluation rigoureux quiest l'un des apports majeurs de cette thèse.Ce protocole a conduit à la découverte que les approches existantes neprotègent pas efficacement la vie privée et a ainsi directement inspirél'initiative VoicePrivacy qui rassemble les individus, l'industrie et lacommunauté scientifique pour participer à la construction d'un schémad'anonymisation robuste.Nous introduisons une gamme de schémas d'anonymisation dans le cadre del'initiative VoicePrivacy et prouvons empiriquement leur supériorité entermes de protection de la vie privée et d'utilité.Enfin, nous nous efforçons de supprimer l'identité résiduelle dulocuteur du signal de parole anonymisé en utilisant les techniquesinspirées de la confidentialité différentielle. De telles techniquesfournissent des garanties analytiques démontrables aux schémasd'anonymisation proposés et ouvrent des portes pour de futures recherches.En pratique, les outils développés dans cette thèse sont un élémentessentiel pour établir la confiance dans tout écosystème logiciel où lesdonnées vocales sont stockées, transmises, traitées ou publiées. Ilsvisent à aider les organisations à se conformer aux règles mandatées parles gouvernements et à donner le choix aux individus qui souhaitentexercer leur droit à la vie privée
Large-scale centralized storage of speech data poses severe privacy threats to the speakers. Indeed, the emergence and widespread usage of voice interfaces starting from telephone to mobile applications, and now digital assistants have enabled easier communication between the customers and the service providers. Massive speech data collection allows its users, for instance researchers, to develop tools for human convenience, like voice passwords for banking, personalized smart speakers, etc. However, centralized storage is vulnerable to cybersecurity threats which, when combined with advanced speech technologies like voice cloning, speaker recognition, and spoofing, may endow a malicious entity with the capability to re-identify speakers and breach their privacy by gaining access to their sensitive biometric characteristics, emotional states, personality attributes, pathological conditions, etc.Individuals and the members of civil society worldwide, and especially in Europe, are getting aware of this threat. With firm backing by the GDPR, several initiatives are being launched, including the publication of white papers and guidelines, to spread mass awareness and to regulate voice data so that the citizens' privacy is protected.This thesis is a timely effort to bolster such initiatives and propose solutions to remove the biometric identity of speakers from speech signals, thereby rendering them useless for re-identifying the speakers who spoke them.Besides the goal of protecting the speaker's identity from malicious access, this thesis aims to explore the solutions which do so without degrading the usefulness of speech.We present several anonymization schemes based on voice conversion methods to achieve this two-fold objective. The output of such schemes is a high-quality speech signal that is usable for publication and a variety of downstream tasks.All the schemes are subjected to a rigorous evaluation protocol which is one of the major contributions of this thesis.This protocol led to the finding that the previous approaches do not effectively protect the privacy and thereby directly inspired the VoicePrivacy initiative which is an effort to gather individuals, industry, and the scientific community to participate in building a robust anonymization scheme.We introduce a range of anonymization schemes under the purview of the VoicePrivacy initiative and empirically prove their superiority in terms of privacy protection and utility.Finally, we endeavor to remove the residual speaker identity from the anonymized speech signal using the techniques inspired by differential privacy. Such techniques provide provable analytical guarantees to the proposed anonymization schemes and open up promising perspectives for future research.In practice, the tools developed in this thesis are an essential component to build trust in any software ecosystem where voice data is stored, transmitted, processed, or published. They aim to help the organizations to comply with the rules mandated by civil governments and give a choice to individuals who wish to exercise their right to privacy

APA, Harvard, Vancouver, ISO, and other styles

37

Maurel, Fabrice. "Transmodalité et multimodalité écrit/oral : modélisation, traitement automatique et évaluation de stratégies de présentation des structures "visuo-architecturale" des textes." Toulouse 3, 2004. http://www.theses.fr/2004TOU30256.

Full text

Abstract:

Nous nous intéressons à l’utilité et l’utilisabilité de la structure visuelle des textes, pour leur transposition à l’oral par des systèmes de synthèse de parole (TTS). Nous proposons la synoptique d’un système qui conduit à une représentation du texte interprétable par un TTS. Nous avons partiellement réalisé le module spécifique aux stratégies d’oralisation, afin de rendre articulables la part signifiante des textes, souvent oubliée. Des spécifications ont été précisées et partiellement intégrées par un partenaire industriel. Des hypothèses prédictives quant à l’impact sur la mémorisation/compréhension de deux stratégies issues de notre Modèle d’Oralisation par Reformulation des Textes Écrits pour être Lus Silencieusement, ont été formulées et testées. Ce travail a montré que des fonctions cognitives étaient perdues. Des prototypes, exploitant la notion d’Image De Page, ont été imaginés à travers des interfaces dans lesquelles la multimodalité a pour rôle de combler cette lacune
We are interested in the utility and, if the need arises, the usability of texts visual structure, within the framework of their oral transposition. We propose the synoptic of an oralisation system who leads to a text representation directly interpretable by Text-To-Speech systems. We partially realized the module specific to the oralisation strategies, in order to render some signifying parts of the text often “forgotten” by synthesis systems. The first results of this study led to specifications in the course of integration by an industrial partner. Predictive hypothesis, related to the impact on memorizing/understanding of two strategies coming from our Reformulation-based Oralisation Model for Texts Written to be Silently Read (MORTELS), have been formulated and tested. This work shows that cognitive functions was lost. Prototypes, exploiting the “Page Reflection” notion, have been conceived through interfaces in which multimodality is used to fill this gaps

APA, Harvard, Vancouver, ISO, and other styles

38

Veneau, Emmanuel. "Macro-segmentation multi-critère et classification de séquences par le contenu dynamique pour l'indexation vidéo." Rennes 1, 2002. http://www.theses.fr/2002REN10013.

Full text

APA, Harvard, Vancouver, ISO, and other styles

39

Ahmed, Assowe Houssein. "Construction et évaluation pour la TA d'un corpus journalistique bilingue : application au français-somali." Thesis, Université Grenoble Alpes (ComUE), 2019. http://www.theses.fr/2019GREAM019/document.

Full text

Abstract:

Dans le cadre des travaux en cours pour informatiser un grand nombre de langues « peu dotées », en particulier celles de l’espace francophone, nous avons créé un système de traduction automatique français-somali dédié à un sous-langage journalistique, permettant d’obtenir des traductions de qualité, à partir d’un corpus bilingue construit par post-édition des résultats de Google Translate (GT), à destination des populations somalophones et non francophones de la Corne de l’Afrique. Pour cela, nous avons constitué le tout premier corpus parallèle français-somali de qualité, comprenant à ce jour 98 912 mots (environ 400 pages standard) et 10 669 segments. Ce dernier constitue’est un corpus aligné, et de très bonne qualité, car nous l’avons construit en post-éditant les pré-traductions de GT, qui combine pour cela avec une combinaison de lason système de TA français-anglais et système de TA anglais-somali. Il Ce corpus a également fait l’objet d’une évaluation de la part depar 9 annotateurs bilingues qui ont donné une note score de qualité à chaque segment du corpus, et corrigé éventuellement notre post-édition. À partir de ce corpus, en croissance, nous avons construit plusieurs versions successives d’un système de Traduction Automatique à base de fragments (PBMT), MosesLIG-fr-so, qui s’est révélé meilleur que GoogleTranslate GT sur ce couple de langues et ce sous-langage, en termes de mesure BLEU et du temps de post-édition. Nous avons fait également une première expérience de traduction automatique neuronale français-somali en utilisant OpenNMT, de façon à améliorer les résultats de la TA sans aboutir à des temps de calcul prohibitifs, tant durant l’entraînement que durant le décodage.D’autre part, nous avons mis en place une iMAG (passerelle interactive d’accès multilingue) qui permet à des internautes somaliens non francophones du continent d’accéder en somali à l’édition en ligne du journal « La Nation de Djibouti ». Les segments (phrases ou titres) prétraduits automatiquement par notre un système de TA fr-so en ligne disponible peuvent être post-édités et notés (sur sur une échelle de 1 à 20) par les lecteurs eux-mêmes, de façon à améliorer le système par apprentissage incrémental, de la même façon que ce qui a été fait pour le système français-chinois (PBMT) créé par [Wang, 2015]
As part of ongoing work to computerize a large number of "poorly endowed" languages, especially those in the French-speaking world, we have created a French-Somali machine translation system dedicated to a journalistic sub-language, allowing to obtain quality translations from a bilingual body built by post-editing of GoogleTranslate results for the Somali and non-French speaking populations of the Horn of Africa. For this, we have created the very first quality French-Somali parallel corpus, comprising to date 98,912 words (about 400 standard pages) and 10,669 segments. The latter is an aligned corpus of very good quality, because we built in by post-editions editing pre-translations of produced by GT, which uses with a combination of the its French-English and English-Somali MT language pairs. It That corpus was also evaluated by 9 bilingual annotators who gave assigned a quality note score to each segment of the corpus and corrected our post-editing. From Using this growing body corpus as training corpusof work, we have built several successive versions of a MosesLIG-fr-so fragmented statistical Phrase-Based Automatic Machine Translation System (PBMT), which has proven to be better than GoogleTranslate on this language pair and this sub-language, in terms BLEU and of post-editing time. We also did used OpenNMT to build a first French-Somali neural automatic translationMT system and experiment it.in order to improve the results of TA without leading to prohibitive calculation times, both during training and during decoding.On the other hand, we have set up an iMAG (multilingual interactive access gateway) that allows non-French-speaking Somali surfers on the continent to access the online edition of the newspaper "La Nation de Djibouti" in Somali. The segments (sentences or titles), pre- automatically translated automatically by our any available fr-so MT system, can be post-edited and rated (out on a 1 to of 20scale) by the readers themselves, so as to improve the system by incremental learning, in the same way as the has been done before for the French-Chinese PBMT system. (PBMT) created by [Wang, 2015]

APA, Harvard, Vancouver, ISO, and other styles

40

Le, Maguer Sébastien. "Évaluation expérimentale d'un système statistique de synthèse de la parole, HTS, pour la langue française." Phd thesis, Université Rennes 1, 2013. http://tel.archives-ouvertes.fr/tel-00934060.

Full text

Abstract:

Les travaux présentés dans cette thèse se situent dans le cadre de la synthèse de la parole à partir du texte et, plus précisément, dans le cadre de la synthèse paramétrique utilisant des règles statistiques. Nous nous intéressons à l'influence des descripteurs linguistiques utilisés pour caractériser un signal de parole sur la modélisation effectuée dans le système de synthèse statistique HTS. Pour cela, deux méthodologies d'évaluation objective sont présentées. La première repose sur une modélisation de l'espace acoustique, généré par HTS par des mélanges gaussiens (GMM). En utilisant ensuite un ensemble de signaux de parole de référence, il est possible de comparer les GMM entre eux et ainsi les espaces acoustiques générés par les différentes configurations de HTS. La seconde méthodologie proposée repose sur le calcul de distances entre trames acoustiques appariées pour pouvoir évaluer la modélisation effectuée par HTS de manière plus locale. Cette seconde méthodologie permet de compléter les diverses analyses en contrôlant notamment les ensembles de données générées et évaluées. Les résultats obtenus selon ces deux méthodologies, et confirmés par des évaluations subjectives, indiquent que l'utilisation d'un ensemble complexe de descripteurs linguistiques n'aboutit pas nécessairement à une meilleure modélisation et peut s'avérer contre-productif sur la qualité du signal de synthèse produit.

APA, Harvard, Vancouver, ISO, and other styles

41

Pillet, Constance-Aurore. "Transformation progressive du texte en données à l'aide de méthodes linguistiques et évaluation de cet apport de la linguistique sur l'efficacité du Text Mining." Paris 9, 2003. https://portail.bu.dauphine.fr/fileviewer/index.php?doc=2003PA090007.

Full text

APA, Harvard, Vancouver, ISO, and other styles

42

Richard, Michael. "Évaluation et validation de prévisions en loi." Thesis, Orléans, 2019. http://www.theses.fr/2019ORLE0501.

Full text

Abstract:

Cette thèse porte sur l’évaluation et la validation de prévisions en loi. Dans la première partie, nous nous intéressons à l’apport du machine learning vis à vis des prévisions quantile et des prévisions en loi. Pour cela, nous avons testé différents algorithmes de machine learning dans un cadre de prévisions de quantiles sur données réelles. Nous tentons ainsi de mettre en évidence l’intérêt de certaines méthodes selon le type de données auxquelles nous sommes confrontés. Dans la seconde partie, nous exposons quelques tests de validation de prévisions en loi présents dans la littérature. Certains de ces tests sont ensuite appliqués sur données réelles relatives aux log-rendements d’indices boursiers. Dans la troisième, nous proposons une méthode de recalibration permettant de simplifier le choix d’une prévision de densité en particulier par rapport à d’autres. Cette recalibration permet d’obtenir des prévisions valides à partir d’un modèle mal spécifié. Nous mettons également en évidence des conditions sous lesquelles la qualité des prévisions recalibrées, évaluée à l’aide du CRPS, est systématiquement améliorée, ou très légèrement dégradée. Ces résultats sont illustrés par le biais d’applications sur des scénarios de températures et de prix
In this thesis, we study the evaluation and validation of predictive densities. In a first part, we are interested in the contribution of machine learning in the field of quantile and densityforecasting. We use some machine learning algorithms in quantile forecasting framework with real data, inorder to highlight the efficiency of particular method varying with nature of the data.In a second part, we expose some validation tests of predictive densities present in the literature. Asillustration, we use two of the mentionned tests on real data concerned about stock indexes log-returns.In the third part, we address the calibration constraint of probability forecasting. We propose a generic methodfor recalibration, which allows us to enforce this constraint. Thus, it permits to simplify the choice betweensome density forecasts. It remains to be known the impact on forecast quality, measured by predictivedistributions sharpness, or specific scores. We show that the impact on the Continuous Ranked ProbabilityScore (CRPS) is weak under some hypotheses and that it is positive under more restrictive ones. We use ourmethod on weather and electricity price ensemble forecasts.Keywords : Density forecasting, quantile forecasting, machine learning, validity tests, calibration, bias correction,PIT series , Pinball-Loss, CRPS

APA, Harvard, Vancouver, ISO, and other styles

43

Colina, Zulimar. "DIAALE : Conception, implémentation et évaluation d’un dispositif en ligne d’aide à l’apprentissage de la lecture scientifique en anglais langue étrangère." Thesis, Université Clermont Auvergne‎ (2017-2020), 2017. http://www.theses.fr/2017CLFAL021/document.

Full text

Abstract:

La thèse se propose de documenter les domaines du développement de la compréhension écrite en L2 chez des publics de non-spécialistes et de l’intégration des technologies de l’information et de la communication pour l’enseignement en contexte vénézuélien. Pour ce faire, la recherche s’appuie sur la conception, la mise en œuvre et l’analyse de deux dispositifs d’apprentissage de l’anglais comme langue étrangère, distanciels, intégrant des outils collaboratifs dans le contexte de la faculté d’ingénierie de l’université de Carabobo au Vénézuéla. Ces deux dispositifs permettent le recueil de données de recherche et de données écologiques, qui sont structurées en corpus puis traitées. A partir de ces données hétérogènes, sont étudiés particulièrement les processus de collaboration entre élèves-ingénieurs dans des tâches de lecture en anglais L2, le développement des compétences en compréhension écrite et l’utilisation des dispositifs électroniques mobiles pendant ces tâches collaboratives
This thesis proposes to document the fields of the development of the writing comprehension in L2 among non-specialist publics and the integration of the information and communication technologies for the teaching in Venezuelan context. In order to do this, this research is based on the design, implementation and analysis of two devices of learning English as a foreign language, distant, integrating collaborative tools in the context of the faculty of engineering of the University of Carabobo in Venezuela. These two devices allow the collection of researching data and ecological data, which are structured in corpus and then processed. From these heterogeneous data, the collaborative processes between student-engineers in L2 reading tasks, the development of written comprehension skills and the use of mobile electronic devices during these collaborative tasks

APA, Harvard, Vancouver, ISO, and other styles

44

Lovon, Melgarejo Jesus Enrique. "Évaluation et intégration des connaissances structurelles pour modèles de langue pré-entraînés." Electronic Thesis or Diss., Université de Toulouse (2023-....), 2024. http://thesesups.ups-tlse.fr/6065/.

Full text

Abstract:

Le domaine de la représentation des connaissances est en constante évolution. Grâce aux récents progrès dans les réseaux neuronaux profonds, en particulier l'architecture Transformer, le domaine du traitement automatique du langage naturel (TALN) a été doté d'outils révolutionnaires conduisant à des performances améliorées sur de multiples tâches de TALN. Les modèles de langue pré-entraînés (PLM), tels que BERT et GPT, qui sont des modèles basés sur des Transformers entraînés sur d'importantes quantités de données textuelles, ont joué un rôle significatif dans ces avancées. Les PLMs peuvent produire des représentations contextualisées intégrant des motifs syntaxiques et sémantiques riches du langage. Cependant, ils ne fournissent pas de représentations structurées et factuelles des connaissances, essentielles pour une meilleure compréhension du langage. Pour remédier à ces problèmes, les chercheurs ont exploré la combinaison de PLMs classiques avec des ressources de connaissances externes, telles que les bases de connaissances (KB). Cette approche vise à compléter les PLMs en fournissant les composants structurels et factuels manquants inhérents aux KBs. En résulte l'émergence d'une nouvelle famille de PLM renforcés par la connaissance (KEPLM). Dans cette thèse, nous nous concentrons sur l'intégration des KBs dans les PLMs, avec un intérêt particulier pour leur structure ou hiérarchie. Nous explorons différentes orientations de recherche visant à améliorer ces PLMs, notamment (i) l'exploration des limitations et des méthodes pour intégrer implicitement les KBs et leur impact sur les tâches basées sur le raisonnement et (ii) la définition de méthodologies d'évaluation pour les signaux hiérarchiques explicites des PLMs et leur transférabilité à d'autres tâches de TALN. Dans une première contribution, nous proposons de revisiter les méthodes d'entraînement des PLMs pour les tâches basées sur le raisonnement. Les méthodes actuelles se limitent à généraliser cette tâche à différents niveaux de difficulté, traitant chaque niveau comme une tâche différente. Au lieu de cela, nous suggérons une approche incrémentielle d'apprentissage du raisonnement, où le raisonnement est appris progressivement, passant des niveaux de difficulté simples aux niveaux complexes. Cette approche tire parti de composants précédemment négligés qui ne participent pas à la chaîne de raisonnement principale, et nous évaluons si cela améliore la généralisation de cette tâche. Nous utilisons une méthodologie implicite qui transforme l'information structurée en texte non structuré avec un contenu taxonomique riche. Nous avons également mené des expériences sur des tâches liées au raisonnement, telles que la compréhension de lecture et la réponse aux questions, pour évaluer la pertinence de notre proposition. Pour notre deuxième contribution, nous visons à améliorer les performances des PLMs en incorporant des signaux hiérarchiques explicites en eux. Alors que diverses approches d'évaluation et d'intégration ont été développées pour les plongements lexicaux statiques, il y a une exploration limitée de ces méthodes pour les plongements lexicaux contextualisés. Les méthodes d'évaluation actuelles pour les PLMs héritent des limitations des évaluations des plongements statiques, telles que les biais des ensembles de données et les signaux hiérarchiques superficiels. Par conséquent, nous proposons une nouvelle méthodologie d'évaluation pour les PLMs qui prend en compte de multiples signaux hiérarchiques. Notre travail caractérise la représentation hiérarchique en la décomposant en distributions hiérarchiques de base que nous appelons propriétés hiérarchiques. Nous évaluons les connaissances hiérarchiques présentes dans les PLMs de pointe en utilisant ces propriétés et analysons si leur apprentissage vise à améliorer les représentations hiérarchiques internes des modèles et leur applicabilité aux tâches de TALN connexes
The field of knowledge representation is a constantly evolving domain. Thanks to recent advancements in deep neural networks, particularly the Transformer architecture, the natural language processing (NLP) field has been provided with groundbreaking tools leading to improved performance across multiple NLP tasks. Pre-trained language models (PLMs), such as BERT and GPT, which are Transformer-based models trained on extensive amounts of textual data, have played a significant role in this progress. PLMs can produce contextualized representations embedding rich syntactic and semantic patterns of language. However, they do not provide structured and factual knowledge representations, essential for a better understanding of language. To alleviate these issues, researchers explored combining classical PLMs with external knowledge resources, such as knowledge bases (KBs). This approach aims to complement PLMs by providing the missing structural and factual components inherently present in KBs. As a result, this approach has given rise to a new family of knowledge-enhanced PLMs (KEPLMs). In this thesis, we focus on integrating KBs into PLMs, with a particular interest in their structure or hierarchy. We explore different research directions towards enhancing these PLMs, which include (i) exploring the limitations and methods to implicitly integrate KBs and their impact on reasoning-based tasks and (ii) defining evaluation methodologies for explicit hierarchical signals for PLMs and their transferability to other NLP tasks. In a first contribution, we propose to revisit the training methods of PLMs for reasoning-based tasks. Current methods are limited to generalizing this task to different difficulty levels, treating each level as a separate task. Instead, we suggest an incremental learning reasoning approach, where reasoning is learned gradually from simple to complex difficulty levels. This approach takes advantage of previously overlooked components that do not participate in the main reasoning chain, and we evaluate whether it improves the generalization of this task. We use an implicit methodology that transforms structured information into unstructured text with rich hierarchical content. We further conducted experiments on reasoning-related tasks such as reading comprehension and question answering to assess the pertinence of our proposal. For our second contribution, we aim to improve the performance of PLMs by incorporating explicit hierarchical signals into them. While various evaluation and integration approaches have been developed for static word embeddings, there is limited exploration of these methods for contextualized word embeddings. The current evaluation methods for PLMs inherit limitations from static embedding evaluations, such as dataset biases and superficial hierarchical signals. Therefore, we propose a new evaluation methodology for PLMs that considers multiple hierarchy signals. Our work characterizes the hierarchical representation by decomposing it into basic hierarchical distributions that we call hierarchy properties. We evaluate the hierarchical knowledge present in state-of-the-art PLMs using these properties and analyze if learning them aims to improve inner hierarchical representations of the models and their applicability to related NLP tasks

APA, Harvard, Vancouver, ISO, and other styles

45

Lesnikova, Tatiana. "Liage de données RDF : évaluation d'approches interlingues." Thesis, Université Grenoble Alpes (ComUE), 2016. http://www.theses.fr/2016GREAM011/document.

Full text

Abstract:

Le Web des données étend le Web en publiant des données structurées et liées en RDF. Un jeu de données RDF est un graphe orienté où les ressources peuvent être des sommets étiquetées dans des langues naturelles. Un des principaux défis est de découvrir les liens entre jeux de données RDF. Étant donnés deux jeux de données, cela consiste à trouver les ressources équivalentes et les lier avec des liens owl:sameAs. Ce problème est particulièrement difficile lorsque les ressources sont décrites dans différentes langues naturelles.Cette thèse étudie l'efficacité des ressources linguistiques pour le liage des données exprimées dans différentes langues. Chaque ressource RDF est représentée comme un document virtuel contenant les informations textuelles des sommets voisins. Les étiquettes des sommets voisins constituent le contexte d'une ressource. Une fois que les documents sont créés, ils sont projetés dans un même espace afin d'être comparés. Ceci peut être réalisé à l'aide de la traduction automatique ou de ressources lexicales multilingues. Une fois que les documents sont dans le même espace, des mesures de similarité sont appliquées afin de trouver les ressources identiques. La similarité entre les documents est prise pour la similarité entre les ressources RDF.Nous évaluons expérimentalement différentes méthodes pour lier les données RDF. En particulier, deux stratégies sont explorées: l'application de la traduction automatique et l'usage des banques de données terminologiques et lexicales multilingues. Dans l'ensemble, l'évaluation montre l'efficacité de ce type d'approches. Les méthodes ont été évaluées sur les ressources en anglais, chinois, français, et allemand. Les meilleurs résultats (F-mesure > 0.90) ont été obtenus par la traduction automatique. L'évaluation montre que la méthode basée sur la similarité peut être appliquée avec succès sur les ressources RDF indépendamment de leur type (entités nommées ou concepts de dictionnaires)
The Semantic Web extends the Web by publishing structured and interlinked data using RDF.An RDF data set is a graph where resources are nodes labelled in natural languages. One of the key challenges of linked data is to be able to discover links across RDF data sets. Given two data sets, equivalent resources should be identified and linked by owl:sameAs links. This problem is particularly difficult when resources are described in different natural languages.This thesis investigates the effectiveness of linguistic resources for interlinking RDF data sets. For this purpose, we introduce a general framework in which each RDF resource is represented as a virtual document containing text information of neighboring nodes. The context of a resource are the labels of the neighboring nodes. Once virtual documents are created, they are projected in the same space in order to be compared. This can be achieved by using machine translation or multilingual lexical resources. Once documents are in the same space, similarity measures to find identical resources are applied. Similarity between elements of this space is taken for similarity between RDF resources.We performed evaluation of cross-lingual techniques within the proposed framework. We experimentally evaluate different methods for linking RDF data. In particular, two strategies are explored: applying machine translation or using references to multilingual resources. Overall, evaluation shows the effectiveness of cross-lingual string-based approaches for linking RDF resources expressed in different languages. The methods have been evaluated on resources in English, Chinese, French and German. The best performance (over 0.90 F-measure) was obtained by the machine translation approach. This shows that the similarity-based method can be successfully applied on RDF resources independently of their type (named entities or thesauri concepts). The best experimental results involving just a pair of languages demonstrated the usefulness of such techniques for interlinking RDF resources cross-lingually

APA, Harvard, Vancouver, ISO, and other styles

46

Smits, Grégory. "Une approche par surclassement pour le contrôle d'un processus d'analyse linguistique." Caen, 2008. http://www.theses.fr/2008CAEN2014.

Full text

Abstract:

Les systèmes de Traitement Automatique des Langues Naturelles (TALN) sont de manière récurrente confrontés au problème de la génération et de la propagation d’hypothèses concurrentes et erronées. Afin d’écarter ces erreurs d’interprétation du processus d’analyse, il apparaît indispensable d’avoir recours à des stratégies spécifiques de contrôle dont l’objectif est de différencier les hypothèses concurrentes selon leur degré de pertinence. Sur la plupart des cas d’indétermination observés, on constate que cette évaluation de la pertinence relative des hypothèses repose sur l’exploitation de plusieurs sources de connaissances hétérogènes, qui doivent être combinées pour garantir un contrôle robuste et fiable. À partir de ce constat, nous avons montré que le traitement des indéterminations répondait à une formalisation générique en tant que problème décisionnel basé sur de multiples critères de comparaison. Cette formalisation et la recherche d’une méthodologie adaptée nous ont conduit vers une approche par surclassement issue des travaux en Aide MultiCritère à la Décision (AMCD). Par rapport aux méthodes alternatives, cette approche se différentie notamment par l’importance qu’elle accorde aux connaissances et préférences qu’un expert est en mesure d’apporter sur le problème traité. À partir de cette intersection novatrice entre le TALN et l’AMCD, nos travaux se sont focalisés sur le développement d’un module décisionnel de contrôle multicritère. L’intégration de ce module au sein d’un système complet de TALN nous a permis d’attester d’une part la faisabilité de notre approche et d’autre part de l’expérimenter sur différents cas concrets d’indétermination
Natural Language Processing (NLP) systems are continuously faced with the problem of generating concurrent hypotheses, of which some can be erroneous. In order to avoid the propagation of erroneous hypotheses, it appears to be essential to apply specific control strategies, which aim to distinguishing concurrent hypotheses based on their relevance. On most of observed indetermination cases, we have noticed that multiple heterogeneous knowledge sources have to be combined to determine the hypotheses relative relevance. According to this observation, we show that the control of the indetermination cases can be formalised as a decisional process based on multiple criteria. This decisional formalisation and our research of an adapted methodology have conducted us toward an outranking approach issued from the MultiCriteria Decision Aid (MCDA) paradigm. This approach differs from alternative methods by the importance granted to knowledge and preferences that an expert can express about a given problem. From this innovative intersection between NLP and MCDA, our work has been focalised on the development of a decisional module dedicated to multicriteria control. The integration of this module into a complete NLP system has allowed us to attest the feasibility of our approach and to perform experimentation on concrete indetermination cases

APA, Harvard, Vancouver, ISO, and other styles

47

Nikoulina, Vassilina. "Modèle de traduction statistique à fragments enrichi par la syntaxe." Phd thesis, Grenoble, 2010. http://www.theses.fr/2010GRENM008.

Full text

Abstract:

Les modèles de traduction automatique probabiliste traditionnel ignorent la structure syntaxique des phrases source et cible. Le choix des unités lexicales cible et de leur ordre est contrôlé uniquement par des statistiques de surface sur le corpus d'entraînement. La connaissance de la structure linguistique peut-être bénéfique, car elle fournit des informations génériques compensant la pauvreté des données directement observables. Nos travaux ont pour but d'étudier l'impact des informations syntaxiques sur un modèle de traduction probabiliste de base, fondé sur des fragments, dans le cadre d'un analyseur dépendanciel particulier, XIP, dont la performance est bien adaptée à nos besoins. Nous étudions d'abord l'intégration des informations syntaxiques dans un but de reclassement des traductions proposées par le modèle de base? Nous définissons un ensemble de traits mesurant la similarité entre les structures de dépendance source et cible, et des traits de cohérence linguistique (basés sur l'analyse cible). L'apprentissage automatique des poids de ces traits permet de détecter leurs importance. L'évaluation manuelle des différents modèles de reclassement nous a permis de montrer le potentiel de ces traits pour améliorer la qualité des traductions proposées par le modèle de base. Ensuite, nous avons proposé un modèle pour réduire la taille du graphe des hypothèses exploré par le modèle de base à l'aide de connaissances sur la structure syntaxique source. Nous avons également proposé une procédure de décomposition d'une phrase source initiale en sous-phrases pour simplifier la tâche de traduction. Les évaluations initiales de ces modèles se sont montrées prometteuses
Traditional Statistical Machine Translation models are not aware of linguistic structure. Thus, target lexical choices and word order are controlled only by surface-based statistics learned from the training corpus. However, knowledge of linguistic structure can be beneficial since it provides generic information compensating data sparsity. The purpose of our work is to study the impact of syntactic information while preserving the general framework of Phrase-Based SMT. First, we study the integration of syntactic information using a reranking approach. We define features measuring the similarity between the dependency structures of source and target sentences, as well as features of linguistic coherence of the target sentences. The importance of each feature is assessed by learning their weights through a Structured Perceptron Algorithm. The evaluation of several reranking models shows that these features often improve the quality of translations produced by the basic model, in terms of manual evaluations as opposed to automatic measures. Then, we propose different models in order to increase the quality and diversity of the search graph produced by the decoder, through filtering out uninteresting hypotheses based on the source syntactic structure. This is done either by learning limits on the phrase recordering, or by decomposing the source sentence in order to simplify the translation process. The initial evaluations of these models look promising

APA, Harvard, Vancouver, ISO, and other styles

48

Nikoulina, Vassilina. "Modèle de traduction statistique à fragments enrichi par la syntaxe." Phd thesis, Université de Grenoble, 2010. http://tel.archives-ouvertes.fr/tel-00996317.

Full text

Abstract:

Les modèles de traduction automatique probabiliste traditionnel ignorent la structure syntaxique des phrases source et cible. Le choix des unités lexicales cible et de leur ordre est contrôlé uniquement par des statistiques de surface sur le corpus d'entraînement. La connaissance de la structure linguistique peut-être bénéfique, car elle fournit des informations génériques compensant la pauvreté des données directement observables. Nos travaux ont pour but d'étudier l'impact des informations syntaxiques sur un modèle de traduction probabiliste de base, fondé sur des fragments, dans le cadre d'un analyseur dépendanciel particulier, XIP, dont la performance est bien adaptée à nos besoins. Nous étudions d'abord l'intégration des informations syntaxiques dans un but de reclassement des traductions proposées par le modèle de base? Nous définissons un ensemble de traits mesurant la similarité entre les structures de dépendance source et cible, et des traits de cohérence linguistique (basés sur l'analyse cible). L'apprentissage automatique des poids de ces traits permet de détecter leurs importance. L'évaluation manuelle des différents modèles de reclassement nous a permis de montrer le potentiel de ces traits pour améliorer la qualité des traductions proposées par le modèle de base. Ensuite, nous avons proposé un modèle pour réduire la taille du graphe des hypothèses exploré par le modèle de base à l'aide de connaissances sur la structure syntaxique source. Nous avons également proposé une procédure de décomposition d'une phrase source initiale en sous-phrases pour simplifier la tâche de traduction. Les évaluations initiales de ces modèles se sont montrées prometteuses.

APA, Harvard, Vancouver, ISO, and other styles

49

Benamar, Alexandra. "Évaluation et adaptation de plongements lexicaux au domaine à travers l'exploitation de connaissances syntaxiques et sémantiques." Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPASG035.

Full text

Abstract:

Les modèles de plongements lexicaux se sont imposés comme les modèles de représentation les plus populaires en TAL. Afin d'obtenir de bonnes performances, ils nécessitent d'être entraînés sur de grands corpus de données provenant principalement du domaine général et sont fréquemment affinés pour être appliqués à des données de spécialité. Cependant, l'affinage des données est une pratique coûteuse en termes de ressources et son efficacité est controversée.Dans le cadre de cette thèse, nous évaluons l'utilisation de modèles de plongements lexicaux sur des corpus de spécialité et nous montrons que la proximité entre les vocabulaires des données d'entraînement et des données d'application joue un rôle majeur dans la représentation des termes hors-vocabulaire. Nous observons que cela est principalement dû à la tokenisation initiale des mots, et nous proposons une mesure pour calculer l'impact de la segmentation des mots sur leur représentation.Pour résoudre ce problème, nous proposons deux méthodes permettant d'injecter des connaissances linguistiques aux représentations générées par les Transformer : une méthode intervient à l'échelle des données et l'autre à l'échelle du modèle. Notre recherche démontre que l'ajout de contexte syntaxique et sémantique peut améliorer l'application de modèles auto-supervisés à des domaines de spécialité, tant pour la représentation du vocabulaire que pour la résolution de tâches de TAL. Les méthodes proposées peuvent être utilisées pour n'importe quelle langue disposant d'informations linguistiques ou d'autres connaissances externes. Le code utilisé pour les expériences a été publié pour faciliter la reproductibilité et des mesures ont été prises pour limiter l'impact environnemental en réduisant le nombre d'expériences
Word embeddings have established themselves as the most popular representation in NLP. To achieve good performance, they require training on large data sets mainly from the general domain and are frequently finetuned for specialty data. However, finetuning is a resource-intensive practice and its effectiveness is controversial.In this thesis, we evaluate the use of word embedding models on specialty corpora and show that proximity between the vocabularies of the training and application data plays a major role in the representation of out-of-vocabulary terms. We observe that this is mainly due to the initial tokenization of words and propose a measure to compute the impact of the tokenization of words on their representation. To solve this problem, we propose two methods for injecting linguistic knowledge into representations generated by Transformers: one at the data level and the other at the model level. Our research demonstrates that adding syntactic and semantic context can improve the application of self-supervised models to specialty domains, both for vocabulary representation and for NLP tasks.The proposed methods can be used for any language with linguistic information or external knowledge available. The code used for the experiments has been published to facilitate reproducibility and measures have been taken to limit the environmental impact by reducing the number of experiments

APA, Harvard, Vancouver, ISO, and other styles

50

Elloumi, Zied. "Prédiction de performances des systèmes de Reconnaissance Automatique de la Parole." Thesis, Université Grenoble Alpes (ComUE), 2019. http://www.theses.fr/2019GREAM005/document.

Full text

Abstract:

Nous abordons dans cette thèse la tâche de prédiction de performances des systèmes de reconnaissance automatique de la parole (SRAP).Il s'agit d'une tâche utile pour mesurer la fiabilité d'hypothèses de transcription issues d'une nouvelle collection de données, lorsque la transcription de référence est indisponible et que le SRAP utilisé est inconnu (boîte noire).Notre contribution porte sur plusieurs axes:d'abord, nous proposons un corpus français hétérogène pour apprendre et évaluer des systèmes de prédiction de performances ainsi que des systèmes de RAP.Nous comparons par la suite deux approches de prédiction: une approche à l'état de l'art basée sur l'extraction explicite de traitset une nouvelle approche basée sur des caractéristiques entraînées implicitement à l'aide des réseaux neuronaux convolutifs (CNN).L'utilisation jointe de traits textuels et acoustiques n'apporte pas de gains avec de l'approche état de l'art,tandis qu'elle permet d'obtenir de meilleures prédictions en utilisant les CNNs. Nous montrons également que les CNNs prédisent clairement la distribution des taux d'erreurs sur une collection d'enregistrements, contrairement à l'approche état de l'art qui génère une distribution éloignée de la réalité.Ensuite, nous analysons des facteurs impactant les deux approches de prédiction. Nous évaluons également l'impact de la quantité d'apprentissage des systèmes de prédiction ainsi que la robustesse des systèmes appris avec les sorties d'un système de RAP particulier et utilisés pour prédire la performance sur une nouvelle collection de données.Nos résultats expérimentaux montrent que les deux approches de prédiction sont robustes et que la tâche de prédiction est plus difficile sur des tours de parole courts ainsi que sur les tours de parole ayant un style de parole spontané.Enfin, nous essayons de comprendre quelles informations sont capturées par notre modèle neuronal et leurs liens avec différents facteurs.Nos expériences montrent que les représentations intermédiaires dans le réseau encodent implicitementdes informations sur le style de la parole, l'accent du locuteur ainsi que le type d'émission.Pour tirer profit de cette analyse, nous proposons un système multi-tâche qui se montre légèrement plus efficace sur la tâche de prédiction de performance
In this thesis, we focus on performance prediction of automatic speech recognition (ASR) systems.This is a very useful task to measure the reliability of transcription hypotheses for a new data collection, when the reference transcription is unavailable and the ASR system used is unknown (black box).Our contribution focuses on several areas: first, we propose a heterogeneous French corpus to learn and evaluate ASR prediction systems.We then compare two prediction approaches: a state-of-the-art (SOTA) performance prediction based on engineered features and a new strategy based on learnt features using convolutional neural networks (CNNs).While the joint use of textual and signal features did not work for the SOTA system, the combination of inputs for CNNs leads to the best WER prediction performance. We also show that our CNN prediction remarkably predicts the shape of the WER distribution on a collection of speech recordings.Then, we analyze factors impacting both prediction approaches. We also assess the impact of the training size of prediction systems as well as the robustness of systems learned with the outputs of a particular ASR system and used to predict performance on a new data collection.Our experimental results show that both prediction approaches are robust and that the prediction task is more difficult on short speech turns as well as spontaneous speech style.Finally, we try to understand which information is captured by our neural model and its relation with different factors.Our experiences show that intermediate representations in the network automatically encode information on the speech style, the speaker's accent as well as the broadcast program type.To take advantage of this analysis, we propose a multi-task system that is slightly more effective on the performance prediction task

APA, Harvard, Vancouver, ISO, and other styles

Dissertations / Theses on the topic 'Évaluation automatique de la L2'

Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles