Dissertations / Theses on the topic 'Compréhension de documents multimodaux'

Les mécanismes de compréhension chez l'être humain sont par essence multimodaux. Comprendre le monde qui l'entoure revient chez l'être humain à fusionner l'information issue de l'ensemble de ses récepteurs sensoriels. La plupart des documents utilisés en traitement automatique de l'information sont multimodaux. Par exemple, du texte et des images dans des documents textuels ou des images et du son dans des documents vidéo. Cependant, les traitements qui leurs sont appliqués sont le plus souvent monomodaux. Le but de cette thèse est de proposer des traitements joints s'appliquant principalement au texte et à l'image pour le traitement de documents multimodaux à travers deux études : l'une portant sur la fusion multimodale pour la reconnaissance du rôle du locuteur dans des émissions télévisuelles, l'autre portant sur la complémentarité des modalités pour une tâche d'analyse linguistique sur des corpus d'images avec légendes. Pour la première étude nous nous intéressons à l'analyse de documents audiovisuels provenant de chaînes d'information télévisuelle. Nous proposons une approche utilisant des réseaux de neurones profonds pour la création d'une représentation jointe multimodale pour les représentations et la fusion des modalités. Dans la seconde partie de cette thèse nous nous intéressons aux approches permettant d'utiliser plusieurs sources d'informations multimodales pour une tâche monomodale de traitement automatique du langage, afin d'étudier leur complémentarité. Nous proposons un système complet de correction de rattachements prépositionnels utilisant de l'information visuelle, entraîné sur un corpus multimodal d'images avec légendes
The human faculties of understanding are essentially multimodal. To understand the world around them, human beings fuse the information coming from all of their sensory receptors. Most of the documents used in automatic information processing contain multimodal information, for example text and image in textual documents or image and sound in video documents, however the processings used are most often monomodal. The aim of this thesis is to propose joint processes applying mainly to text and image for the processing of multimodal documents through two studies: one on multimodal fusion for the speaker role recognition in television broadcasts, the other on the complementarity of modalities for a task of linguistic analysis on corpora of images with captions. In the first part of this study, we interested in audiovisual documents analysis from news television channels. We propose an approach that uses in particular deep neural networks for representation and fusion of modalities. In the second part of this thesis, we are interested in approaches allowing to use several sources of multimodal information for a monomodal task of natural language processing in order to study their complementarity. We propose a complete system of correction of prepositional attachments using visual information, trained on a multimodal corpus of images with captions

Les modèles développés dans cette thèse sont le résultat d'un processus itératif d'analyse et de synthèse entre les théories existantes et nos études réalisées. Plus spécifiquement, nous souhaitons étudier l'apprentissage inter-modal pour la compréhension contextualisée sur les composants des documents à travers le langage et la vision. Cette thèse porte sur l'avancement de la recherche sur l'apprentissage inter-modal et apporte des contributions sur quatre fronts : (i) proposer une approche inter-modale avec des réseaux profonds pour exploiter conjointement les informations visuelles et textuelles dans un espace de représentation sémantique commun afin d'effectuer et de créer automatiquement des prédictions sur les documents multimodaux; (ii) à étudier des stratégies concurrentielles pour s'attaquer aux tâches de classification de documents intermodaux, de récupération basée sur le contenu et de classification few-shot de documents ; (iii) pour résoudre les problèmes liés aux données comme l'apprentissage lorsque les données ne sont pas annotées, en proposant un réseau qui apprend des représentations génériques à partir d'une collection de documents non étiquetés ; et (iv) à exploiter les paramètres d'apprentissage few-shot lorsque les données ne contiennent que peu d’exemples
The frameworks developed in this thesis were the outcome of an iterative process of analysis and synthesis between existing theories and our performed studies. More specifically, we wish to study cross-modality learning for contextualized comprehension on document components across language and vision. The main idea is to leverage multimodal information from document images into a common semantic space. This thesis focuses on advancing the research on cross-modality learning and makes contributions on four fronts: (i) to proposing a cross-modal approach with deep networks to jointly leverage visual and textual information into a common semantic representation space to automatically perform and make predictions about multimodal documents (i.e., the subject matter they are about); (ii) to investigating competitive strategies to address the tasks of cross-modal document classification, content-based retrieval and few-shot document classification; (iii) to addressing data-related issues like learning when data is not annotated, by proposing a network that learns generic representations from a collection of unlabeled documents; and (iv) to exploiting few-shot learning settings when data contains only few examples

Cette thèse considère l'apprentissage de motifs récurrents dans la perception multimodale. Elle s'attache à développer des modèles robotiques de ces facultés telles qu'observées chez l'enfant, et elle s'inscrit en cela dans le domaine de la robotique développementale.Elle s'articule plus précisément autour de deux thèmes principaux qui sont d'une part la capacité d'enfants ou de robots à imiter et à comprendre le comportement d'humains, et d'autre part l'acquisition du langage. A leur intersection, nous examinons la question de la découverte par un agent en développement d'un répertoire de motifs primitifs dans son flux perceptuel. Nous spécifions ce problème et établissons son lien avec ceux de l'indétermination de la traduction décrit par Quine et de la séparation aveugle de source tels qu'étudiés en acoustique.Nous en étudions successivement quatre sous-problèmes et formulons une définition expérimentale de chacun. Des modèles d'agents résolvant ces problèmes sont également décrits et testés. Ils s'appuient particulièrement sur des techniques dites de sacs de mots, de factorisation de matrices et d'apprentissage par renforcement inverse. Nous approfondissons séparément les trois problèmes de l'apprentissage de sons élémentaires tels les phonèmes ou les mots, de mouvements basiques de danse et d'objectifs primaires composant des tâches motrices complexes. Pour finir nous étudions le problème de l'apprentissage d'éléments primitifs multimodaux, ce qui revient à résoudre simultanément plusieurs des problèmes précédents. Nous expliquons notamment en quoi cela fournit un modèle de l'ancrage de mots acoustiques
This thesis focuses on learning recurring patterns in multimodal perception. For that purpose it develops cognitive systems that model the mechanisms providing such capabilities to infants; a methodology that fits into thefield of developmental robotics.More precisely, this thesis revolves around two main topics that are, on the one hand the ability of infants or robots to imitate and understand human behaviors, and on the other the acquisition of language. At the crossing of these topics, we study the question of the how a developmental cognitive agent can discover a dictionary of primitive patterns from its multimodal perceptual flow. We specify this problem and formulate its links with Quine's indetermination of translation and blind source separation, as studied in acoustics.We sequentially study four sub-problems and provide an experimental formulation of each of them. We then describe and test computational models of agents solving these problems. They are particularly based on bag-of-words techniques, matrix factorization algorithms, and inverse reinforcement learning approaches. We first go in depth into the three separate problems of learning primitive sounds, such as phonemes or words, learning primitive dance motions, and learning primitive objective that compose complex tasks. Finally we study the problem of learning multimodal primitive patterns, which corresponds to solve simultaneously several of the aforementioned problems. We also details how the last problems models acoustic words grounding

La reconnaissance des entités nommées est une sous-tâche de l’activité d’extraction d’information. Elle consiste à identifier certains objets textuels tels que les noms de personne, d’ organisation et de lieu. Le travail de cette thèse se concentre sur la tâche de reconnaissance des entités nommées pour la modalité orale. Cette tâche pose un certain nombre de difficultés qui sont inhérentes aux caractéristiques intrinsèques du traitement de l’oral (absence de capitalisation, manque de ponctuation, présence de disfluences et d’erreurs de reconnaissance. . . ). Dans un premier temps, nous étudions les spécificités de la reconnaissance des entités nommées en aval du système de reconnaissance automatique de la parole. Nous présentons une méthode pour la reconnaissance des entités nommées dans les transcription de la parole en adoptant une taxonomie hiérarchique et compositionnelle. Nous mesurons l’impact des différents phénomènes spécifiques à la parole sur la qualité de reconnaissance des entités nommées. Dans un second temps, nous proposons d’étudier le couplage étroit entre la tâche de transcription de la parole et la tâche de reconnaissance des entités nommées. Dans ce but, nous détournons les fonctionnalités de base d’un système de transcription de la parole pour le transformer en un système de reconnaissance des entités nommées. Ainsi, en mobilisant les connaissances propres au traitement de la parole dans le cadre de la tâche liée à la reconnaissance des entités nommées, nous assurons une plus grande synergie entre ces deux tâches. Nous menons différents types d’expérimentations afin d’optimiser et d’évaluer notre approche
Named entity recognition is a subtask of information extraction. It consists of identifying some textual objects such as person, location and organization names. The work of this thesis focuses on the named entity recognition task for the oral modality. Some difficulties may arise for this task due to the intrinsic characteristics of speech processing (lack of capitalisation marks, lack of punctuation marks, presence of disfluences and of recognition errors. . . ). In the first part, we study the characteristics of the named entity recognition downstream of the automatic speech recognition system. We present a methodology which allows named entity recognition following a hierarchical and compositional taxonomy. We measure the impact of the different phenomena specific to speech on the quality of named entity recognition. In the second part, we propose to study the tight pairing between the speech recognition task and the named entity recognition task. For that purpose, we take away the basic functionnalities of a speech recognition system to turn it into a named entity recognition system. Therefore, by mobilising the inherent knowledge of the speech processing to the named entity recognition task, we ensure a better synergy between the two tasks. We carry out different types of experiments to optimize and evaluate our approach

Les bactéries sont des microorganismes capables de se développer et de proliférer indépendamment les uns des autres en milieu liquide. Mais dès qu’une surface se présente, biotique ou abiotique, les bactéries privilégient un « mode de vie en communauté » pour se protéger des agressions externes et survivre aux environnements hostiles. Ces biostructures, appelées biofilms, sont présentes dans tous les environnements naturels, y compris chez l’Homme où elles peuvent être à l’origine d’infections chroniques lorsqu’elles hébergent des germes pathogènes. Il est aujourd’hui admis que de tels édifices biologiques perdurent sous l’action des antibiotiques. Outre le très médiatique phénomène de résistance qui trouve son origine dans des mutations génétiques bactériennes, la tolérance, quant à elle, provient des spécificités de la structure et de la physiologie des bactéries organisées en biofilms. C’est dans ce contexte que s’inscrit ce travail de thèse qui vise à mieux comprendre les mécanismes sous-jacents au manque d’efficacité d’antibiotiques (vancomycine,daptomycine, rifampicine) vis-à-vis des biofilms de S. aureus, en s’appuyant notamment sur des techniques innovantes d’imagerie à résolution micro-nanométrique. Nous avons mis au point un modèle d’infections sur prothèse vasculaire implantable chez la souris qui a permis une toute première visualisation par imagerie de fluorescence de biofilms formés in vivo et soumis à l’action des antibiotiques mais aussi de montrer leur activité limitée. Nous nous sommes ensuite attachés à une meilleure compréhension de la tolérance aux antibiotiques de biofilms bactériens de S. aureus. Pour ce faire, nos études ont porté, d’une part, sur le rôle de la matrice extracellulaire et, d’autre part, sur le rôle de la physiologie des bactéries incluses en biofilm. Il a ainsi été mis en évidence le rôle crucial de la fluidité membranaire. Ces travaux nous ont alors permis de dégager des pistes pour améliorer l’antibiothérapie disponible mais aussi développer des alternatives à ce type de traitement
Bacteria are microorganisms capable of growing independently in liquid media. However, as soon as they encounter a surface, either biotic or abiotic, bacteria favour a "community living" to protect themselves from external aggressions and survive in hostile environments. These bacterial communities, named biofilms, are present in all natural environments, including humans where they can cause severe infections when hosting pathogenic germs. It is now accepted that such biological edifices persist under antibiotics action. In addition to antibiotic 'resistance', which is associated with genetic mutations of bacteria, 'tolerance' is related with the specific structure and physiology of bacteria organized in biofilms. In this context, we took benefit from innovative high-resolution imaging techniques to better understand the mechanisms underlying antibiotics (vancomycin, daptomycin, rifampicin) (in)efficacy within S. aureus biofilms. In addition, we developed a model for prosthetic vascular graft infections in mice that allowed the visualization by fluorescence imaging of biofilms formed in vivo and subjected to the action of antibiotics. Considering the very limited antibiotics efficacy observed, we then focused on a better understanding of S. aureus bacterial biofilms tolerance towards antibiotics. To this purpose, our work was focused on the role of both the extracellular matrix and the physiology of bacteria included in biofilms. The crucial role of membrane fluidity was then demonstrated. This work allowed us to identify paths for the improvement of antibiotic therapy and to develop alternatives to this type of treatment

Cette étude vise à spécifier les mécanismes de compréhension de la bande dessinée (BD). D'abord, une analyse structurale de la BD présente l'interaction entre verbal et pictural comme un trait spécifique influençant le traitement de son contenu. Ensuite, l'inventaire des principaux formats de représentation est dressé. Le format d'inspiration connexionniste est proposé comme le plus adapté pour concevoir la compréhension du texte multimodal de la BD. Enfin, la question des mécanismes de traitement des composantes hétérogènes de ce média est abordée. Une revue des différents modèles permet de retracer le cheminement des informations à partir du traitement primaire d'identification jusqu'à la construction de la représentation au niveau sémantique pour chaque composante. Après leur analyse théorique, plusieurs postulats sont réunis pour former un modèle de compréhension de la BD. Ce modèle est validé par un ensemble de résultats empiriques obtenus au cours de 3 recherches expérimentales
This thesis investigates mechanisms of comics comprehension. Firstly, the author attempts to explore the relationships between heterogeneous elements of comics (words and visuals) through its structural analysis. Secondly, the thesis offers a study of different mental representation models. A connectionist model is proposed to explain the processing of the multimodal text of comics. Finally, the research examines differences between written words and pictures processing in order to demonstrate specific ways in which the activation of mental models spreads from the primary level of object identification to the construction of its semantic representation. The author revises several statements emphasising differences in processing of heterogeneous elements of comics to elaborate a model of comics comprehension. Three experiments supporting the model follow the theoretical study described above

Il est aujourd’hui plus aisé de proposer dans un même document d’apprentissage de nombreuses sources d’information présentées sous des formats différents. Si présenter plusieurs médias peut apporter des bénéfices en termes de performances d’apprentissage, traiter efficacement ces différentes sources d’information est une activité complexe. C’est pourquoi, proposer des documents guidant l’apprenant lors de sa consultation peut s’avérer nécessaire afin de favoriser la construction d’un modèle mental de qualité. Les études empiriques menées au cours de cette thèse se sont attachées à déterminer quels formats étaient les plus efficaces tout en augmentant progressivement le guidage au sein du document. Ainsi, ont été testés : la position de l’illustration par rapport au texte, l’effet de la consigne, la segmentation du texte et l’introduction d’un guidage via un contraste figure/fond. De plus, afin d’apporter de nouveaux éléments de réflexion quant à la manière dont les individus explorent un document d’apprentissage et l’impact de ces stratégies sur les performances, les mouvements oculaires des apprenants ont été enregistrés. Les résultats obtenus ont mis en évidence que les modifications du format de présentation des informations avaient un impact sur les stratégies de consultation du document notamment sur l’augmentation des transitions oculaires effectuées entre les textes et les illustrations. Cependant, seule la segmentation du texte sous forme de paragraphes sémantiques a permis d’obtenir des bénéfices en termes de compréhension
It is easier today to offer in one informative document many sources of information presented in different formats. Presenting various media can bring benefits in terms of learning performance, but dealing effectively with these different sources of information is complex. Therefore, offering documents guiding the learner when he is reading may be necessary to promote the construction of a qualitative mental model. Empirical studies that are conducted during this thesis endeavour to determine which formats are most effective while gradually increasing guidance within the document. Thus, four items are tested: the position of the picture relative to the text, the effect of the instructions, the text segmentation and the introduction of a guidance through a figure-ground contrast. Moreover, in order to bring new elements of reflection about how people explore an informative document and the impact of these strategies on performance, the eye movements of the learners were recorded. The results showed that changes in the format of information have an impact on the strategies of consultation of the document, including the increasing eye transitions between texts and illustrations. However, only the segmentation of the text in the form of semantic paragraphs brought benefits in terms of understanding

Les méthodes de compréhension de la parole visent à extraire des éléments de sens pertinents du signal parlé. On distingue principalement deux catégories dans la compréhension du signal parlé : la compréhension de dialogues homme/machine et la compréhension de dialogues homme/homme. En fonction du type de conversation, la structure des dialogues et les objectifs de compréhension varient. Cependant, dans les deux cas, les systèmes automatiques reposent le plus souvent sur une étape de reconnaissance automatique de la parole pour réaliser une transcription textuelle du signal parlé. Les systèmes de reconnaissance automatique de la parole, même les plus avancés, produisent dans des contextes acoustiques complexes des transcriptions erronées ou partiellement erronées. Ces erreurs s'expliquent par la présence d'informations de natures et de fonction variées, telles que celles liées aux spécificités du locuteur ou encore l'environnement sonore. Celles-ci peuvent avoir un impact négatif important pour la compréhension. Dans un premier temps, les travaux de cette thèse montrent que l'utilisation d'autoencodeur profond permet de produire une représentation latente des transcriptions d'un plus haut niveau d'abstraction. Cette représentation permet au système de compréhension de la parole d'être plus robuste aux erreurs de transcriptions automatiques. Dans un second temps, nous proposons deux approches pour générer des représentations robustes en combinant plusieurs vues d'un même dialogue dans le but d'améliorer les performances du système la compréhension. La première approche montre que plusieurs espaces thématiques différents peuvent être combinés simplement à l'aide d'autoencodeur ou dans un espace thématique latent pour produire une représentation qui augmente l'efficacité et la robustesse du système de compréhension de la parole. La seconde approche propose d'introduire une forme d'information de supervision dans les processus de débruitages par autoencodeur. Ces travaux montrent que l'introduction de supervision de transcription dans un autoencodeur débruitant dégrade les représentations latentes, alors que les architectures proposées permettent de rendre comparables les performances d'un système de compréhension reposant sur une transcription automatique et un système de compréhension reposant sur des transcriptions manuelles
Application of spoken language understanding aim to extract relevant items of meaning from spoken signal. There is two distinct types of spoken language understanding : understanding of human/human dialogue and understanding in human/machine dialogue. Given a type of conversation, the structure of dialogues and the goal of the understanding process varies. However, in both cases, most of the time, automatic systems have a step of speech recognition to generate the textual transcript of the spoken signal. Speech recognition systems in adverse conditions, even the most advanced one, produce erroneous or partly erroneous transcript of speech. Those errors can be explained by the presence of information of various natures and functions such as speaker and ambience specificities. They can have an important adverse impact on the performance of the understanding process. The first part of the contribution in this thesis shows that using deep autoencoders produce a more abstract latent representation of the transcript. This latent representation allow spoken language understanding system to be more robust to automatic transcription mistakes. In the other part, we propose two different approaches to generate more robust representation by combining multiple views of a given dialogue in order to improve the results of the spoken language understanding system. The first approach combine multiple thematic spaces to produce a better representation. The second one introduce new autoencoders architectures that use supervision in the denoising autoencoders. These contributions show that these architectures reduce the difference in performance between a spoken language understanding using automatic transcript and one using manual transcript

L'objectif de cette thèse était de mettre en évidence les processus cognitifs impliqués dans le traitement synchrone d'informations verbales auditives et d'illustrations. Pour cela 5 expériences ont été menées. Au cours de 4 expériences, nous avons comparé les effets de différents types d'illustrations présentées simultanément à une explication auditive sur la construction du modèle mental. L'impact de différents systèmes visant à faciliter la co-référenciation entre les informations analogiques issues des illustrations et les informations verbales a également été évalué. Ces systèmes ont pris la forme de mises en surbrillance, de segmentations donnant accès ou non à l'illustration et d'une manipulation du niveau de connaissance analogique préalablement à l'apprentissage cible. Dans le cadre d'une convention de recherche, une 5e expérience a permis d'évaluer les effets de la modalité de présentation des informations verbales et de la présence de démonstrations animées dans un site Web
The aim of this research was to give an account of the cognitive processes involved in the simultaneous processing of auditory verbal information and corresponding pictorial information. For that, 5 experiments were conducted. Four experiments aimed at comparing different types of illustrations simultaneously presented with an audio explanation on the establishment of mental models. We also evaluated the impact of different systems which aimed at facilitating the co-referencing between the informational sources (i. E. Verbal and pictorial). These systems consisted in highlighting pictorial elements, inserting pauses in the documents which gave access or not to pictorial information and manipulating subjects prior knowledge about a target learning. The 5th experiment took place in a research convention and aimed at optimising the presentation format of a Web site. For that, we evaluated the effects of two factors: the modality of verbal information and the presence of animated picture

La tache d'indexation consiste a reperer dans un document les idees importantes representant soncontenu et a les transformer en termes d'indexation issus d'un vocabulaire controle. Le constat d'une variabilite dans le choix des termes affectes par plusieursindexeurs a un meme document souleve deux questions : quels sont les traitements effectues par les indexeurs pour structurer et condenser l'information contenue dans l'ouvrage et pour categoriser les idees retenues en termes d'indexation ? quels sont les facteure intervenant dans ces traitements ? une situation d'observation reproduisant les caracteristiques de la situation teelle de travail a ete construite. Vingt-cinq sujets ont indexe onze ouvrages en notant les termes representant les idees principales et les termes d'indexation retenus du langage rameau. Deux categories de variables ont ete manipulees : le contenu textuel (trois domaines et deux langues) et les caracteristiques des indexeurs (expertise dans l'indexation, pratique de rameau et familiarite avec le domaine). Les resultats revelent l'existence de trois strategies d'indexation se distinguant par, d'une part, la nature des connaissances invoquees et le type d'objectifs poursuivies et, d'autre part, la mise en oeuvre privilegiee de processus soit ascendants guides par des indices textuels, soit descendants guides par des connaissances. La difference essentielle est liee au niveau d'analyse du document : les indexeurs pratiquants rameau ont adopte le niveau d'analyse requis par ce langage, les non pratiquants ont effectue une description 'fine' et les debutants sont restes a un niveau general
Indexing consists in identifying the main ideas of a document and in converging them into indexing terms chosen among a controlled vocabulary. An important variability among indexers has been shown and thereby raises two questions : what processing are made by indexers to structure and to reduce the information contained into a document and to categorize the ideas into indexing terms ? what factors step in these processing ? a situation reproducing the characteristics of the actual work has been built up. Twenty-five subjects have indexed eleven books ; they had to write the terms presenting the main ideas and the indexing terms retained from the documenting language rameau. Two classes of variables have been manipulated : the textual content (three topics and two languages) and the operators' characteristics (expertise in indexing, practice of rameau and familiarity with the scientific domain). The results reveal three indexing strategies that can vbe distinguished, on the one hand, by the nature of knowledge involved and the objectives pursued, on the other hand, by the preferential use of either bottom-up processes driven by the knowledge. The major difference depends on the level of analysis of the document : those who pratice rameau carried the level of analysisrequired by this language, the unexperienced in the language carried out a 'specific' description and the beginner indexers have chosen a general level of analysis to access quickly to the language

Le Document Understanding est la discipline de l’Intelligence Artificielle qui dote les machines du pouvoir de Lecture. Cette capacité sous-entend de comprendre dans une vision globale l’objet du document, sa classe, et dans une vision locale, des informations précises, des entités. Un double défi est de réussir ces opérations dans plus de 90% des cas tout en éduquant la machine avec le moins d’effort humain possible. Cette thèse défend la possibilité de relever ces défis avec des méthodes à apprentissage incrémental. Nos propositions permettent d’éduquer efficacement et itérativement une machine avec quelques exemples de document. Pour la classification, nous démontrons (1) la possibilité de découvrir itérativement des descripteurs textuels, (2) l’intérêt de tenir compte de l’ordre du discours et (3) l’intérêt d’intégrer dans le modèle de donnée incrémental une mémoire épisodique de quelques Souvenirs d’échantillon. Pour l’extraction d’entité, nous démontrons un modèle structurel itératif à partir d’un graphe en étoile dont la robustesse est améliorée avec quelques connaissances a priori d’ordre général. Conscient de l’importance économique et sociétale de la fraude dans les flux documentaires, cette thèse fait également le point sur cette problématique. Notre contribution est modeste en étudiant les catégories de fraude pour ouvrir des perspectives de recherche. Cette thèse a été conduite dans un cadre atypique en conjonction avec une activité industrielle à Yooz et des projets collaboratifs, en particulier, les projets FEDER SECURDOC soutenu par la région Nouvelle Aquitaine et Labcom IDEAS soutenu par l’ANR
The Document Understanding is the Artificial Intelligence ability for machines to Read documents. In a global vision, it aims the understanding of the document function, the document class, and in a more local vision, it aims the understanding of some specific details like entities. The scientific challenge is to recognize more than 90% of the data. While the industrial challenge requires this performance with the least human effort to train the machine. This thesis defends that Incremental Learning methods can cope with both challenges. The proposals enable an efficient iterative training with very few document samples. For the classification task, we demonstrate (1) the continue learning of textual descriptors, (2) the benefit of the discourse sequence, (3) the benefit of integrating a Souvenir of few samples in the knowledge model. For the data extraction task, we demonstrate an iterative structural model, based on a star-graph representation, which is enhanced by the embedding of few a priori knowledges. Aware about economic and societal impacts because the document fraud, this thesis deals with this issue too. Our modest contribution is only to study the different fraud categories to open further research. This research work has been done in a non-classic framework, in conjunction of industrial activities for Yooz and collaborative research projects like the FEDER Securdoc project supported by la région Nouvelle Aquitaine, and the Labcom IDEAS supported by the ANR

L'incompatibilité sémantique à laquelle une métaphore peut confronter l'interprétant et l'exigence de sens qui l'anime alors, le conduisent à choisir une stratégie de compréhension qui passe par l'exploration du mot, par son évocation. C'est en ce sens que l'on peut voir en elle une dynamique du souvenir. Mais l'exploration n'est en rien hasardeuse car, si une métaphore convoque notre mémoire, elle fait de même pour notre pensée logique : elle est sélection et direction catégorielle. Telle est l'hypothèse que nous avons avancée tout au long de cette thèse afin d'intérroger plus précisément, le lien entre métaphore et imagerie mentale. Le phénomène métaphorique est traditionnellement délimité au seul champ sémantique : le recouvrement des chemins activés au sein d'un réseau sémantique, fonderait la compréhension métaphorique tandis que la construction et l'étendue de ce dernier conditionneraient sa psychogenèse. La thèse comparative, selon laquelle une métaphore implique la détection des attributs communs que spécifient les termes métaphorisant et métaphorisé, en constitue une traduction. Pour déterminant que puisse être ce principe de base, il n'épuise pas toute la compréhension. Nous nous ommes efforcé de démontrer en quoi l'imagerie était susceptible de réduire l'aporie métaphorique, permettant par sa médiation, la récupération et l'inspection d'informations sur les objets, stockées de manière incidentielle (Kosslyn, 1981). En complément d'investigations qui usaient, auprès d'adultes, de techniques chronométriques propres à décrire les représentations actives en mémoire au moment du traitement, nous avons entrepris une réflexion sémiotique et psychogénétique. L'expérimentation empirique menée auprès d'enfants devait nous conduire à l'élaboration d'un modèle dynamique de la compréhension métaphorique, supposant par ailleurs, que les phases développementales observées chez l'enfant sont similaires à celles vécues par l'adulte le temps d'une séance interprétative.

Cette thèse s’intéresse à l’activité des étudiants (entre autres la sélection d’information) lorsqu’ils lisent plusieurs documents textuels dans le but de développer leur point de vue critique sur un sujet ; et elle s’intéresse aux perceptions (notamment la facilité d’utilisation) des étudiants vis-à-vis de la tablette comme outil pour consulter des documents. Dans ces conditions, trois études évaluent la performance de compréhension d’étudiants suite à la lecture de plusieurs documents sur tablette avec une application innovante (e.g., affichage de plusieurs documents simultanément), selon qu’ils étudient librement les documents ou qu’ils sont guidés dans le traitement des documents. En outre, ces études évaluent comment les étudiants perçoivent la tablette comme outil pour étudier des documents, notamment s’ils jugent la tablette permet d’améliorer leur performance
This thesis focuses on students' activity (including information selection) when they read multiple textual documents in order to develop their critical perspective on a topic; and it focuses on students' perceptions (including ease of use) of the tablet as a tool for consulting documents. Under these conditions, three studies evaluate the comprehension performance of students following the reading of several documents on a tablet with an innovative application (e.g., display of several documents simultaneously), depending on whether they freely study the documents or are guided in the processing of the documents. In addition, these studies assess how students perceive the tablet as a tool for studying documents, particularly if they consider the tablet to improve their performance

Notre objectif au cours de cette thèse est de comprendre quel rôle jouent les représentations des morphèmes dans l'organisation des mots polymorphémiques au sein du lexique mental. Les expériences présentées dans le chapitre 2 montrent que les représentations morphémiques et globales sont activées lorsque ces mots sont présentés visuellement. En revanche, lorsque la présentation est faite en modalité auditive, seules les représentations morphémiques sont activées. Ceci indique que l'organisation des mots polymorphémiques diffère entre les lexiques orthographique et phonologique. Le chapitre 3 présente des résultats qui indiquent que les racines idiosyncrasiques (par ex. Buv- dans buvait), tout comme les racines régulières (mang- dans mangeons), sont représentées dans le lexique mental en plus de la représentation globale des formes verbales dans lesquelles elles apparaissent. Ceci est discuté en rapport avec les modèles d'organisation à un ou deux niveaux de représentations. Les expériences présentées dans le chapitre 4 montrent que la seule présence d'une terminaison suffixale dans un mot entraîne une procédure de décomposition ; et l’étude en imagerie cérébrale proposée dans le chapitre 5 montre une diminution d'activation dans la partie dorsale du gyrus frontal inférieur gauche lorsque les participants traitent des mots polymorphémiques. Ces résultats suggèrent que cette région du cerveau pourrait sous-tendre les processus engagés lors du traitement des mots polymorphémiques : la décomposition. L'ensemble des travaux menés au cours de cette thèse apportent des nouveaux indices quant à la place des morphèmes au sein du lexique mental
In this PhD thesis, our aim is to investigate the role played by the representations of putative individualized morphemes with respect to the representation of polymorphemic words in the mental lexicon. Experiments of chapter 2 show that in a visual word recognition task, not only morphemic but also the whole representations are activated in the subject's mind, whereas only morphemic components are activated in the auditory modality. From these results, a distinct organization of the visual and auditory lexicons regarding polymorphemic words may be inferred. In the experiments reported in chapter 3 it appears that both idiosyncratic stems (e. G. Buv- in buvait, from the verb boire `to drink') and regular stems (e. G. Mang- in mangeons, from the verb manger `to eat'), as well as the surface forms of these verbs influence latencies of visual recognition. This finding is discussed with regard to models with one or two levels of representions. In chapter 4 and chapter 5, the decompositional process is the main focus of attention. Firstly, a lexical decision priming task indicates that the sole occurrence of a suffix in a word initiates the mechanism of decomposition. Secondly, in chapter 5, data acquired from an fMRI experiment point out a decrease in the activation of the dorsal region of the left inferior frontal gyrus when participants process morphologically related words. This outcome highlights a possible role of the previous region as a dedicated locus for the processing of polymorphemic words. Overall, our PhD thesis fuels the debate over morphemic representations by supplying new clues favouring their role in the organization of polymorphemic words

L'image occupe une place considérable dans la civilisation actuelle. L'iconique est une des dimensions fondamentales d'une nouvelle culture, où l'image prolifère au quotidien (livres, journaux, affiches publicitaires, écrans d'ordinateurs, télévision, cinéma) et où elle tient une place importante aux côtés des textes, même dans les manuels scolaires de tous niveaux (primaire et secondaire), et dans les livres de fiction pour enfants et adolescents. Image et écriture ont la même origine : elles se confondaient sur les parois paléolithiques. Puis, elles ont évolué séparément et parallèlement. Grâce aux moyens actuels de diffusion et production des images et des textes, et grâce aux découvertes du XXe siècle en sciences cognitives, images et textes se retrouvent à l'heure actuelle de nouveau confondus, tous les deux considérés comme outil de communication. Les recherches en sémiologie ont démontré que l'image, comme la langue, est un système de signes exprimant des idées, produisant du sens, dont nous nous servons pour communiquer, l'image présente donc de nombreuses analogies avec le texte en ce qui concerne la production, le fonctionnement et la réception. Mais certaines différences entre image et texte ne permettent pas à l'image de se substituer au texte, de prendre sa place en tant que véhicule privilégié de la communication et de l'information, car elle a besoin du texte pour pallier à certaines de ses carences expressives. Actuellement en Espagne, comme en France, les nouvelles orientations pédagogiques mettent l'accent sur la maîtrise de la langue orale et écrite, en primaire comme en secondaire, mais comptent également sur la présence et le pouvoir que s'est acquis l'image dans l'écriture contemporaine. Malgré ses caractéristiques reconnues d'attraction, de persuasion et, selon certains, d'influence négative, l'image est cependant considérablement utilisée en pédagogie espagnole, aussi bien auprès des textes d'ouvrages didactiques que dans les activités de classe. Certaines spécificités étant reconnues à l'image et d'autres au texte, l'image peut être utilisée aux côtés des textes à des fins très utiles dans le domaine éducatif. La didactique et la pédagogie reconnaissent à l'image une grande efficacité auprès des textes : utilisant les puissances et les impuissances propres à chaque code (verbal et iconique), textes et images interagissent, s'éclairent mutuellement, se renforcent, pour mieux diffuser les connaissances auprès des élèves. L’Espagne actuelle, en tant qu'État démocratique, accorde une grande importance à l'éducation que doivent recevoir les jeunes, pour en faire de futurs citoyens. Tenant compte du milieu culturel ambiant, les enseignants espagnols, en primaire et en secondaire, utilisent aussi avec les élèves les documents que l'on trouve hors de l'école et qui comprennent tous les types de textes et d'images (journaux, revues, affiches, sites d’Internet) afin d'enseigner aux élèves une attitude responsable et un esprit critique face à ces informations, outils, supports qui sont dans leur environnement quotidien. Dans ce système pédagogique actuel en Espagne, l'attention des enseignants espagnols se porte sur le côté « défense et protection », contre la « manipulation », contre la mise en sommeil de l'esprit critique, ce qui n'était pas le cas pendant la période franquiste
Images play a very significant part in today’s civilization. The iconic dimension is one of the fundamental aspects of a new culture in which pictures proliferate in everyday life – whether in books, papers, posters or on screens – and where they hold an important role along with texts, even in primary and secondary school handbooks and in children’s and teenagers’ fiction works. Pictures and writing share the same origin : they were merged on Paleolithic walls. Then, they have evolved separately and in parallel. Thanks to the current means of production and circulation of texts and images, and to 20th century discoveries in cognitive sciences, they are now merged again; they are both considered as means of communication. The studies in semiology have proved that pictures, just like language, are a system of signs which express ideas, produce meaning and which we use in order to communicate. Images therefore show numerous analogies with texts regarding their production, functioning and reception. But some differences between texts and images do not enable the pictures to replace the texts as the primary vehicles of communication and information because they need the texts to compensate some of their expressive lacks. Nowadays in Spain, as in France, the new pedagogical directions stress the command of oral and written languages in primary and secondary education. But they also acknowledge the pervasiveness and power of images in contemporary writing. Although their attractive, persuasive and, according to some people, negative characters are recognized, images are widely used in Spanish education along with the texts, in didactic works and in class activities alike. In education, images can be usefully employed along with the texts since they both have some specificities. Education sciences perceive the great efficiency of images used along with texts: by using the qualities and the lacks of each code – verbal and iconic – the two interact, they clarify and reinforce each other so as to better transmit knowledge to the pupils. As a democratic state, today’s Spain gives great importance to the education received by the young to become citizens. Spanish teachers take into account the surrounding culture and also use documents from outside the school which include all types of texts and images – such as newspapers, magazines, posters, websites – to teach the pupils how to act responsibly and have a critical mind regarding the contents, tools and media of their everyday environment. In the current Spanish pedagogical system, the teachers emphasize the “defense and protection” against the “manipulation” and apathy of the critical mind. But it has not always been so in Spain, as during the Franco era

L'objet du présent travail est de procéder à l'exploitation de connaissances acquises dans le domaine de la psycholinguistique, mise en praique se traduisant par le transfert de ces connaissances au domaine de la conception des notices et modes d'emploi accompagnant les appareils vendus au grand public. Plusieurs études conduites sur le terrain et en laboratoire ont permis d'articuler recherche théorique et applications pratiques. Une observation exploratoire a permis d'appréhender les comportements d'utilisation de documents procéduraux en situation quasi-usuelle. Par ailleurs, trois expériences ont éte réalisées pour étudier les effets de différents modes de présentation de l'information sur leur traitement. Dans une première expérience, sept formats de présentation d'instructions ont été examinés sur deux populations (hauts niveaux vs. Bas niveaux de scolarisation). Une seconde expérience a été conduite pour étudier les effets de la présentation d'une information organisatrice sur l'élaboratoin de représentation et sur les activités de contrôle effectuées au cours de l'exécution des instructions. Enfin, une troisième expérience a été conçue pour appréhender la nature des représentations induites par le traitement d'instructions textuelles ou graphiques. L'ensemble de ces tavaux a permis d'élaborer un modèle procédural de traitement des instructions, destiné à servir de support à la conception de documents. Ce "modèle de l'utilisateur" a abouti notamment à la réalisation de documents procéduraux permettant une "navigation " plus aisée à l'intérieur du document et facilitant l'apprentissage à partir d'instructions
The aim of the work reported here was to transfer knowledge acquired in the field of psycholinguistics to the domain of technical writing and, in particular, to that of writing instructions. Several studies carried out in natural situations and in laboratory suggested theorical research and applications. A preliminary observation allowed to apprehend users'behaviors when dealing with procedural documents. Furthermore, three studies were carried out to investigate the effects of different instructional formats on how users processed instructional documents. In the first experiment, seven formats of instructions were tested with two groups of adults at two levels of education (high vs. Low levels of schooling). The second experiment assessed the effects of an advanced organizer on the elaboration of a representation and a control activities during the execution of instructions. The third experiment explored users' representations induced by processing textual or graphic instructions. These investigations allowed to developp a procedural model of processing instructions aimed at helping technical writers to design procedural documents. This "user-model" helped to improve markedly the quality of documents, facilitated searching, and lead to a greater understanding of the instructions

Le but de ce travail est de mener une réflexion sur l'évaluation des connaissances des élèves, en tenant compte à la fois des travaux qui traitent de l'évaluation et des travaux sur l'apprentissage, en particulier sur l'apprentissage de la mécanique. Cette réflexion s'accompagne d'une production d'outils (exercices et commentaires associés) utilisables par les enseignants de lycée, en lien avec une séquence d'enseignement de mécanique de seconde développée précédemment par notre équipe. Nous avons décidé de diffuser par le biais d'un site Internet des tests d'évaluation correspondant aux différentes parties de cette séquence. Pour construire ces tests, nous avons procédé à une analyse du savoir. Les différentes composantes observées ont été testées dans différentes situations afin de pouvoir mesurer la cohérence des réponses écrites des élèves. Nous avons aussi utilisé les travaux sur les conceptions des élèves. Enfin, nous avons repris les hypothèses d'apprentissage utilisées pour le développement de la séquence. Nous avons ainsi développé 4 tests, constitués de 16 exercices, qui ont été donnés dans trois classes, à la fin des différentes parties. Le dernier de ces tests (test bilan) a été donné dans 10 classes supplémentaires. Nous avons étudié les réponses écrites (tris à plats, croisements entre questions, etc. ). Afin de valider les réponses des élèves comme bon indicateur de leur compréhension, nous avons choisi d'interviewer certains élèves après la passation du test. Les réponses orales des élèves renforcent la plupart du temps l'interprétation faite à partir de la réponse écrite et sont une riche source d'informations pour mieux comprendre l'influence de la situation de devoir surveillé sur les réponses des élèves. Certains extraits d'interviews sont sélectionnés afin d'informer les enseignants sur des points aussi variés que : rôle du contrat dans la réponse, ordre de résolution, lien avec ce qui a été fait en classe. .
The aim of this work was to elaborate a reflection about students' knowledge assessment, taking into account both studies about evaluation and studies about learning, especially learning Mechanics. We also wanted to produce concrete tools (exercises and associated comments) which could be used by high school teachers and which were related to an existing Mechanics teaching sequence. This sequence was previously developed by our research team. We used an Internet website to provide Physics teachers with the different assessment tests. In order to design these tests, we analyzed the knowledge involved in the teaching sequence. The various observed pieces of knowledge have been assessed in various situations so that we could measure the consistency in pupils' written answers. We also used research works about pupils' conceptions. We finally used learning hypotheses that were used for the design of the teaching sequence. Using this methodology, we designed 4 tests, containing 16 exercises, which were given to 3 classes at the end of each part of the teaching sequence. The last test (summative test) was given to 10 more classes. We statistically analyzed the pupils' written answers. In order to validate the written answers as a good indicator of pupils' understanding, we interviewed a few pupils after they answered to the test. The oral answers strengthened most of the time the analysis made using written answers. Moreover these oral interviews were a rich source of information for understanding the influence of the assessment situation on pupils' written answers. Some short extracts of these videoed interviews were selected in order to give teachers information about various points such as: influence of the didactical contract, resolution order, link with what was done in classroom. .

Les thèmes principaux abordés dans cette thèse sont l'utilisation de méthodes d'apprentissage actif et d'apprentissage profond dans le contexte du traitement de documents multimodaux. Les contributions proposées dans cette thèse abordent ces deux thèmes. Un système d'apprentissage actif a été introduit pour permettre une annotation plus efficace des émissions de télévision grâce à la propagation des étiquettes, à l'utilisation de données multimodales et à des stratégies de sélection efficaces. Plusieurs scénarios et expériences ont été envisagés dans le cadre de l'identification des personnes dans les vidéos, en prenant en compte l'utilisation de différentes modalités (telles que les visages, les segments de la parole et le texte superposé) et différentes stratégies de sélection. Le système complet a été validé au cours d'un ``test à blanc'' impliquant des annotateurs humains réels.Une deuxième contribution majeure a été l'étude et l'utilisation de l'apprentissage profond (en particulier les réseaux de neurones convolutifs) pour la recherche d'information dans les vidéos. Une étude exhaustive a été réalisée en utilisant différentes architectures de réseaux neuronaux et différentes techniques d'apprentissage telles que le réglage fin (fine-tuning) ou des classificateurs plus classiques comme les SVMs. Une comparaison a été faite entre les caractéristiques apprises (la sortie des réseaux neuronaux) et les caractéristiques plus classiques (``engineered features''). Malgré la performance inférieure des seconds, une fusion de ces deux types de caractéristiques augmente la performance globale.Enfin, l'utilisation d'un réseau neuronal convolutif pour l'identification des locuteurs à l'aide de spectrogrammes a été explorée. Les résultats ont été comparés à ceux obtenus avec d'autres systèmes d'identification de locuteurs récents. Différentes approches de fusion ont également été testées. L'approche proposée a permis d'obtenir des résultats comparables à ceux certains des autres systèmes testés et a offert une augmentation de la performance lorsqu'elle est fusionnée avec la sortie du meilleur système
The main topics of this thesis include the use of active learning-based methods and deep learning in the context of retrieval of multimodal documents. The contributions proposed during this thesis address both these topics. An active learning framework was introduced, which allows for a more efficient annotation of broadcast TV videos thanks to the propagation of labels, the use of multimodal data and selection strategies. Several different scenarios and experiments were considered in the context of person identification in videos, including using different modalities (such as faces, speech segments and overlaid text) and different selection strategies. The whole system was additionally validated in a dry run involving real human annotators.A second major contribution was the investigation and use of deep learning (in particular the convolutional neural network) for video retrieval. A comprehensive study was made using different neural network architectures and training techniques such as fine-tuning or using separate classifiers like SVM. A comparison was made between learned features (the output of neural networks) and engineered features. Despite the lower performance of the engineered features, fusion between these two types of features increases overall performance.Finally, the use of convolutional neural network for speaker identification using spectrograms is explored. The results are compared to other state-of-the-art speaker identification systems. Different fusion approaches are also tested. The proposed approach obtains comparable results to some of the other tested approaches and offers an increase in performance when fused with the output of the best system

Le domaine de la physique étudié est l'optique géométrique. Le contexte institutionnel est celui de la classe de Première de l'enseignement secondaire, filière scientifique. Le travail porte sur la relation entre les interactions enseignant-élèves et élève-élève et la construction de la compréhension conceptuelle chez les élèves du point de vue de la modélisation et de l'utilisation des registres sémiotiques. La méthode choisie est celle de l'étude de cas dans une classe réelle, basée sur l'enregistrement continu des productions verbales et des gestes d'une paire d'élève et de l'enseignant. Notre principal résultat est que les deux élèves se sont approprié un langage lié à la modélisation et ont réussi l'utilisation l'un des registres qui est le schéma en collaborant ensemble et en interagissant avec l'enseignant. Leurs verbalisations nous ont montré qu'ils ont construit une compréhension conceptuelle de la notion de décomposition en points d'un objet lumineux et de la formation des images à travers une lentille et un miroir
The studied domain of Physics is geometrical Optics. The teaching sequence takes place at grade 11 (scientific route) of upper secondary school. Our objective is to analyse the nature of the links between teacher-students and student-student interactions and the evolution of students' understanding of Physics concepts. For us an essential aspect of the Physics concepts is their capability to ensure modelling processes and to articulate a representation in various semiotic registers. We chose a case study methodology in a normal class, grounded upon the complete recording of the verbal and gesture activity of the teacher and of two students. Our main result is that students have acquired a modelling language and that they successfully used a given semiotic register (the schematic register) by collaborating each other and with teacher. Their verbalisation shows that they have constructed a conceptual comprehension of the decomposition in elementary points of an object and of image formation through converging lens and mirror

Les documents en domaine contraint doivent répondre à de nombreuses conditions de bonne formation qui sont souvent difficiles à appliquer. Un courant de recherche actif s’intéresse à la création de documents normalisés par spécification du contenu sémantique, facilitant ainsi de nombreuses applications de ces documents, dont la production multilingue. Néanmoins, les systèmes actuels ne permettent pas l’analyse d’un document existant afin de le normaliser. Dans ce contexte, nous proposons une approche réutilisant les ressources de tels systèmes pour recréer le contenu sémantique d’un document, à partir duquel sa forme textuelle normalisée est ensuite générée. Cette approche s’articule autour de deux paradigmes centraux : la génération inversée floue, qui permet de trouver heuristiquement des représentations sémantiques candidates, et la négociation interactive, qui permet à un expert du domaine de valider progressivement la représentation sémantique correspondant au document originel
Well-formedness conditions on documents in constrained domains are often hard to apply. An active research trend approaches the authoring of normalized documents through semantic specification, thereby facilitating such applications as multilingual production. However, the current systems are not able to analyse an existing document in order to normalize it. We therefore propose an approach that reuses the resources of such systems to recreate the semantic content of a document, from which a normalized textual version can be generated. This approach is based on two main paradigms : fuzzy inverted generation, which heuristically finds candidate semantic representations, and interactive negotiation, which allows an expert of the domain to progressively validate the semantic representation that corresponds to the original document

Ce travail de thèse porte sur l'étude de l'évolution de la compréhension conceptuelle des élèves dans le cas d'une séquence d'enseignement de mécanique en 1ère S. La thèse s'inscrit dans un cadre socioconstructiviste. Le cadre théorique s'appuie sur les théories de l'apprentissage de Piaget et Vygotski ainsi que sur les travaux plus récents menés en didactique des sciences : le changement conceptuel, les processus d'apprentissage et l'activité de modélisation en sciences. La méthode choisie est l'étude de cas avec une perspective de description. Au cours de la séquence d'enseignement, un binôme d'élèves a été filmé pendant 3 semaines (4h 30 par semaine). Cet enseignement correspond au programme officiel, il s'appuie sur une séquence conçue par un groupe de recherche-développement ("Outils"). Les productions verbales ont été transcrites et analysées en tenant compte de la situation de classe. Les transcriptions ont été découpées en épisode et analysées à partir d'une catégorisation en termes de facettes de plusieurs types de connaissances, en particulier conceptuelles, sur le monde matériel et sur les processus généraux de raisonnement. Il s'agit d'une analyse qualitative qui vise à reconstituer la construction des connaissances conceptuelles par les élèves du binôme observé. Les analyses montrent la variété et le grand nombre de connaissances qui interviennent dans la construction conceptuelle. De plus, ces analyses conduisent à préciser les types de changement qui interviennent au cours de l'évolution conceptuelle
This thesis deals with the study of the evolution of the students' conceptual understanding in the case of a teaching sequence in mechanics at 1ère S (11th grade). The theoretical framework is socio-constructivist based on the learning theories of Piaget and Vygotki and also based on recent works in didactics of science: conceptual change, learning processes and modelling activity. The method is a case study with accent on the descriptive perspective. All along the teaching sequence, a pair of students was videotaped during three weeks (4h 30 a week). This teaching sequence corresponds to the official curriculum, and was designed by a research-development group (“Outils”). The verbal productions have been transcribed and analysed by taking into account the class situation. The transcriptions have been divided into episodes and analysed on the basis of a categorisation in terms of facets of several types of knowledge, in particular conceptual knowledge, on the knowledge of the material world, and on the general processes of reasoning. The qualitative analysis aims to reconstruct the conceptual knowledge of the pair of students. The analyses show the variety and the large number of elements of knowledge that intervene in the construction of meaning and the conceptual evolution. Moreover, these analysis lead to specify the types of conceptual change which intervene all along the conceptual evolution

Quelle que soit la langue, le genre grammatical représente une façon classique de catégoriser les mots contenus dans notre lexique mental. Mais parallèlement à cette constatation, certains points sont sujets à variation en fonction du système langagier étudié, tels que la modularité du nombre de classes, les critères d'assignation ou les règles d'accords régissant la structuration grammaticale des phrases. Le genre grammatical est donc une particularité linguistique omniprésente et complexe, mais dont les mécanismes cognitifs d'accès et de traitement restent peu connus, car peu étudiés. Nous avons donc exploré, au cours de ce travail de thèse, le rôle de l'information de genre lors des processus de production et de reconnaissance des mots. Plus précisément, nous nous sommes focalisés sur la dimension temporelle de son intégration dans les deux modalités. Pour cela nous avons exploré le degré d'implication du genre et à quel niveau temporel il était extrait lors du mécanisme de sélection des déterminants : (1) quand est-ce que sont récupérées les informations phonologiques et de genre lors de la sélection des articles en français en production et en compréhension ; (2) lors de la reconnaissance visuelle des mots, à quel instant du processus d'accès au lexique interviennent les informations de genre grammatical. Les réponses obtenues via les différents protocoles menés (décision lexicale, décision de genre, catégorisation phonologique, etc. ) nous ont conduits à reconsidérer certaines hypothèses de fonctionnement en production, ainsi que d'offrir un premier modèle exhaustif des divers processus impliqués lors de la récupération du genre en compréhension
Whatever the language considered, gender is a traditional way to categorize words contained in our mental lexicon. But in parallel to this observation, some points are prone to variation according to the linguistic system explored, such as the number of subclasses, the common features for distinguishing the different noun classes and the agreement rules. The grammatical gender feature offers interesting opportunities to investigate the contribution of gender information to lexical access either in word production and recognition. If many studies were interested in the last decades to the temporal integration to phonological and gender cues during language production, very little empirical evidence for the time course of the events was provided in the field of word recognition. The question addresses in the present study concerns the time course of the various processes involved in the treatment of gender, and more precisely, the aim was to determine whether the sequential timing of gender and wordform encoding found in production tasks was reversed or not in comprehension tasks. To answer these questions a series of off-line and on-line experiments will be done on native speakers of French. The planned experiments include further lexical decision tasks and gender decision tasks, and some production tasks. ERP experiments to investigate the above issues will be done as well. These tasks have allowed us to test some models in both modalities

L’accessibilité numérique joue un rôle décisif pour l’éducation, l’inclusion sociale et l’autonomie des individus souffrant d’une déficience. Dans ces travaux, nous nous sommes intéressés à une composante universelle des documents numériques : la mise en forme des textes. L’utilisation de couleurs, polices et dispositions de texte peut paraître anodin, mais il se trouve qu’au-delà de l’esthétique du texte, la mise en forme a non seulement du sens, mais elle permet aux lecteurs d’optimiser leur activité de lecture. Par exemple des couleurs et une police particulière peuvent suffire à nous indiquer un titre, qui va permettre au lecteur de se représenter globalement le contenu. Ces travaux visaient donc à rendre accessible la signification de la mise en forme aux déficients visuels, afin qu’ils puissent accéder aux mêmes informations que les lecteurs voyants mais aussi bénéficier des mêmes optimisations quand ils accèdent aux documents à l’aide de voix de synthèse
Digital accessibility plays a crucial role for the education, the social inclusion and the autonomy of impaired people. This work focused on a universal component of digital documents: text formatting. Colors, fonts and text disposition are far more than just an ornament; text formatting conveys important meaning for content comprehension, and allows reader to optimize their activity. For instance, a specific set of colors and font can be enough to indicate the presence of a title, which allows a global representation of the content themes. Thus, we aimed at making text formatting meaning accessible to visually impaired people, so they can obtain the same information as sighted readers, and also benefit from the same optimizations when accessing the document with synthetic voices

Tout au long de la petite enfance, l'enfant se construit, implicitement ou explicitement, des habiletés de signification du langage écrit qui lui seront utiles lors de la formalisation de son apprentissage en C. P. Loin des méthodes de lecture, dans le giron familial, des actions (gestes de médiation) plus ou moins efficaces sont mises en place par les parents eux-mêmes. Cette thèse cherche à mettre en évidence les conditions d'élaboration de l'acte lexique que les parents organisent pour leur enfant. La description des huit gestes (la construction du lien école-famille, la construction du lien entre apprentissage de l'acte lexique et vécu scriptural et lectoral de la famille, la stimulation du désir d'apprendre, l'aménagement du temps pour la triade parent-enfant-livre, le dialogue parent-enfant, la maîtrise des habiletés lectorales, la trame axiologique donnée au sens de l'acte lexique) constituent la grille de recherche. L'étude microsociologique d'une cinquantaine de familles révèle la complexité des interrelations favorisant ou réduisant l'émergence de l'acte lexique. Ainsi la pratique scolaire n'est pas à elle seule, l'enjeu de la réussite de l'enfant. Les trois grandes tendances (conformiste, entrepreneur, précurseur) qui se retrouvent indépendamment chez chacune de ses familles donnent un premier éclairage sur les pratiques éducatives en matière d'apprentissage de la lecture. Les médiations possibles apportées par chacune d'entre elles donnent une autre perspective. On remarque aussi que lorque la médiation parentale est porteuse d'un projet de sens congru avec l'acte lexique, il y a réussite de l'enfant. De ce fait, il est essentiel que l'école prenne en compte l'univers familial, non seulement comme partenaire possible mais comme médiateur de savoir et de savoir-faire.

Ces travaux se sont intéressés au phénomène de la compréhension de la parole dégradée. Grâce aux approches conjointes de la psycholinguistique et de la neurophysiologie, des études comportementales et des tests auditifs ont été menés chez des participants adultes sains et chez des participants adultes dyslexiques. Les mesures comportementales ont exploré les capacités des participants à reconstruire de la parole dégradée artificiellement. Deux types de dégradations de la parole ont été utilisées: l'inversion temporelle du signal et la parole dans la parole. Les résultats montrent l'existence d'une capacité cognitive à reconstruire de la parole dégradée qui dépend du niveau d'altération du signal d'origine, mais également de paramètres internes au système cognitif, et propres à chaque individu, tels la capacité d'activation des mécanismes lexicaux, et peut être la latéralisation hémisphérique. Les caractéristiques psycholinguistiques des mots à restituer conditionnent leur compréhension en situation de perception difficile, de même que les caractéristiques psycholinguistiques du contenu lexical du bruit concurrent lors de la perception de la parole dans la parole. Les tests auditifs cliniques ont permis de mettre en évidence des corrélations entre la latéralisation des voies auditives descendantes des participants et leurs capacités à comprendre de la parole dégradée. Les résultats des patients dyslexiques ont montré des performances réduites pour reconstruire de la parole dégradée associées à un profil symétrique des voies auditives descendantes. Ces résultats sont interprétés en faveur de l'hypothèse d'un lien entre asymétrie cérébrale et capacités langagières
This study investigated degraded speech comprehension. Using psycholinguistic and neurophysiologic approaches, behavioural studies and auditory tests were conducted among healthy adult participants and dyslexic adult participants. Behavioural experiments explored the participants' abilities to restore artificially degraded speech. Two types of degradation were used : reversed speech and speech in speech. The results evidence a cognitive capacity to reconstruct degraded speech that depends on the degradation level of the original speech signal but also on some cognitive system parameters. These parameters are specific to each individual, such as the ability to activate lexical mechanisms and possibly the hemispheric lateralization. Psycholinguistic characteristics of target words affect their comprehension in a situation where speech is difficult to understand. During speech in speech perception, psycholinguistic characteristics of words from the competing babble influence the target's restitution. Auditory tests have shown correlations between the participants' lateralization of auditory descending pathways and their abilities to understand degraded speech. Results from dyslexic individuals in the reconstruction of degraded speech exhibit reduced performances associated with a symmetric pattern of descending auditory pathways. These results support the hypothesis of a link between cortical asymmetry and language processing skills

Cette thèse mobilise de façon croisée les sciences du langage et les sciences de l'éducation. Elle porte notamment sur l'apprentissage de la langue seconde langue par les élèves allophones au collège et plus particulièrement sur les processus de compréhension qui les sous-tendent. Nos données ont été recueillies in situ entre janvier 2011 et mai 2012 au sein de quatre académies. Il s'agissait pour nous, dans un premier mouvement, d'examiner les politiques éducatives préconisées et leurs applications concrètes au sein de dispositifs d'accueil. Sous l'éclairage d'une première série d'entretiens menés auprès d'un échantillon de 26 élèves observés en classe, nous avons pu mesurer l'importance de la compréhension, notamment de l'oral, dans le processus d'acquisition de la L2. Dans un second mouvement, par le biais d'une deuxième série d'entretiens, nous nous sommes alors concentrée sur la recherche des facteurs qui favorisent ou au contraire entravent le processus de compréhension des apprenants allophones par l'analyse de la dimension axiologico-affective de leur discours et l'identification de leurs stratégies d'apprentissage. Nous avons également souhaité répondre à une autre question plus large dédiée aux éléments qui aident ou inhibent la réussite de ces élèves en classe ordinaire à partir de variables présentes sous forme d'un portrait idéal-typique ». Nous avons ainsi pu montrer l'importance de la présence d'un environnement émotionnellement sécurisant pour apprendre la langue seconde par des adolescents en contexte d'exil et la nécessité pour l'institution scolaire de prendre en compte l'altérité langagière au sein des classes
This thesis draws on the sciences of language and of sciences of education to analyse how high school age allophone students learn a second language, with an emphasis on the processes of comprehension. We gathered our data in situ in four educational authorities between January 2011 and May 2012. Our first step was to examine recommended educational policies, and how they were applied to allophone students within the framework used to integrate them. A preliminary series of interviews of a sample group of 26 students, enabled us to measure the importance of the role of comprehension, and in particular oral comprehension, in the acquisition of a second language. A second series of interviews focused on the factors that help or hinder the process of comprehension in allophone learners. To this end we analysed the axiologico-affective elements of the students’ discourse and identified their learned strategies. We also set out to answer a larger question, which addresses the elements that favour or inhibit the “success” of these students in an “ordinary class”, based on variables presented as the portrait of an “ideal student type”. In this way we were able to show the importance of creating an emotionally secure environment in which to learn a second language for adolescents who are in exile. We also revealed the need for the educational establishment to take into account the cultural diversity and linguistic differences present within the classroom

La parole est le moyen de communication le plus utilisé par l’Homme. Elle permet d’exprimer ses besoins, d’échanger ses pensées avec autrui et contribue à la construction de l’identité sociale. C’est aussi un canal de communication complexe impliquant un contrôle moteur élaboré en production et la capacité à analyser des séquences sonores produites par une grande variété de locuteurs en perception. Cette complexité fait qu’elle est souvent le mode de communication le plus altéré ou difficile à acquérir pour des personnes dont les systèmes sensori-moteurs impliqués sont perturbés. C’est en particulier le cas des personnes avec trisomie 21 (T21), syndrome d’origine génétique induisant des difficultés motrices orofaciales complexes et des altérations des sphères auditives et somatosensorielles. Si parler est possible pour la plupart de ces personnes, leur intelligibilité est toujours touchée. Améliorer leur communication orale est un enjeu clinique et d’intérêt social. L’étude de la production de la parole par des personnes avec T21 et de sa perception par des auditeurs tout-venant présente aussi un intérêt théorique, en particulier relativement aux questions fondamentales de la perception multimodale de la parole et de l’implication du système moteur de l’auditeur dans sa perception.Dans cette thèse, nous repositionnons le trouble de l’intelligibilité des personnes avec T21 dans un cadre qui conçoit la parole comme un acte coopératif entre locuteur et auditeur. En contre-pied de l’attention traditionnellement portée sur le locuteur dans la recherche appliquée, nous nous intéressons aux recours de l’auditeur pour mieux percevoir la parole en partant de deux observations : (1) la parole T21 est peu intelligible auditivement ; (2) son intelligibilité est meilleure pour des interlocuteurs familiers que non familiers. Ces observations sont mises en relation avec deux résultats importants de la recherche sur la perception de la parole. Primo, en situation de communication face-à-face, en plus de l’information auditive, l’auditeur utilise aussi l’information visuelle produite par le locuteur. Cette dernière permet notamment de mieux percevoir la parole quand l’information auditive est altérée. Deuxio, la familiarisation à un type de parole spécifique entraîne une meilleure perception de celle-ci. Cet effet est augmenté par l’imitation de la parole perçue, qui activerait davantage les représentations motrices internes de l’auditeur.Cette mise en relation des difficultés spécifiques des personnes avec T21 avec la recherche sur la perception de la parole nous amène à formuler les questions suivantes. Compte-tenu des spécificités anatomiques orofaciales du locuteur avec T21 impactant ses gestes moteurs articulatoires, l’auditeur tout-venant bénéficie-t-il de la présence de l’information visuelle ? L’implication du système moteur dans la familiarisation à cette parole spécifique peut-elle aider à mieux la percevoir ? Pour répondre à ces questions, nous avons mené deux études expérimentales. Dans la première, en utilisant un paradigme classique de perception audio-visuelle de la parole dans le bruit, nous montrons que voir le visage du locuteur avec T21 améliore l’intelligibilité de ses consonnes de manière comparable à des locuteurs tout-venant. L’information visuelle semble donc relativement préservée malgré les spécificités anatomiques et physiologiques. Dans une deuxième étude, nous adaptons un paradigme de familiarisation avec et sans imitation pour évaluer si l’imitation lors de la perception auditive de mots produits par un locuteur avec T21 peut aider à mieux les percevoir. Nos résultats suggèrent que c’est le cas. Ce travail ouvre des perspectives cliniques et théoriques : l’étude de la perception de la parole produite par des personnes avec un conduit vocal et des mécanismes de contrôle atypiques permet d’évaluer la généralité des mécanismes de perception mis en avant avec des locuteurs typiques et d’en délimiter les contours
Speech is the most widely used means of communication by humans. It allows people to express their needs, exchange thoughts with others and contributes to the construction of social identity. It is also a complex communication channel involving elaborate motor control in production and the ability to analyze sound sequences produced by a wide variety of speakers in perception. This complexity results in speech being often the most altered or difficult to acquire mode of communication for people whose sensorimotor systems are impaired. This is particularly the case for people with trisomy 21 (T21), a genetic syndrome inducing complex orofacial motor difficulties and alterations in the auditory and somatosensory spheres. While speaking is possible for most of these people, their intelligibility is always affected. Improving their oral communication is a clinical and social issue. The study of speech production by people with T21 and its perception by typical listeners is also of theoretical interest, particularly with regard to the fundamental issues of multimodal perception of speech and the involvement of the auditor's motor system in this perception.In this thesis, we reposition the intelligibility disorder of people with T21 in a framework that conceives speech as a cooperative act between speaker and listener. In contrast to the traditional focus on the speaker in applied research, we are interested in the listener's means to better perceive speech, based on two observations: (1) T21 speech is not very intelligible auditorily; (2) its intelligibility is better for familiar than unfamiliar interlocutors. These observations are linked to two important research results on speech perception. First, in a situation of face-to-face communication, in addition to auditory information, the listener also uses the visual information produced by the speaker. In particular, the latter makes it possible to better perceive speech when auditory information is altered. Secondly, familiarization with a specific type of speech leads to a better perception of it. This effect is increased by the imitation of the speech perceived, which would further activate the listener’s internal motor representations.This connection between the specific difficulties of people with T21 and research on speech perception leads to the following questions. Given the anatomical orofacial specificities of the speaker with T21 impacting his articulatory motor gestures, does the typical listener benefit from the presence of visual information? Can the involvement of the motor system in familiarizing oneself with this specific speech help to better perceive it? To answer these questions, we conducted two experimental studies. In the first one, we show that seeing the face of the speaker with T21 improves the intelligibility of his consonants in a way comparable to typical speakers, using a classical paradigm of audio-visual perception of speech in noise. Visual information therefore seems to be relatively preserved despite anatomical and physiological specificities. In a second study, we adapt a familiarization paradigm with and without imitation to assess whether imitation during the auditory perception of words produced by a speaker with T21 can help improve their perception. Our results suggest that this is the case. This work opens up clinical and theoretical perspectives: the study of the perception of speech produced by people with atypical vocal tract and control mechanisms makes it possible to evaluate the generality of the perception mechanisms put forward with typical speakers and to delimit their contours

Les disfluences sont un phénomène apparaissant fréquemment dans toute production orale spontanée ; elles consistent en l'interruption du cours normal du discours. Elles ont donné lieu à de nombreuses études en Traitement Automatique du Langage Naturel. En effet, leur étude et leur identification précise sont primordiales, sur les plans théorique et applicatif. Cependant, la majorité des travaux de recherche sur le sujet portent sur des usages de langage quotidien : dialogues " à bâtons rompus ", demandes d'horaire, discours, etc. Mais qu'en est-il des productions orales spontanées produites dans un cadre contraint ? Aucune étude n'a à notre connaissance été menée dans ce contexte. Or, on sait que l'utilisation d'une " langue de spécialité " dans le cadre d'une tâche donnée entraîne des comportements spécifiques. Notre travail de thèse est consacré à l'étude linguistique et informatique des disfluences dans un tel cadre. Il s'agit de dialogues de contrôle de trafic aérien, aux contraintes pragmatiques et linguistiques. Nous effectuons une étude exhaustive des phénomènes de disfluences dans ce contexte. Dans un premier temps nous procédons à l'analyse fine de ces phénomènes. Ensuite, nous les modélisons à un niveau de représentation abstrait, ce qui nous permet d'obtenir les patrons correspondant aux différentes configurations observées. Enfin nous proposons une méthodologie de traitement automatique. Celle-ci consiste en plusieurs algorithmes pour identifier les différents phénomènes, même en l'absence de marqueurs explicites. Elle est intégrée dans un système de traitement automatique de la parole. Enfin, la méthodologie est validée sur un corpus de 400 énoncés
The disfluencies are a frequently occurring phenomenon in any spontaneous speech production; it consists of the interruption of the normal flow of speech. They have given rise to numerous studies in Natural Language Processing. Indeed, their study and precise identification are essential, both from a theoretical and applicative perspective. However, most of the researches about the subject relate to everyday uses of language: "small talk" dialogs, requests for schedule, speeches, etc. But what about spontaneous speech production made in a restrained framework? To our knowledge, no study has ever been carried out in this context. However, we know that using a "language specialty" in the framework of a given task leads to specific behaviours. Our thesis work is devoted to the linguistic and computational study of disfluencies within such a framework. These dialogs concern air traffic control, which entails both pragmatic and linguistic constraints. We carry out an exhaustive study of disfluencies phenomena in this context. At first we conduct a subtle analysis of these phenomena. Then we model them to a level of abstraction, which allows us to obtain the patterns corresponding to the different configurations observed. Finally we propose a methodology for automatic processing. It consists of several algorithms to identify the different phenomena, even in the absence of explicit markers. It is integrated into a system of automatic processing of speech. Eventually, the methodology is validated on a corpus of 400 sentences

De nombreux linguistes et psychologues (Nelson, 1977 ; Kintsch et Van Dijk, 1978 ; Nelson 1978 ; Freebody et Anderson, 1983 ; Dehnière, 1984 ; Hudson et Nelson, 1983 ; Fayol, 1985) ont étudié le type textuel narratif et ont constaté un impact du degré de familiarité sur la qualité des restitutions : plus la situation référée est connue, meilleure est la capacité de compréhension/mémorisation/restitution. Cependant, lors de ces protocoles expérimentaux, c'est le thème de l'histoire qui est plus ou moins connu du sujet (i. E. "goûter d'anniversaire" vs "retirer de l'argent à la banque"). En ce qui nous concerne, nous avons cherché à voir ce qu'il en était si le contenu du récit était ou non déjà inscrit en mémoire à long terme. Pour cela, nous avons travaillé avec des enfants âgés de 6/7 ans (i. E. CP) à 10/11 ans (i. E. CM2) et un groupe référence d'adultes (i. E. étudiants de fin de 1ère année universitaire) et nous avons comparé des rappels écrits effectués sur la base du Petit Chaperon Rouge (i. E. Histoire au contenu [+ connu]) et de Dan, le petit chasseur canadien (i. E. Histoire au contenu [- connu]). L'analyse se préoccupe des niveaux macro- et microstructurel en ce sens qu'elle observe le niveau des composantes narratives jusqu'au niveau du mot en passant par l'examen des sous-composantes narratives et de la relation sémantique de cause/conséquence. Les résultats obtenus attestent les thèses déjà soutenues au sujet du degré de familiarité du thème : un contenu préalablement connu permet à l'enfant de libérer de l'espace cognitif en mémoire de travail, et ce, tant en phase de compréhension/mémorisation qu'en phase de restitution. En effet, cette thèse montre que le trait [+ connu] permet un allègement des opérations de haut niveau (i. E. Activation et organisation des contenus par exemple) qui se traduit par un traitement significativement plus important des opérations de bas niveau (i. E. Niveau grapho-moteur par exemple)
Many linguists and psycholinguists (Nelson, 1977 ; Kintsch et Van Dijk, 1978 ; Nelson 1978 ; Freebody et Anderson, 1983 ; Dehnière, 1984 ; Hudson et Nelson, 1983 ; Fayol, 1985) interested in the narrative textual type have noted the influence of familiarity on the quality of recalls, to the effect that the more familiar the situation is, the better the comprehension /memorization and recall abilities are. However, in these experimental designs it was the topic of the story which is more or less known of the subjects (i. E. "a birthday party" vs "withdrawing money from a bank"). In our work we wanted to see what would happen if the content of the story was stored in the subjects' long-term memory. In this scope, we set up an experimental design involving children 6-7 year-old (i. E. 1st grade), 10-11 year-old (i. E. 4th and 5th grade) and a control group of adults (1st year undergraduate students), and we then compared the written narrative recalls obtained by the subjects when using as stimuli (i) a famous folk-tale (i. E. The Little Red Riding Hood) and (ii) a story the content of which was not previously known of the subjects (i. E. Dan, The Little Canadian Hunter). Both macro- and micro- structural levels were investigated - i. E. From narrative-component level to word level - passing through the sharp examination of narrative sub-components and the semantic relations of causes and consequences. Our results confirm previous assertions concerning the influence of topic familiarity on recall quality. They show that subjects who have previous knowledge of the story content can free some of the cognitive space of the short-term memory, both during the phases of comprehension and memorization and during the recall stage. Eventually our work shows that, by allowing a reduction of high-level operations (i. E. For examples, content activation and organization), the feature [+ known] leads to a significantly more important treatment of low-level operations (i. E. Grapho-motor level for example)

L'échec enregistré en première année dans les universités françaises est un constat préoccupant. Nous avons mené une étude à ce propos au sein de la Faculté des Sciences Economiques et de Gestion qui accueille des effectifs massifs d'étudiants et en particulier un nombre important de non francophones. Nous avons essayé de déterminer les facteurs qui conduisent ces derniers à l'échec dès leur entrée à l'université. Or, les Sciences Economiques et de Gestion constituent une filière qui fonde son enseignement sur deux genres académiques, les cours magistraux et les travaux dirigés. Cette transmission des savoirs disciplinaires constitue également en première année une initiation aux "langues de spécialité" correspondantes. Les résultats de notre recherche montrent l'existence d'une corrélation significative entre d'une part un double phénomène langagier, la nature complexe des genres académiques utilisés et la maîtrise insuffisante de la langue française par les étudiants étrangers, et d'autre part leur échec en première année universitaire. Tout au long de notre recherche, nous avons montré que ces discours académiques dans leurs aspects à la fois magistral et oral engendrent des difficultés de compréhension majeures chez les étudiants étrangers. Parallèlement, à cette analyse, nous avons mené une étude "sociologique" qui nous a montré que l'importance quantitative et l'auto-orientation aléatoire des étudiants étrangers contribuent aussi à expliquer les déconvenues de fin d'année. Une éventuelle aide à l'orientation universitaire des étudiants étrangers ne peut intervenir que trop tard, une fois leur inscription faite depuis leurs pays d'origine dans les disciplines "de leur choix" en France. En conclusion de notre recherche nous avons effectué quelques propositions didactiques relatives au perfectionnement des compétences cognitives, techniques et langagières des étudiants en difficulté
The failure recorded among first year students at French universities is an alarming report. We undertook a study within the faculty of economic and management sciences that accommodate a large number of students a significant part of which is non francophone. We analyzed more particularly the factors which lead the non francophone students to failure at their university studies since their first year. Economic and Management Sciences is a field of study the teaching of which is based on two academic ways: lectures and laboratory classes at the first year. The scientific knowledge transmission is also an initiation to the corresponding languages of speciality. The results of our research show the existence of a significant cause to effect relationship between the nature of the academic teaching ways applied on foreign students of poor knowledge of the French language and the high rate of failure among these latter at their first university year. Throughout our research, we showed that the academic teaching way, in its being oral lectures, generates very important understanding difficulties for foreign students. In parallel to this analysis, we undertook a sociological study which showed that the large number of foreign students and their random self-orientation helps at the understanding of the end of year's disappointments. In conclusion of our research, we carried out some didactic proposals that may help at the improving of cognitive, technical and linguistic skills of the students in difficulty

Dans cette étude, nous analysons le processus cognitif de la compréhension de l’espagnol oral en tant que création de sens à travers ce que nous avons choisi de nommer des dispositifs de représentation audiovisuels. Ces dispositifs véhiculent des textes audiovisuels (faisant appel à la multimodalité), authentiques (privilégiant la vraisemblance de la langue), narratifs (illustrant des événements à partir de schémas déterminés) et artistiques (s’adressant aux sens, aux émotions et à l’intellect). Bien qu’on ne puisse pas enseigner un processus cognitif, il est possible d’explorer les clés dont l’enseignant peut se servir pour guider les étudiants en les encourageant à « habiter » le dispositif, à se l’approprier, ce qui leur permet de créer un nouveau sens, leur sens. Ainsi, notre étude – fondée sur une collecte d’informations faisant suite à une expérimentation de terrain – a été guidée par les questions suivantes : dans quelle mesure les dispositifs de représentation audiovisuels peuvent apporter une aide à la compréhension de l’espagnol oral en milieu universitaire ? Quelle relation favorisant la création de sens entretiennent langue, image et son dans les dispositifs de représentation audiovisuels ? Comment l’enseignant doit-il aborder les dispositifs de représentation audiovisuels pour faire participer, orienter et guider les étudiants garantissant à tous un véritable rôle (inter)actif à tous malgré le changement de paradigme du dispositif ? Les réponses à ces questions, qui forment le corps de la présente thèse, représentent quelques pistes pour aider les enseignants à mieux comprendre ce qui se joue lorsqu’ils choisissent de travailler sur la base de dispositifs de représentation audiovisuels et pour motiver les étudiants universitaires à aller à la rencontre de l’espagnol dans de meilleures conditions
In this study, I analyze the cognitive process of oral Spanish comprehension as a sense-building process through what I have called “audiovisual representation devices.” These devices are a vehicle for audiovisual (involving multimodality), real (favoring the authenticity of the language), narrative (describing actions following specific patterns) and artistic (appealing to our senses, emotions and intellect) texts. Although a cognitive process cannot be taught, it is possible to explore the strategies that teachers can use to guide students in their learning by encouraging them to "experience" the device, to appropriate it, and so allow them to create new sense, a sense of their own. Thus, this study, which is based on a collection of data after thorough field testing, is guided by the following questions: to what extent can audiovisual representation devices assist in oral Spanish comprehension in higher education? What relationship favoring the creation of meaning maintain language, image and sound in audiovisual representation devices? How must the teacher approach audiovisual representation devices so as to involve, lead, and guide students ensuring they all have a genuine (inter)active role despite any device paradigm shifts? The answers to these questions, which form the body of this dissertation, serve as a few guidelines to help teachers gain an insight into what is at stake when they choose to work using audiovisual representation devices. These answers also aim to motivate higher-education students to approach learning Spanish under better conditions

Dans ce manuscrit de thèse, nous détaillons et illustrons les différents défis scientifiques liés à l'analyse automatique d'images de bandes dessinées, de manière à donner au lecteur tous les éléments concernant les dernières avancées scientifiques en la matière ainsi que les verrous scientifiques actuels. Nous proposons trois approches pour l'analyse d'image de bandes dessinées. La première approche est dite "séquentielle'' car le contenu de l'image est décrit progressivement et de manière intuitive. Dans cette approche, les extractions se succèdent, en commençant par les plus simples comme les cases, le texte et les bulles qui servent ensuite à guider l'extraction d'éléments plus complexes tels que la queue des bulles et les personnages au sein des cases. La seconde approche propose des extractions indépendantes les unes des autres de manière à éviter la propagation d'erreur due aux traitements successifs. D'autres éléments tels que la classification du type de bulle et la reconnaissance de texte y sont aussi abordés. La troisième approche introduit un système fondé sur une base de connaissance a priori du contenu des images de bandes dessinées. Ce système permet de construire une description sémantique de l'image, dirigée par les modèles de connaissances. Il combine les avantages des deux approches précédentes et permet une description sémantique de haut niveau pouvant inclure des informations telles que l'ordre de lecture, la sémantique des bulles, les relations entre les bulles et leurs locuteurs ainsi que les interactions entre les personnages
In this thesis, we review, highlight and illustrate the challenges related to comic book image analysis in order to give to the reader a good overview about the last research progress in this field and the current issues. We propose three different approaches for comic book image analysis that are composed by several processing. The first approach is called "sequential'' because the image content is described in an intuitive way, from simple to complex elements using previously extracted elements to guide further processing. Simple elements such as panel text and balloon are extracted first, followed by the balloon tail and then the comic character position in the panel. The second approach addresses independent information extraction to recover the main drawback of the first approach : error propagation. This second method is called “independent” because it is composed by several specific extractors for each elements of the image without any dependence between them. Extra processing such as balloon type classification and text recognition are also covered. The third approach introduces a knowledge-driven and scalable system of comics image understanding. This system called “expert system” is composed by an inference engine and two models, one for comics domain and another one for image processing, stored in an ontology. This expert system combines the benefits of the two first approaches and enables high level semantic description such as the reading order of panels and text, the relations between the speech balloons and their speakers and the comic character identification

Cette thèse considère l'apprentissage de motifs récurrents dans la perception multimodale. Elle s'attache à développer des modèles robotiques de ces facultés telles qu'observées chez l'enfant, et elle s'inscrit en cela dans le domaine de la robotique développementale. Elle s'articule plus précisément autour de deux thèmes principaux qui sont d'une part la capacité d'enfants ou de robots à imiter et à comprendre le comportement d'humains, et d'autre part l'acquisition du langage. À leur intersection, nous examinons la question de la découverte par un agent en développement d'un répertoire de motifs primitifs dans son flux perceptuel. Nous spécifions ce problème et établissons son lien avec ceux de l'indétermination de la traduction décrit par Quine et de la séparation aveugle de source tels qu'étudiés en acoustique. Nous en étudions successivement quatre sous-problèmes et formulons une définition expérimentale de chacun. Des modèles d'agents résolvant ces problèmes sont également décrits et testés. Ils s'appuient particulièrement sur des techniques dites de sacs de mots, de factorisation de matrices et d'apprentissage par renforcement inverse. Nous approfondissons séparément les trois problèmes de l'apprentissage de sons élémentaires tels les phonèmes ou les mots, de mouvements basiques de danse et d'objectifs primaires composant des tâches motrices complexes. Pour finir nous étudions le problème de l'apprentissage d'éléments primitifs multimodaux, ce qui revient à résoudre simultanément plusieurs des problèmes précédents. Nous expliquons notamment en quoi cela fournit un modèle de l'ancrage de mots acoustiques.