Thèses sur le sujet « Système de question-réponse visuels »

Cette thèse se concentre sur la tâche de VQA, c'est à dire les systèmes questions-réponses visuelles. Nous étudions l'apprentissage des biais dans cette tâche. Les modèles ont tendance à apprendre des corrélations superficielles les conduisant à des réponses correctes dans la plupart des cas, mais qui peuvent échouer lorsqu'ils rencontrent des données d'entrée inhabituelles. Nous proposons deux méthodes pour réduire l'apprentissage par raccourci sur le VQA. La première, RUBi, consiste à encourager le modèle à apprendre à partir des exemples les plus difficiles et les moins biaisés grâce à une loss spécifique. Nous proposons ensuite SCN, un modèle pour la tâche de comptage visuel, avec une architecture conçue pour être robuste aux changements de distribution. Nous étudions ensuite les raccourcis multimodaux dans le VQA. Nous montrons qu'ils ne sont pas seulement basés sur des corrélations entre la question et la réponse, mais qu'ils peuvent aussi impliquer des informations sur l'image. Nous concevons un benchmark d'évaluation pour mesurer la robustesse des modèles aux raccourcis multimodaux. L'apprentissage de ces raccourcis est particulièrement problématique lorsque les modèles sont testés dans un contexte de changement de distribution. C'est pourquoi il est important de pouvoir évaluer la fiabilité des modèles VQA. Nous proposons une méthode pour leur permettre de s'abstenir de répondre lorsque leur confiance est trop faible. Cette méthode consiste à entraîner un modèle externe, dit "sélecteur", pour prédire la confiance du modèle VQA. Nous montrons que notre méthode peut améliorer la fiabilité des modèles VQA existants
This thesis is focused on the task of VQA: it consists in answering textual questions about images. We investigate Shortcut Learning in this task: the literature reports the tendency of models to learn superficial correlations leading them to correct answers in most cases, but which can fail when encountering unusual input data. We first propose two methods to reduce shortcut learning on VQA. The first, which we call RUBi, consists of an additional loss to encourage the model to learn from the most difficult and less biased examples -- those which cannot be answered solely from the question. We then propose SCN, a model for the more specific task of visual counting, which incorporates architectural priors designed to make it more robust to distribution shifts. We then study the existence of multimodal shortcuts in the VQA dataset. We show that shortcuts are not only based on correlations between the question and the answer but can also involve image information. We design an evaluation benchmark to measure the robustness of models to multimodal shortcuts. We show that existing models are vulnerable to multimodal shortcut learning. The learning of those shortcuts is particularly harmful when models are evaluated in an out-of-distribution context. Therefore, it is important to evaluate the reliability of VQA models, i.e. We propose a method to improve their ability to abstain from answering when their confidence is too low. It consists of training an external ``selector'' model to predict the confidence of the VQA model. This selector is trained using a cross-validation-like scheme in order to avoid overfitting on the training set

Cette thèse se positionne à l'intersection de plusieurs domaines de recherche, le traitement automatique des langues, la Recherche d'Information (RI) et la vision par ordinateur, qui se sont unifiés autour des méthodes d'apprentissage de représentation et de pré-entraînement. Dans ce contexte, nous avons défini et étudié une nouvelle tâche multimodale : répondre aux questions visuelles à propos d'entités nommées (KVQAE). Dans ce cadre, nous nous sommes particulièrement intéressés aux interactions cross-modales et aux différentes façons de représenter les entités nommées. Nous avons également été attentifs aux données utilisées pour entraîner mais surtout évaluer les systèmes de question-réponse à travers différentes métriques. Plus précisément, nous avons proposé à cet effet un jeu de données, le premier de KVQAE comprenant divers types d'entités. Nous avons également défini un cadre expérimental pour traiter la KVQAE en deux étapes grâce à une base de connaissances non-structurée et avons identifié la RI comme principal verrou de la KVQAE, en particulier pour les questions à propos d'entités non-personnes. Afin d'améliorer l'étape de RI, nous avons étudié différentes méthodes de fusion multimodale, lesquelles sont pré-entraînées à travers une tâche originale : l'Inverse Cloze Task multimodale. Nous avons trouvé que ces modèles exploitaient une interaction cross-modale que nous n'avions pas considéré à l'origine, et qui permettrait de traiter l'hétérogénéité des représentations visuelles des entités nommées. Ces résultats ont été renforcés par une étude du modèle CLIP qui permet de modéliser cette interaction cross-modale directement. Ces expériences ont été menées tout en restant attentif aux biais présents dans le jeu de données ou les métriques d'évaluation, notamment les biais textuels qui affectent toute tâche multimodale
This thesis is positioned at the intersection of several research fields, Natural Language Processing, Information Retrieval (IR) and Computer Vision, which have unified around representation learning and pre-training methods. In this context, we have defined and studied a new multimodal task: Knowledge-based Visual Question Answering about Named Entities (KVQAE).In this context, we were particularly interested in cross-modal interactions and different ways of representing named entities. We also focused on data used to train and, more importantly, evaluate Question Answering systems through different metrics.More specifically, we proposed a dataset for this purpose, the first in KVQAE comprising various types of entities. We also defined an experimental framework for dealing with KVQAE in two stages through an unstructured knowledge base and identified IR as the main bottleneck of KVQAE, especially for questions about non-person entities. To improve the IR stage, we studied different multimodal fusion methods, which are pre-trained through an original task: the Multimodal Inverse Cloze Task. We found that these models leveraged a cross-modal interaction that we had not originally considered, and which may address the heterogeneity of visual representations of named entities. These results were strengthened by a study of the CLIP model, which allows this cross-modal interaction to be modeled directly. These experiments were carried out while staying aware of biases present in the dataset or evaluation metrics, especially of textual biases, which affect any multimodal task

Le domaine médical dispose aujourd'hui d'un très grand volume de documents électroniques permettant ainsi la recherche d'une information médicale quelconque. Cependant, l'exploitation de cette grande quantité de données rend la recherche d'une information précise complexe et coûteuse en termes de temps. Cette difficulté a motivé le développement de nouveaux outils de recherche adaptés, comme les systèmes de question-réponse. En effet, ce type de système permet à un utilisateur de poser une question en langage naturel et de retourner une réponse précise à sa requête au lieu d'un ensemble de documents jugés pertinents, comme c'est le cas des moteurs de recherche. Les questions soumises à un système de question-réponse portent généralement sur un type d'objet ou sur une relation entre objets. Dans le cas d'une question telle que " Qui a découvert l'Amérique ? " par exemple, l'objet de la question est une personne. Dans des domaines plus spécifiques, tel que le domaine médical, les types rencontrés sont eux-mêmes plus spécifiques. La question " Comment rechercher l'hématurie ? " appelle ainsi une réponse de type examen médical. L'objectif de ce travail est de mettre en place un système de question-réponse pour des médecins généralistes portant sur les bonnes pratiques médicales. Ce système permettra au médecin de consulter une base de connaissances lorsqu'il se trouve en consultation avec un patient. Ainsi, dans ce travail, nous présentons une stratégie de recherche adaptée au domaine médical. Plus précisément, nous exposerons une méthode pour l'analyse des questions médicales et l'approche adoptée pour trouver une réponse à une question posée. Cette approche consiste à rechercher en premier lieu une réponse dans une ontologie médicale construite à partir de essources sémantiques disponibles pour la spécialité. Si la réponse n'est pas trouvée, le système applique des patrons linguistiques appris automatiquement pour repérer la réponse recherchée dans une collection de documents candidats. L'intérêt de notre approche a été illustré au travers du système de question-réponse " Esculape " qui a fait l'objet d'une évaluation montrant que la prise en compte explicite de connaissances médicales permet d'améliorer les résultats des différents modules du processus de traitement

Cette thèse a pour objectif le développement d'un système question réponse (SQR) coopératif en français pour le Web, nommé WEBCOOP. Ce système a but : - l'intégration de procédures de raisonnement avec des connaissances extraites de pages web et une base de connaissances pour produire des réponses intelligentes en langage naturel. - la production de réponses courtes, intelligibles, inspirées de situations réelles. Les réponses produites par le système sont structurées en deux parties. La première est un diagnostic qui fait un rapport des malentendus. La deuxième partie propose un véritable savoir-faire coopératif. Elle inclut la relaxation minimale et graduelle de certaines contraintes de la question et la production de réponses intensionnelles ou synthétiques. - la génération en langue d'explications de réponses. Nous proposons également d'évaluer l'intelligibilité linguistique et cognitive des réponses coopératives produites en les confrontant à des utilisateurs potentiels. -the natural language generation of the responses. The linguistic and the cognitive adequacy of the responses produced by the system are evaluated using psycholinguistic protocols
This thesis describes the WEBCOOP system that aims at providing cooperative responses in French to natural language queries on the web. The main objectives of the system are : -the integration of reasoning procedures with a variety of knowledge bases as well as real life data extracted from web pages in order to produce web style natural language responses. -major and new feature: the integration of a cooperative know-how component that goes beyond the mere recognition of a user misconception

Nous nous plaçons dans le cadre des systèmes question-réponse sur le Web. Nos objectifs sont de modéliser, concevoir et évaluer un système capable, à partir d'une question en langue, de rechercher les réponses pertinentes sur le Web et de générer une réponse synthétique, même quand le moteur de recherche sélectionne plusieurs réponses potentielles. Nous nous sommes intéressés aux questions temporelles et numériques. Notre système a pour but : - l'intégration d'informations provenant des réponses potentielles à une question en utilisant une base de connaissances et des connaissances extraites des pages Web. Ce composant permet de détecter les incohérences de données et de prendre en compte les attentes de l'utilisateur pour produire une réponse appropriée, - la production en langue de réponses synthétiques et pertinentes vis-à-vis de l'utilisateur. En effet, il faut produire des réponses courtes, intelligibles et qui expriment le savoir-faire coopératif mis en oeuvre pour résoudre les incohérences de données. Nous proposons également des méthodes d'évaluation adéquates pour évaluer le système d'un point de vue technique et d'un point de vue cognitif
In the framework of question-answering systems on the Web, our main goals are to model, develop and evaluate a system which can, from a question in natural language, search for relevant answers on the Web and generate a synthetic answer, even if the search engine selected several candidate answers. We focused on temporal and numerical questions. Our system deals with : - the integration of data from candidate answers by using a knowledge base and knowledge extracted from the Web. This component allows the detection of data inconsistencies and deals with user expectations in order to produce a relevant answer, - the generation of synthetic answers in natural language which are relevant w. R. T users. Indeed, generated answers have to be short, understandable and have to express the cooperative know-how which has been used to solve data inconsistencies. We also propose evaluation methods to evaluate our system from a technical and cognitive point of view

L'objectif de cette thèse a été de proposer une approche robuste pour traiter le problème de la recherche dela réponse précise à une question.Notre première contribution a été la conception et la mise en œuvre d'un modèle de représentation robuste de l'informationet son implémentation. Son objectif est d'apporter aux phrases des documents et aux questions de l'informationstructurelle, composée de groupes de mots typés (segments typés) et de relations entre ces groupes. Ce modèle a été évalué sur différents corpus (écrits, oraux, web) et a donné de bons résultats, prouvant sa robustesse.Notre seconde contribution a consisté en la conception d'une méthode de réordonnancement des candidats réponsesretournés par un système de questions-réponses. Cette méthode a aussi été conçue pour des besoins de robustesse, ets'appuie sur notre première contribution. L'idée est de comparer une question et le passage d'où a été extraite une réponse candidate, et de calculer un score de similarité, en s'appuyant notamment sur une distance d'édition.Le réordonnanceur a été évalué sur les données de différentes campagnes d'évaluation. Les résultats obtenus sontparticulièrement positifs sur des questions longues et complexes. Ces résultats prouvent l'intérêt de notre méthode, notreapproche étant particulièrement adaptée pour traiter les questions longues, et ce quel que soit le type de données. Leréordonnanceur a ainsi été évalué sur l'édition 2010 de la campagne d'évaluation Quaero, où les résultats sont positifs.

Dans un système de réponse à des questions en langage naturel utilisant de nombreuses règles de production, il est toujours difficile de maîtriser le choix des règles et de déterminer le but, sans provoquer une explosion combinatoire, donc des temps de réponse inacceptables. Cette thèse propose une méthodologie permettant de résoudre ces problèmes par une technique de guidage du raisonnement qui lui fournit des jalons à partir desquels il pourra affiner ses conclusions. Elle a pour rôle de mettre en place un filtre perfectionné dans un système de raisonnement. L’idée dominante est de regrouper les connaissances afin de les traiter à un niveau très grossier, pour vérifier la possibilité d’obtenir une réponse à une question posée
Question answering systems in natural language, using a lot of production rules, have some difficulties to choice the relevant rules, to determine the goal to reach, without inducing combinatory explosion. This thesis proposes a reasoning strategy which works upon rude knowledge, in order to blaze trails and to provide a guiding for a natural language reasoned. This strategy is also able to pick up a few number of relevant rules, and to select relevant goals

Face à la diversité des types de dialogues mis en oeuvre de nos jours, nous avons étudié comment adapter, de manière générique, le niveau d'analyse des interventions d'un utilisateur. L'analyse par mots clés prônée par les systèmes de dialogues spécifiques (relatifs à une tâche particulière) est inadéquate pour traiter de telles interventions, car on ne peut vraisemblablement pas représenter toutes les connaissances nécessaires et résoudre les conflits liés à cette diversité. Nous avons donc développé une analyse des interventions, indépendante de leurs domaines et fondée sur leur forme syntaxique. Pour ce faire, nous avons été confrontés au problème du choix d'un analyseur syntaxique. Pour le résoudre, nous avons étudié les différents analyseurs syntaxiques existants en réalisant une classification selon leurs capacités, puis nous avons développé une procédure d'évaluation de ces analyseurs qui fait à l'heure actuelle défaut pour le français. Suite à cette évaluation, il nous a paru intéressant de développer un algorithme de compromis entre plusieurs analyses afin de retourner l'analyse la plus plausible. Celui-ci nous permettra non seulement d'utiliser les capacités de chaque analyseur mais également de quantifier chaque information retournée par un taux de confiance. A partir de la syntaxe des interventions et de connaissances sémantiques issues de la base lexicale Word net (synonymie, hyperonyme. . . ), nous avons développé un système d'analyse permettant d'étudier l'intention sous-jacente de l'intervention et son contenu propositionnel. Plus particulièrement, nous nous sommes intéressés aux interventions de demande d'informations dont le contenu propositionnel repose sur l'identification du type attendu de la réponse et de l'objet sur lequel porte la question. Pour évaluer l'efficacité de ces critères, cette analyse a été intégrée dans le système de question-réponse développé dans le groupe LIR
Due to the variety of dialogue types, we studied how to adapt, in a generic way, the level of user interventions analysis. An analysis by keywords, recommended by systems of specific dialogues (relative to a particular task) is inadequate to handle such interventions, because therefore, it is impossible to represent all the world knowledge and solve the conflicts arising from this variety. We developed an analysis of the interventions, independent from their domains and based on the syntax interventions. In so doing, we were confronted with the choice of syntactic analyzer. To solve it, we studied the various existing syntactic parsers by constructing a classification according to their capacities, followed by the development of an evaluation protocol of these analyzers for French. Further to this evaluation, it appeared interesting to develop an algorithm of compromise between several analyses to return the most plausible analysis. This will allow us not only to use the capacities of every analyzes but also to quantify every information returned by a confidence rate. From the intervention's syntax and the semantic knowledge provided by the lexical base WordNet (synonym, hyperonym), we developed a system to extract the intervention's intention and its propositional contents. Particularly, we were interested in the question interventions : the propositional contents rely upon the extraction of the answer type and of the object of the question. To estimate the efficiency of these criteria, this analysis was integrated into the question-answering system developed in the LIR group

Cette thèse s'inscrit dans les domaines des systèmes Question Réponse en domaine restreint, la recherche d'information ainsi que TALN. Les systèmes de Question Réponse (QR) ont pour objectif de retrouver un fragment pertinent d'un document qui pourrait être considéré comme la meilleure réponse concise possible à une question de l'utilisateur. Le but de cette thèse est de proposer une approche de localisation de réponses dans des masses de données complexes et évolutives décrites ci-dessous.. De nos jours, dans de nombreux domaines d'application, les systèmes informatiques sont instrumentés pour produire des rapports d'événements survenant, dans un format de données textuelles généralement appelé fichiers log. Les fichiers logs représentent la source principale d'informations sur l'état des systèmes, des produits, ou encore les causes de problèmes qui peuvent survenir. Les fichiers logs peuvent également inclure des données sur les paramètres critiques, les sorties de capteurs, ou une combinaison de ceux-ci. Ces fichiers sont également utilisés lors des différentes étapes du développement de logiciels, principalement dans l'objectif de débogage et le profilage. Les fichiers logs sont devenus un élément standard et essentiel de toutes les grandes applications. Bien que le processus de génération de fichiers logs est assez simple et direct, l'analyse de fichiers logs pourrait être une tâche difficile qui exige d'énormes ressources de calcul, de temps et de procédures sophistiquées. En effet, il existe de nombreux types de fichiers logs générés dans certains domaines d'application qui ne sont pas systématiquement exploités d'une manière efficace en raison de leurs caractéristiques particulières. Dans cette thèse, nous nous concentrerons sur un type des fichiers logs générés par des systèmes EDA (Electronic Design Automation). Ces fichiers logs contiennent des informations sur la configuration et la conception des Circuits Intégrés (CI) ainsi que les tests de vérification effectués sur eux. Ces informations, très peu exploitées actuellement, sont particulièrement attractives et intéressantes pour la gestion de conception, la surveillance et surtout la vérification de la qualité de conception. Cependant, la complexité de ces données textuelles complexes, c.-à-d. des fichiers logs générés par des outils de conception de CI, rend difficile l'exploitation de ces connaissances. Plusieurs aspects de ces fichiers logs ont été moins soulignés dans les méthodes de TALN et Extraction d'Information (EI). Le grand volume de données et leurs caractéristiques particulières limitent la pertinence des méthodes classiques de TALN et EI. Dans ce projet de recherche nous cherchons à proposer une approche qui permet de répondre à répondre automatiquement aux questionnaires de vérification de qualité des CI selon les informations se trouvant dans les fichiers logs générés par les outils de conception. Au sein de cette thèse, nous étudions principalement "comment les spécificités de fichiers logs peuvent influencer l'extraction de l'information et les méthodes de TALN?". Le problème est accentué lorsque nous devons également prendre leurs structures évolutives et leur vocabulaire spécifique en compte. Dans ce contexte, un défi clé est de fournir des approches qui prennent les spécificités des fichiers logs en compte tout en considérant les enjeux qui sont spécifiques aux systèmes QR dans des domaines restreints. Ainsi, les contributions de cette thèse consistent brièvement en :〉Proposer une méthode d'identification et de reconnaissance automatique des unités logiques dans les fichiers logs afin d'effectuer une segmentation textuelle selon la structure des fichiers. Au sein de cette approche, nous proposons un type original de descripteur qui permet de modéliser la structure textuelle et le layout des documents textuels.〉Proposer une approche de la localisation de réponse (recherche de passages) dans les fichiers logs. Afin d'améliorer la performance de recherche de passage ainsi que surmonter certains problématiques dûs aux caractéristiques des fichiers logs, nous proposons une approches d'enrichissement de requêtes. Cette approches, fondée sur la notion de relevance feedback, consiste en un processus d'apprentissage et une méthode de pondération des mots pertinents du contexte qui sont susceptibles d'exister dans les passage adaptés. Cela dit, nous proposons également une nouvelle fonction originale de pondération (scoring), appelée TRQ (Term Relatedness to Query) qui a pour objectif de donner un poids élevé aux termes qui ont une probabilité importante de faire partie des passages pertinents. Cette approche est également adaptée et évaluée dans les domaines généraux.〉Etudier l'utilisation des connaissances morpho-syntaxiques au sein de nos approches. A cette fin, nous nous sommes intéressés à l'extraction de la terminologie dans les fichiers logs. Ainsi, nous proposons la méthode Exterlog, adaptée aux spécificités des logs, qui permet d'extraire des termes selon des patrons syntaxiques. Afin d'évaluer les termes extraits et en choisir les plus pertinents, nous proposons un protocole de validation automatique des termes qui utilise une mesure fondée sur le Web associée à des mesures statistiques, tout en prenant en compte le contexte spécialisé des logs
In this thesis, we present contributions to the challenging issues which are encounteredin question answering and locating information in complex textual data, like log files. Question answering systems (QAS) aim to find a relevant fragment of a document which could be regarded as the best possible concise answer for a question given by a user. In this work, we are looking to propose a complete solution to locate information in a special kind of textual data, i.e., log files generated by EDA design tools.Nowadays, in many application areas, modern computing systems are instrumented to generate huge reports about occurring events in the format of log files. Log files are generated in every computing field to report the status of systems, products, or even causes of problems that can occur. Log files may also include data about critical parameters, sensor outputs, or a combination of those. Analyzing log files, as an attractive approach for automatic system management and monitoring, has been enjoying a growing amount of attention [Li et al., 2005]. Although the process of generating log files is quite simple and straightforward, log file analysis could be a tremendous task that requires enormous computational resources, long time and sophisticated procedures [Valdman, 2004]. Indeed, there are many kinds of log files generated in some application domains which are not systematically exploited in an efficient way because of their special characteristics. In this thesis, we are mainly interested in log files generated by Electronic Design Automation (EDA) systems. Electronic design automation is a category of software tools for designing electronic systems such as printed circuit boards and Integrated Circuits (IC). In this domain, to ensure the design quality, there are some quality check rules which should be verified. Verification of these rules is principally performed by analyzing the generated log files. In the case of large designs that the design tools may generate megabytes or gigabytes of log files each day, the problem is to wade through all of this data to locate the critical information we need to verify the quality check rules. These log files typically include a substantial amount of data. Accordingly, manually locating information is a tedious and cumbersome process. Furthermore, the particular characteristics of log files, specially those generated by EDA design tools, rise significant challenges in retrieval of information from the log files. The specific features of log files limit the usefulness of manual analysis techniques and static methods. Automated analysis of such logs is complex due to their heterogeneous and evolving structures and the large non-fixed vocabulary.In this thesis, by each contribution, we answer to questions raised in this work due to the data specificities or domain requirements. We investigate throughout this work the main concern "how the specificities of log files can influence the information extraction and natural language processing methods?". In this context, a key challenge is to provide approaches that take the log file specificities into account while considering the issues which are specific to QA in restricted domains. We present different contributions as below:> Proposing a novel method to recognize and identify the logical units in the log files to perform a segmentation according to their structure. We thus propose a method to characterize complex logicalunits found in log files according to their syntactic characteristics. Within this approach, we propose an original type of descriptor to model the textual structure and layout of text documents.> Proposing an approach to locate the requested information in the log files based on passage retrieval. To improve the performance of passage retrieval, we propose a novel query expansion approach to adapt an initial query to all types of corresponding log files and overcome the difficulties like mismatch vocabularies. Our query expansion approach relies on two relevance feedback steps. In the first one, we determine the explicit relevance feedback by identifying the context of questions. The second phase consists of a novel type of pseudo relevance feedback. Our method is based on a new term weighting function, called TRQ (Term Relatedness to Query), introduced in this work, which gives a score to terms of corpus according to their relatedness to the query. We also investigate how to apply our query expansion approach to documents from general domains.> Studying the use of morpho-syntactic knowledge in our approaches. For this purpose, we are interested in the extraction of terminology in the log files. Thus, we here introduce our approach, named Exterlog (EXtraction of TERminology from LOGs), to extract the terminology of log files. To evaluate the extracted terms and choose the most relevant ones, we propose a candidate term evaluation method using a measure, based on the Web and combined with statistical measures, taking into account the context of log files

Le volume des données structurées produites devient de plus en plus considérable. Plusieurs aspects concourent à l’accroissement du volume de données structurées. Au niveau du Web, le Web de données (Linked Data) a permis l’interconnexion de plusieurs jeux de données disponibles créant un gigantesque hub de données. Certaines applications comme l’extraction d’informations produisent des données pour peupler des ontologies. Les capteurs et appareils (ordinateur, smartphone, tablette) connectés produisent de plus en plus de données. Les systèmes d’information d’entreprise sont également affectés. Accéder à une information précise devient de plus en plus difficile. En entreprise, des outils de recherche ont été mis au point pour réduire la charge de travail liée à la recherche d’informations, mais ces outils génèrent toujours des volumes importants. Les interfaces en langage naturel issues du Traitement Automatique des Langues peuvent être mises à contribution pour permettre aux utilisateurs d’exprimer naturellement leurs besoins en informations sans se préoccuper des aspects techniques liés à l’interrogation des données structurées. Les interfaces en langage naturel permettent également d’avoir une réponse concise sans avoir besoin de fouiller d’avantage dans une liste de documents. Cependant actuellement, ces interfaces ne sont pas assez robustes pour être utilisées par le grand public ou pour répondre aux problèmes de l’hétérogénéité ou du volume de données. Nous nous intéressons à la robustesse de ces systèmes du point de vue de l’analyse de la question. La compréhension de la question de l’utilisateur est une étape importante pour retrouver la réponse. Nous proposons trois niveaux d’interprétation pour l’analyse d’une question : domaine abstrait, domaine concret et la relation domaine abstrait/concret. Le domaine abstrait s’intéresse aux données qui sont indépendantes de la nature des jeux de données. Il s’agit principalement des données de mesures. L’interprétation s’appuie sur la logique propre à ces mesures. Le plus souvent cette logique a été bien décrite dans les autres disciplines, mais la manière dont elle se manifeste en langage naturel n’a pas fait l’objet d’une large investigation pour les interfaces en langage naturel basées sur des données structurées. Le domaine concret couvre le domaine métier de l’application. Il s’agit de bien interpréter la logique métier. Pour une base de données, il correspond au niveau applicatif (par opposition à la couche des données). La plupart des interfaces en langage naturel se focalisent principalement sur la couche des données. La relation domaine abstrait/concret s’intéresse aux interprétations qui chevauchent les deux domaines. Du fait de l’importance de l’analyse linguistique, nous avons développé l’infrastructure pour mener cette analyse. L’essentiel des interfaces en langage naturel qui tentent de répondre aux problématiques du Web de données (Linked Data) ont été développées jusqu’ici pour la langue anglaise et allemande. Notre interface tente d’abord de répondre à des questions en français
No english summary available

La tâche de question-réponse (Question-Answering, QA) est bien ancrée dans la communauté de Traitement Automatique du Langage Naturel (TALN) depuis de nombreuses années. De manière générale, celle-ci consiste à répondre à des questions données à l’aide de documents (textuels ou autres) ou de conversations en faisant au besoin usage de connaissances et en mettant en oeuvre des mécanismes d’inférence. Ainsi, dépendamment du jeu de données et de la tâche lui étant associée, il faut que le système puisse détecter et comprendre les éléments utiles pour répondre correctement à chacune des questions posées. De nombreux progrès ont été réalisés depuis quelques années avec des modèles neuronaux de plus en plus complexes, ces derniers sont cependant coûteux en production, et relativement opaques. Du à leur opacité, il est difficile d’anticiper avec précision le comportement de certains modèles et d’ainsi prévoir quand ces systèmes vont retourner de mauvaises réponses. Contrairement à la très grande majorité des systèmes proposés actuellement, nous allons dans ce mémoire tenter de résoudre cette tâche avec des modèles de taille contrôlable, on s’intéressera principalement aux approches basées sur les traits (features). Le but visé en restreignant la taille des modèles est qu’ils généralisent mieux. On pourra alors mesurer ce que ces modèles capturent afin d’évaluer la granularité de leur "compréhension" de la langue. Aussi, en analysant les lacunes de modèles de taille contrôlable, on pourra mettre en valeur ce que des modèles plus complexes ont capturé. Pour réaliser notre étude, on s’évalue ici sur SQuAD: un jeu de données populaire proposé par l’Université Standford.
The Question-Answering task (QA) is a well established Natural Language Processing (NLP) task. Generally speaking, it consists in answering questions using documents (textual or otherwise) or conversations, making use of knowledge if necessary and implementing inference mechanisms. Thus, depending on the data set and the task associated with it, the system must be able to detect and understand the useful elements to correctly answer each of the questions asked. A lot of progress has been made in recent years with increasingly complex neural models. They are however expensive in production, and relatively opaque. Due to this opacity, it is diÿcult to accurately predict the behavior of some models and thus, to predict when these systems will return wrong answers. Unlike the vast majority of systems currently proposed, in this thesis we will try to solve this task with models with controllable size. We will focus mainly on feature-based approaches. The goal in restricting the size of the models is that they generalize better. So we will measure what these models capture in order to assess the granularity of their "understanding" of the language. Also, by analyzing the gaps of controllable size models, we will be able to highlight what more complex models have captured. To carry out our study, we evaluate ourselves here on SQuAD: a popular data set o˙ered by Standford University.

Les personnes non-voyantes montrent dans les différents aspects de leurs vies qu’elles sont capables de s’adapter à la privation visuelle en utilisant les capacités intactes comme l’ouï ou le toucher. Elles montrent qu’elles peuvent bien évoluer dans leur environnement en absence de vision et démontrent même des fois des habiletés supérieures à celles des personnes voyantes. La recherche de ces dernières décennies s’est beaucoup intéressée aux capacités adaptatives des non-voyants surtout avec l’avènement des nouvelles techniques d’imagerie qui ont permis d’investiguer des domaines qui ne l’étaient pas ou l’étaient difficilement avant. Les capacités supérieures des non voyants dans l’utilisation plus efficace des informations auditives et tactiles semblent avoir leur base neuronale dans le dans le cortex visuel désafférenté, qui continu à être fonctionnel après la privation sensorielle et s’en trouve recruté pour le traitement de stimulations dites intermodales : auditives, tactiles et même montre une implication dans des processus de plus haut niveau, comme la mémoire ou le langage. Cette implication fonctionnelle intermodale résulte de la plasticité du cortex visuel c'est-à-dire sa capacité à changer sa structure, sa fonction et d’adapter ses interactions avec les autres systèmes en l’absence de vision. La plasticité corticale n’est pas exclusive au cortex visuel mais est un état permanent de tout le cerveau. Pour mesurer l’activité du cortex visuel des non voyants, une mesure d’excitabilité de ses neurones consiste à mesurer le temps de recouvrement de l’onde N1 en potentiels évoqués, qui est plus rapide chez les non voyants dans la modalité auditive. En effet, les réponses en potentiels et champs évoqués ont été utilisés en EEG/MEG pour mettre en évidence des changements plastiques dans le cortex visuel des non-voyants pour le traitement de stimuli dans les modalités auditives et tactiles. Ces réponses étaient localisées dans les régions postérieures chez les non voyants contrairement aux contrôles voyants. Un autre type de réponse auditive a reçu moins d’intérêt dans la recherche concernant la réorganisation fonctionnelle en relation avec la privation sensorielle, il s’agit de la réponse auditive oscillatoire (Auditory Steady-State Response ASSR). C’est une réponse qui a l’avantage d’osciller au rythme de stimulation et d’être caractérisé par une réponse des aires auditives étiquetée à la fréquence de stimulation. Cette étiquette se présente sous la forme qu’un pic d’énergie spectrale important qui culmine aux fréquences présentes dans la stimulation. Elle a également l’avantage d’être localisée dans les régions auditives primaires, de là tout changement de localisation de cette réponse chez des non voyants en faveur des régions visuelles pourrait être considéré comme une évidence de la réorganisation fonctionnelle qui s’opère après une privation sensorielle précoce. Le but de cette thèse est donc d’utiliser la réponse oscillatoire à l’écoute des sons modulés en amplitude (MA) pour mettre en évidence les corrélats de la réorganisation fonctionnelle dans le cortex visuel des non-voyants précoces. La modulation de la réponse auditive dans les régions visuelles nous permettra de montrer qu’une réorganisation est possible chez les non-voyants pour ce traitement intermodal. La première étude est une validation du paradigme expérimental «frequency tagged sounds». Il s’agit de montrer qu’une tâche de détection de changement dans la stimulation, permet de moduler la réponse ASSR aux sons modulés en amplitude en vue de l’utiliser dans les études chez les non voyants et dans les conditions d’une privation visuelle transitoire (avec les yeux bandés). Un groupe de sujets voyants ont réalisé une tâche de détection de changement dans la stimulation les yeux ouverts dans deux conditions : écoute active qui consiste à détecter un changement dans la fréquence porteuse de la modulation en appuyant avec l’index droit sur un bouton de réponse et une condition d’écoute passive. Les sons étaient présentés en écoute monaurale et dichotique. Les résultats ont montré une différence significative à l’occurrence du changement dans la stimulation en écoute dichotique seulement. Les schémas de plus grande réponse controlatérale et de suppression binaurale décrit dans la littérature ont été confirmés. La deuxième étude avait pour but de mettre en évidence une réorganisation rapide de la réponse ASSR chez un groupe de sujets voyants dans les conditions de privation visuelle transitoire de courte durée, par bandage des yeux pendant six heures. Le même protocole expérimental que la première étude a été utilisé en écoute active seulement. Les résultats montrent que dans ces conditions une modulation de la réponse corticale en écoute dichotique dans les régions visuelles est possible. Ces sources d’activité occipitale adoptent une propriété du cortex auditif qui est le battement binaural, c'est-à-dire l’oscillation de la réponse ASSR à la différence des fréquences présentées dans chaque oreille. Cet effet est présent chez la moitié des sujets testés. La représentation corticale des sources occipitales évolue durant la période de privation et montre un déplacement des sources d’activité dans la direction antéropostérieure à la fin de la période de privation. La troisième étude a permis de comparer le traitement de la réponse ASSR dans un groupe de non-voyants congénitaux à un groupe de voyants contrôles, pour investiguer les corrélats de la réorganisation fonctionnelle de cette réponse après une privation sensorielle de longue durée c'est-à-dire chez des non voyants congénitaux. Les résultats montrent des différences significatives dans la représentation spectrale de la réponse entre les deux groupes avec néanmoins des activations temporales importantes aussi bien chez les non voyants que chez les contrôles voyants. Des sources distribuées ont été localisées dans les régions associatives auditives dans les deux groupes à la différence des non voyants où il y avait en plus l’implication des régions temporales inférieures, connues comme étant activées par la vision des objets chez les voyants et font partie de la voie visuelle du quoi. Les résultats présentés dans le cadre de cette thèse vont dans le sens d’une réorganisation rapide de la réponse auditive oscillatoire après une privation visuelle transitoire de courte durée par l’implication des régions visuelles dans le traitement de la réponse ASSR par l’intermédiaire du démasquage de connections existantes entre le cortex visuel et le cortex auditif. La privation visuelle de longue durée, elle conduit à des changements plastiques, d’une part intra modaux par l’extension de l’activité aux régions temporales supérieures et médianes. D’autre part, elle induit des changements inter modaux par l’implication fonctionnelle des régions temporales inférieures visuelles dans le traitement des sons modulés en amplitude comme objets auditifs alors qu’elles sont normalement dédiées au traitement des objets visuels. Cette réorganisation passe probablement par les connections cortico-corticales.
Blind persons show in their everyday life that they can efficiently adapt to visual deprivation by relying on their spared senses like touch or the sense of hearing. They also show they can challenge their environment without vision and sometimes even demonstrate superior abilities compared to sighted counterparts. In the last decades, research got more interested in adaptive capabilities of the blinds especially with the advent of new imaging techniques which made it possible to make giant steps investigating new avenues in the field of brain plasticity after sensory loss. The superior abilities of blind individuals take the form of a more efficient use of auditory and tactile information and find their neuronal correlates in the deafferented visual cortex. The visual cortex of the blind is still highly functional after visual deprivation and is recruited for the processing of cross modal auditory and tactile stimulations. It can even show implication in higher level memory or language processes. This functional involvement results from the plasticity of the visual cortex which is its ability to change its structure, its function and to adapt its interactions with the other systems in the absence of vision. Cortical plasticity is not exclusive to the visual cortex of the blind but is a permanent state of the brain. To appreciate cortical activity in the visual cortex of blind individuals, a measure of excitability of its neurons is used. This measure is represented by the recovery of the N1 component in ERPs to target detection, which is shorter in the auditory modality for the blind. Evoked potentials and evoked fields components in EEG and MEG have been shown to be reorganized in favour of the visual cortex of blind individuals compared to sighted ones for the auditory and tactile modalities. Posterior location for such components was found in the blind. The auditory steady-state response is another brain response that received less interest in the study of cortical reorganization after sensory loss. The ASSR has the advantage of oscillating at the stimulation rhythm and is characterized by a response in the auditory cortices tagged to the stimulation frequencies. The tag takes the form of an important spectral energy peak at the frequencies of stimulation in auditory areas. The ASSR is localized in left and right primary auditory areas, with this regard any posterior shift in the location of source activity in blind individuals also tagged to stimulation frequencies would be considered as an evidence of functional reorganization following sensory deprivation. The objectives of this work are to make use of the characteristics of the ASSR to amplitude modulated tones (AM) to investigate neural correlates of cross modal functional reorganization in the visual cortex of the blind for the processing of AM tones. The first study is a validation of the frequency tagging paradigm. A change detection auditory task can modulate the envelope amplitude of the ASSR response. The same paradigm is used to investigate cross modal reorganisation after long and short term visual deprivation. In this first study a group of healthy sighted individuals detected a change in the carrier frequency of AM tones, with eyes opened during monaural and dichotic listening. Two conditions were tested an active condition where they had to press a button each time they hear the change and a passive condition. Results show a significant increase in the envelope amplitude of the ASSR to the onset of the carrier frequency change, only for dichotic presentation. Patterns of activations of the ASSR were maintained, with larger responses in the hemisphere contralateral to the stimulated ear and binaural suppression for the ipsilateral inputs for the dichotic presentation. The second study was aimed to show that rapid changes in the ASSR to amplitude modulated tones (MA) are possible after short term sensory deprivation, by blindfolding sighted individuals for six hours. The same detection task was used but not the passive condition. Results show a modulation of the dichotic response in visual areas. The occipital source activity found, showed an auditory property as a binaural beat, which means an oscillating ASSR at a frequency equal to the difference of the frequencies presented to each ear. This effect was present in half of the participants and took place at the end of the blindfolding time. Cortical representation of the occipital sources showed a displacement of source activities in the antero-posterior direction at the end of transitory deprivation period. In the third study we compared the ASSR processing between early blind individuals (congenitally blind) group and healthy sighted controls group, to investigate the neural correlates of functional reorganization of this response after long term visual deprivation. Results show significant differences in the spectral representation of the response between the two groups. Important auditory temporal activations were found in the two groups. Distributed sources were localized in primary and secondary auditory areas for the two groups. A difference was found in blind individuals who showed additional activations of inferior temporal areas, known to be activated by objects vision in sighted individuals and being part of the what visual pathway. The results presented here are in line with a rapid reorganization of the ASSR after short term visual deprivation, and the implication of visual areas in the processing of AM tones for long term sensory deprivation in the congenitally blind. This was made possible by the unmasking of existing connections between auditory and visual cortices. Long term deprivation leads to plastic changes, in the auditory modality as a first step by the extension of activity to superior and middle temporal areas, then to cross modal changes with the functional involvement of inferior temporal areas in the processing of AM tones, considered as visual objects. This reorganization is likely to be mediated through lateral cortico-cortical connections.

Ce projet s‟insère dans le cadre du traitement du langage nature. Il a pour objectif le développement d‟un système de reconnaissance d‟inférence textuelle, nommé TIMINF. Ce type de système permet de détecter, étant donné deux portions de textes, si un des textes est sémantiquement déduit de l‟autre. Nous nous sommes focalisés sur l‟apport de l‟inférence temporelle dans ce type de système. Pour cela, nous avons constitué et analysé un corpus construit à partir de questions collectées à travers le web. Cette étude, nous a permis de classer différents types d‟inférences temporelles et de concevoir l‟architecture informatique de TIMINF qui a pour but l‟intégration d‟un module d‟inférence temporelle dans un système de détection d‟inférence textuelle. Nous proposons, également d‟évaluer les performances des sorties du système TIMINF sur un corpus de test avec la même stratégie adopté dans le challenge RTE.

Bien que les écrans à cristaux liquides (ou LCD) sont aujourd'hui devenus un standard dans les technologies d'affichage en détrônant le tube cathodique, la qualité des images fournie par ce type d'écran reste en deçà de son vieillissant homologue. Ces problèmes visuels (ou artefacts) sont caractérisés par des effets de flou présents à l'écran et ont pour origine le "temps de réponse" des écrans LCD ainsi que le mode de pilotage de l'écran peu adapté à notre système visuel (artefact appelé "hold effect"). Le travail présenté dans ce mémoire de thèse apporte sa contribution dans le domaine de l'amélioration des artefacts visuels sur les panneaux LCD. Notre approche propose non seulement un vocabulaire mathématique et des définitions adaptées aux transitions de luminance mais aussi plusieurs modèles permettant une représentation analytique concise du temps de réponse. Contrairement aux solutions classiques de réduction de temps de réponse, appelées overdrive, l'utilisation des modèles mathématiques proposés permet de s'affranchir de longues campagnes de mesures et de s'adapter facilement au changement de fréquence de rafraîchissement de l'écran. Deux algorithmes d'amélioration des artefacts sont ainsi proposés : le premier pour les téléviseurs et les moniteurs LCD et le second pour les petits écrans d'appareils portables. Enfin, une fois cette première étape franchie, nous proposons une étude des solutions destinée à réduire le hold effect, artefact indépendant du temps de réponse.