Auswahl der wissenschaftlichen Literatur zum Thema „Recherche d'information multimodale“

Afin d'éviter au voyageur de consulter plusieurs sites web d'opérateurs de transport en commun pour planifier son déplacement, ce travail vise à concevoir un Système d'Information Coopératif de Mobilité (SICM) pour l'aide au déplacement multimodal. Il s'agit d'automatiser cette démarche de recherche et de composition d'itinéraires, pour fournir une information multimodale via un système intégrateur, en s'appuyant sur la théorie des systèmes multi agents (SMA) pour l'intégration et la médiation des systèmes d'information des différents opérateurs de transport.

Pour produire l'information multimodale et multi opérateurs nécessaire à l'aide au déplacement, le SICM doit accéder aux différents systèmes d'information des opérateurs de transport et intégrer des résultats de recherche qui sont générés par les différents algorithmes des différents opérateurs. Dans cette approche, le SICM est un intergiciel (middleware) qui devient un client parmi d'autres usagers des systèmes d'information existants. Le SICM devient alors l'intermédiaire entre les différentes sources d'informations hétérogènes et distribuées d'une part et les clients d'autre part. Ce système doit être capable à la fois de trouver la bonne source d'information pour l'interroger selon les différentes requêtes des utilisateurs, et de regrouper les informations de manière cohérente pour répondre aux requêtes. Pour fournir un itinéraire composé mais surtout optimisé selon les critères de l'utilisateur, le recours à des algorithmes de plus courts chemins distribués « en ligne », et adaptés à des graphes dynamiques (dépendant du temps) a été retenu afin de réaliser ce moteur de recherche et de composition d'itinéraires multimodaux en ligne.

La politique des transports dans le monde et en Europe évolue vers une vision co-modale. Cette nouvelle politique n'oppose plus la voiture au transport public mais encourage une combinaison de tous les modes de transport en espérant ainsi assurer un développement rentable et durable.Nous focalisons notre étude sur le service transport de personnes qui s'inscrit au cœur des politiques co-modales en combinant tous les modes de transport en commun (métro, bus..) et promeut de nouveaux modes d'utilisation de la voiture particulière comme le covoiturage (partage d'un véhicule personnel) ou l'AutoPartage (voiture en libre-service).Toutefois, pour générer un itinéraire exploitant les services de plusieurs opérateurs de transport, il faut consulter plusieurs sites internet. Selon le déplacement à réaliser, cette tâche de planification complexe peut être très difficile à réaliser et ne garantit pas l'optimalité de l'itinéraire sélectionné.Nous nous sommes donc intéressés à la conception d'un système d'aide au déplacement capable de fournir une information voyageur (co-modale) en mettant en relation plusieurs opérateurs de transport (en commun et individuel). Le système en question doit être capable d'assister l'utilisateur dans la phase de planification par la constitution d'un carnet de voyage proposant plusieurs itinéraires multi-opérateurs. De plus, il assiste l'utilisateur en cas de perturbation en l'informant et en lui proposant des itinéraires de secours. Ce travail est basé sur des avancées technologiques qui facilitent l'optimisation dans un environnement distribué (Multi-agent - SOA) et rendent l'information accessible grâce à un grand nombre de médias (téléphone, PDA..)

Ce travail de thèse a pour objectif de proposer plusieurs méthodes d'identi- fication non-supervisées des personnes présentes dans les flux télévisés à l'aide des noms écrits à l'écran. Comme l'utilisation de modèles biométriques pour reconnaître les personnes présentes dans de larges collections de vidéos est une solution peu viable sans connaissance a priori des personnes à identifier, plusieurs méthodes de l'état de l'art proposent d'employer d'autres sources d'informations pour obtenir le nom des personnes présentes. Ces méthodes utilisent principalement les noms prononcés comme source de noms. Cependant, on ne peut avoir qu'une faible confiance dans cette source en raison des erreurs de transcription ou de détection des noms et aussi à cause de la difficulté de savoir à qui fait référence un nom prononcé. Les noms écrits à l'écran dans les émissions de télévision ont été peu utilisés en raison de la difficulté à extraire ces noms dans des vidéos de mauvaise qualité. Toutefois, ces dernières années ont vu l'amélioration de la qualité des vidéos et de l'incrustation des textes à l'écran. Nous avons donc ré-évalué, dans cette thèse, l'utilisation de cette source de noms. Nous avons d'abord développé LOOV (pour Lig Overlaid OCR in Vidéo), un outil d'extraction des textes sur-imprimés à l'image dans les vidéos. Nous obtenons avec cet outil un taux d'erreur en caractères très faible. Ce qui nous permet d'avoir une confiance importante dans cette source de noms. Nous avons ensuite comparé les noms écrits et les noms prononcés dans leurs capacités à fournir le nom des personnes présentes dans les émissions de télévisions. Il en est ressorti que deux fois plus de personnes sont nommables par les noms écrits que par les noms prononcés extraits automatiquement. Un autre point important à noter est que l'association entre un nom et une personne est intrinsèquement plus simple pour les noms écrits que pour les noms prononcés. Cette très bonne source de noms nous a donc permis de développer plusieurs méthodes de nommage non-supervisé des personnes présentes dans les émissions de télévision. Nous avons commencé par des méthodes de nommage tardives où les noms sont propagés sur des clusters de locuteurs. Ces méthodes remettent plus ou moins en cause les choix fait lors du processus de regroupement des tours de parole en clusters de locuteurs. Nous avons ensuite proposé deux méthodes (le nommage intégré et le nommage précoce) qui intègrent de plus en plus l'information issue des noms écrits pendant le processus de regroupement. Pour identifier les personnes visibles, nous avons adapté la méthode de nommage précoce pour des clusters de visages. Enfin, nous avons aussi montré que cette méthode fonctionne aussi pour nommer des clusters multi-modaux voix-visage. Avec cette dernière méthode, qui nomme au cours d'un unique processus les tours de paroles et les visages, nous obtenons des résultats comparables aux meilleurs systèmes ayant concouru durant la première campagne d'évaluation REPERE.

Cette thèse se positionne à l'intersection de plusieurs domaines de recherche, le traitement automatique des langues, la Recherche d'Information (RI) et la vision par ordinateur, qui se sont unifiés autour des méthodes d'apprentissage de représentation et de pré-entraînement. Dans ce contexte, nous avons défini et étudié une nouvelle tâche multimodale : répondre aux questions visuelles à propos d'entités nommées (KVQAE). Dans ce cadre, nous nous sommes particulièrement intéressés aux interactions cross-modales et aux différentes façons de représenter les entités nommées. Nous avons également été attentifs aux données utilisées pour entraîner mais surtout évaluer les systèmes de question-réponse à travers différentes métriques. Plus précisément, nous avons proposé à cet effet un jeu de données, le premier de KVQAE comprenant divers types d'entités. Nous avons également défini un cadre expérimental pour traiter la KVQAE en deux étapes grâce à une base de connaissances non-structurée et avons identifié la RI comme principal verrou de la KVQAE, en particulier pour les questions à propos d'entités non-personnes. Afin d'améliorer l'étape de RI, nous avons étudié différentes méthodes de fusion multimodale, lesquelles sont pré-entraînées à travers une tâche originale : l'Inverse Cloze Task multimodale. Nous avons trouvé que ces modèles exploitaient une interaction cross-modale que nous n'avions pas considéré à l'origine, et qui permettrait de traiter l'hétérogénéité des représentations visuelles des entités nommées. Ces résultats ont été renforcés par une étude du modèle CLIP qui permet de modéliser cette interaction cross-modale directement. Ces expériences ont été menées tout en restant attentif aux biais présents dans le jeu de données ou les métriques d'évaluation, notamment les biais textuels qui affectent toute tâche multimodale
This thesis is positioned at the intersection of several research fields, Natural Language Processing, Information Retrieval (IR) and Computer Vision, which have unified around representation learning and pre-training methods. In this context, we have defined and studied a new multimodal task: Knowledge-based Visual Question Answering about Named Entities (KVQAE).In this context, we were particularly interested in cross-modal interactions and different ways of representing named entities. We also focused on data used to train and, more importantly, evaluate Question Answering systems through different metrics.More specifically, we proposed a dataset for this purpose, the first in KVQAE comprising various types of entities. We also defined an experimental framework for dealing with KVQAE in two stages through an unstructured knowledge base and identified IR as the main bottleneck of KVQAE, especially for questions about non-person entities. To improve the IR stage, we studied different multimodal fusion methods, which are pre-trained through an original task: the Multimodal Inverse Cloze Task. We found that these models leveraged a cross-modal interaction that we had not originally considered, and which may address the heterogeneity of visual representations of named entities. These results were strengthened by a study of the CLIP model, which allows this cross-modal interaction to be modeled directly. These experiments were carried out while staying aware of biases present in the dataset or evaluation metrics, especially of textual biases, which affect any multimodal task

Dans cette thèse, nous nous intéressons aux méthodes de recherche d'information dans des bases de données constituées de documents multimédia. Nous les appliquons à des documents contenant des images numériques et des éléments sémantiques associés. Notre objectif est de sélectionner dans la base des documents similaires à un document proposé en requête. Pour réaliser cet objectif, nous proposons des méthodes basées sur la recherche d'images par le contenu et le raisonnement à base de cas. L'application visée est l'aide au diagnostic dans un cadre médical : la base est constituée de dossiers patients contenant plusieurs images et des informations cliniques contextuelles à propos du patient. Le système est appliqué à deux bases de données médicales multimodales. La première base de données étudiée est une base d'images rétiniennes, constituée au LaTIM pour l'aide au suivi de la rétinopathie diabétique. La seconde est une base publique de mammographies. Dans un premier temps, nous cherchons à caractériser individuellement chaque image du dossier patient. Cette caractérisation est effectuée dans le domaine compressé. Nous avons ainsi proposé deux méthodes originales d'indexation à partir de la transformée en ondelettes des images : 1) une méthode globale, modélisant la distribution des coefficients d'ondelette dans l'image, 2) une méthode locale, basée sur l'extraction de lésions modélisables par une fonction paramétrique. Une des originalités de ces méthodes réside dans le fait que la base d'ondelettes est recherchée par optimisation dans le cadre du schéma de lissage. Après avoir obtenu les signatures caractérisant les images, nous cherchons à fusionner les signatures provenant de l'ensemble des images du dossier, ainsi que des informations sémantiques contextuelles, pour sélectionner les dossiers patients les plus proches. Outre le problème de l'hétérogénéité des données, nous devons résoudre le problème de l'incomplétude des dossiers patients. A notre connaissance, seuls des systèmes de recherche traitant séparément chaque type d'information ont été proposées dans la littérature. Nous proposons trois nouvelles approches, inspirées de la fouille de données et de la fusion d'information, pour réellement intégrer les différentes sources d'information hétérogènes tout en gérant les informations manquantes. La première est basée sur les arbres de décision et ses extensions, la deuxième sur les réseaux bayésiens et la troisième sur la théorie de Dezert-Smarandache (DSmT). Les résultats que nous obtenons pour les deux bases de données médicales multimodales que nous étudions sont très satisfaisants et supérieurs aux méthodes classiques. Ainsi, la précision moyenne pour une fenêtre de cinq cas atteint 81,78% pour la base d'images rétiniennes et 92,90% pour la base des mammographies
In this Ph. D thesis, we study methods for information retrieval in databases made of multidimedia documents. Our objective is to select in a database documents similar to a query document. The aimed application is computer aided diagnosis in a medical framework: the database is made up of several images together with clinical contextual information about the patient. We firts try to characterize each image in the patient file individually. We have thus proposed two original indexing methods derived from the wavelet transform of images: 1) a global method, modeling the distribution of wavelet coefficients in the image, 2) a local method, based on the extraction of lesions. Once images are characterized, we try to used all the information in the file to retrieve the closest patient files. In addition to the heterogeneity of the data, with have to cope with missing information in patient files. We propose three new approaches, derived from data mining and information fusion theory. The first approach is based on decision trees, the second one on Bayesian networks and the third one on the Dezert-Smarandache theory (DSmT). The results obtained on two multimodamedical databases are satisfying and superior to existing methods. Thus, the mean precision at five research 81. 78 % on a retinal image database and 92. 90 % on a mammography database

Afin d’éviter au voyageur de consulter plusieurs sites web d’opérateurs de transport en commun pour planifier son déplacement, ce travail vise à concevoir un Système d’Information Coopératif de Mobilité (SICM) pour l’aide au déplacement multimodal. Il s’agit d’automatiser cette démarche de recherche et de composition d’itinéraires, pour fournir une information multimodale via un système intégrateur, en s’appuyant sur la théorie des systèmes multi agents (SMA) pour l’intégration et la médiation des systèmes d’information des différents opérateurs de transport. Pour produire l’information multimodale et multi-opérateurs nécessaire à l’aide au déplacement, le SICM doit accéder aux différents systèmes d’information des opérateurs de transport et intégrer des résultats de recherche qui sont générés par les différents algorithmes des différents opérateurs. Dans cette approche, le SICM est un intergiciel (middleware) qui devient un client parmi d’autres usagers des systèmes d’information existants. Le SICM devient alors l’intermédiaire entre les différentes sources d’informations hétérogènes et distribuées d’une part et les clients d’autre part. Ce système doit être capable à la fois de trouver la bonne source d’information pour l’interroger selon les différentes requêtes des utilisateurs, et de regrouper les informations de manière cohérente pour répondre aux requêtes. Pour fournir un itinéraire composé mais surtout optimisé selon les critères de l’utilisateur, le recours à des algorithmes de plus courts chemins distribués « en-ligne », et adaptés à des graphes dynamiques a été retenu pour réaliser ce moteur de recherche et de composition en ligne d’itinéraires multimodaux
To plan his travel, a traveller has to consult several web sites of different public transport operators. To avoid this time consuming task, this work consists in conceiving a Mobility Cooperative information system (SICM) providing a multi-modal and a multi-operators travel information. This integration system automates the itineraries search and the multi-operators routes composition. Its design is based on the multiagent system theory (MAS). The SICM tries, in fact, to make the existing operators’ information systems cooperating efficiently together, so that it can provide users with the optimized route to follow, by compiling the needed information from the different operators information sources. In this approach, the SICM is a middleware which becomes a customer among other users of the existing information systems. It can be considered as a mediator between the various distributed information sources on the one hand and the travellers on the other hand. The system should be able, at the same time, to find the needed information sources which are able to answer an itinerary request, and to gather this information in a coherent way to compose an optimized itinerary. To provide an optimized route, according to the criterion of the user, distributed and time-dependent shortest path algorithms were adopted and adapted to realize an on-line itinerary composition

Les travaux de recherche présentés dans cette thèse s'intègrent dans le cadre du projet national VIATIC.MOBILITE du pôle de compétitivité I-TRANS « Le ferroviaire au cœur des systèmes de transports innovants » (http://www.i-trans.org/index.htm). De nos jours, les informations liées au déplacement et à la mobilité dans un réseau de transport représentent sans aucun doute un potentiel important. En effet, on peut imaginer une infinité de services innovants liés à la mobilité, non seulement à destination du grand public, mais également à des entreprises, dans le conseil en mobilité pour leurs plans de déplacement. Le but de cette thèse est donc de fournir un système d'aide à la mobilité qui s'articule autour des motifs de déplacements quotidiens, occasionnels, de tourisme, de culture, etc. avec la possibilité de pouvoir bénéficier d'une information pertinente et exploitable.
Ces travaux de recherche visent à mettre en œuvre un Système d'Information de Transport Multimodal (SITM) pour optimiser la gestion de flux des requêtes utilisateurs qui peuvent être nombreuses et simultanées. Dans ce cas, le SITM doit pouvoir procéder par des processus de décomposition des requêtes simultanées en un ensemble de tâches indépendantes. Chaque tâche correspond à un service qui peut être proposé par plusieurs fournisseurs d'information, en concurrence, avec différents couts, formats et temps de réponse. Un fournisseur d'information voulant proposer ses services via le SITM, doit d'abord y enregistrer son système d'information, en assumant la responsabilité des aspects juridiques et qualitatifs de ses données. Le SITM est donc lié à un Réseau informatique Etendu et distribué de Transport Multimodal (RETM) qui comporte plusieurs sources d'information hétérogènes des différents services proposés aux utilisateurs de transport.
L'aspect dynamique, distribué et ouvert du problème, nous a conduits à adopter une modélisation multi-agent pour assurer au système une évolution continue et une flexibilité pragmatique. Le système multi-agent proposé s'appuie sur les métaheuristiques pour la recherche et la composition des services; la recherche des services se base sur le paradigme Agent Mobile (AM) utilisant un algorithme d'optimisation dynamique de construction des Plans De Routes (PDR). Cette première étape d'optimisation prépare les parcours des AMs en prenant en considération l'état du RETM. La composition des services utilise les algorithmes évolutionnistes pour optimiser les réponses en termes de coût et de temps, sachant qu'une réponse à une requête utilisateur ne doit pas dépasser un temps maximum autorisé et qu'un utilisateur cherche toujours à avoir le meilleur rapport qualité prix pour les services qu'il demande.
Enfin, le SITM prend en considération les éventuelles perturbations sur le RETM (pannes, goulets d'étranglements, etc.) pour satisfaire les requêtes utilisateurs dans tous les cas de figure. Dans ce contexte, nous avons créé un protocole de négociation entre les agents mobiles et les agents responsables des choix des fournisseurs d'information pour les services demandés, ces agents sont appelés agents Ordonnanceurs. Le protocole proposé dépasse les limites d'une communication agent traditionnelle, ce qui nous a incités à associer au système une ontologie flexible qui permet d'automatiser les différents types d'échanges entre les agents grâce à un vocabulaire approprié.
Les résultats expérimentaux présentés dans cette thèse justifient l'utilisation du paradigme agent mobile dans notre système qui remplace parfaitement bien les paradigmes classiques telle que l'architecture client/serveur. Les simulations présentées montrent différents scénarios de gestion d'un nombre des requêtes simultanées plus ou moins important. En effet, quelque soit le nombre de requêtes utilisateurs formulées pendant un court laps de temps , le système se charge de leur décomposition, de l'identification des services demandés et des fournisseurs d'information susceptibles d'y répondre.

Dans cette thèse, nous étudions des méthodes pour la recherche d'information dans des bases de données constituées de documents multimédia. Notre objectif est de sélectionner dans la base des documents similaires à un document proposé en requête. L'application visée est l'aide au diagnostic dans un cadre médical : la base est constituée de dossiers patients contenant plusieurs images et des informations cliniques contextuelles à propos du patient. Dans un premier temps, nous cherchons à caractériser individuellement chaque image du dossier patient. Nous avons ainsi proposé deux méthodes originales d'indexation à partir de la transformée en ondelettes des images : 1) une méthode globale, modélisant la distribution des coefficients d'ondelette dans l'image, 2) une méthode locale, basée sur l'extraction de lésions. Une fois les images caractérisées, nous cherchons à fusionner l'ensemble des informations du dossier pour sélectionner les dossiers patients les plus proches. Outre le problème de l'hétérogénéité des données, nous devons résoudre le problème de l'incomplétude des dossiers patients. Nous proposons trois nouvelles approches, inspirées de la fouille de données et de la fusion d'information. La première est basée sur les arbres de décision, la deuxième sur les réseaux bayésiens et la troisième sur la théorie de Dezert-Smarandache (DSmT). Les résultats que nous obtenons pour deux bases de données médicales multimodales sont très satisfaisants et supérieurs aux méthodes classiques. Ainsi, la précision moyenne pour une fenêtre de cinq cas atteint 81,78% pour une base d'images rétiniennes et 92,90% pour une base de mammographies.