Academic literature on the topic 'Recherche d'images par contenu visuel'

Le groupe de recherche Design et culture matérielle (DCM), de l’Université du Québec à Chicoutimi et de l’Université de Montréal tente de concevoir des stratégies novatrices de développement individuel et communautaire, pour des peuples minoritaires en perte d’identité. L’hypothèse de travail de DCM est que les capacités et savoir-faire des membres d’une communauté peuvent devenir un moteur de croissance et les individus la constituant, les acteurs de leur propre développement (empowerment). Les objectifs de DCM sont de favoriser le développement créatif des individus, la prise en charge du développement par la communauté et la valorisation des cultures autochtones, et ce, auprès des allochtones et des Autochtones eux-mêmes. DCM a développé depuis 1992 une expertise unique en recherche action/création ayant permis la conception et la production de projets de trois types différents : des produits de design (objets utilitaires, productions graphiques et vidéographiques) ; des expositions présentant les résultats de la recherche (objets et réflexions) dans un but de valorisation de la culture autochtone ; enfin, des outils de communication à fort contenu visuel à l’intention des communautés partenaires et du grand public en général (catalogues, affiches, dépliants, cartons d’invitation, journaux distribués en communauté, etc.). L’article fait un survol de ces 18 années de projets avec des communautés du Québec, mais aussi du Brésil. En présentant les différents pôles organisateurs de ses projets, il présentera dans un premier temps, le cadre conceptuel général qui fait la spécificité de l’approche DCM. Dans un second temps, il décrira l’approche générale ainsi que les outils qui ont été conçus afin d’opérationnaliser cette vision du développement social des individus et des communautés. Il se terminera par une présentation des principaux enjeux à court, moyen et long terme.

Le théâtre de Shakespeare est une source qui a marqué de son empreinte les caractéristiques artistiques du théâtre anglais en particulier et du théâtre mondial en général. Il a composé la plupart de ses pièces sous forme de poésie transmise, et le théâtre poétique s'appuie principalement du côté du dialogue sur la musique, le rythme, et la manipulation des mots. Shakespeare aimait les évasions et la manipulation des mots et des expressions, qu'il remplissait d'émotions intenses et d'idées lumineuses pour exprimer dans sa langue distincte les vérités profondes de l'âme humaine.Il est donc inévitable de reconnaître que la traduction du texte théâtral est un processus épineux et complexe, car le théâtre est une forme d'art distincte qui a ses propres particularités, en ce sens qu'il s'agit d'un texte lié au théâtre, écrit pour être entendu par le public, et non écrit pour être lu uniquement. La chose se complique si le théâtre se transmet de poésie, comme c'est le cas pour les pièces de Shakespeare.Cela signifie que quiconque prend la peine de traduire ces chefs-d'oeuvre de l'art dans une langue autre que l'anglais doit préserver cette quantité abondante d'images esthétiques et prendre en considération le langage poétique.C'est ce qu'a réalisé en réalité le traducteur Jabra Ibrahim Jabra, qui a réussi dans une large mesure à transmettre la plupart des pièces de Shakespeare, dont la pièce "Hamlet", selon la mécanique de la traduction littéraire dans ses normes stylistiques. Il est regrettable que le traducteur Muayyad Al-Kilani ait cité le texte shakespearien, ce qui l'a amené à glisser dans de nombreuses abberations qui l'ont éloigné du contenu du texte original. Nous reconnaissons au traducteur sa tentative de préserver les techniques des personnages, de l'intrigue, du temps et de l'espace, mais il a déformé le texte en excluant les différences culturelles de la pièce, perdant ainsi sa charge esthétique créative.En conséquence, nous reconnaissons que le génie de Shakespeare mérite plus qu'une pause dans d'autres aspects. Nous l'avons traité dans la pièce "Hamlet" basée sur deux traductions différentes à un moment et intégrées à un autre moment, mais la recherche reste grande ouverte pour les chercheurs qui portent l'obsession shakespearienne de faire des folies de la vaste mer de Shakespeare et d'étudier le reste de ses chefs-d'oeuvre du monde qui a inspiré ses contemporains, et a ébloui tout le monde avec un sens et un goût artistique dans toutes les époques qui l'ont suivi.

PT. O artigo consiste em uma análise da cobertura jornalística de veículos de comunicação brasileiros sobre a Guerra Civil Síria, com foco na atuação da Yekineyên Parastina Jinê (Unidade de Defesa das Mulheres), conhecida como YPJ. A organização militar que se apresenta como objeto de estudo deste artigo é composta apenas por mulheres curdas com foco em defesa de ataques do governo sírio e do Estado Islâmico. O grupo busca empoderar mulheres, defendendo a igualdade de gênero, especialmente no que diz respeito à elaboração e execução de tarefas militares. Levando em conta as ações inovadoras da YPJ na Guerra Civil Síria junto à problemática dos produtos de mídia ainda presentes no nosso país, este trabalho procurou responder qual o foco das coberturas jornalísticas nacionais sobre as combatentes da YPJ. A partir de uma coleta realizada por meio do Google Notícias, chegamos há setenta notícias online sobre a YPJ, as quais foram analisadas sob a ótica do enquadramento multimodal (Wozniak et al, 2014) e da análise de conteúdo (Bardin, 2011; Krippendorff, 2004). Os operadores analíticos foram desenvolvidas exclusivamente para este trabalho e consideram três eixos, sendo eles: (1) manchete, (2) conteúdo visual e (3) conteúdo textual. Os achados de pesquisas apontam que as matérias brasileiras sobre a atuação da YPJ na Guerra Civil Síria são (i) marcadas por abordagens ligadas às questões bélicas sem aspectos diplomáticos e pela (ii) falta do protagonismo feminino nos enquadramentos midiáticos. A análise também revelou como a cobertura brasileira sobre a YPJ na Guerra Civil Síria é simplista no que tange à guerra, pois não se ateve às explicações pertinentes sobre o conflito, ou as questões atreladas à gênero, uma vez que não ofereceu espaço para que problematizações importantes sobre os feitios e condições de vida das combatentes fossem divulgados. *** EN. The article provides an analysis of the journalistic coverage of Brazilian media outlets about the Syrian Civil War, with focus on the performance of Yekineyên Parastina Jinê (Women's Defense Unit), known as YPJ. The military organization that is presented as the object of study of this article is composed only of Kurdish women focused on defending attacks by the Syrian government and the Islamic State. The group seeks to empower women by advocating gender equality, especially concerning the design and execution of military tasks. Taking into account the YPJ's innovative actions in the Syrian Civil War along with the problem of media products still present in our country, this work sought to answer the focus of national journalistic coverage on YPJ fighters. From a collection carried out through Google News, there is seventy online news about the YPJ, which were analyzed from the perspective of the multimodal framework (Wozniak et al, 2014) and content analysis (Bardin, 2011; Krippendorff, 2004). The analytical operators were developed exclusively for this work and consider three axes, namely: (1) headline, (2) visual content, and (3) textual content. Research findings indicate that Brazilian articles on the role of the YPJ in the Syrian Civil War are (i) marked by approaches linked to war issues without diplomatic aspects and by (ii) the lack of female protagonists in the media frameworks. The analysis reveals how the Brazilian coverage of YPJ in the Syrian Civil War has a shallow character both in terms of war, as it did not stick to the pertinent explanations about the conflict, as to gender, since it did not offer space for important problematizations about the characteristics and living conditions of the combatants were made public. *** FR. L'article présente une analyse de la couverture par les médias brésiliens de la guerre civile syrienne, en se penchant sur l’action de la Yekineyên Parastina Jinê (Unité de défense des femmes), connue sous l’acronyme YPJ. Cette organisation militaire, objet de l’étude, est composée exclusivement de femmes kurdes engagées à défendre la population contre les assauts du gouvernement syrien et de l'État islamique. Ce groupe a pour but d’autonomiser les femmes, en prônant l'égalité des genres, notamment en termes de conception et d'exécution des tâches militaires. En se penchant sur les actions innovantes de la YPJ dans la guerre civile syrienne ainsi que sur la problématique des produits médiatiques au Brésil, il s’agit ici de comprendre quel aspect est mis en relief par les couvertures médiatiques brésiliennes sur les combattantes de la YPJ. Le corpus, constitué de soixante-dix articles d'actualité en ligne sur la YPJ, recueillis sur le site Google News, a été analysé sous l'angle du cadrage multimodal (Wozniak et al, 2014) et de l'analyse de contenu (Bardin, 2011 ; Krippendorff, 2004). Les opérateurs analytiques, définis exclusivement pour ce travail, considèrent les données sous trois angles : (1) les gros-titres, (2) le contenu visuel et (3) le contenu textuel. Les résultats de la recherche indiquent que les articles de presse brésiliens sur les actions de la YPJ dans la guerre civile syrienne sont (i) marqués par des approches relatives aux questions de guerre sans tenir compte des aspects diplomatiques et (ii) par l'absence de protagonisme féminin dans les cadrages médiatiques. L'analyse révèle que la couverture brésilienne de la YPJ dans la guerre civile syrienne est superficielle tant sur le plan de la guerre elle-même, car elle ne s'en tient pas aux explications pertinentes sur le conflit, que sur celui du genre, aucun espace n’étant ouvert aux problématisations, pourtant centrales, sur les caractéristiques et les conditions de vie des combattantes. ***

Cette recherche porte sur la façon d’améliorer l’accès à du contenu visuel dans des productions audiovisuelles pour des personnes aveugles et malvoyantes. Nous présentons les principales étapes de notre travail pour ensuite indiquer des lignes directrices qui pourraient être soumises aux producteurs de tel type de contenu. This study explores how to improve the access to visual material in audiovisual productions for blind and visually impaired people. We present the main steps of our research and then provide the guidelines which could be submitted to producers of this particular type of content.

Cette thèse est consacrée à l'étude de méthodes de recherche par similarité des images dans une collection. Les images auxquelles nous nous intéressons sont quelconques, ce qui implique que les processus que nous utilisons doivent pouvoir s'exécuter sans être contraints par un quelconque modèle d'apparence visuelle. Nous nous sommes appuyés sur les relations spatiales entre les entités présentes dans les images qui peuvent être des objets symboliques ou des descripteurs visuels. La première partie de cette thèse est consacrée à une synthèse des techniques de relations spatiales. Dans la suite de cette étude, nous proposons notre approche Δ-TSR, notre première contribution, qui permet de faire une recherche par similarité de contenu visuel en utilisant les relations triangulaires entre les entités dans les images. Dans nos expériences, les entités sont des caractéristiques visuelles locales basées sur les points saillants représentés dans le modèle Bag-Of-Features. Cette approche améliore non seulement la qualité des images retournées mais aussi le temps d'exécution par rapport à des approches de la littérature. La seconde partie est dédiée à l'étude du contexte de l'image. L'ensemble des relations entre les entités dans une image permet de produire une description globale que nous appelons le contexte. La prise en compte des relations spatiales contextuelles dans la recherche par similarité des images pourraient permettre d'améliorer la qualité de recherche en limitant les fausses alarmes. Dans le cadre de notre travail, nous avons défini le contexte d'image par la présence des catégories d'entité et leurs relations spatiales dans l'image. Nous avons étudié les différentes relations entre les catégories d'entité d'une base d'images symboliques de contenu hétérogène. Cette étude statistique, notre deuxième contribution, nous permet de créer une cartographie de leurs relations spatiales. Elle peut être intégrée dans un graphe de connaissance des relations contextuelles, notre troisième contribution. Ce graphe permet de décrire de façon générale des connaissances sur les catégories d'entité. Le raisonnement spatial sur ce graphe de connaissance peut nous aider à améliorer les tâches dans le traitement d'image comme la détection et la localisation d'une catégorie à l'aide de la présence d'une autre référence. Pour la suite, ce modèle peut être appliqué à représenter le contexte d'une image. La recherche par similarité basée sur le contexte peut être réalisée par la comparaison de graphes. La similarité contextuelle des deux images est la similarité de leurs graphes. Ce travail a été évalué sur la base d'images symboliques LabelMe. Les expériences ont montré sa pertinence pour la recherche d'images par le contexte
This thesis is focused on the study of methods for image retrieval by visual content in collection of heterogeneous contents. We are interested in the description of spatial relationships between the entities present in the images that can be symbolic objects or visual primitives such as interest points. The first part of this thesis is dedicated to a state of the art on the description of spatial relationship techniques. As a result of this study, we propose the approach Δ-TSR, our first contribution, which allows similarity search based on visual content by using the triangular relationships between entities in images. In our experiments, the entities are local visual features based on salient points represented in a bag of features model. This approach improves not only the quality of the images retrieval but also the execution time in comparison with other approaches in the literature. The second part is dedicated to the study of the image context. The spatial relationships between entities in an image allow creating the global description of the image that we call the image context. Taking into account the contextual spatial relationships in the similarity search of images can allow improving the retrieval quality by limiting false alarms. We defined the context of image as the presence of entity categories and their spatial relationships in the image. We studied the relationships between different entity categories on LabelMe, a state of the art of symbolic images databases of heterogeneous content. This statistical study, our second contribution, allows creating a cartography of their spatial relationships. It can be integrated in a graph-based model of the contextual relationships, our third contribution. This graph describes the general knowledge of every entity categories. Spatial reasoning on this knowledge graph can help improving tasks of image processing such as detection and localization of an entity category by using the presence of another reference. Further, this model can be applied to represent the context of an image. The similarity search based on context can be achieved by comparing the graphs, then, contextual similarity between two images is evaluated by the similarity between their graphs. This work was evaluated on the symbolic image database of LabelMe. The experiments showed its relevance for image retrieval by context

La recherche d'images basée sur le contenu visuel est un domaine très actif de la vision par ordinateur, car le nombre de bases d'images disponibles ne cesse d'augmenter.L’objectif de ce type d’approche est de retourner les images les plus proches d'une requête donnée en terme de contenu visuel.Notre travail s'inscrit dans un contexte applicatif spécifique qui consiste à indexer des petites bases d'images expertes sur lesquelles nous n'avons aucune connaissance a priori.L’une de nos contributions pour palier ce problème consiste à choisir un ensemble de descripteurs visuels et de les placer en compétition directe. Nous utilisons deux stratégies pour combiner ces caractéristiques : la première, est pyschovisuelle, et la seconde, est statistique.Dans ce contexte, nous proposons une approche adaptative non supervisée, basée sur les sacs de mots et phrases visuels, dont le principe est de sélectionner les caractéristiques pertinentes pour chaque point d'intérêt dans le but de renforcer la représentation de l'image.Les tests effectués montrent l'intérêt d'utiliser ce type de méthodes malgré la domination des méthodes basées réseaux de neurones convolutifs dans la littérature.Nous proposons également une étude, ainsi que les résultats de nos premiers tests concernant le renforcement de la recherche en utilisant des méthodes semi-interactives basées sur l’expertise de l'utilisateur
Image Retrieval is still a very active field of image processing as the number of available image datasets continuously increases.One of the principal objectives of Content-Based Image Retrieval (CBIR) is to return the most similar images to a given query with respect to their visual content.Our work fits in a very specific application context: indexing small expert image datasets, with no prior knowledge on the images. Because of the image complexity, one of our contributions is the choice of effective descriptors from literature placed in direct competition.Two strategies are used to combine features: a psycho-visual one and a statistical one.In this context, we propose an unsupervised and adaptive framework based on the well-known bags of visual words and phrases models that select relevant visual descriptors for each keypoint to construct a more discriminative image representation.Experiments show the interest of using this this type of methodologies during a time when convolutional neural networks are ubiquitous.We also propose a study about semi interactive retrieval to improve the accuracy of CBIR systems by using the knowledge of the expert users

Dans le contexte de la recherche d'information par le contenu visuel, lorsque l'utilisateur formule une requête visuelle, sa cible de recherche est rarement représentée par une image entière comme le suppose le paradigme classique de recherche par une image exemple. L'image ne doit pas être traitée comme une unité atomique, car elle est généralement constituée d'un ensemble composite de zones visuelles exprimant une certaine sémantique.

Un système de recherche d'information visuelle doit permettre à l'utilisateur de désigner d'une manière explicite la cible visuelle qu'il recherche se rapportant aux différentes composantes de l'image. Notre objectif au cours de ce travail a été de réfléchir à comment définir des clés de recherche visuelle permettant à l'utilisateur d'exprimer cette cible visuelle, de concevoir et d'implémenter efficacement les méthodes correspondantes.

Les contributions originales de cette thèse portent sur de nouvelles approches permettant de retrouver des images à partir de leurs différentes composantes visuelles selon deux paradigmes de recherche distincts.

Le premier paradigme est celui de la recherche par région exemple. Il consiste à retrouver les images comportant une partie d'image similaire à une partie visuelle requête. Pour ce paradigme, nous avons mis au point une approche de segmentation grossière en régions et de description fine de ces régions ensuite. Les régions grossières des images de la base, extraites par notre nouvel algorithme de segmentation non supervisée, représentent les composantes visuellement saillantes de chaque image. Cette décomposition permet à l'utilisateur de désigner séparément une région d'intérêt pour sa requête. La recherche de régions similaires dans les images de la base repose sur un nouveau descripteur de régions (ADCS). Il offre une caractérisation fine, compacte et adaptative de l'apparence photométrique des régions, afin de tenir compte de la spécificité d'une base de descripteurs de régions. Dans cette nouvelle approche, la segmentation est rapide et les régions extraites sont intuitives pour l'utilisateur. La finesse de description des régions améliore la similarité des régions retournées par rapport aux descripteurs existants, compte tenu de la fidélité accrue au contenu des régions.

Notre seconde contribution porte sur l'élaboration d'un nouveau paradigme de recherche d'images par composition logique de catégories de régions. Ce paradigme présente l'avantage d'apporter une solution au problème de la page zéro. Il permet d'atteindre les images, quand elles existent dans la base, qui se rapprochent de la représentation mentale de la cible visuelle de l'utilisateur. Ainsi aucune image ou région exemple n'est nécessaire au moment de la formulation de la requête. Ce paradigme repose sur la génération non-supervisée d'un thésaurus photométrique constitué par le résumé visuel des régions de la base. Pour formuler sa requête, l'utilisateur accède directement à ce résumé en disposant d'opérateurs de composition logique de ces différentes parties visuelles. Il est à noter qu'un item visuel dans ce résumé est un représentant d'une classe photométrique de régions. Les requêtes logiques sur le contenu des images s'apparentent à celles en recherche de texte. L'originalité de ce paradigme ouvre des perspectives riches pour de futurs travaux en recherche d'information visuelle.

L'objectif des travaux de recherche présentés dans cette thèse est l'accélération de la recherche dans les grandes bases de données décrites par des vecteurs de grande dimension. Différentes structures ont déjà été proposées dans la littérature afin de réduire les temps de recherche mais plusieurs d'entre elles souffrent du problème de la malédiction de la dimension. Dans une première partie de cette thèse nous avons revisité le phénomène de la malédiction de la dimension avec les index classiques afin de déterminer à partir de quelle dimension ces index deviennent inefficaces. Cette première étude a montré que les index classiques fonctionnent bien avec des dimensions modérées (< 30) avec les bases réelles. Toutefois pour des dimensions plus importantes le problème de la malédiction de la dimension persiste. D'un autre coté avec l'augmentation des volumes des données ces dernières décennies vu la facilité de leur stockage, les besoins d'accélération de la recherche sont de plus en plus importants. Ces derniers points ont motivé la proposition de HiPeR notre principale contribution. HiPeR est un modèle hiérarchique qui assure la recherche exacte, progressive et approximative avec contrôle de précision. Elle est basée sur une hiérarchie d'espaces et d'index : la recherche commence par les espaces à faibles dimensions afin de réduire les effets de la malédiction de la dimension fournissant un premier résultat. Ce dernier sera amélioré progressivement en utilisant de plus grandes dimensions. Différentes stratégies sont proposées pour parcourir HiPeR en assurant la recherche exacte ou approximative. La qualité de la réponse approximative est fixée par l'utilisateur au moment de la recherche. Afin d'assurer la qualité escomptée, la méthode suit un modèle de précision probabiliste et non paramétrique. Les expériences, menées sur trois bases réelles de 4 millions de points, montrent qu'HiPeR améliore considérablement les index classiques en termes de temps CPU et d'accès I/O. Dans la dernière partie de cette thèse nous avons étudié le cas particulier des requêtes multiples où chaque entité de la base est décrite par plusieurs vecteurs. Afin d'accélérer la recherche dans une telle configuration, différentes stratégies ont été proposées et expérimentées avec les index classiques et HiPeR
In this thesis we are interested in accelerating retrieval in large databases where entities are described with high dimensional vectors (or multidimensional points). Several index structures have been already proposed to accelerate retrieval but a large number of these structures suffer from the well known Curse of Dimensionality phenomenon (CoD). In the first part of this thesis we revisited the CoD phenomenon with classical indices in order to determine from which dimension these indices does not work; Our study showed that classical indices still perform well with moderate dimensions (< 30) when dealing with real data. However, needs for accelerating retrieval are not satisfied when dealing with high dimensional spaces or with large databases. The latter observations motivated our main contribution called HiPeR. HiPeR is based on a hierarchy of subspaces and indexes: it performs nearest neighbors search across spaces of different dimensions, by beginning with the lowest dimensions up to the highest ones, aiming at minimizing the effects of curse of dimensionality. Scanning the hierarchy can be done according to several scenarios that are presented for retrieval of exact as well as approximate neighbors. In this work, HiPeR has been implemented on the classical index structure VA-File, providing VA-Hierarchies. For the approximate scenario, the model of precision loss defined is probabilistic and non parametric (very little assumptions are made on the data distribution) and quality of answers can be selected by user at query time. HiPeR is evaluated for range queries on 3 real data-sets of image descriptors varying from 500,000 vectors to 4 millions. The experiments demonstrate that the hierarchy of HiPeR improves the best index structure by significantly. Reducing CPU time, whatever the scenario of retrieval. Its approximate version improves even more retrieval by saving I/O access significantly. In the last part of our thesis, we studied the particular case of multiple queries where each database entity is represented with several vectors. To accelerate retrieval with such queries different strategies were proposed to reduce I/O and CPU times. The proposed strategies were applied both to simple indices as well as to HiPeR

De nos jours, avec le développement des nouvelles technologies multimédia, la recherche d’images basée sur le contenu visuel est un sujet de recherche en plein essor avec de nombreux domaines d'application: indexation et recherche d’images, la graphologie, la détection et le suivi d’objets... Un des modèles les plus utilisés dans ce domaine est le sac de mots visuels qui tire son inspiration de la recherche d’information dans des documents textuels. Dans ce modèle, les images sont représentées par des histogrammes de mots visuels à partir d'un dictionnaire visuel de référence. La signature d’une image joue un rôle important car elle détermine la précision des résultats retournés par le système de recherche.Dans cette thèse, nous étudions les différentes approches concernant la représentation des images. Notre première contribution est de proposer une nouvelle méthodologie pour la construction du vocabulaire visuel en utilisant le gain d'information extrait des mots visuels. Ce gain d’information est la combinaison d’un modèle de recherche d’information avec un modèle d'attention visuelle.Ensuite, nous utilisons un modèle d'attention visuelle pour améliorer la performance de notre modèle de sacs de mots visuels. Cette étude de la saillance des descripteurs locaux souligne l’importance d’utiliser un modèle d’attention visuelle pour la description d’une image.La dernière contribution de cette thèse au domaine de la recherche d’information multimédia démontre comment notre méthodologie améliore le modèle des sacs de phrases visuelles. Finalement, une technique d’expansion de requêtes est utilisée pour augmenter la performance de la recherche par les deux modèles étudiés
Nowadays, along with the development of multimedia technology, content based image retrieval (CBIR) has become an interesting and active research topic with an increasing number of application domains: image indexing and retrieval, face recognition, event detection, hand writing scanning, objects detection and tracking, image classification, landmark detection... One of the most popular models in CBIR is Bag of Visual Words (BoVW) which is inspired by Bag of Words model from Information Retrieval field. In BoVW model, images are represented by histograms of visual words from a visual vocabulary. By comparing the images signatures, we can tell the difference between images. Image representation plays an important role in a CBIR system as it determines the precision of the retrieval results.In this thesis, image representation problem is addressed. Our first contribution is to propose a new framework for visual vocabulary construction using information gain (IG) values. The IG values are computed by a weighting scheme combined with a visual attention model. Secondly, we propose to use visual attention model to improve the performance of the proposed BoVW model. This contribution addresses the importance of saliency key-points in the images by a study on the saliency of local feature detectors. Inspired from the results from this study, we use saliency as a weighting or an additional histogram for image representation.The last contribution of this thesis to CBIR shows how our framework enhances the BoVP model. Finally, a query expansion technique is employed to increase the retrieval scores on both BoVW and BoVP models

Dans cette thèse, nous nous sommes intéressés au problème de la classification à « grain fin » qui est une tâche de classification particulière où les classes peuvent être visuellement distinguables seulement à partir de détails subtils et où le contexte agit souvent comme une source de bruit. Ce travail est principalement motivé par le besoin de concevoir des représentations d'images plus « fines » pour adresser de telles tâches de classification qui nécessitent un encodage d’informations discriminantes très fines et localisées. L'originalité principale de notre approche est d’intégrer dans une représentation globale de haute dimension une mesure de consistance géométrique locale entre l’image à représenter et les images d’une base de référence (que nous considérons comme un vocabulaire visuel possiblement constitué d’un grand nombre d’images). Ceci nous permet d’encoder dans une représentation vectorielle des motifs très localisés et géométriquement consistant avec l’image (contrairement aux méthodes de codage traditionnelles comme les Bag-of-Visual-Word, les vecteurs de Fisher ou les vecteurs VLAD). Plus en détails : Nous proposons dans un premier temps une approche de classification d'instances d'entités visuelles basée sur un classificateur par plus proches voisins qui agrège les similarités entre l'image requête et celles de la base d'apprentissage. Les similarités sont calculées avec prise en compte de la consistance géométrique locale entre les descripteurs locaux de la requête et ceux des images de la base d'apprentissage. Cette base pouvant être constituée de nombreux descripteurs locaux, nous proposons de passer notre méthode à l’échelle en utilisant des méthodes de recherche approximatives de plus proches voisins. Par la suite, nous avons mis au point un nouveau noyau de similarité entre des images basé sur les descripteurs locaux qu'elles partagent dans une base de référence. Nous avons nommé ce noyau Shared Nearest Neighbors Kernel (SNN Kernel), qui peut être utilisé comme n'importe quel autre noyau dans les machines à noyau. Nous avons dérivé, à partir de ce dernier, une représentation explicite globale des images à décrire. Cette représentation encode la similarité de l'image considérée avec les différentes régions visuelles des images de la base correspondant au vocabulaire visuel. Nous avons également rendu possible l'intégration de l'information de consistance géométrique dans nos représentations à l'aide de l'algorithme RANSAC amélioré que nous avons proposé dans notre contribution précédente. La classification des images se fait ensuite par un modèle linéaire appris sur ces représentations. Finalement, nous proposons, comme troisième contribution, une stratégie permettant de considérablement réduire, jusqu'à deux ordres de grandeur, la dimension de la représentation d'image sur-complète précédemment présentée tout en conservant une performance de classification compétitive aux méthodes de l’état de l’art. Nous avons validé nos approches en conduisant une série d’expérimentations sur plusieurs tâches de classification impliquant des objets rigides comme FlickrsLogos32 ou Vehicles29, mais aussi sur des tâches impliquant des concepts visuels plus finement discriminables comme la base FGVC-Aircrafts, Oxford-Flower102 ou CUB-Birds200. Nous avons aussi démontré des résultats significatifs sur des tâches de classification audio à grain fin comme la tâche d'identification d'espèce d'oiseau de LifeCLEF2015 en proposant une extension temporelle de notre représentation d'image. Finalement, nous avons montré que notre technique de réduction de dimension permet d’obtenir un vocabulaire visuel très interprétable composé des régions d'image les plus représentatives pour les concepts visuels représentés dans la base d’apprentissage
This thesis focuses on the issue of fine-grained classification which is a particular classification task where classes may be visually distinguishable only from subtle localized details and where background often acts as a source of noise. This work is mainly motivated by the need to devise finer image representations to address such fine-grained classification tasks by encoding enough localized discriminant information such as spatial arrangement of local features.To this aim, the main research line we investigate in this work relies on spatially localized similarities between images computed thanks to efficient approximate nearest neighbor search techniques and localized parametric geometry. The main originality of our approach is to embed such spatially consistent localized similarities into a high-dimensional global image representation that preserves the spatial arrangement of the fine-grained visual patterns (contrary to traditional encoding methods such as BoW, Fisher or VLAD Vectors). In a nutshell, this is done by considering all raw patches of the training set as a large visual vocabulary and by explicitly encoding their similarity to the query image. In more details:The first contribution proposed in this work is a classification scheme based on a spatially consistent k-nn classifier that relies on pooling similarity scores between local features of the query and those of the similar retrieved images in the vocabulary set. As this set can be composed of a lot of local descriptors, we propose to scale up our approach by using approximate k-nearest neighbors search methods. Then, the main contribution of this work is a new aggregation-based explicit embedding derived from a newly introduced match kernel based on shared nearest neighbors of localized feature vectors combined with local geometric constraints. The originality of this new similarity-based representation space is that it directly integrates spatially localized geometric information in the aggregation process.Finally, as a third contribution, we proposed a strategy to drastically reduce, by up to two orders of magnitude, the high-dimensionality of the previously introduced over-complete image representation while still providing competitive image classification performance.We validated our approaches by conducting a series of experiments on several classification tasks involving rigid objects such as FlickrsLogos32 or Vehicles29 but also on tasks involving finer visual knowledge such as FGVC-Aircrafts, Oxford-Flower102 or CUB-Birds200. We also demonstrated significant results on fine-grained audio classification tasks such as the LifeCLEF 2015 bird species identification challenge by proposing a temporal extension of our image representation. Finally, we notably showed that our dimensionality reduction technique used on top of our representation resulted in highly interpretable visual vocabulary composed of the most representative image regions for different visual concepts of the training base

Les systèmes de recherche d'images par le contenu récents utilisent une approche de navigation visuelle interactive dans les bases d'images. Ces méthodes utilisent une classification des images (hors-ligne) dans un arbre de recherche pour une navigation visuelle (en ligne) des utilisateurs. Cette approche possède trois problèmes principaux:
1) La taille du vecteur descripteur (n>100) rend les calculs de distance sensibles à la malédiction de la dimension,
2) La présence d'attributs de nature différente dans le vecteur descripteur ne facilite pas la classification,
3) La classification ne s'adapte pas (en général) au contexte de recherche de l'utilisateur.

Nous proposons dans ce travail une méthode basée sur la construction de hiérarchies de signatures de tailles réduites croissantes qui permettent de prendre en compte le contexte de recherche de l'utilisateur. Notre méthode tend à imiter le comportement de la vision humaine.

Le vecteur descripteur contient des attributs issus de l'analyse multirésolution des images. Ces attributs sont organisés par un expert du domaine de la base d'images en plusieurs hiérarchies de quatre vecteur signature de taille réduite croissante (respectivement 4, 6, 8 et 10 attributs). Ces signatures sont utilisées pour construire un arbre de recherche flou grâce à l'algorithme des nuées dynamiques (dont deux améliorations sont proposées). Les utilisateurs en ligne choisissent une hiérarchie de signature parmi celles proposées par l'expert en fonction de leur contexte de recherche.

Un logiciel de démonstration a été développé. Il utilise une interface web dynamique (PHP), les traitements d'images (optimisés) sont réalisés grâce aux librairies Intel IPP et OpenCV, le stockage et l'indexation sont réalisés par une base de données MySQL, une interface de visualisation 3D (Java3D) permet de se rendre compte de la répartition des images dans la classification.

Un protocole de tests psycho-visuels a été réalisé. Les résultats sur la base paléontologique Trans'Tyfipal sont présentés et offrent des réponses pertinentes selon le contexte de recherche. La méthode donne de bons résultats, tant en temps de calcul qu'en pertinence des images résultats lors de la navigation dans les bases d'images homogènes.

L'objectif de ce travail est de proposer une solution de reconnaissance de l'impact émotionnel des images en se basant sur les techniques utilisées en recherche d'images par le contenu. Nous partons des résultats intéressants de cette architecture pour la tester sur une tâche plus complexe. La tâche consiste à classifier les images en fonction de leurs émotions que nous avons définies "Négative", "Neutre" et "Positive". Les émotions sont liées aussi bien au contenu des images, qu'à notre vécu. On ne pourrait donc pas proposer un système de reconnaissance des émotions performant universel. Nous ne sommes pas sensible aux mêmes choses toute notre vie : certaines différences apparaissent avec l'âge et aussi en fonction du genre. Nous essaierons de nous affranchir de ces inconstances en ayant une évaluation des bases d'images la plus hétérogène possible. Notre première contribution va dans ce sens : nous proposons une base de 350 images très largement évaluée. Durant nos travaux, nous avons étudié l'apport de la saillance visuelle aussi bien pendant les expérimentations subjectives que pendant la classification des images. Les descripteurs, que nous avons choisis, ont été évalués dans leur majorité sur une base consacrée à la recherche d'images par le contenu afin de ne sélectionner que les plus pertinents. Notre approche qui tire les avantages d'une architecture bien codifiée, conduit à des résultats très intéressants aussi bien sur la base que nous avons construite que sur la base IAPS, qui sert de référence dans l'analyse de l'impact émotionnel des images
The goal of this work is to propose an efficient approach for emotional impact recognition based on CBIR techniques (descriptors, image representation). The main idea relies in classifying images according to their emotion which can be "Negative", "Neutral" or "Positive". Emotion is related to the image content and also to the personnal feelings. To achieve our goal we firstly need a correct assessed image database. Our first contribution is about this aspect. We proposed a set of 350 diversifed images rated by people around the world. Added to our choice to use CBIR methods, we studied the impact of visual saliency for the subjective evaluations and interest region segmentation for classification. The results are really interesting and prove that the CBIR methods are usefull for emotion recognition. The chosen desciptors are complementary and their performance are consistent on the database we have built and on IAPS, reference database for the analysis of the image emotional impact

Les documents visuels comprenant des images et des vidéos sont en croissance rapide sur Internet et dans nos collections personnelles. Cela nécessite une analyse automatique du contenu visuel qui fait appel à la conception de méthodes intelligentes pour correctement indexer, rechercher et récupérer des images et des vidéos. Cette thèse vise à améliorer la détection automatique des concepts dans les vidéos sur Internet. Nos contributions portent sur des différents niveaux dans le cadre de détection de concept et peuvent être divisés en trois parties principales. La première partie se focalise sur l’amélioration du modèle de représentation des vidéos « Bag-of-Words (BOW) » en proposant un nouveau mécanisme de construction qui utilise des étiquettes de concepts et une autre technique qui ajoute un raffinement à la signature BOW basée sur la distribution de ses éléments. Nous élaborons ensuite des méthodes pour intégrer des entités semblables et dissemblables pour construire des modèles de reconnaissance améliorés dans la deuxième partie. A ce stade-là, nous observons l’information potentielle que les concepts partagent et construisons des modèles pour les méta-concepts dont sont dérivés les résultats spécifiques de concepts. Cela améliore la reconnaissance des concepts qui ont peu d’exemples annotés. Enfin, nous concevons certaines méthodes d'apprentissage semi-supervisé pour bénéficier de la quantité importante de données non étiquetées. Nous proposons des techniques pour améliorer l'algorithme de cotraining avec une sélection optimale des classifieurs utilisés
Visual material comprising images and videos is growing ever so rapidly over the internet and in our personal collections. This necessitates automatic understanding of the visual content which calls for the conception of intelligent methods to correctly index, search and retrieve images and videos. This thesis aims at improving the automatic detection of concepts in the internet videos by exploring all the available information and putting the most beneficial out of it to good use. Our contributions address various levels of the concept detection framework and can be divided into three main parts. The first part improves the Bag of Words (BOW) video representation model by proposing a novel BOW construction mechanism using concept labels and by including a refinement to the BOW signature based on the distribution of its elements. We then devise methods to incorporate knowledge from similar and dissimilar entities to build improved recognition models in the second part. Here we look at the potential information that the concepts share and build models for meta-concepts from which concept specific results are derived. This improves recognition for concepts lacking labeled examples. Lastly we contrive certain semi-supervised learning methods to get the best of the substantial amount of unlabeled data. We propose techniques to improve the semi-supervised cotraining algorithm with optimal view selection

Les documents visuels comprenant des images et des vidéos sont en croissance rapide sur Internet et dans nos collections personnelles. Cela nécessite une analyse automatique du contenu visuel qui fait appel à la conception de méthodes intelligentes pour correctement indexer, rechercher et récupérer des images et des vidéos. Cette thèse vise à améliorer la détection automatique des concepts dans les vidéos sur Internet. Nos contributions portent sur des différents niveaux dans le cadre de détection de concept et peuvent être divisés en trois parties principales. La première partie se focalise sur l’amélioration du modèle de représentation des vidéos « Bag-of-Words (BOW) » en proposant un nouveau mécanisme de construction qui utilise des étiquettes de concepts et une autre technique qui ajoute un raffinement à la signature BOW basée sur la distribution de ses éléments. Nous élaborons ensuite des méthodes pour intégrer des entités semblables et dissemblables pour construire des modèles de reconnaissance améliorés dans la deuxième partie. A ce stade-là, nous observons l’information potentielle que les concepts partagent et construisons des modèles pour les méta-concepts dont sont dérivés les résultats spécifiques de concepts. Cela améliore la reconnaissance des concepts qui ont peu d’exemples annotés. Enfin, nous concevons certaines méthodes d'apprentissage semi-supervisé pour bénéficier de la quantité importante de données non étiquetées. Nous proposons des techniques pour améliorer l'algorithme de cotraining avec une sélection optimale des classifieurs utilisés
Visual material comprising images and videos is growing ever so rapidly over the internet and in our personal collections. This necessitates automatic understanding of the visual content which calls for the conception of intelligent methods to correctly index, search and retrieve images and videos. This thesis aims at improving the automatic detection of concepts in the internet videos by exploring all the available information and putting the most beneficial out of it to good use. Our contributions address various levels of the concept detection framework and can be divided into three main parts. The first part improves the Bag of Words (BOW) video representation model by proposing a novel BOW construction mechanism using concept labels and by including a refinement to the BOW signature based on the distribution of its elements. We then devise methods to incorporate knowledge from similar and dissimilar entities to build improved recognition models in the second part. Here we look at the potential information that the concepts share and build models for meta-concepts from which concept specific results are derived. This improves recognition for concepts lacking labeled examples. Lastly we contrive certain semi-supervised learning methods to get the best of the substantial amount of unlabeled data. We propose techniques to improve the semi-supervised cotraining algorithm with optimal view selection