Auswahl der wissenschaftlichen Literatur zum Thema „Système projecteur-caméra“

Cette thèse s'inscrit dans le cadre d'un projet national nommé SRDViand dont le but fut de développer un système robotisé pour le désossage et la découpe des animaux de boucherie. Afin de déterminer les trajectoires de découpe de manière intelligente, un système de lumière structurée a été développé. Il se réfère à des systèmes de vision qui utilisent des modèles de projection de lumière pour des tâches de reconstruction 3D. Afin d'obtenir les meilleurs résultats, la définition d'une nouvelle méthode d'étalonnage pour les systèmes de lumière structurée a été établie. Basé sur un large état de l'art et également sur la proposition d'une classification de ces méthodes, il a été proposé d'étalonner une paire caméra projecteur en utilisant l'asservissement visuel. La validité et les résultats de cette méthode ont été éprouvés sur la base de nombreux tests expérimentaux menés dans le cadre du projet SRDViand. Suite à l'élaboration de cette méthode, un prototype permettant la découpe des bovins a été réalisé
This thesis is part of a national project named SRDViand whose aim was to develop a robotic system for the deboning and cutting of animals meat. To determine the cut paths, a structured light system has been developed. It refers to vision systems that use light projection models for 3D reconstruction tasks. To achieve best results, the definition of a new calibration method for structured light systems was established . Based on a large state of the art and also with a proposed classification of these methods, it has been proposed to calibrate a camera projector pair using visual servoing . The validity and the results of this method were tested on the basis of numerous experimental tests conducted under the SRDViand project. Following the development of this method, a prototype bovine cutting was performed

La Réalité Augmentée Spatiale (SAR) vise à superposer spatialement l'information virtuelle sur des objets physiques. Au cours des dernières décennies ce domaine a connu une grande expansion et est utilisé dans divers domaines, tels que la médecine, le prototypage, le divertissement etc. Cependant, pour obtenir des projections de bonne qualité, on doit résoudre plusieurs problèmes, dont les plus importants sont la gamme de couleurs réduite du projecteur, la lumière ambiante, la couleur du fond, et la configuration arbitraire de la surface de projection dans la scène. Ces facteurs entraînent des distorsions dans les images qui requièrent des processus de compensation complémentaires.Les projections intelligentes (smart projections) sont au cœur des applications de SAR. Composées d'un dispositif de projection et d'un dispositif d'acquisition, elles contrôlent l'aspect de la projection et effectuent des corrections à la volée pour compenser les distorsions. Bien que les méthodes actives de Lumière Structurée aient été utilisées classiquement pour résoudre ces problèmes de compensation géométrique, cette thèse propose une nouvelle approche non intrusive pour la compensation géométrique de plusieurs surfaces planes et pour la reconnaissance des objets en SAR s'appuyant uniquement sur la capture du contenu projeté.Premièrement, cette thèse étude l'usage de l'invariance couleur pour améliorer la qualité de la mise en correspondance entre primitives dans une configuration d'acquisition des images vidéoprojetées. Nous comparons la performance de la plupart des méthodes de l'état de l'art avec celle du descripteur proposé basé sur l'égalisation d'histogramme. Deuxièmement, pour mieux traiter les conditions standard des systèmes projecteur-caméra, deux ensembles de données de captures de projections réelles, ont été spécialement préparés à des fins expérimentales. La performance de tous les algorithmes considérés est analysée de façon approfondie et des propositions de recommandations sont faites sur le choix des algorithmes les mieux adaptés en fonction des conditions expérimentales (paramètres image, disposition spatiale, couleur du fond...). Troisièmement, nous considérons le problème d'ajustement multi-surface pour compenser des distorsions d'homographie dans les images acquises. Une combinaison de mise en correspondance entre les primitives et de Flux Optique est proposée afin d'obtenir une compensation géométrique plus rapide. Quatrièmement, une nouvelle application en reconnaissance d'objet à partir de captures d'images vidéo-projetées est mise en œuvre. Finalement, une implémentation GPU temps réel des algorithmes considérés ouvre des pistes pour la compensation géométrique non intrusive en SAR basée sur la mise en correspondances entre primitives
Spatial Augmented Reality (SAR) aims at spatially superposing virtual information on real-world objects. Over the last decades, it has gained a lot of success and been used in manifold applications in various domains, such as medicine, prototyping, entertainment etc. However, to obtain projections of a good quality one has to deal with multiple problems, among them the most important are the limited projector output gamut, ambient illumination, color background, and arbitrary geometric surface configurations of the projection scene. These factors result in image distortions which require additional compensation steps.Smart-projections are at the core of PAR applications. Equipped with a projection and acquisitions devices, they control the projection appearance and introduce corrections on the fly to compensate distortions. Although active structured-light techniques have been so far the de-facto method to address such problems, this PhD thesis addresses a relatively new unintrusive content-based approach for geometric compensation of multiple planar surfaces and for object recognition in SAR.Firstly, this thesis investigates the use of color-invariance for feature matching quality enhancement in projection-acquisition scenarios. The performance of most state-of-the art methods are studied along with the proposed local histogram equalization-based descriptor. Secondly, to better address the typical conditions encountered when using a projector-camera system, two datasets of real-world projections were specially prepared for experimental purposes. Through a series of evaluation frameworks, the performance of all considered algorithms is thoroughly analyzed, providing several inferences on that which algorithms are more appropriate in each condition. Thirdly, this PhD work addresses the problem of multiple-surface fitting used to compensate different homography distortions in acquired images. A combination of feature matching and Optical Flow tracking is proposed in order to achieve a more low-weight geometric compensation. Fourthly, an example of new application to object recognition from acquired projections is showed. Finally, a real-time implementation of considered methods on GPU shows prospects for the unintrusive feature matching-based geometric compensation in SAR applications

L'informatique de bureau, qui reste le moyen principal de réaliser efficacement une large gamme de tâches, continue d'afficher des informations confinées aux écrans. De nombreuses tentatives d'affichage au-delà d'un seul écran se sont révélées prometteuses, allant de l'utilisation de plusieurs écrans à l'utilisation de projecteurs ou de casques de réalité mixte. Cependant, cette extension se fait souvent à partir de l'écran du bureau vers d'autres appareils, sans tenir compte de l'environnement physique et des activités de l'utilisateur.Cette thèse explore une nouvelle forme de système projecteur-caméra à manipulation directe, qui exploite les caractéristiques uniques du mouvement physique d'une lampe de bureau pour manipuler du contenu interactif vers et depuis l'écran de bureau, mais aussi vers et depuis différents dispositifs et le reste de l'environnement physique, tout cela en conservant une connaissance du contexte de l'espace de travail.Trois projets explorent la conception, le prototypage et les facteurs humains associés à un système de lampe augmentée dans lequel la lampe fonctionne comme un dispositif d'entrée et de sortie reliant l'ordinateur de bureau et l'environnement physique.Dans le premier projet, un espace de conception d'interaction est introduit pour la manipulation physique directe à l'aide d'une lampe d'architecte avec une preuve de concept utilisant un projecteur et un système de suivi des mouvements. Nous démontrons son potentiel à travers trois scénarios, décrivons les résultats de l'étude évaluant son potentiel et détaillons les implications en termes de conception. Dans le second projet, nous étudions les impacts sur la performance de l'utilisateur et les stratégies d'interaction lorsqu'il interagit avec une lampe augmentée dans un espace de bureau. Nous menons une expérience contrôlée en réalité virtuelle pour comprendre l'impact de deux mécanismes de contrôle pour les tâches d'acquisition de cibles avec un affichage dynamique de type peephole : "couplé", lorsque le centre de l'affichage est utilisé pour la sélection et "découplé", lorsque la sélection est gérée par des entrées séparées comme le toucher direct. Nous constatons que les deux mécanismes de contrôle présentent des différences subtiles en termes de temps de réalisation de la tâche et d'erreur, mais que les utilisateurs suivent des stratégies différentes pour coordonner le mouvement de l'écran dynamique avec les différentes techniques d'acquisition de cibles.Dans le troisième projet, nous explorons cette observation dans un contexte plus général. En utilisant un environnement de réalité virtuelle contrôlé, nous menons une expérience pour étudier si ce que les utilisateurs ont l'intention de faire avec une cible virtuelle a un impact sur la façon dont ils planifient et effectuent l'acquisition initiale de la cible. Nos résultats permettent de comprendre les profils de mouvement de l'utilisateur avant l'acquisition pour différentes interactions prévues avec la même cible. Nous discutons de la manière dont ces profils de mouvement peuvent ensuite être utilisés pour améliorer la conception de la lampe, par exemple en y intégrant des capteurs de force pour améliorer la prise de compte de l'activité de l'utilisateur. L'ensemble de ces résultats sont prometteurs pour étendre l'informatique de bureau actuelle à l'environnement physique du bureau, sur la base d'une compréhension plus approfondie des activités de l'utilisateur dans cet espace
Desktop computing, despite its long-standing dominance in personal productivity, remains largely confined to screens. Many efforts to expand beyond a single screen, from multiple monitors to incorporating projector-camera units or head-mounted displays, have shown promise. However, this is often from the desktop display to other devices and it lacks the awareness of physical environments and user activities. This thesis explores a novel form of direct manipulation projector-camera system, which leverages unique characteristics of physical lamp movement to manipulate content to and from the desktop display, but also to and from devices and the physical environment, while maintaining the awareness in the workspace.Three projects examine the design, prototyping, and human factors aspects of an augmented lamp system in which the lamp works as an input and output device connecting desktop computing and physical environment. In the first project, an interaction design space is introduced for physical direct manipulation using an architect lamp with a proof-of-concept system using a projector and motion tracking system. We demonstrate its potential usage through three scenarios, describe study results evaluating its potential, and summarize design implications. In the second project, we study the impacts on user performance and interaction strategies when interacting with an augmented lamp in a desktop space. We conduct a controlled experiment in Virtual Reality to understand the impact of two control mechanisms for target acquisition tasks in a dynamic peephole display:“coupled”, when the display centre is used for selection and “decoupled”, when the selection is handled by separate inputs like direct touch. We find that two control mechanisms have subtle differences in total time and error, but people follow different strategies for coordinating the movement of dynamic peephole display with different target acquisition techniques. In the third project, we explore this observation in a more general context. Using a controlled Virtual Reality environment, we conduct an experiment to investigate whether what users intend to do with a virtual target impacts how they plan and perform the initial target acquisition. Our results lead to an understanding of user motion profiles before acquisition for different intended interactions with the same target. We discuss how these motion profiles can then be used to improve the lamp design, such as integrating force sensors into the lamp to improve activity awareness. Together, these findings establish a promising way to connect current desktop computing with the surrounding physical desktop environment based on a deeper understanding of user activities in that space

Mes travaux de recherche concernent essentiellement la vision par ordinateur, ou vision artificielle. Basiquement, je me suis efforcé d'imaginer des dispositifs, d'étudier des algorithmes, d'intégrer des méthodes et techniques connues dans des méthodologies nouvelles, de développer çà et là des aspects théoriques originaux. Je me suis beaucoup intéressé à des systèmes de vision alternatifs comme les systèmes en lumière structurée ou catadioptriques. Ces systèmes permettent d'étudier les techniques usuelles de vision par ordinateur sous un éclairage différent, ils nous obligent à ajuster le problème aux caractéristiques qui leur sont propres ; ils permettent, en quelque sorte, d'appréhender la vision par ordinateur "de biais". J'ai participé, de manière plus marginale, à des travaux sur la chirurgie virtuelle et la reconstruction d'objets transparents qui, chacun à leur manière, sont venus compléter le cadre de ce que sont mes activités de recherche. Ce qui les ont animées tient en une phrase : comment passer d'une image à sa représentation tridimensionnelle ? - et en corollaire : quelles sont les informa- tions dont j'ai besoin pour y parvenir ? comment adapter le capteur, le principe ou la méthode à l'application et comment adapter les traitements au capteur ? Ceci m'a conduit à étudier, en amont, le traitement des images et à m'aventurer parfois dans des domaines qui vont au-delà de mon champ de compétence, comme celui de l'imagerie polarimétrique ou de la physique.

Ce mémoire s'intéresse à la vision par ordinateur appliquée à des projets d'art technologique. Le sujet traité est la calibration de systèmes de caméras et de projecteurs dans des applications de suivi et de reconstruction 3D en arts visuels et en art performatif. Le mémoire s'articule autour de deux collaborations avec les artistes québécois Daniel Danis et Nicolas Reeves. La géométrie projective et les méthodes de calibration classiques telles que la calibration planaire et la calibration par géométrie épipolaire sont présentées pour introduire les techniques utilisées dans ces deux projets. La collaboration avec Nicolas Reeves consiste à calibrer un système caméra-projecteur sur tête robotisée pour projeter des vidéos en temps réel sur des écrans cubiques mobiles. En plus d'appliquer des méthodes de calibration classiques, nous proposons une nouvelle technique de calibration de la pose d'une caméra sur tête robotisée. Cette technique utilise des plans elliptiques générés par l'observation d'un seul point dans le monde pour déterminer la pose de la caméra par rapport au centre de rotation de la tête robotisée. Le projet avec le metteur en scène Daniel Danis aborde les techniques de calibration de systèmes multi-caméras. Pour son projet de théâtre, nous avons développé un algorithme de calibration d'un réseau de caméras wiimotes. Cette technique basée sur la géométrie épipolaire permet de faire de la reconstruction 3D d'une trajectoire dans un grand volume à un coût minime. Les résultats des techniques de calibration développées sont présentés, de même que leur utilisation dans des contextes réels de performance devant public.
This thesis focuses on computer vision applications for technological art projects. Camera and projector calibration is discussed in the context of tracking applications and 3D reconstruction in visual arts and performance art. The thesis is based on two collaborations with québécois artists Daniel Danis and Nicolas Reeves. Projective geometry and classical camera calibration techniques, such as planar calibration and calibration from epipolar geometry, are detailed to introduce the techniques implemented in both artistic projects. The project realized in collaboration with Nicolas Reeves consists of calibrating a pan-tilt camera-projector system in order to adapt videos to be projected in real time on mobile cubic screens. To fulfil the project, we used classical camera calibration techniques combined with our proposed camera pose calibration technique for pan-tilt systems. This technique uses elliptic planes, generated by the observation of a point in the scene while the camera is panning, to compute the camera pose in relation to the rotation centre of the pan-tilt system. The project developed in collaboration with Daniel Danis is based on multi-camera calibration. For this studio theatre project, we developed a multi-camera calibration algorithm to be used with a wiimote network. The technique based on epipolar geometry allows 3D reconstruction of a trajectory in a large environment at a low cost. The results obtained from the camera calibration techniques implemented are presented alongside their application in real public performance contexts.

Cette thèse s’intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d’intérêt identifié par l’usager. Nous reprenons une des méthodes les plus robustes à cet effet et l’améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu’effectue l’objet d’intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s’agit là, d’estimer des paramètres intrinsèques qui décrivent la projection d’entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les cam ́eras linéaires (pushbroom) et les vidéo projecteurs lesquels ́etaient, jusque là, calibrés de façon laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à-priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra.
The topic of this thesis revolves around three fundamental problems in computer vision; namely, video tracking, camera calibration and shape recovery. The proposed methods are solely based on photometric and geometric constraints found in the images. Video tracking, usually performed on a video sequence, consists in tracking a region of interest, selected manually by an operator. We extend a successful tracking method by adding the ability to estimate the orientation of the tracked object. Furthermore, we consider another fundamental problem in computer vision: cali- bration. Here we tackle the problem of calibrating linear cameras (a.k.a: pushbroom) and video projectors. For the former one we propose a convenient plane-based cali- bration algorithm and for the latter, a calibration algorithm that does not require a physical grid and a planar auto-calibration algorithm. Finally, we pointed our third research direction toward shape reconstruction using coplanar shadows. This technique is known to suffer from a bas-relief ambiguity if no extra information on the scene or light source is provided. We propose a simple method to reduce this ambiguity from four to a single parameter. We achieve this by taking into account the visibility of the light spots in the camera.
Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble).