Dissertations / Theses on the topic 'Stereoscopic cameras'

This thesis analyzes the problem of acquiring stereoscopic images in all gazing directions around a reference viewpoint in space with the purpose of creating stereoscopic panoramas of non-static scenes. The generation of immersive stereoscopic imagery suitable to stimulate human stereopsis requires images from two distinct viewpoints with horizontal parallax in all gazing directions, or to be able to simulate this situation in the generated imagery. The available techniques to produce omnistereoscopic imagery for human viewing are not suitable to capture dynamic scenes stereoscopically. This is a not trivial problem when considering acquiring the entire scene at once while avoiding self-occlusion between multiple cameras. In this thesis, the term omnidirectional refers to all possible gazing directions in azimuth and a limited set of directions in elevation. The acquisition of dynamic scenes restricts the problem to those techniques suitable for collecting in one simultaneous exposure all the necessary visual information to recreate stereoscopic imagery in arbitrary gazing directions. The analysis of the problem starts by defining an omnistereoscopic viewing model for the physical magnitude to be measured by a panoramic image sensor intended to produce stereoscopic imagery for human viewing. Based on this model, a novel acquisition model is proposed, which is suitable to describe the omnistereoscopic techniques based on horizontal stereo. From this acquisition model, an acquisition method based on multiple cameras combined with the rendering by mosaicking of partially overlapped stereoscopic images is identified as a good candidate to produce omnistereoscopic imagery of dynamic scenes. Experimental acquisition and rendering tests were performed for different multiple-camera configurations. Furthermore, a mosaicking criterion between partially overlapped stereoscopic images based on the continuity of the perceived depth and the prediction of the location and magnitude of unwanted vertical disparities in the final stereoscopic panorama are two main contributions of this thesis. In addition, two novel omnistereoscopic acquisition and rendering techniques were introduced. The main contributions to this field are to propose a general model for the acquisition of omnistereoscopic imagery, to devise novel methods to produce omnistereoscopic imagery, and more importantly, to contribute to the awareness of the problem of acquiring dynamic scenes within the scope of omnistereoscopic research.

It is commonly known that stereopsis is the primary way for humans to perceive depth. Although, with one eye, we can still interact very well with our environment and do very highly skillful tasks by using other visual cues such as occlusion and motion, the resultant e ect of the absence of stereopsis is that the relative depth information between objects is essentially lost (Frisby,1979). While humans fuse the images seen by the left and right eyes in a seemingly easy way, the major problem - the correspondence of features - that needs to be solved in all binocular stereo systems of machine vision is not trivial. In this thesis, line segments and corners are chosen to be the features to be matched because they typically occur at object boundaries, surface discontinuities, and across surface markings. Polygonal regions are also selected since they are known to be well-configured and are, very often, associated with salient structures in the image. The use of these high level features, although helping to diminish matching ambiguities, does not completely resolve the matching problem when the scene contains repetitive structures. The spatial relationships between the feature matching pairs enforced in the stereo matching process, as proposed in this thesis, are found to provide even stronger support for correct feature matching pairs and, as a result, incorrect matching pairs can be largely eliminated. Getting global and salient 3D structures has been an important prerequisite for environmental modelling and understanding. While research on postprocessing the 3D information obtained from stereo has been attempted (Ayache and Faugeras, 1991), the strategy presented in this thesis for retrieving salient 3D descriptions is propagating the prominent information extracted from the 2D images to the 3D scene. Thus, the matching of two prominent 2D polygonal regions yields a prominent 3D region, and the inter-relation between two 2D region matching pairs is passed on and taken as a relationship between two 3D regions. Humans, when observing and interacting with the environment do not confine themselves to the observation and then the analysis of a single image. Similarly stereopsis can be vastly improved with the introduction of additional stereo image pairs. Eye, head, and body movements provide essential mobility for an active change of viewpoints, the disocclusion of occluded objects, the avoidance of obstacles, and the performance of any necessary tasks on hand. This thesis presents a mobile stereo vision system that has its eye movements provided by a binocular head support and stepper motors, and its body movements provided by a mobile platform, the Labmate. With a viewer centred coordinate system proposed in this thesis the computation of the 3D information observed at each individual viewpoint, the merging of the 3D in formation at consecutive viewpoints for environmental reconstruction, and strategies for movement control are discussed in detail.

Thesis (MScEng)--Stellenbosch University, 2002.
ENGLISH ABSTRACT: We present all the components needed for a fully-fledged stereo vision system, ranging from object detection through camera calibration to depth perception. We propose an efficient, automatic and practical method to calibrate cameras for use in 3D machine vision metrology. We develop an automated stereo calibration system that only requires a series of views of a manufactured calibration object in unknown positions. The system is tested against real and synthetic data, and we investigate the robustness of the proposed method compared to standard calibration practice. All the aspects of 3D stereo reconstruction is dealt with and we present the necessary algorithms to perform epipolar rectification on images as well as solving the correspondence and triangulation problems. It was found that the system performs well even in the presence of noise, and calibration is easy and requires no specialist knowledge.
AFRIKAANSE OPSOMMING: Ons beskryf al die komponente van 'n omvattende stereo visie sisteem. Die kern van die sisteem is 'n effektiewe, ge-outomatiseerde en praktiese metode om kameras te kalibreer vir gebruik in 3D rekenaarvisie. Ons ontwikkel 'n outomatiese, stereo kamerakalibrasie sisteem wat slegs 'n reeks beelde van 'n kalibrasie voorwerp in onbekende posisies vereis. Die sisteem word getoets met reële en sintetiese data, en ons vergelyk die robuustheid van die metode met die standaard algoritmes. Al die aspekte van die 3D stereo rekonstruksie word behandel en ons beskryf die nodige algoritmes om epipolêre rektifikasie op beelde te doen sowel as metodes om die korrespondensie- en diepte probleme op te los. Ons wys dat die sisteem goeie resultate lewer in die aanwesigheid van ruis en dat kamerakalibrasie outomaties kan geskied sonder dat enige spesialis kennis benodig word.

Thesis (M.S.)--Worcester Polytechnic Institute.
Keywords: Feature matching in multiple cameras; Multi camera stereo computation; Patient Motion Tracking; SPECT Imaging Includes bibliographical references. (p.84-88)

Thesis (M.S. in Astronautical Engineering and M.S. in Applied Physics) Naval Postgraduate School, December 1994.
Thesis advisor(s): David Cleary, Oscar Biblarz. "December 1994." Includes bibliographical references. Also available online.

The work presented in this thesis documents the design, development and evaluation of a high performance stereoscopic telepresence system. Such a system offers the ability to enhance the operator perception of a remote and potentially hazardous environment as an aid to performing a remote task. To achieve this sensation of presence demands the design of a highly responsive remote camera system. A high performance stereo platform has been designed which utilises state- of-the-art cameras, servo drives and gearboxes. It possesses four degrees of freedom; pan, elevation and two camera vergence motions, all of which are controlled simultaneously in real-time by an open architecture controller. This has been developed on a PC/AT bus architecture and utilises a PID control regime. The controller can be easily interfaced to a range of input devices such as electromagnetic head tracking systems which provide the trajectory data for controlling the remote mechatronic platform. Experiments have been performed to evaluate both the mechatronic system and operator oriented performance aspects of the telepresence system. The mechatronic system investigations identify the overall system latency to be 80ms, which is considerably less than other current systems. The operator oriented evaluation demonstrates the necessity for a head tracked telepresence system with a head mounted display system. The need for a low latency period to achieve high operator performance and comfort during certain tasks is also established. This is evident during trajectory following experiments where the operator is required to track a highly dynamic target. The telepresence system has been fully evaluated and demonstrated to enhance operator spatial perception via a sensation of visual immersion in the remote environment.

La mesura estructurada de la llum ens permet obtenir una forma tridimensional de superfície d’un objecte amb una gran precisió. Així, troba aplicacions àmplies en aplicacions industrials. A més, projectant patrons de franja digital a l’objecte mesurat, la llum estructurada garanteix una mesura de superfície flexible. D’ altra banda, la llum estructurada també ens permet mesurar tant objectes especulars com objectes difusors. Per a la mesura d’ objectes especulars, s’ introdueix la deflectometria. Aquí, els patrons de serrells són generats per una pantalla de cristall líquid (LCD). Per a la mesura d’objectes difusors, s’introdueix la profilometria. En aquesta tècnica, els patrons de franja són projectats per un videoprojector. En aquesta tesi, primer proposem un sistema de deflectometria de mesurament en fase estereoscòpica (SPMD), que conté dues càmeres i un LCD comercial, per complir la mesura d’ objectes especulars. En particular, mitjançant la introducció de la càmera estereoscòpica, s’elimina la ambigüitat normal d’altura-normal sense moure cap component del sistema. A continuació, proposem un algoritme de minimització d’ errors de fase, que es compleix cercant la diferència de fase mínima entre els píxels corresponents de la pantalla LCD i la càmera, per determinar simultàniament la superfície normal i l’ altura. A més, per aconseguir una minimització de fases eficient, utilitzem un mètode d’ encaix polinòmic. Finalment, s’utilitza la integració bidimensional de Fourier per reconstruir la forma de la superfície especular. A part del mesurament de superfície especular amb deflectometria, també proposem un sistema de profilometria de projecció de serrells estereoscòpics (SFPP) per realitzar el mesurament de la forma de la superfície de l’objecte difusor. En particular, un sistema SFPP utilitza la mateixa càmera estereoscòpica que en la configuració de la deflectometria, però adopta un projector de vídeo per substituir la pantalla LCD per projectar els patrons de franja. Amb la introducció de la càmera estereoscòpica, evitem la complexa calibració del videoprojector, aconseguint així una gran flexibilitat del sistema. Per a la reconstrucció superficial, la triangulació geomètrica s’ implementa realitzant una interpolació de subpíxels 2D, a partir de la qual millorem la precisió de reconstrucció superficial. Els esmentats dos sistemes només ens permeten mesurar la forma superficial d’ un objecte especular o d’ un difusor, però mostren insuficiències per mesurar un objecte híbrid especular-difusor. En aquest escenari, combinem tots dos sistemes per realitzar el mesurament d’objectes híbrids de difusió especular. Aquí, un sistema híbrid de deflectometria-perfilometria estereoscòpica (SDPH) conté la càmera estereoscòpica, una pantalla LCD i un projector de vídeo. En aquest cas, aquest sistema híbrid supera la inadequació de sistemes lluminosos estructurats de projecció única, ja que no només garanteix la mesura d’objectes especulars o difusors, sinó que també permet la mesura d’objectes híbrids especular-difusors. Per tant, s’ amplia encara més l’ aplicació de la mesura estructurada de la llum. En resum, demostrem en aquesta tesi tres sistemes de llum estructurats basats en càmeres estereoscòpics per realitzar el mesurament de la forma en superfície tridimensional. Aquests sistemes estereoscòpics revelen un gran potencial, ja que són capaços de mesurar les formes superficials d’objectes especulars, objectes difusors i fins i tot d’objectes híbrids de difusió especulativa amb alta resolució. Els sistemes proposats poden ser beneficiosos en diverses aplicacions industrials, on es requereix un sistema de mesura de forma precisa de superfície amb un esquema fàcil d’ implementar.
La medición de luz estructurada nos permite obtener la forma tridimensional de la superficie de un objeto con alta precisión. Por lo tanto, encuentra amplias aplicaciones en aplicaciones industriales. Además, al proyectar patrones de franjas digitales en el objeto medido, la luz estructurada garantiza una medición de superficie flexible. Por otro lado, la luz estructurada también nos permite medir objetos especulares y objetos difusores. Para la medición de objetos especulares, se introduce la deflectometría. Aquí, los patrones marginales son generados por una pantalla de cristal líquido (LCD). Para la medición de objetos difusores, se introduce la profilometría. En esta técnica, los patrones marginales son proyectados por un video proyector. En esta tesis, en primer lugar, proponemos un sistema de deflectometría de medición de fase estereoscópica (SPMD), que contiene dos cámaras y una pantalla LCD comercial, para cumplir con la medición del objeto especular. En particular, al introducir la cámara estereoscópica, se elimina la ambigüedad no deseada de altura normal sin mover ningún componente del sistema. Aquí, proponemos un algoritmo de minimización de error de fase, que se cumple buscando la diferencia de fase mínima entre los píxeles correspondientes de la pantalla LCD y la cámara, para determinar simultáneamente la superficie normal y la altura. Además, para lograr una minimización de fase eficiente, utilizamos un método de ajuste polinómico. Finalmente, la integración bidimensional de Fourier se utiliza para reconstruir la forma de la superficie especular. Además de la medición de superficie especular con deflectometría, también proponemos un sistema de perfilometría de proyección de franja estereoscópica (SFPP) para lograr la medición de la forma de la superficie del objeto difusor. En particular, un sistema SFPP utiliza la misma cámara estereoscópica que en la configuración de deflectometría, pero adopta un proyector de video para reemplazar la pantalla LCD y proyectar los patrones marginales. Al presentar la cámara estereoscópica, evitamos la compleja calibración del proyector de video y, por lo tanto, se logra una gran flexibilidad del sistema. Para la reconstrucción de la superficie, la triangulación geométrica se implementa mediante la realización de una interpolación de subpíxeles 2D, desde la cual mejoramos la precisión de la reconstrucción de la superficie. Los dos sistemas mencionados anteriormente solo nos permiten medir la forma de la superficie de un objeto especular o difusor, pero muestran insuficiencias para medir un objeto híbrido especular-difusor. Bajo este escenario, combinamos ambos sistemas para realizar la medición de objeto híbrido especular-difusor. Aquí, un sistema híbrido de deflectometría-profilometría estereoscópica (SDPH) contiene la cámara estereoscópica, un LCD y un proyector de video. En este caso, este sistema híbrido supera la insuficiencia de los sistemas de luz estructurada de proyección única, ya que no solo garantiza la medición de objetos especulares o difusores, sino que también permite la medición de objetos híbridos especulares-difusores. Por lo tanto, la aplicación de la medición de luz estructurada se amplía aún más. En resumen, demostramos en esta tesis tres sistemas de luz estructurada basados en cámaras estereoscópicas para realizar mediciones tridimensionales de la forma de la superficie. Estos sistemas estereoscópicos revelan un gran potencial, ya que son capaces de medir las formas superficiales de objetos especulares, objetos difusores e incluso objetos híbridos de difusor especular con alta resolución. Los sistemas propuestos podrían ser beneficiosos en diversas aplicaciones industriales, donde se requiere un sistema preciso de medición de la forma de la superficie con un esquema fácil de implementar.
Structured light measurement allows us to obtain three-dimensional surface shape of an object with high accuracy. Thus, it finds extensive applications in industrial applications. Moreover, by projecting digital fringe patterns to the measured object, structured light guarantees a flexible surface measurement. On the other hand, structured light also allows us to measure both specular objects and diffuser objects. For specular object measurement, deflectometry is introduced. Here, the fringe patterns are generated by a liquid crystal display (LCD). For diffuser object measurement, profilometry is introduced. In this technique, the fringe patterns are projected by a video projector. In this thesis, we firstly propose a stereoscopic phase measuring deflectometry (SPMD) system, which contains two cameras and a commercial LCD, to fulfill the specular object measurement. In particular, by introducing the stereoscopic camera, the undesired height-normal ambiguity is eliminated without moving any system component. Here, we propose a phase error minimization algorithm, which is fulfilled by searching the minimum phase difference between the corresponding pixels of the LCD and the camera, to simultaneously determine the surface normal and height. What is more, to accomplish an efficient phase minimization, we use a polynomial fitting method. Finally, two-dimensional Fourier integration is used to reconstruct the specular surface shape. Apart from the specular surface measurement with deflectometry, we also propose a stereoscopic fringe projection profilometry (SFPP) system to accomplish the diffuser object surface shape measurement. In particular, an SFPP system uses the same stereoscopic camera as in the deflectometry set-up, but it adopts a video projector to replace the LCD to project the fringe patterns. By introducing the stereoscopic camera, we avoid the complex video projector calibration, and thus, a great system flexibility is achieved. For surface reconstruction, geometric triangulation is implemented by performing a 2D sub-pixel interpolation, from which we enhance the surface reconstruction accuracy. The aforementioned two systems enable us only to measure the surface shape of either a specular or a diffuser object, but they show inadequacies to measure a specular-diffuser hybrid object. Under this scenario, we combine both systems to perform the specular-diffuser hybrid object measurement. Here, a stereoscopic deflectometry-profilometry hybrid (SDPH) system contains the stereoscopic camera, an LCD and a video projector. In this case, this hybrid system overcomes the inadequacy of single projection structured light systems, as it not only ensures to measure specular or diffuser object, but it also allows the measurement of specular-diffuser hybrid objects. Hence, the application of structured light measurement is further broadened. In summary, we demonstrate in this thesis three stereoscopic camera based structured light systems to perform three-dimensional surface shape measurement. These stereoscopic systems reveal great potential as they are able to measure the surface shapes of specular objects, diffuser objects and even specular-diffuser hybrid objects with high resolution. The proposed systems could be beneficial in various industrial applications, where an accurate surface shape measurement system with an easy implemented scheme is required.

Le travail présenté dans ce mémoire s'inscrit dans le cadre de l'étude de systèmes de télévision stéréoscopiques, et plus particulièrement d'un système de télévision en relief (TV3D) base sur une prise de vue à trois cameras. La télévision 3-D permet aux téléspectateurs de percevoir des séquences télévisuelles en relief. Le système se décompose en trois parties: acquisition, compression et transmission, restitution du relief. Nous étudions d'abord les différentes parties constituant la chaine complète de télévision en relief. Les différents systèmes de TV3D existants sont ensuite analysés. La reconstitution d'images en relief sur un téléviseur est étudiée puisque c'est lors de la restitution que l'ensemble de la TV3D va être jugée. En vue d'assurer la conformité des images stéréoscopiques, les prises de vue à cameras parallèles et convergentes sont caractérisées. A partir de l'analyse des schémas existants, un système de télévision en relief original basé sur une prise de vue à trois cameras: gauche, centre, droite est présenté. Ce système est conçu afin d'assurer une meilleure compatibilité 2D-3D. La camera cyclopéenne permet d'obtenir directement l'image compatible avec le système standard 2D et une symétrie de qualité entre les images stéréoscopiques pour la visualisation en relief. Afin de valider le système proposé, des comparaisons sont effectuées avec les systèmes de TV3D classiques basés sur une prise de vue à deux cameras. La comparaison des performances (rapports signal a bruit, débits) des différents systèmes permet de valider notre système à trois cameras. Les expérimentations sur des images réelles montrent l'intérêt du système présenté pour la qualité des images reconstruites à la réception

Aquesta tesi s'emmarca dins del projecte CICYT TAP 1999-0443-C05-01. L'objectiu d'aquest projecte és el disseny, implementació i avaluació de robots mòbils, amb un sistema de control distribuït, sistemes de sensorització i xarxa de comunicacions per realitzar tasques de vigilància. Els robots han de poder-se moure per un entorn reconeixent la posició i orientació dels diferents objectes que l'envolten. Aquesta informació ha de permetre al robot localitzar-se dins de l'entorn on es troba per poder-se moure evitant els possibles obstacles i dur a terme la tasca encomanada. El robot ha de generar un mapa dinàmic de l'entorn que serà utilitzat per localitzar la seva posició. L'objectiu principal d'aquest projecte és aconseguir que un robot explori i construeixi un mapa de l'entorn sense la necessitat de modificar el propi entorn.
Aquesta tesi està enfocada en l'estudi de la geometria dels sistemes de visió estereoscòpics formats per dues càmeres amb l'objectiu d'obtenir informació geomètrica 3D de l'entorn d'un vehicle. Aquest objectiu tracta de l'estudi del modelatge i la calibració de càmeres i en la comprensió de la geometria epipolar. Aquesta geometria està continguda en el que s'anomena emph{matriu fonamental}. Cal realitzar un estudi del càlcul de la matriu fonamental d'un sistema estereoscòpic amb la finalitat de reduir el problema de la correspondència entre dos plans imatge. Un altre objectiu és estudiar els mètodes d'estimació del moviment basats en la geometria epipolar diferencial per tal de percebre el moviment del robot i obtenir-ne la posició. Els estudis de la geometria que envolta els sistemes de visió estereoscòpics ens permeten presentar un sistema de visió per computador muntat en un robot mòbil que navega en un entorn desconegut. El sistema fa que el robot sigui capaç de generar un mapa dinàmic de l'entorn a mesura que es desplaça i determinar quin ha estat el moviment del robot per tal de emph{localitzar-se} dins del mapa.
La tesi presenta un estudi comparatiu dels mètodes de calibració de càmeres més utilitzats en les últimes dècades. Aquestes tècniques cobreixen un gran ventall dels mètodes de calibració clàssics. Aquest mètodes permeten estimar els paràmetres de la càmera a partir d'un conjunt de punts 3D i de les seves corresponents projeccions 2D en una imatge. Per tant, aquest estudi descriu un total de cinc tècniques de calibració diferents que inclouen la calibració implicita respecte l'explicita i calibració lineal respecte no lineal. Cal remarcar que s'ha fet un gran esforç en utilitzar la mateixa nomenclatura i s'ha estandaritzat la notació en totes les tècniques presentades. Aquesta és una de les dificultats principals a l'hora de poder comparar les tècniques de calibració ja què cada autor defineix diferents sistemes de coordenades i diferents conjunts de paràmetres. El lector és introduït a la calibració de càmeres amb la tècnica lineal i implícita proposada per Hall i amb la tècnica lineal i explicita proposada per Faugeras-Toscani. A continuació es passa a descriure el mètode a de Faugeras incloent el modelatge de la distorsió de les lents de forma radial. Seguidament es descriu el conegut mètode proposat per Tsai, i finalment es realitza una descripció detallada del mètode de calibració proposat per Weng. Tots els mètodes són comparats tant des del punt de vista de model de càmera utilitzat com de la precisió de la calibració. S'han implementat tots aquests mètodes i s'ha analitzat la precisió presentant resultats obtinguts tant utilitzant dades sintètiques com càmeres reals.
Calibrant cada una de les càmeres del sistema estereoscòpic es poden establir un conjunt de restriccions geomètri ques entre les dues imatges. Aquestes relacions són el que s'anomena geometria epipolar i estan contingudes en la matriu fonamental. Coneixent la geometria epipolar es pot: simplificar el problema de la correspondència reduint l'espai de cerca a llarg d'una línia epipolar; estimar el moviment d'una càmera quan aquesta està muntada sobre un robot mòbil per realitzar tasques de seguiment o de navegació; reconstruir una escena per aplicacions d'inspecció, propotipatge o generació de motlles. La matriu fonamental s'estima a partir d'un conjunt de punts en una imatges i les seves correspondències en una segona imatge. La tesi presenta un estat de l'art de les tècniques d'estimació de la matriu fonamental. Comença pels mètode lineals com el dels set punts o el mètode dels vuit punts, passa pels mètodes iteratius com el mètode basat en el gradient o el CFNS, fins arribar las mètodes robustos com el M-Estimators, el LMedS o el RANSAC. En aquest treball es descriuen fins a 15 mètodes amb 19 implementacions diferents. Aquestes tècniques són comparades tant des del punt de vista algorísmic com des del punt de vista de la precisió que obtenen. Es presenten el resultats obtinguts tant amb imatges reals com amb imatges sintètiques amb diferents nivells de soroll i amb diferent quantitat de falses correspondències.
Tradicionalment, l'estimació del moviment d'una càmera està basada en l'aplicació de la geometria epipolar entre cada dues imatges consecutives. No obstant el cas tradicional de la geometria epipolar té algunes limitacions en el cas d'una càmera situada en un robot mòbil. Les diferencies entre dues imatges consecutives són molt petites cosa que provoca inexactituds en el càlcul de matriu fonamental. A més cal resoldre el problema de la correspondència, aquest procés és molt costós en quant a temps de computació i no és gaire efectiu per aplicacions de temps real. En aquestes circumstàncies les tècniques d'estimació del moviment d'una càmera solen basar-se en el flux òptic i en la geometria epipolar diferencial. En la tesi es realitza un recull de totes aquestes tècniques degudament classificades. Aquests mètodes són descrits unificant la notació emprada i es remarquen les
semblances i les diferencies entre el cas discret i el cas diferencial de la geometria epipolar. Per tal de poder aplicar aquests mètodes a l'estimació de moviment d'un robot mòbil, aquest mètodes generals que estimen el moviment d'una càmera amb sis graus de llibertat, han estat adaptats al cas d'un robot mòbil que es desplaça en una superfície plana. Es presenten els resultats obtinguts tant amb el mètodes generals de sis graus de llibertat com amb els adaptats a un robot mòbil utilitzant dades sintètiques i seqüències d'imatges reals.
Aquest tesi finalitza amb una proposta de sistema de localització i de construcció d'un mapa fent servir un sistema estereoscòpic situat en un robot mòbil. Diverses aplicacions de robòtica mòbil requereixen d'un sistema de localització amb l'objectiu de facilitar la navegació del vehicle i l'execució del les trajectòries planificades. La localització es sempre relativa al mapa de l'entorn on el robot s'està movent. La construcció de mapes en un entorn desconegut és una tasca important a realitzar per les futures generacions de robots mòbils. El sistema que es presenta realitza la localització i construeix el mapa de l'entorn de forma simultània. A la tesi es descriu el robot mòbil GRILL, que ha estat la plataforma de treball emprada per aquesta aplicació, amb el sistema de visió estereoscòpic que s'ha dissenyat i s'ha muntat en el robot. També es descriu tots el processos que intervenen en el sistema de localització i construcció del mapa. La implementació d'aquest processos ha estat possible gràcies als estudis realitzats i presentats prèviament (calibració de càmeres, estimació de la matriu fonamental, i estimació del moviment) sense els quals no s'hauria pogut plantejar aquest sistema. Finalment es presenten els mapes en diverses trajectòries realitzades pel robot GRILL en el laboratori.
Les principals contribucions d'aquest treball són:
·Un estat de l'art sobre mètodes de calibració de càmeres. El mètodes són comparats tan des del punt de vista del model de càmera utilitzat com de la precisió dels mètodes.
·Un estudi dels mètodes d'estimació de la matriu fonamental. Totes les tècniques estudiades són classificades i descrites des d'un punt de vista algorísmic.
·Un recull de les tècniques d'estimació del moviment d'una càmera centrat en el mètodes basat en la geometria epipolar diferencial. Aquestes tècniques han estat adaptades per tal d'estimar el moviment d'un robot mòbil.
·Una aplicació de robòtica mòbil per tal de construir un mapa dinàmic de l'entorn i localitzar-se per mitja d'un sistema estereoscòpic. L'aplicació presentada es descriu tant des del punt de vista del maquinari com del programari que s'ha dissenyat i implementat.
Human eyes have been widely studied by the scientific community so that its operation principle is widely known. Computer vision tries to copy the way human beings perceive visual information by means of using cameras acting as eyeballs and computers aspiring to process this information in an --intelligent way". The complex task of being conscious of reality is obviously divided into a set of simpler problems which covers from image acquisition to scene description. One of the main applications is robot perception in which a mobile robot is equipped with a computer vision system. Robots may be able to navigate around an unknown structured environment acquiring visual information of their surroundings with the aim of estimating the position and orientation of every obstacle. Moreover, the pose of the vehicle has to be estimated as accurate as possible. Hence, the motion of the vehicle might be also computed allowing the localization of the vehicle with respect to the 3D map.
This thesis is focused on the study of the geometry involved in stereo vision systems composed by two cameras with the aim of obtaining 3D geometric information of the vehicle surroundings. This objective deals to the study of camera modelling and calibration and the comprehension of the epipolar geometry. Then, the computation of the fundamental matrix of a stereoscopic system is surveyed with the aim of reducing the correspondence problem between both image planes. An accurate estimation of the fundamental matrix allows us not only to compute 3D information of the vehicle environments, but to validate it. Nevertheless, the traditional case of the epipolar geometry has some limitations in the common case of a single camera attached to a mobile robot. Disparities between two consecutive images are rather small at common image rates leading to numerical inaccuracies on the computation of the fundamental matrix. Then, another objective is the study of general vision-based egomotion estimation methods based on the differential epipolar constraint with the aim of perceiving the robot movement instead of its position.
The study of the geometry involved in stereo vision systems leads us to present a computer vision system mounted on a vehicle which navigates in an unknown environment. Two main tasks are faced: a) the localization of the vehicle; and b) the building of an absolute 3D map.
El sistema de visión humano ha sido ampliamente estudiado por la comunidad científica de forma que su principio de funcionamiento es profundamente conocido. La Visión por Computador trata de copiar la forma que nosotros los humanos percibimos la información visual por medio del uso de cámaras actuando como ojos y un ordenador aspirando a procesar toda la información de "forma inteligente". La compleja tarea de ser consciente de la realidad es obviamente dividida en un conjunto de problemas mucho más simples, los cuales abarcan des de la adquisición de la imagen a la descripción de la escena. Una de las numerosas aplicaciones es la percepción por parte de un robot, donde un robot móvil es equipado con un sistema informático de visión por computador. Estos robots deben ser capaces de navegar a lo largo de un entorno estructurado desconocido mediante la adquisición de información visual de su alrededor, con el objetivo de estimar la posición y orientación de todos los obstáculos. Además, la posición del vehículo debe ser estimada de la forma más precisa posible. De esta forma, el movimiento del vehículo puede ser también calculado lo que permite la localización del vehículo con respeto al mapa 3D.
Esta tesis profundiza en el estudio de la geometría existente en los sistemas de visión estéreo compuestos por dos cámaras con la intención de obtener información geométrica 3D del entorno del vehículo. Este objetivo lleva consigo la necesidad inicial de realizar un estudio de modelado de la cámara y calibración, y la compensación de la geometría epipolar. A continuación, el cálculo de la matriz fundamental de un sistema esteresocópico es analizado para reducir el problema de la correspondencia entre ambos planos de la imagen. Una estimación precisa de la matriz fundamental nos permite no solamente obtener la información 3D del entorno, sino también validar la misma. No obstante, la geometría epipolar tradicional sufre algunas limitaciones en el caso de una cámara montada en un robot móvil. La disparidad entre dos imágenes consecutivas es realmente mínima trabajando a velocidad estándar lo que conlleva a errores numéricos en el cálculo de la matriz fundamental. Por esta razón, otro objetivo es el estudio de los métodos de estimación del movimiento basados en la geometría epipolar diferencial con el objetivo de pervivir el movimiento del robot y su posición.
El estudio de la geometría inmersa en los sistemas de visión estéreo nos lleva a presentar un sistema de visión por computador montado en un vehículo capaz de navegar en un entorno desconocido. Dos tareas básicas son consideradas: a) la localización del vehículo; y b) la construcción de un mapa 3D absoluto.

We have a chance to live in one of greatest age in technical improvement, especially information technology. In this age, the time plays power full part. Five years in IT is in compare with humans life a like a full one generation. We can only speed up or speed down this improvement. And a human life improvement? It makes simpler just a technics. In the beginning it was necessity when a human was substituted by technics. Later it helps and salving. And in a top when human don’t need, when it don’t solve but especially in this time when people are in comfort of anything pushed by himself to searching new experience right in this part of life the technics upgrade and makes comfortable living. Right in this chapter pertain this theme which you may follow up in this project.

Ce mémoire de thèse traite de la mise en correspondance d'images pour des applications de vision stéréoscopique ou de stabilisation d'images de caméras vidéo. les méthodes de mise en correspondance reposent généralement sur l'utilisation de points d'intérêts dans les images, c'est-à-dire de points qui présentent de fortes discontinuités d'intensité lumineuse. Nous présentons tout d'abord un nouveau descripteur de points d'intérêt, obtenu au moyen d'un filtre anisotropique rotatif qui délivre en chaque point d'intérêt une signature mono-dimensionnelle basée sur un gradient d'intensité. Invariant à la rotationpar construction, ce descripteur possède de trés bonnes propriétés de robustesse et de discrimination. Nous proposons ensuite une nouvelle méthode d'appariement invariante aux transformations euclidiennes et affines. Cette méthode exploite la corrélation des signatures sous l'hypothèse de faibles déformations, et définit une mesure de distance nécessaire à l'appariement de points. Les résultats obtenus sur des images difficiles laissent envisager des prolongements prometteurs de cette méthode
This thesis adresses the issue of image matching for stereoscopic vison applications and image stabilization of video cameras. Methods of mapping are generally based on the use of interest points in the images, i.e. of points which have strong discontinuities in light intensity. We first present a new descriptor of points of interest, obtained by means of an anisotropic rotary filter which delivers at each point of interest a one-dimensional signature based on an intensity gradient. Invariant to rotation by construction, thisdescriptor has very good properties of robustness and discrimination. We then propose a new matching method invariant to Euclidean and affine transformations. This method exploits the correlation of the signatures subject to moderate warping, and defines a distance measure, necesssary for the matching of points. the results obtained on difficult images augur promising extentions to this method

1. Depth map generation for 2d-to-3d conversion by short-term motion assisted color segmentation/Yu-Lin Chang, Chih-Ying Fang, Li-Fu Ding, Shao-Yi Chen, and Liang-Gee Chen - DSP/IC Design Lab, Graduate Institute of Electronics Engineering, National Taiwan University, Taipei, Taiwan 2. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms // Int. Journal of Computer Vision 47. April-June 2002. PP. 7–42. 3. Разработка и исследование алгоритма вычисления карты глубины стереоизображения/ В.В. Воронин. 4. Метод оценки глубины сцены и текстуры невидимых частей изображения URL: https://neurohive.io/ru/papers/pokazat-to-chto-skryto-metod-ocenki-glubiny-i-nevidimyh-chastej-izobrazhenij/ (Last accessed: 11.01.2021).
One of the data processing applications is stereo vision, in which obtaining a three-dimensional scene is based on models for determining the depths of key points of images from a video sequence or several images. If it is considered an example with a person, then a two-dimensional image is formed on the retina, but despite this, a person perceives the depth of space, that is, has three-dimensional, stereoscopic vision. As a result, in the presence of data on the size of an object, it can be estimated the distance to it or understand which of the objects is closer. When one object is in front of the other and partially obscures it, the person perceives the front object at a closer distance. Because of this, the need arose to teach machine devices to do this for various tasks. Based on the processing results, you can have spatial information for assessing the relief, obstacles while driving, etc. This algorithm is based on combining images of the same object, photographed or filmed on video with constant camera parameters and in the same focal plane from different angles, allows to obtain information about the distance to the object by perspective distortions (discrepancies).
Одним із додатків для обробки даних є стереобачення, в якому отримання тривимірної сцени базується на моделях для визначення глибини ключових точок зображень із відеопослідовності або декількох зображень. Якщо це розглядати як приклад з людиною, то на сітківці утворюється двовимірне зображення, але, незважаючи на це, людина сприймає глибину простору, тобто має тривимірне, стереоскопічне бачення. Як результат, за наявності даних про розмір об’єкта можна оцінити відстань до нього або зрозуміти, який з об’єктів знаходиться ближче. Коли один предмет перебуває перед іншим і частково затемнює його, людина сприймає передній предмет на більш близькій відстані. Через це виникла потреба навчити машинні пристрої робити це для різних завдань. На основі результатів обробки ви можете мати просторову інформацію для оцінки рельєфу, перешкод під час руху тощо. Цей алгоритм заснований на поєднанні зображень одного і того ж об'єкта, сфотографованих чи знятих на відео з постійними параметрами камери і в одній і тій же фокальній площині з різних кутів, дозволяє отримувати інформацію про відстань до об'єкта шляхом перспективних спотворень (розбіжностей).

Syfte: Att ta fram en metod för att hjälpa mindre sågverk att bättre tillvarata mesta möjliga virke från en timmerstock. Metod: En kvantitativ studie där tre iterationer genomförts enligt Design Science. Resultat: För att skapa en effektiv algoritm som ska utföra volymberäkningar i ett punktmoln som består av cirka två miljoner punkter i ett industriellt syfte ligger fokus i att algoritmen är snabb och visar rätt data. Det primära målet för att göra algoritmen snabb är att bearbeta punktmolnet ett minimalt antal gånger. Den algoritm som uppfyller delmålen i denna studie är Algoritm C. Algoritmen är både snabb och har en låg standardavvikelse på mätfelen. Algoritm C har komplexiteten O(n) vid analys av delpunktmoln. Implikationer: Med utgångspunkt från denna studies algoritm skulle det vara möjligt att använda stereokamerateknik för att hjälpa mindre sågverk att bättre tillvarata mesta möjliga virke från en timmerstock. Begränsningar: Studiens algoritm har utgått från att inga punkter har skapats inuti stocken vilket skulle kunna leda till felplacerade punkter. Om en stock skulle vara krokig överensstämmer inte stockens centrum med z-axelns placering. Detta är något som skulle kunna innebära att z-värdet hamnar utanför stocken, i extremfall, vilket algoritmen inte kan hantera.
Purpose: To develop a method that can help smaller sawmills to better utilize the greatest possible amount of wood from a log. Method: A quantitative study where three iterations has been made using Design Science. Findings: To create an effective algorithm that will perform volume calculations in a point cloud consisting of about two million points for an industrial purpose, the focus is on the algorithm being fast and that it shows the correct data. The primary goal of making the algorithm quick is to process the point cloud a minimum number of times. The algorithm that meets the goals in this study is Algorithm C. The algorithm is both fast and has a low standard deviation of the measurement errors. Algorithm C has the complexity O(n) in the analysis of sub-point clouds. Implications: Based on this study’s algorithm, it would be possible to use stereo camera technology to help smaller sawmills to better utilize the most possible amount of wood from a log. Limitations: The study’s algorithm assumes that no points have been created inside the log, which could lead to misplaced points. If a log would be crooked, the center of the log would not match the z-axis position. This is something that could mean that the z-value is outside of the log, in extreme cases, which the algorithm cannot handle.

碩士
雲林科技大學
光學電子工程研究所
98
In this research, the mathematical model of micro-prism single-lens stereo camera was proposed. The study also discussed the variety of left and right field of view resulting from zooming of imaging system, to infer the optimal micro-prism array of mobile phone cameras“ a 20°-70°-90° prism ”. This mathematical model also can be applied to the image process of stereo image pair. Accoring to the parameter of stereo camera, the overlap rate of image pair could be accurately computed. Then use of sanning immersion lithography technology to produce the micro-prism array. The originally designed triangle micro-prism array will produce the erro of structure resulted from Fresnel diffraction, so we proposed to increase the thickness of resister, increase developing time with same scan times so that the structure can be formed at the bottom area of the resister, and further reduce the effect of diffraction. And effectively raises the right-angle of the structure from 76 degrees up to 85 degrees. Finally, using the LightTools optical simulation software to simulate the image, when the right- angle of the structure is 85 degrees, it only reduced image brightness but not caused image interference. And the apex angel erro caused the image pair of some captured region can’t be used.

碩士
國立臺北科技大學
光電工程系研究所
99
The main purpose of this thesis is to achieve 3D photography by an image sensor and an optical system. Stereoscopic optical system is divided into two parts: dual lens and prime lens. The dual lens uses the afocal of Galilean optical system. The prime lens uses the structure double Gauss lens.Stereoscopic optical system let right/left view image on the right/left side image sensor. The image sensor use multi-space type. Mainly to divide the mage sensor into two capture the right and left image at the same time. From the base of the dual lens, the selected optical angle and the stereoscopic system design to disguise the principle of 3D lens design. The design condition is as follow: specification of image sensor. The design condition is as follow: specification of image sensor. This paper makes three embodiments, as VGA, 1M pixel and 2M pixel stereoscopic lenses. Embodiments of this thesis apply the design of 3D cameras and 3D camcorder. This thesis provides a kind of solution of stereoscopic lens design.

碩士
國立臺灣科技大學
色彩與照明科技研究所
107
The thesis focuses on Auto-stereoscopic 3D display and Lenticular printing, using camera array to capture images for new applications in Auto-stereoscopic technology for portrait photography and commercial photography. The proposed prototype used 17 cameras to build camera array, and was equipped with four-view auto-stereoscopic 3D display. This photography system can generate multi-view images promptly. Also, through the preview fuction of the Auto-stereoscopic images on the system, the 3D effect of the images can be presented for selection for Lenticular printing. The system’s application in existing markets for portrait photography and commercial photography were tested. To ensure its application and functionality, experiments involving human subjects were conducted. The experiments used 3 kinds of photography themes─Complex furnishings, Bullet time, and Multi people portrait─to record the respondents’ comfort level and evaluation of the stereoscopic effect. Through the experiments and analysis, acceptance and likabiling of this technology in the markets can be predicted. Further adjustments of the objects in these photograpy themes can be made base on the results of the experiments to suit customers’ desired comfort level and stereoscopic effect. Finally, the system in this study can be added to the existing markets of portrait photography and commercial photography, and create a new type of service.

碩士
國立中央大學
光電科學研究所碩士在職專班
98
With the increasing popularity of the stereoscopic movies, 3D technology has become a craze all over the world. The more advanced 3D display technology is getting, the more convenience and the realism of taking stereoscopic images has become. Therefore, in the present day, the use of the traditional dual-lens or biprism digital lens doesn’t meet the demand anymore, since it costs a lot and takes too much space. In this study, a digital lens with a micro-tetrahedron prism array plate is used to replace the traditional capture method. The four images taken from different angles and showed through the micro-tetrahedron prism array plate are able to be formed more realistically. In addition, the lens designed by optical software (Zemax and Light Tools) is 300,000 pixel, focal length (4.88mm), field of view (58.98°). Integrated with the micro-tetrahedron prism array plate, the lens forms a system with a function of taking stereoscopic images. Finally, the researcher uses the method of simulation to analyze the result of the system.

碩士
國立中央大學
光電科學研究所
99
In this study, it is proposed to employ a micro-pyramid prism array with a single camera to take four pieces images from different angles, and simultaneously the four images are distributed the sensor into four pieces evenly. Then, the former is employed to build a camera system with multi-angle views. At the beginning, the camera was designed by optical software , focal length(4.83mm) and field of view(59.48°). With the specification, the apex angle was designed to combine with camera. The article also presents a light source dividing into four pieces to simulate a three-dimension object. Finally, the researcher used the optical software(LightTools) to simulate the study, and to verify the theory working.

碩士
國立雲林科技大學
機械工程系碩士班
97
This study is aimed developing the technology for manufacture of one of the key components of single-lens stereoscopic: micro-prism array plate. Profile grinder (PG) method is proposed to generate the micro features and then PMMA micro injection molding technique is applied to achieve the final parts. During mold filling, higher shear rate may result in difference in density, which may affect refraction index of the molded parts. In 2008, we proposed a novel design that had a micro-prism array mounted on the camera to achieve stereoscopic function. This micro-prism array plate was expected to demonstrate right and left images by using only a regular single-lens camera. After verification of the idea, real micro-prism array plates are produced by PMMA micro injection molding technique in this work. Moldex-3D is used to do the mold flow simulation to help the mold design. The angles and dimensions of the micro-prism are obtained after the optical and flow simulation . The mold cavity with micro features is then manufactured by the profile grinder (PG)method and subsequent polishing process. The material used for molding the micro-prism plates was PMMA (Kuraray GH-1000S). Higher mold temperature not only increase the degree of replication but also help reduce polymer’s viscosity and shear rate and obtain more uniform density of molded parts. The performance of the molded part is tested. After applying Taguchi’s method in the Moldex-3D simulation, better processing conditions are obtained and used to mold the final parts. The samples are tested and show good stereoscopic function.

碩士
國立雲林科技大學
光學電子工程研究所
96
In the study, the researcher used a single lens to capture a stereo image pair with the light deviation of the prism. Two pieces of the image taken from different angles were showed through only one lens. The researcher used a single lens and the micro-prism array plate to capture a stereo image pair. The prime lens was designed by optical software (Zemax), focal length(6mm) and field of view (53.13°). Then, the lens which was put into the optical software (Light Tools) integrated the micro-prism array plate. Finally, the researcher used the result of the simulation to analyze the system. The preset three-stage reference light sources are R,G and B with λR= 630 nm, λG=550 nm, λB=470 nm as the input image which were the substitutes for the photographed objects. Through the simulation, it proved that the image could be dissected into image pair. After count of geometry, the system showed the different width of the objects based on the different object distance. The system could take bigger objects easily on condition that objects was put further from the lens. The system was designed by the micro-prism array plate, and the researcher used PMMA (poly-methylmethacrylate) as the optical plastic material. Compared with the traditional prism made by glass, the kind of the system decreased the cost of the production. Furthermore, the whole system became light and portable, in addition to the characteristics of integrating general cameras or video cameras.

碩士
國立臺灣科技大學
自動化及控制研究所
107
In order to respond to more and more diverse production models, production systems have gradually evolved from flexible manufacturing systems to smart manufacturing systems. In the field of developing smart machinery, intelligent robots often play an indispensable role. In order to make the current industrial robots intelligent, the first stage is to give the robot a variety of cognitive capabilities, such as: vision, touch, force, hearing, etc. Then, through the AI learning algorithm can be a smart robot. This study uses Intel RealSense low-cost depth camera to replace an expensive industrial 3D visual sensor to establish a stereo vision for industrial robots, which might be used in the die-casting parts automation assembly line. This study employs the improved Hough transform to find out the center position of the bulk part. By using the depth data of the stereo camera, and the space coordinates of the detected center position, the rotation angles for the XY axis are calculated. Then, the stereoscopic coordinate coordinates of the orientation are converted into industrial robot coordinates, for the jaw clip operation. The robot is notified of the position of the entry point and the arrival point of the trajectory. Therefore, random bin picking of parts in a bulk box by a robot can be automatously operated for the next engineering process. From the experiment al results, the maximum recognizable part tilt angle of stereo vision was tested. The robot's remedial measures were also designed when the recognition is failed. The robot can correctly pick each part from the bulk box with the best order. The low-cost stereo cameras can be applied to establish stereoscopic vision for industrial robots for the random bin picking.

碩士
國立中正大學
電機工程所
97
The stereo display technology has become mature in recent years. The use of stereo display, in combination with 3D image/video contents, really makes the viewers immersed in reality. There are many methods for getting stereo video. A practical, low-cost, and fast way is to use the original 2-D video, in combination with depth conversion, to generate 3-D video. Therefore, in this thesis, we would like to develop a system to convert existing 2-D videos to their 3-D versions for stereo display. In this thesis, it is assumed that the camera has slow motion, which is used to estimate the disparity/depth information of static backgrounds. For the moving foreground objects, we combine several depth cues from the image to estimate their depth information. Finally, we fuse the background and foreground depth information to get the whole depth map. In our conversion system, we first detect region of moving objects for each image. For two images captured from two different time instants, we explore the spatial correlation to calculate the motion parallax information, and estimate a disparity plane to each segmented region. Based on the similarity of depth information in temporal domain, depth outliers can be corrected. For moving objects, we compute several depth cues, such as motion parallax, atmospheric perspective and texture gradients, by which the depth is assigned. Also we assume that the depth at the bottom of the foreground will be similar to the background depth at the same image position. Based on this, the depths of foreground and background can be fused to get the whole depth map. With the depth map, the stereo image pair can be synthesized for display. Experimental results show that the synthesized 3D video presents a good depth perception, but with slight depth discontinuity along vertical direction. Subject tests show that our synthesized 3D video and the real captured 3D video have similar depth perception.

碩士
國立中正大學
電機工程研究所
101
The thesis proposes a 3D information measuring system to realize a precise 3D information measuring results equivalent to that obtained from multiple cameras. In the system, based on the spatial invariant principle for an object, we use a rotational platform to drive a singular camera to rotate along a circle and generate multiple various horizontal view angle stereoscopic image to replace ordinary stereo vision system of single level view angle stereoscopic images. We further rectify the obtained multiple various horizontal view angle stereoscopic image, and calculate relative points of the multiple various horizontal view angle stereoscopic image, and through advantages of multiple view angle image to conduct inaccurate relative points removing and optimizing actions. Finally, by use of sum of squares to analyze the similarity of relative points and matched up with camera parameters and based on camera relative position weighted function integration and optimized multiple view angle image depth values, we achieve 3D information measuring effect with a single camera and acquires the 3D information which is wider than traditional single horizontal view angle stereoscopic vision system.