Dissertations / Theses on the topic 'Reconstruction de pixel'

Un système RGB-Z est un système de vision sur puce (V-SoC) qui capture à la fois les informations de couleur et de profondeur. Récemment, l’idée de combiner l’acquisition de la couleur et de la profondeur au niveau du pixel et dans la même matrice a émergé. Un tel capteur permettrait une intégration plus compacte tout en réduisant les problèmes de calibration par rapport à un système composés de deux capteurs. Cependant, une telle intégration soulève de nouvelles contraintes à différent niveaux techniques. Dans cette thèse, nous nous focalisons sur les problèmes de reconstruction de l'information de couleur manquante due à l'hétérogénéité de la matrice de pixels. Actuellement, il n'existe pas sur le marché de capteur RGB-Z monolithique tel que décrit dans la thèse. Dans un premier temps, nous avons proposé différentes matrices RGB-Z. Ces matrices sont basées sur deux architectures de pixels Z différentes. La distribution et la taille des pixels Z varient en fonction des matrices proposées. Dans un deuxième temps, plusieurs algorithmes de reconstruction de l’information manquante inspirés de l'état de l'art ont été adaptés et implémentés aux matrices proposées. Ces solutions ne sont pas satisfaisantes. Pour cela, un algorithme adaptatif pour reconstruire l'information de couleur manquante en utilisant un nouvel opérateur appelé semi-gradient est proposé. Cet opérateur permet de mieux reconstruire les structures situées le long des bords fins. Enfin, une première implémentation matérielle est proposée pour évaluer la latence de l'algorithme<br>A Red, Green, Blue and Depth (RGB-Z) system is a vision system-on-chip (V-SoC) that captures both color and depth information. Recently, the idea of combining color and depth acquisition at the pixel level and in the same array has emerged. Such a sensor would allow a more compact integration while reducing the calibration problems compared to a system composed of two sensors. However, such integration raises new constraints at different technical levels. In this thesis, we focus on the problems of reconstructing the missing color information due to the heterogeneity of the pixel matrix. Currently, there is no monolithic RGB-Z sensor on the market as described in the thesis. In a first step, we have proposed different RGB-Z arrays. These arrays are based on two different Z-pixel architectures. The sampling and the size of the Z pixels vary according to the proposed matrices. In a second step, several algorithms for reconstructing the missing information inspired by the state of the art have been adapted and implemented to the proposed matrices. These solutions are not satisfactory. For this purpose, an adaptive algorithm to reconstruct the missing color information using a new operator called semi-gradient is proposed. This operator allows to better reconstruct the structures located along the narrow edges. Finally, a first hardware implementation is proposed to evaluate the latency of the algorithm

Le développement des techniques de microscopie 3D offrant une résolution spatiale de l'ordre du micromètre a ouvert un large champ de recherche en biologie cellulaire. Parmi elles, un avantage intéressant de la micro-tomographie par faisceau d'ions est de donner des résultats quantitatifs en termes de concentrations locales d'une manière directe, en utilisant une technique d'émission de rayonnement X (PIXET) combinée à la microscopie ionique en transmission (STIMT). Le traitement des données expérimentales constitue un point délicat. Après une brève introduction aux techniques de reconstruction existantes, nous présentons le principe du code DISRA, le plus complet écrit jusqu'à ce jour, qui nous a servi de base pour ce travail de thèse. Nous avons modifié et étendu le code DISRA en considérant les aspects spécifiques des échantillons biologiques. Un logiciel de traitement de données complet a ainsi été développé, avec une interface utilisateur permettant le contrôle de chaque étape de la reconstruction. Les résultats d'expériences de STIMT et/ou PIXET effectuées au CENBG sur des spécimens de référence et sur des cellules végétales ou humaines isolées sont présentés.

Chronic wounds are a major healthcare problem worldwide which mainly a ects geriatric population and patients with limited mobility. In tropical countries, Cutaneous Leishmaniasis (CL) is also a cause for chronic wounds, being endemic in 75% of Peru . In this context, the assessment of these type of wounds represents a big challenge due to the limited access to specialized medical resources. This work aims to develop a video-based method to compute the 3D point cloud of skin wounds which could provide accurate metrics for medical assessment despite of the location of the patient. Recently, CL specialists have used metrics as volume in clinical assessment with promising results. The acquisition protocol is prompt to be user friendly and feasible in remote locations; the video is taken using a commercial hand-held video camera without a rig or special illumination. The algorithm follows the Structure from Motion methodology: FAST feature detector, pyramidal optical flow and Jacob’s method for missing points estimation. The results show good performance in terms of accuracy and repeatability of the point cloud computation, less than 0.6 mm and 0.21 mm respectively. However, experiments suggest that the volume computation technique does not adapt well to the proposed method output and requires a deeper analysis. The method has been entirely implemented using open source libraries.<br>Tesis

Dans le domaine de la vision par ordinateur, l’estimation de la structure d’une scène 3D à partir d’images 2D constitue un problème fondamental. Parmi les applications concernées par cette problématique, nous nous sommes intéressés dans le cadre de cette thèse à la modélisation d’un environnement urbain. Nous nous sommes intéressés à la reconstruction de scènes 3D à partir d’images monoculaires générées par un véhicule en mouvement. Ici, plusieurs défis se posent à travers les différentes étapes de la chaine de traitement inhérente à la reconstruction 3D. L’un de ces défis vient du fait de l’absence de zones suffisamment texturées dans certaines scènes urbaines, d’où une reconstruction 3D (un nuage de points 3D) trop éparse. De plus, du fait du mouvement du véhicule, d’une image à l’autre il n’y a pas toujours un recouvrement suffisant entre différentes vues consécutives d’une même scène. Dans ce contexte, et ce afin de lever les verrous ci-dessus mentionnés, nous proposons d’estimer, de reconstruire, la structure d’une scène 3D par morceaux en se basant sur une hypothèse de planéité. Nous proposons plusieurs améliorations à la chaine de traitement associée à la reconstruction 3D. D’abord, afin de structurer, de représenter, la scène sous la forme d’entités planes nous proposons une nouvelle méthode de reconstruction 3D, basée sur le regroupement de pixels similaires (superpixel segmentation), qui à travers une représentation multi-échelle pondérée fusionne les informations de couleur et de mouvement. Cette méthode est basée sur l’estimation de la probabilité de discontinuités locales aux frontières des régions calculées à partir du gradient (gradientbased boundary probability estimation). Afin de prendre en compte l’incertitude liée à l’estimation du mouvement, une pondération par morceaux est appliquée à chaque pixel en fonction de cette incertitude. Cette méthode génère des regroupements de pixels (superpixels) non contraints en termes de taille et de forme. Pour certaines applications, telle que la reconstruction 3D à partir d’une séquence d’images, des contraintes de taille sont nécessaires. Nous avons donc proposé une méthode qui intègre à l’algorithme SLIC (Simple Linear Iterative Clustering) l’information de mouvement. L’objectif étant d’obtenir une reconstruction 3D plus dense qui estime mieux la structure de la scène. Pour atteindre cet objectif, nous avons aussi introduit une nouvelle distance qui, en complément de l’information de mouvement et de données images, prend en compte la densité du nuage de points. Afin d’augmenter la densité du nuage de points utilisé pour reconstruire la structure de la scène sous la forme de surfaces planes, nous proposons une nouvelle approche qui mixte plusieurs méthodes d’appariement et une méthode de flot optique dense. Cette méthode est basée sur un système de pondération qui attribue un poids pré-calculé par apprentissage à chaque point reconstruit. L’objectif est de contrôler l’impact de ce système de pondération, autrement dit la qualité de la reconstruction, en fonction de la précision de la méthode d’appariement utilisée. Pour atteindre cet objectif, nous avons appliqué un processus des moindres carrés pondérés aux données reconstruites pondérées par les calculés par apprentissage, qui en complément de la segmentation par morceaux de la séquence d’images, permet une meilleure reconstruction de la structure de la scène sous la forme de surfaces planes. Nous avons également proposé un processus de gestion des discontinuités locales aux frontières de régions voisines dues à des occlusions (occlusion boundaries) qui favorise la coplanarité et la connectivité des régions connexes. L’ensemble des modèles proposés permet de générer une reconstruction 3D dense représentative à la réalité de la scène. La pertinence des modèles proposés a été étudiée et comparée à l’état de l’art. Plusieurs expérimentations ont été réalisées afin de démontrer, d’étayer, la validité de notre approche<br>In computer vision, the 3D structure estimation from 2D images remains a fundamental problem. One of the emergent applications is 3D urban modelling and mapping. Here, we are interested in street-level monocular 3D reconstruction from mobile vehicle. In this particular case, several challenges arise at different stages of the 3D reconstruction pipeline. Mainly, lacking textured areas in urban scenes produces low density reconstructed point cloud. Also, the continuous motion of the vehicle prevents having redundant views of the scene with short feature points lifetime. In this context, we adopt the piecewise planar 3D reconstruction where the planarity assumption overcomes the aforementioned challenges.In this thesis, we introduce several improvements to the 3D structure estimation pipeline. In particular, the planar piecewise scene representation and modelling. First, we propose a novel approach that aims at creating 3D geometry respecting superpixel segmentation, which is a gradient-based boundary probability estimation by fusing colour and flow information using weighted multi-layered model. A pixel-wise weighting is used in the fusion process which takes into account the uncertainty of the computed flow. This method produces non-constrained superpixels in terms of size and shape. For the applications that imply a constrained size superpixels, such as 3D reconstruction from an image sequence, we develop a flow based SLIC method to produce superpixels that are adapted to reconstructed points density for better planar structure fitting. This is achieved by the mean of new distance measure that takes into account an input density map, in addition to the flow and spatial information. To increase the density of the reconstructed point cloud used to performthe planar structure fitting, we propose a new approach that uses several matching methods and dense optical flow. A weighting scheme assigns a learned weight to each reconstructed point to control its impact to fitting the structure relative to the accuracy of the used matching method. Then, a weighted total least square model uses the reconstructed points and learned weights to fit a planar structure with the help of superpixel segmentation of the input image sequence. Moreover, themodel handles the occlusion boundaries between neighbouring scene patches to encourage connectivity and co-planarity to produce more realistic models. The final output is a complete dense visually appealing 3Dmodels. The validity of the proposed approaches has been substantiated by comprehensive experiments and comparisons with state-of-the-art methods

The Diploma thesis deals with reconstruction of Missing data of an Image. It is done by the use of appropriate Mathematical theory and numerical algorithm to reconstruct missing information. The result of this implementation is the reconstruction of missing image information. The thesis also compares different numerical methods, and see which one of them perform best in terms of efficiency and accuracy of the given problem, hence it is used for the reconstruction of missing data.

Le test d'écrans d'ordinateurs nécessite de déterminer les coordonnées des pixels défectueux-anormalement allumés ou anormalement éteints-. Si l'on désire obtenir une image de l'ensemble de l'écran au moyen d'une caméra de définition courante, on est confronté à une problème de résolution puisque le nombre de pixels de l'écran est très supérieur au nombre de pixels de la caméra CCD. Nous présentons dans ce mémoire une méthode d'analyse basée sur l'exploitation d'une image super-résolue obtenue à partir de multiples clichés à basse résolution de l'ensemble de l'écran. L'approche préconisée est fréquentielle, ce qui permet une excellente exploitation des connaissances a priori concernant la périodicité du spectre de mires régulières de points affichés sur l'écran. La période des mires doit être choisie de manière à ce que les dégradations dues à l'acquisition ne soient pas irréversibles sur le motif spectral central. Le point clef pour une bonne reconstruction consiste en l'adaptation rigoureuse des pas d'échantillonnage spectraux de l'image suréchantillonnée (entrelaçage des clichés BR) et de la mire que l'on souhaite reconstruire. Ce procédé esr très souple d'utilisation, notamment en ce qui concerne le positionnement écran/caméra. Les seules contraintes requises sont l'utilisation d'une optique de bonne qualité et un réglage soigneux du parallélisme des plans écrans et CCD. Dans ce soucis de souplesse, une grosse partie du travail a constitué en l'automatisation de l'ensemble du processus de reconstruction, en proposant notamment des méthodes d'identification des paramètres clefs de l'acquisition.

碩士<br>國立臺灣大學<br>電子工程學研究所<br>106<br>This paper proposes a novel method for image reflection removal for singe input image. When taking photos, there is often an undesired reflection image on glass windows, which may degrade the vision. In current reflection removal methods, they usually assume that the gradient of the transmitted layer is larger than the undesired refection layer and remove the object with smaller gradient. However, there is a challenging problem that these algorithms may remove the transmitted layer instead of the reflection layer when the assumption is violated. Moreover, some algorithms may not well preserve the detail and the reconstructed images are blurred. Furthermore, most of the existing algorithms require a lot of consumption time. Thus, we develop a new method based on pixel compensation and detail reconstruction to address these problems. By experimental results, the proposed method can enhance the transmitted layer effectively and the recovered images are clearer than other methods. In addition, the computation time is much less than that of prevailing methods.

Trabalho de Projeto do Mestrado Integrado em Engenharia Biomédica apresentado à Faculdade de Ciências e Tecnologia<br>A amostragem é um processo cada vez mais fundamental nos tempos modernos, permitindo a passagem do domínio analógico para o digital. Até então, esta técnica tem-se regido pelo teorema de Shannon-Nyquist o que, muitas vezes, leva à necessidade de armazenamento de grandes quantidades de dados. Recentemente, emergiu uma técnica de amostragem de sinais promissora designada Compressed Sensing (CS). Tal como o próprio nome indica, este método permite efetuar o processo de compressão aquando da aquisição, e, portanto, a reconstrução do sinal é possível a partir de um pequeno número de medições. O aparecimento desta técnica possibilitou, em 2006, o desenvolvimento de uma câmera de pixel único (SPC) por um grupo de investigação da Universidade de Rice, EUA. Trata-se de um novo paradigma que combina uma arquitetura simples com os princípios matemáticos e os algoritmos associados ao CS.O trabalho descrito na presente dissertação foca-se na implementação tanto do hardware como do software associados à câmera de pixel único. Para tal, numa primeira fase, foram desenvolvidas ferramentas de simulação para estudar o comportamento do sistema e o desempenho dos algoritmos utilizados (TVAL3 e NESTA). Nomeadamente, avaliou-se a influência do rácio de compressão, do ruído nas medições e da ordem das matrizes de sensoriamento utilizadas. Relativamente a esta etapa, verificou-se que a ordem sequencial é aquela que deve ser empregue para obter tanto uma melhor qualidade de imagem como tempos de reconstrução inferiores. Para além disso, esta ordem permite reduzir os rácios de compressão até 30%. Comparando os dois algoritmos de reconstrução empregues, o TVAL3 é aquele que apresenta um melhor desempenho quando estamos perante situações de compressão do número de amostras utilizadas. Outro aspeto a considerar é que os algoritmos de reconstrução usados empregam transformadas rápidas que permitem acelerar significativamente os processos de reconstrução da imagem.Tendo em conta os conhecimentos adquiridos aquando da simulação, procedeu-se à implementação do protótipo da SPC. Os seus principais componentes são o dispositivo de microespelhos digital (DMD), o sistema de aquisição digital e o detetor de luz (que neste caso, um fotodíodo). O primeiro permite a codificação do sinal através da projeção de iluminação estruturada (matrizes de sensoriamento). Os resultados obtidos corroboram as conclusões retiradas durante a fase de simulação.Por fim, concluiu-se que esta câmera de arquitetura simples tem potencial para a obtenção de imagens com boa resolução.<br>Sampling has increasingly become more important in modern times, allowing the transition from analog to digital domain. Until then, this technique has been defined by the Shannon-Nyquist theorem, which often leads to the need of large amount of data's storage. Recently, a promising signal sampling technique called Compressive Sensing (CS) has emerged. As the name implies, this method allows the compression process to be carried out at the time of acquisition, and therefore, making possible the signal's reconstruction from a small number os measurements.In 2006, due to this technique's proposal, a research group from Rice University, USA, developed a single-pixel camera (SPC). This new paradigm combines a simple architecture with the mathematical principles and algorithms of the CS.The work described in this dissertation focuses on the implementation of both the hardware and software, associated with the single-pixel camera. In order to do so, in a first stage, simulation tools were developed to study the system's behavior as well as the performance of the algorithms used (TVAL3 and NESTA). We evaluated specifically, the influence of the compression ratio, the noise on the measurements and sensing matrices order. Regarding this step, it has been found that the sequential order is the best method to be employed in order to obtain both better image quality and lower reconstruction times. In addition, this order reduces compression ratios by up to 30%. Comparing the two reconstruction algorithms used, TVAL3 is the one presenting a better performance when we are leading with compression cases. Furthermore, the reconstruction algorithms employ rapid transformations, allowing to significantly accelerate the image's reconstruction.Taking into account the knowledge acquired during the simulation, the SPC prototype was implemented. Its main components are the digital micromirror device (DMD), the digital acquisition system, and the light detector (in this case, a photodiode). The first allows the signal's encoding through the projection of structured illumination (sensing matrices). The results obtained corroborate the conclusions drawn during the simulation phase.Finally, we concluded that this simple architecture camera has the potential to obtain images with good resolution.

Ce mémoire porte sur la reconstruction 3D active par la lumière structurée et se veut une introduction au travers d'une vue d'ensemble du domaine. L'accent est mis sur une compréhension des différents aspects du scan 3D, en commençant par l'acquisition du matériel et en allant jusqu'au calcul d'un modèle 3D. Les défis techniques les plus fréquents dans un contexte de scan 3D avec de l'équipement à faible coût sont abordés, de façon à donner une idée générale des problèmes à anticiper à quelqu'un qui souhaiterait se lancer dans la conception ou l'utilisation de ce type de scanneur. Afin d'aider à peser les forces et faiblesses de chaque algorithme formant l'état de l'art actuel en lumière structurée, une revue des différentes stratégies existantes est également donnée. L'étude du domaine a mené à une contribution sous la forme d'un article, qui a été intégré dans le chapitre 6. Cet article propose une amélioration en ce qui concerne la performance et la précision d'un algorithme de scan 3D existant et a été publié dans la International Virtual Conference on 3D Vision en novembre 2020.<br>This thesis focuses on active 3D reconstruction with structured light and is intended to be an introduction through an overview of the field. It is focused on understanding the different aspects of a 3D scanner, from the acquisition of the material to the final mesh reconstruction. The most common technical difficulties that arise in the context of low-cost 3D scanning are addressed, to give a general idea of the potential technical problems that may occur when using a DIY 3D scanner built from scratch. To help assess the strengths and weaknesses of each algorithm of the current state of the art in structured light, a review of the different strategies is also proposed. The study of this domain led to the contribution of a paper, presented here in its entirety in chapter 6. This paper describes an improvement of an existing algorithm, both in terms of performance and precision, and was published in the International Virtual Conference on 3D Vision in November 2020.