Academic literature on the topic 'Translation d'image'

The evolution of manufacturing techniques and the required quality show the importance of noninvasive diagnostics in industrial processes. Ultrasounds are widely used for this purpose, thanks to their innocuous character and their intrinsic qualities. In later years, the amelioration of ultrasonic techniques has required a number of improvements, including image processing. The present works focuses on the improvement of lateral resolution to optimize the localization and the size of the defects. To this end, we have developped a 3-D model that describes the propagation of ultrasonic waves and their interaction with a point defect. Reconstructing the image requires a 2-D deconvolution through an inverse filter. Tests made on Bscam images show clearly the efficiency of this technique to improve the image resolution.[Journal translation]

Cette thèse explore la génération multi-modale dans un contexte d'apprentissage semi-supervisé, en abordant deux défis cruciaux : la prise en charge de configurations flexibles d'entrées et de sorties à travers plusieurs domaines, et le développement d'une stratégie d'entraînement efficace des données semi-supervisées. Alors que les systèmes d'intelligence artificielle progressent, il existe un besoin croissant de modèles capables d'intégrer et de générer de manière flexible plusieurs modalités, reflétant les capacités cognitives humaines. Les systèmes d'apprentissage profond conventionnels peinent souvent lorsqu'ils s'écartent de leur configuration d'entraînement, notamment lorsque certaines modalités sont indisponibles dans les applications réelles. Par exemple, dans le domaine médical, les patients pourraient ne pas faire tous les examens possibles pour un système d'analyse complet. Obtenir un contrôle plus fin sur les modalités générées est crucial pour améliorer les capacités de génération et fournir des informations contextuelles plus riches. De plus, l'augmentation du nombre de domaines rend plus difficile l'obtention d'une supervision simultanée. Nous nous concentrons sur la translation multi-domaine dans un contexte semi-supervisé, étendant le paradigme classique de translation de domaine. Plutôt que de considérer une direction de translation spécifique ou de les limiter entre paires de domaines, nous développons des méthodes facilitant les translations entre toutes les configurations possibles de domaines. L'aspect semi-supervisé reflète des scénarios réels où une annotation complète des données est souvent infaisable ou prohibitivement coûteuse. Notre travail présente trois contributions : (1) l'étude des fonctions de régularisation pour l'espace latent avec une supervision limitée, (2) l'étude de la mise à l'échelle et de la flexibilité des modèles de translation basés sur les modèles de diffusion, et (3) l'amélioration de la vitesse de génération des modèles d'inpainting par diffusion. Premièrement, nous proposons LSM, un modèle de translation semi-supervisé exploitant des données d'entrée supplémentaires et des données de sortie structurées pour régulariser les dépendances inter-domaines et intra-domaines. Deuxièmement, nous développons MDD, un modèle semi-supervisé de translation multi-domaine basé sur la diffusion. MDD transforme la fonction de perte classique des modèles de diffusion d'une fonction de reconstruction vers une fonction de translations en modélisant différents niveaux de bruit par domaine. Le modèle exploite les domaines moins bruités pour reconstruire les domaines plus bruités, permettant de modéliser les données manquantes comme du bruit pur et d'obtenir une configuration flexible des domaines condition et cible. Enfin, nous introduisons TD-Paint, un modèle d'inpainting basé sur la diffusion améliorant la vitesse de génération et à réduire la charge de calcul associée à la génération. Notre étude révèle que les modèles d'inpainting par diffusion souffrent d'une désynchronisation entre génération et conditionnement. Les solutions existantes, reposant sur le rééchantillonnage ou des régularisations supplémentaires, augmentent la complexité computationnelle. TD-Paint résout ce problème en modélisant des niveaux de bruit variables au niveau des pixels, permettant une utilisation efficace de la condition dès le début du processus
This thesis explores multi-modal generation and semi-supervised learning, addressing two critical challenges: supporting flexible configurations of input and output across multiple domains, and developing efficient training strategies for semi-supervised data settings. As artificial intelligence systems advance, there is growing need for models that can flexibly integrate and generate multiple modalities, mirroring human cognitive abilities. Conventional deep learning systems often struggle when deviating from their training configuration, which occurs when certain modalities are unavailable in real-world applications. For instance, in medical settings, patients might not undergo all possible scans for a comprehensive analysis system. Additionally, obtaining finer control over generated modalities is crucial for enhancing generation capabilities and providing richer contextual information. As the number of domains increases, obtaining simultaneous supervision across all domains becomes increasingly challenging. We focus on multi-domain translation in a semi-supervised setting, extending the classical domain translation paradigm. Rather than addressing specific translation directions or limiting translations to domain pairs, we develop methods facilitating translations between any possible domain configurations, determined at test time. The semi-supervised aspect reflects real-world scenarios where complete data annotation is often infeasible or prohibitively expensive. Our work explores three main areas: (1) studying latent space regularization functions to enhance domain translation learning with limited supervision, (2) examining the scalability and flexibility of diffusion-based translation models, and (3) improving the generation speed of diffusion-based inpainting models. First, we propose LSM, a semi-supervised translation framework leveraging additional input and structured output data to regularize inter-domain and intra-domain dependencies. Second, we develop MDD, a novel diffusion-based multi-domain translation semi-supervised framework. MDD shifts the classical reconstruction loss of diffusion models to a translation loss by modeling different noise levels per domain. The model leverages less noisy domains to reconstruct noisier ones, modeling missing data from the semi-supervised setting as pure noise and enabling flexible configuration of condition and target domains. Finally, we introduce TD-Paint, a novel diffusion-based inpainting model improving generation speed and reducing computational burden. Through investigation of the generation sampling process, we observe that diffusion-based inpainting models suffer from unsynchronized generation and conditioning. Existing models often rely on resampling steps or additional regularization losses to realign condition and generation, increasing time and computational complexity. TD-Paint addresses this by modeling variable noise levels at the pixel level, enabling efficient use of the condition from the generation onset

La generació d'imatges és una de les tasques més atractives, fascinants i complexes de la visió per computador. Dels diferents mètodes per la generació d'imatges, les xarxes generatives adversaries (o també anomenades ""GANs"") juguen un paper crucial. Els mètodes generatius més comuns basats en GANs es poden dividir en dos apartats. El primer, simplement anomenat generatiu, utilitza soroll aleatori i sintetitza una imatge per tal de seguir la mateixa distribució que les imatges d'entrenament. En el segon apartat trobem la traducció d'imatge a imatge, on el seu objectiu consiteix en transferir la imatge d'un domini origen a un que és indistingible d'un domini objectiu. Els mètodes d'aquesta categoria de traducció d'imatge a imatge es poden subdividir en emparellats o no emparellats, depenent de si requereixen que les dades siguin emparellades o no. En aquesta tesi, l'objectiu consisteix en resoldre alguns dels reptes tant en la generació d'imatges com en la traducció d'imatge a imatge. Les GANs depenen en gran part de l'accés a una gran quantitat de dades, i fallen al generar imatges realistes a partir del soroll aleatori quan s'apliquen a dominis amb poques imatges. Per solucionar aquest problema, la solució proposada consisteix en transferir el coneixement d'un model entrenat a partir d'un conjunt de dades amb moltes imatges (domini origen) a un entrenat amb dades limitades (domini objectiu). Hem trobat que tant les GANs com les GANs condicionals poden beneficiar-se dels models entrenats amb grans conjunts de dades. Els nostres experiments mostren que transferir el discriminador és més important que fer-ho per el cas del generador. Utilitzar tant el generador com el discriminador resulta en un millor rendiment. No obstant, aquest mètode sufreix d'overfitting, donat que actualitzem tots els paràmetres per adaptar el mètode a les dades de l'objectiu. Proposem una arquitectura nova, feta a mesura per tal de resoldre la transferència de coneixement per el cas de dominis objectius amb molt poques imatges. El nostre mètode explora eficientment quina part de l'espai latent està més relacionat amb el domini objectiu. Adicionalment, el mètode proposat és capaç de transferir el coneixement a partir de múltiples GANs pre-entrenades. Tot i que la traducció de imatge a imatge ha conseguit rendiments extraordinaris, ha d'enfrentarse a diferents problemes. Primer, per el cas de la traducció entre dominis complexes (on les traduccions són entre diferents modalitats) s'ha vist que els mètodes de traducció de imatge a imatge requereixen dades emparellades. Demostrem que únicament quan algunes de les traduccions disposen de la informació (i.e. durant l'entrenament), podem inferir les traduccions restants (on les parelles no estan disponibles). Proposem un mètode nou en el cual alineem diferents codificadors y decodificadors d'imatge d'una manera que ens permet obtenir la traducció simplement encadenant el codificador d'origen amb el decodificador objectiu, encara que aquests no hagin interactuat durant la fase d'entrenament (i.e. sense disposar d'aquesta informació). Segon, existeix el esbiaixament en la traducció de imatge a imatge. Els datasets esbiaixats inevitablement contenen canvis no desitjats, això es deu a que el dataset objectiu té una distribució visual subjacent. Proposem l'ús de restriccions semàntiques curosament dissenyades per reduir els efectes de l'esbiaixament. L'ús de la restricció semàntica implica la preservació de les propietats de les imatges desitjades. Finalment, els mètodes actuals fallen en generar resultats diversos o en realitzar transferència de coneixement escalable a un únic model. Per aliviar aquest problema, proposem una manera escalable i diversa per a la traducció de imatge a imatge. Utilitzem el soroll aleatori per el control de la diversitat. La escalabilitat és determinada a partir del condicionament de la etiqueta del domini.
La generación de imágenes es una de las tareas más atractivas, fascinantes y complejas en la visión por computador. De los diferentes métodos para la generación de imágenes, las redes generativas adversarias (o también llamadas ""GANs"") juegan un papel crucial. Los modelos generativos más comunes basados en GANs se pueden dividir en dos apartados. El primero, simplemente llamado generativo, utiliza como entrada ruido aleatorio y sintetiza una imagen que sigue la misma distribución que las imágenes de entrenamiento. En el segundo apartado encontramos la traducción de imagen a imagen, cuyo objetivo consiste en transferir la imagen de un dominio origen a uno que es indistinguible del dominio objetivo. Los métodos de esta categoria de traducción de imagen a imagen se pueden subdividir en emparejados o no emparejados, dependiendo de si se requiere que los datos sean emparejados o no. En esta tesis, el objetivo consiste en resolver algunos de los retos tanto en la generación de imágenes como en la traducción de imagen a imagen. Las GANs dependen en gran parte del acceso a gran cantidad de datos, y fallan al generar imágenes realistas a partir de ruido aleatorio cuando se aplican a dominios con pocas imágenes. Para solucionar este problema, proponemos transferir el conocimiento de un modelo entrenado a partir de un conjunto de datos con muchas imágenes (dominio origen) a uno entrenado con datos limitados (dominio objetivo). Encontramos que tanto las GANs como las GANs condicionales pueden beneficiarse de los modelos entrenados con grandes conjuntos de datos. Nuestros experimentos muestran que transferir el discriminador es más importante que hacerlo para el generador. Usar tanto el generador como el discriminador resulta en un mayor rendimiento. Sin embargo, este método sufre de overfitting, dado que actualizamos todos los parámetros para adaptar el modelo a los datos del objetivo. Para ello proponemos una arquitectura nueva, hecha a medida para resolver la transferencia de conocimiento en el caso de dominios objetivo con muy pocas imágenes. Nuestro método explora eficientemente qué parte del espacio latente está más relacionado con el dominio objetivo. Adicionalmente, el método propuesto es capaz de transferir el conocimiento a partir de múltiples GANs pre-entrenadas. Aunque la traducción de imagen a imagen ha conseguido rendimientos extraordinarios, tiene que enfrentarse a diferentes problemas. Primero, para el caso de la traducción entre dominios complejos (cuyas traducciones son entre diferentes modalidades) se ha observado que los métodos de traducción de imagen a imagen requieren datos emparejados. Demostramos que únicamente cuando algunas de las traducciones disponen de esta información, podemos inferir las traducciones restantes. Proponemos un método nuevo en el cual alineamos diferentes codificadores y decodificadores de imagen de una manera que nos permite obtener la traducción simplemente encadenando el codificador de origen con el decodificador objetivo, aún cuando estos no han interactuado durante la fase de entrenamiento (i.e. sin disponer de dicha información). Segundo, existe el problema del sesgo en la traducción de imagen a imagen. Los conjuntos de datos sesgados inevitablemente contienen cambios no deseados, eso se debe a que el dataset objetivo tiene una distribución visual subyacente. Proponemos el uso de restricciones semánticas cuidadosamente diseñadas para reducir los efectos del sesgo. El uso de la restricción semántica implica la preservación de las propiedades de imagen deseada. Finalmente, los métodos actuales fallan en generar resultados diversos o en realizar transferencia de conocimiento escalables a un único modelo. Para aliviar este problema, proponemos una manera escalable y diversa para la traducción de imagen a imagen. Para ello utilizamos ruido aleatorio para el control de la diversidad. La escalabilidad es determinada a partir del condicionamiento de la etiqueta del dominio.
Image generation is arguably one of the most attractive, compelling, and challenging tasks in computer vision. Among the methods which perform image generation, generative adversarial networks (GANs) play a key role. The most common image generation models based on GANs can be divided into two main approaches. The first one, called simply image generation takes random noise as an input and synthesizes an image which follows the same distribution as the images in the training set. The second class, which is called image-to-image translation, aims to map an image from a source domain to one that is indistinguishable from those in the target domain. Image-to-image translation methods can further be divided into paired and unpaired image-to-image translation based on whether they require paired data or not. In this thesis, we aim to address some challenges of both image generation and image-to-image generation. GANs highly rely upon having access to vast quantities of data, and fail to generate realistic images from random noise when applied to domains with few images. To address this problem, we aim to transfer knowledge from a model trained on a large dataset (source domain) to the one learned on limited data (target domain). We find that both GANs and conditional GANs can benefit from models trained on large datasets. Our experiments show that transferring the discriminator is more important than the generator. Using both the generator and discriminator results in the best performance. We found, however, that this method suffers from overfitting, since we update all parameters to adapt to the target data. We propose a novel architecture, which is tailored to address knowledge transfer to very small target domains. Our approach effectively explores which part of the latent space is more related to the target domain. Additionally, the proposed method is able to transfer knowledge from multiple pretrained GANs. Although image-to-image translation has achieved outstanding performance, it still faces several problems. First, for translation between complex domains (such as translations between different modalities) image-to-image translation methods require paired data. We show that when only some of the pairwise translations have been seen (i.e. during training), we can infer the remaining unseen translations (where training pairs are not available). We propose a new approach where we align multiple encoders and decoders in such a way that the desired translation can be obtained by simply cascading the source encoder and the target decoder, even when they have not interacted during the training stage (i.e. unseen). Second, we address the issue of bias in image-to-image translation. Biased datasets unavoidably contain undesired changes, which are due to the fact that the target dataset has a particular underlying visual distribution. We use carefully designed semantic constraints to reduce the effects of the bias. The semantic constraint aims to enforce the preservation of desired image properties. Finally, current approaches fail to generate diverse outputs or perform scalable image transfer in a single model. To alleviate this problem, we propose a scalable and diverse image-to-image translation. We employ random noise to control the diversity. The scalabitlity is determined by conditioning the domain label.

L’échographie est une technique d’imagerie médicale employant des ultrasons. Un examen classique se base sur deux modes principaux, le mode B pour l’imagerie anatomique et le mode Doppler pour l’imagerie des flux sanguins.Dans le contexte des maladies cérébro-vasculaires, l’échographie sert principalement à estimer les altérations du flux sanguin dans les artères cérébrales majeures au travers du Doppler transcranien. Cependant, la faible qualité des images à travers le crâne ne permet pas à l’échographie d’être aussi performante que l’imagerie par résonance magnétique.Les récents progrès en échographie ont permis l’émergence de nouveaux modes d’imagerie, en particulier une technique de super-résolution ultrasonore qui permet d’augmenter la résolution ainsi que le contraste de l’imagerie vasculaire. Elle se base sur l’imagerie rapide de microbulles couramment utilisées comme agents de contraste pour l’échographie. En utilisant cette méthode, il a été possible d’imager jusqu’aux plus petits vaisseaux et permettrait chez l’homme l’imagerie de la perfusion cérébrale de manière plus performante que le Doppler transcranien. Cela pourrait rendre possible une prise en charge plus précoce et plus efficace des patients victimes d’accidents vasculaires cérébraux. Avant d’être utilisée dans un contexte médical, la technique de super-résolution ultrasonore doit être mieux comprise, mieux réalisée, et adaptée au contexte particulier des accidents vasculaires cérébraux. En particulier, ce manuscrit discutera des meilleures méthodes de formation d’image, et se penchera sur les performances réelles de l’imagerie super résolue. Nous discuterons également des possibilités de corriger les artefacts dus aux mouvements physiologiques et des possibilités d’utiliser l’imagerie super résolue dans divers organes et en particulier les reins, les tumeurs et la moelle épinière. L’étude approfondie par imagerie super résolue de modèles d’ischémie cérébrale chez le rongeur permettra de construire des biomarqueurs vasculaires adaptés au diagnostic des pathologies cérébro-vasculaires et devrait aider la translation vers des patients humains
Ultrasonography is a medical imaging technique that uses ultrasound. A typical examination is based on two main modes, B-mode for anatomical imaging and Doppler mode for blood flowimaging. In the context of cerebrovascular diseases, ultrasonography is used primarily to estimate alterations in blood flow in major cerebral arteries through transcranial Doppler. However, the low quality of the images through the skull does not allow ultrasound to be as efficient as magnetic resonance imaging. Recent advances in ultrasound have led to the emergence of new modes of imaging, particularly a super-resolution ultrasound technique that increases the resolution and contrast of vascular imaging. It is based on the rapid imaging of microbubbles commonly used as contrast agents for ultrasound. This method has shown that it can image even the smallest vessels and allows to perform cerebral perfusion imaging more effectively than Transcranial Doppler. This would allow earlier and more effective management of stroke patients. Before being used in a medical context, this ultrasound super-resolution technique must be better understood, better realized, and adapted to the particular context of cerebrovascular diseases. In particular, this manuscript will discuss how to best form images, and will look at the actual performance of super-resolved imaging. We will also discuss the possibilities of correcting artefacts due to physiological movements and the possibilities of using super-resolved imaging in various organs, particularly the kidneys, tumors and spinal cord. Finally, imaging of models of cerebral ischemia in rodents will enable the construction of vascular biomarkers suitable for the diagnosis of cerebrovascular pathologies and should aid translation into human patients