Academic literature on the topic 'Infographie procédurale'

Dans le sillage de l'augmentation de la puissance graphique des machines grands publics, le domaine de la synthèse d'images réalistes nous propose de se plonger dans des mondes virtuels toujours plus détaillés. Les artistes sont alors sollicités pour remplir et animer ces scènes virtuelles complexes. Il en résulte un temps de création prohibitif, un coût mémoire grandissant et des difficultés pour rendre de manière correcte et efficace cette profusion de détails. De nombreux outils de génération procédurale de contenu ont alors été proposés pour aider les studios à gérer ces problèmes. Dans cette thèse, nous nous sommes intéressés à la synthèse de détails mésoscopiques à la volée pour ajouter facilement du détail à la surface des modèles 3D. En se concentrant sur la synthèse procédurale de texture, nous avons proposé des améliorations pour rendre correctement des textures modifiant non seulement la couleur de la surface d'un objet mais feignant aussi le relief de la surface en temps réel. Nous avons travaillé sur la synthèse de motifs structurés contrôlables dans le but de proposer une méthodologie permettant de rendre des textures de grande qualité à la volée sans défauts d'aliassage. Nous avons étendu aussi la génération de texture à la synthèse de détails géométriques mésoscopiques, en synthétisant à la volée des cartes de normales venant perturber le calcul de l'éclairage de la surface pour y faire apparaître des aspérités
With the increasing power of consumer machines, Computer Graphics is offering us the opportunity to immerse ourselves in ever more detailed virtual worlds. The artists are thus tasked to model and animate these complex virtual scenes. This leads to a prohibitive authoring time, a bigger memory cost and difficulties to correctly and efficiently render this abundance of details. Many tools for procedural content generation have been proposed to resolve these issues. In this thesis, we focused our work on on-the-fly generation of mesoscopic details in order to easily add tiny details on 3D mesh surfaces. By focusing on procedural texture synthesis, we proposed some improvements in order to correctly render textures that modify not only the surface color but faking the surface meso-geometry in real-time. We have presented a methodology for rendering high quality textures without aliasing issues for controllable structured pattern synthesis. We also proposed an on-the-fly normal map generation to disturb the shading calculation and to add irregularites and relief to the textured surface

Dans un monde virtuel, les objets représentés sont décrits autant par leur géométrie que par le comportement lumineux de leur surface. Ce dernier est un élément important pour le réalisme de la scène créée. Pour simuler le comportement lumineux des surfaces, une méthode couramment utilisée consiste à recouvrir la géométrie des objets avec des textures.Dans cette thèse, nous nous intéressons aux textures stochastiques structurées. Et plus particulièrement à leur génération et à leur rendu multi-échelle en temps réel. Ces textures se caractérisent par un caractère stochastique qui leur donne une apparence plus organique et naturelle, et de brusques variations de couleur ou de contraste, faisant apparaître des motifs distincts que nous appelons structures.Nous proposons une nouvelle méthode de génération procédurale de motifs structurés. Celle-ci se base sur la composition d'un bruit procédural vectoriel par une fonction de transfert multi-variée. Cette méthode permet de tirer parti de la séparation entre l'information de structure, contenue dans la fonction de transfert, et le côté stochastique, apporté par le bruit
In a virtual world, objects represented are described as much by their geometry as by the luminous behaviour of their surface. The latter is an important element in the realism of the scene created. To simulate the luminous behaviour of surfaces, a commonly used method consists of covering the geometry of objects with textures.In this thesis, we focus on structured stochastic textures. More specifically, we are interested in their generation and rendering at different level of detail, in real time. These textures are characterised by a stochastic nature which gives them a more organic and natural appearance, and by abrupt variations in colour or contrast giving rise to distinct patterns which we call structures.We propose a new method for procedural generation of structured patterns. It is based on the composition of a procedural vector noise by a multivariate transfer function. This method takes advantage of the separation between the structural information contained in the transfer function and the stochastic information provided by the noise

La création de matériaux et de textures procéduraux demande une grande expertise et constitue un travail long, fastidieux et coûteux, c’est pourquoi on cherche à développer des outils permettant leur génération automatique à partir d’exemples en entrée fournis sous la forme d’images : on parle de modélisation procédurale inverse.Dans cette thèse, nous proposons un modèle procédural appelé Cellular Point Process Texture Basis Function (C-PPTBF) permettant de représenter des structures cellulaires stochastiques 2D, impliquant des fonctions différentiables par rapport à la plupart de leurs paramètres, ce qui rend possible l’estimation de ces paramètres à partir d’exemples sans recourir entièrement à des réseaux de neurones profonds. Nous avons mis en place une chaîne de traitement permettant d’estimer les paramètres de notre modèle à partir d’exemples de structures fournis sous la forme d’images binaires, combinant une estimation réalisée à l’aide d’un réseau de neurones convolutif entraîné sur des images produites avec notre modèle de C-PPTBF et une phase d’estimation par descente de gradient directement sur les paramètres du modèle procédural
The creation of procedural materials and textures requires considerable expertise, and is time-consuming, tedious and costly. We are therefore looking to develop tools for the automatic generation of procedural textures and materials from input exemplars provided in the form of images: This is known as inverse procedural modeling.In this thesis, we propose a procedural model called Cellular Point Process Texture Basis Function (C-PPTBF) for representing 2D stochastic cellular structures, involving functions that are differentiable with respect to most of their parameters, making it possible to estimate these parameters from examples without resorting entirely to deep neural networks. We have set up a processing pipeline to estimate the parameters of our model from structural examples provided in the form of binary images, combining an estimation performed using a convolutional neural network trained on images produced with our C-PPTBF model and an estimation phase using gradient descent directly on the parameters of the procedural model

Réalisé en cotutelle avec l'Université de Grenoble.
La complexité des mondes virtuels ne cesse d’augmenter et les techniques de modélisation classiques peinent à satisfaire les contraintes de quantité nécessaires à la production de telles scènes. Les techniques de génération procédurale permettent la création automatisée de mondes virtuels complexes à l’aide d’algorithmes, mais sont souvent contre-intuitives et par conséquent réservées à des artistes expérimentés. En effet, ces méthodes offrent peu de contrôle à l’utilisateur et sont rarement interactives. De plus, il s’agit souvent pour l’utilisateur de trouver des valeurs pour leurs nombreux paramètres en effectuant des séries d’essais et d’erreurs jusqu’à l’obtention d’un résultat satisfaisant, ce qui est souvent long et fastidieux. L’objectif de cette thèse est de combiner la puissance créatrice de la génération procédurale avec un contrôle utilisateur intuitif afin de proposer de nouvelles méthodes interactives de modéli- sation de mondes virtuels. Tout d’abord, nous présentons une méthode de génération procédurale de villages sur des terrains accidentés, dont les éléments sont soumis à de fortes contraintes de l’environnement. Ensuite, nous proposons une méthode interactive de modélisation de cascades, basée sur un contrôle utilisateur fin et la génération automatisée d’un contenu cohérent en regard de l’hydrologie et du terrain. Puis, nous présentons une méthode d’édition de terrains par croquis, où les éléments caractéristiques du terrain comme les lignes de crêtes sont analysés et déformés pour correspondre aux silhouettes complexes tracées par l’utilisateur. Enfin, nous proposons une métaphore de peinture pour la création et l’édition interactive des mondes virtuels, où des tech- niques de synthèse d’éléments vectoriels sont utilisées pour automatiser la déformation et l’édition de la scène tout en préservant sa cohérence.
The complexity required for virtual worlds is always increasing. Conventional modeling tech- niques are struggling to meet the constraints and efficiency required for the production of such scenes. Procedural generation techniques use algorithms for the automated creation of virtual worlds, but are often non-intuitive and therefore reserved to experienced programmers. Indeed, these methods offer fewer controls to users and are rarely interactive. Moreover, the user often needs to find values for several parameters. The user only gets indirect control through a series of trials and errors, which makes modeling tasks long and tedious. The objective of this thesis is to combine the power of procedural modeling techniques with intuitive user control towards interactive methods for designing virtual worlds. First, we present a technique for procedural modeling of villages over arbitrary terrains, where elements are subjected to strong environmental constraints. Second, we propose an interactive technique for the procedural modeling of waterfall sceneries, combining intuitive user control with the automated generation of consistent content, in regard of hydrology and terrain constraints. Then, we describe an interactive sketch-based technique for editing terrains, where terrain features are extracted and deformed to fit the user sketches. Finally, we present a painting metaphor for virtual world creation and editing, where methods for example-based synthesis of vectorial elements are used to automate deformation and editing of the scene while maintaining its consistency.

Le terme d'infographie procédurale ou Procedural Computer Graphics (PCG) recouvre un ensemble de technique de création visuelle basées sur la construction et le paramétrage de procédures algorithmiques. Celles-ci réifient la chaine des opérations conduisant à un design final en un objet interactif. En opérant donc à un plus haut niveau d'abstraction, la création procédurale ouvre en principe des possibilités inaccessibles à l'action humaine séquentielle, mais l'expressivité des techniques de PCG reste contrainte par la façon dont les modèles procéduraux sont encodés, et par les interactions qu'admettent ces représentations. Les frustrations de l'exploration d'espaces de paramètre par sliders en sont un exemple connu. Ce problème fait écho à une question centrale en Interaction Humain-Machine: Quels artefacts logiciels sont le plus adaptés pour médiatiser nos actions sur des substrats d'information? Les interfaces en manipulation directe - jadis réputées plus ergonomiques sur le plan cognitif - semblent reculer au profit des interactions conversationnelles: Les modèles d'IA générative promettent un accès facile à des résultats sophistiqués par commande verbale ou textuelle. Mais la métaphore de l'interface comme "monde" plutôt que comme interlocuteur n'est pas obsolète: Certaines choses seront toujours plus faciles à faire qu'à dire. La recherche récente en sciences cognitives sur l'action outillée et le raisonnement technique a apporté de nombreuses preuves que ces facultés sont distinctes du raisonnement symbolique, et les précèdent dans l'évolution humaine. Cette faculté de raisonnement technique tacite, fondamentale dans les pratiques artistiques, peut-elle s'accommoder d'environnements qui ne sont pas régit par des règles analogues à celles du monde physique, et si oui comment? Y répondre implique de redéfinir la matérialité comme qualité non pas de l'environnement mais de la relation d'un agent à celui-ci. Mais les redéfinitions proposées par la recherche en design peinent souvent à en tirer des principes de conception d'interfaces actionnables. Trois questions émergent de ce constat: 1. Si la matérialité est une relation d'un agent à son environnement, comment se développe-t-elle entre les utilisateurs et leur environnement logiciel? 2. Quels obstacles entravent ce processus, et quels artefacts logiciels spécifiques le facilitent? 3. Comment repenser l'architecture de l'interaction en général pour garantir qu'une telle relation de matérialité puisse émerger dans n'importe quel environnement logiciel? En m'appuyant sur étude auprès de 12 artistes et designers, je propose de voir la matérialité comme émergent d'un processus épistémique: Les artistes et les designers réalisent des actions épistémiques pour produire de la connaissance sur le medium, et de façon symétrique, ils externalisent leurs savoirs dans des artefacts épistémiques - lesquels apportent de nouvelles affordances à l'environnement, et admettent donc de nouvelles actions épistémiques. J'aborde la deuxième question via une preuve de concept logicielle qui combine plusieurs techniques d'interaction innovantes afin de faciliter la navigation exploratoire dans les espaces de paramètres des modèles procéduraux. La réflexion sur le processus de design et les premiers feedbacks récoltés m'amènent à me distancer des méthodes psychométriques d'évaluation, pour envisager des approches basées sur la théorie de l'information, tout en notant que la difficulté de l'IHM à diffuser les techniques d'interaction bénéfiques réside ailleurs que dans leur évaluation: S'approprier un medium implique d'y introduire de nouvelles affordances en combinant librement les représentations interactives qui le composent ce qui est par nature difficilement contrôlable. En revanche, la composabilité des représentations interactives peut être spécifiée de façon formelle et générique, sous réserve que les langages soient dotés d'une sémantique adéquate qui pour l'instant leur fait défaut
Procedural Computer Graphics (PCG) is an umbrella term for a variety of techniques that entail building and amending algorithmic procedures to generate graphical content. These procedural models reify the chain of operations leading to a design, turning the design process itself into an interactive object. Through manipulating such abstractions, artists and designers tap into the capacity of computers to produce outputs that require the repetitive and/or parallel application of rules to be obtained, or the storage of multiple objects in working memory. Yet, the expressiveness of PCG techniques remains constrained by how procedural models are represented and how users interact with these representations. A common frustration in PCG is the reliance on sliders to explore design spaces—what Alan Perlis would call a Turing tar-pit: everything is possible, but nothing is easy. This problem echoes a central question in Human-Computer Interaction: Which software artifacts are best suited to mediate our actions on information substrates? Direct manipulation interfaces—once considered more ergonomic from a cognitive standpoint—seem to be losing ground to conversational interactions: Generative AI models promise easy access to sophisticated results through verbal or textual commands. However, the metaphor of the interface as a "world" rather than as an interlocutor is not obsolete: Some things will always be more easily done than said. Recent research in cognitive science on tool-based action and technical reasoning has provided ample evidence that these faculties are distinct from symbolic reasoning and precede it in human evolution. Can this tacit technical reasoning, fundamental in artistic practices, extend to environments that aren't governed by rules analogous to those of the physical world? And if so, how? Answering these questions requires redefining materiality not as a quality of the environment but of an agent's relationship to it. Yet, the redefinitions proposed by design research often struggle to yield actionable principles for interface design. Three questions emerge from these observations:1. If materiality is a relationship between agent and environment, how does it develop between computational artists and software—if at all? 2. What obstacles hinder this process, and what specific software artifacts can support it?3. How can interactions and interfaces in general be architected to foster materiality with software environments? The first question is addressed through an ethnographic study of 12 artists and designers, proposing that materiality develops through epistemic processes. Artists build non-declarative knowledge through epistemic actions, externalizing this knowledge into artifacts that foster further exploration. I contextualize these findings with works that reflect similar intuitions. To tackle the second question, I develop a software prototype featuring novel interaction tools to facilitate navigation in large procedural model parameter spaces. Reflecting on the design process and participant feedback, I critique traditional usability and creativity evaluation methods, proposing alternative approaches inspired by instrumental interaction and information theory. In answering the third question, I argue that the difficulties HCI faces in bringing innovative interaction techniques and frameworks (particularly instrumental interaction) into the mainstream - stem not from the absence of adequate evaluation methods, but in the lack of adequate architecture. I speculate that if the building blocks of a software's interaction model have well-behaved mathematical semantics, we can extend the model-world metaphor beyond physicality and bring materiality to various information substrates

La création et le rendu interactif d’environnements réalistes est un problème complexe qui requiert de nombreux réglages et ajustements manuels. Les méthodes basées-image visent à simplifier ces tâches en utilisant des vues existantes d’une scène réelle ou synthétique. Ces points de vue peuvent être capturés dans le monde réel ou générés grâce à des algorithmes de rendu hors-ligne très réalistes. Pour générer un nouveau point de vue sur la scène, la géométrie et l’apparence associées sont estimées à partir de l’information des vues existantes, permettant l’exploration de l’environnement en temps réel.Lorsque les vues d’entrée ne couvrent la scène que partiellement, spatialement ou angulairement, des artefacts apparaissent souvent ; utiliser un faible nombre d’images d’entrée limite la qualité de la reconstruction des scènes réelles, tandis que les matériaux non-diffus compliquent le rendu des scènes tant réelles que synthétiques. Nous proposons plusieurs méthodes pour contourner ces limitations, en améliorant la façon dont l’information est stockée et agrégée depuis les vues d’entrée tout en exploitant les redondances. Nous décrivons aussi des outils géométriques afin de reprojeter les effets dépendants du point de vue pour la génération d’une nouvelle vue.Pour les scènes tirées du monde réel, nous détectons la présence de matériaux et objets grâce à de l’information sémantique. Nous présentons tout d’abord une méthode pour reconstruire et rendre des éléments architecturaux à partir de quelques vues. Nous exploitons la nature répétitive de ces éléments, extrayant et combinant leur information d’apparence et de géométrie pour générer une représentation commune idéale qui peut par la suite être réinsérée dans la scène initiale. Cette combinaison améliore l’estimation des paramètres des vues d’entrée, la reconstruction de la géométrie de l’élément, et est utile pour détecter les régions comportant des effets spéculaires dépendants du point de vue.Nous décrivons une deuxième méthode qui s’appuie aussi sur la sémantique de la scène pour améliorer le rendu d’environnements urbains. Dans ces scènes, les voitures présentent de nombreux effets dépendants du point de vue qui les rendent complexes à reconstruire et rendre fidèlement. Nous détectons et extrayons ces éléments grâce à une paramétrisation spécifique à chaque instance, afin de raffiner leur géométrie, tout en construisant une représentation simplifiée des surfaces réflectives, telles que les fenêtres. Pour rendre les effets dépendants du point de vue, nous séparons l’information spéculaire de chaque vue d’entrée et utilisons notre représentation analytique des réflecteurs pour reprojeter l’information dans la nouvelle vue, en respectant le déplacement des réflexions.Enfin, bien que les scènes synthétiques fournissent une information exacte de la géométrie et des matériaux présents, restituer fidèlement les effets non-diffus de façon interactive reste difficile. En nous inspirant de notre deuxième méthode, nous proposons une nouvelle approche pour rendre ces effets en utilisant de l’illumination globale précalculée. Pour un ensemble de points de vue prédéfinis dans la scène, nous précalculons l’information spéculaire, stockée dans des images panoramiques. Grâce à une représentation simplifiée de la géométrie, nous pouvons estimer le déplacement des réflexions de façon robuste, accumulant dans la nouvelle vue l’information provenant des panoramas. Combinée avec une paramétrisation adaptative des images panoramiques et un filtre de reconstruction préservant les matériaux, cette méthode restitue les effets de réflexions pour différent types de matériaux, de façon interactive.Les résultats obtenus grâce à nos méthodes montrent une amélioration de la qualité du rendu des effets dépendants du point de vue, que ce soit pour des données synthétiques ou du monde réel. Ces travaux ouvrent la voie à de futures recherches sur les techniques basées-image pour le rendu réaliste
The creation and interactive rendering of realistic environments is a time consuming problem requiring human interaction and tweaking at all steps. Image-based approaches use viewpoints of a real world or high quality synthetic scene to simplify these tasks. These viewpoints can be captured in the real world or generated with accurate offline techniques. When rendering a novel viewpoint, geometry and lighting information are inferred from the data in existing views, allowing for interactive exploration of the environment. But sparse coverage of the scene in the spatial or angular domain introduces artifacts; a small number of input images is adversarial to real world scene reconstruction, as is the presence of complex materials with view-dependent effects when rendering both real and synthetic scenes. We aim at lifting these constraints by refining the way information is stored and aggregated from the viewpoints and exploiting redundancy. We also design geometric tools to properly reproject view-dependent effects in the novel view.For real world scenes, we rely on semantic information to infer material and object placement. We first introduce a method to perform reconstruction of architectural elements from a set of three to five photographs of a scene. We exploit the repetitive nature of such elements to extract them and aggregate their color and geometry information, generating a common ideal representation that can then be reinserted in the initial scene. Aggregation helps improve the accuracy of the viewpoint pose estimation, of the element geometry reconstruction, and is used to detect locations exhibiting view-dependent specular effects.We describe a second method designed to similarly rely on semantic scene information to improve rendering of street-level scenery. In these scenes cars exhibit many view-dependent effects that make them hard to reconstruct and render accurately. We detect and extract them, relying on a per-object view parameterization to refine their geometry, including a simplified representation of reflective surfaces such as windows. To render view-dependent effects we perform a specular layer separation and use our analytical reflector representation to reproject the information in the novel view following the flow of reflections.Finally, while synthetic scenes provide completely accurate geometric and material information, rendering high quality view-dependent effects interactively is still difficult. Inspired by our second method, we propose a novel approach to render such effects using precomputed global illumination. We can precompute specular information at a set of predefined locations in the scene, stored in panoramic probes. Using a simplified geometric representation we robustly estimate the specular flow, gathering information from the probes at a novel viewpoint. Combined with an adaptive parameterization of the probes and a material-aware reconstruction filter, we render specular and glossy effects interactively.The results obtained with our methods show an improvement in the quality of recreated view-dependent effects, using both synthetic and real world data and pave the way for further research in image-based techniques for realistic rendering

La synthèse d'images fait partie des applications informatiques pour lesquelles on essaie de mettre en oeuvre des architectures et des logiciels répondant, le mieux possible, à deux contraintes principales qui sont l'espace mémoire et le temps de calcul. Devant cette situation, et après avoir analysé les besoins du graphique en matière de structures de données et d'algorithmique, notre travail est une approche par l'utilisation des langages applicatifs (type LISP) en graphique, sous deux aspects : 1- structure de donnée où nous proposons un nouveau modèle de donnée susceptible d'être utilisé pour représenter les objets graphiques, à savoir la structure de liste ; 2- algorithmique où nous montrons comment un des concepts fondamentaux des langages applicatifs (la récursivité) peut contribuer à une expression naturelle d'algoritmes graphiques

La génération de formes naturelles a été le sujet de nombreuses recherches depuis plusieurs années. Plusieurs méthodes ont été proposées afin de générer des objets naturels et réalistes tels que des terrains, des plantes et arbres, des nuages, etc. Les modèles itératifs sont très connus dans ce domaine de recherche grâce à leur capacité à générer des formes rugueuses et complexes qui sont adaptées à la représentation d’objets naturels. L’inconvénient majeur de tels modèles est le manque de contrôle sur le résultat final. Ce dernier peut venir de la méthode de construction stochastique interdisant tout contrôle par définition. Pour les modèles dont la construction est déterministe, les paramètres de générations sont souvent non intuitifs et limitent ainsi le contrôle. Pour ces raisons un grand nombre de recherches ont port sur le problème du contrôle de ces modèles ainsi que sur la possibilité d’utiliser des modèles non-itératifs (esquisses, basés exemples, etc.). Bien souvent, le contrôle introduit par ces modèles est un contrôle global, c’est-à-dire sur la totalité de l’objet final et ne prend donc pas en compte les détails locaux de ce dernier. Dans notre travail, nous nous attaquons au problème du contrôle sur les formes naturelles en tenant compte du contrôle local. À cette fin, nous introduisons deux modèles différents. Le premier repose sur un formalisme itératif avec notion de détail qui se dicline en deux sous-familles, l’une basée sur les IFS et l’autre basée sur les surfaces de subdivision. Le deuxième modèle permet l’édition de caractéristiques d’un terrain sous forme de primitives vectorielles puis la génération du terrain par une méthode de diffusion guidée. Cette dernière fait l’objet d’une implémentation parallèle sur la carte graphique (GPU)
The generation of natural shapes has been the subject of much research for many years. Several methods have been proposed to generate realistic natural objects such as terrain, plants and trees, clouds, etc... Iterative models are well known in this field of research due to their ability to generate complex and rough shapes that are adapted to the representation of natural objects. The major drawback of such models is the lack of control over the final result. The latter can come from the stochastic construction method which prevents any control by definition. For models whose construction is deterministic, the parameters of generation are often non-intuitive and thus limit control. For these reasons many studieshave focused on the problem of controlling these models as well as the possibility of using non-iterative models (sketches, based on examples, etc). Often, control introduced by these models is a global control, on the whole final object and therefore does not include local details of this object. In our work, we focus in the problem of control over natural shapes, taking into account local control. To this end, we introduce two different models. The first is based on an iterative formalism with detail concept which is divided into two subfamilies, one based on IFS and the other one based on subdivisionsurfaces. The second model allows the editing of terrain features under a form of vectorial primitives which one used to generate the terrain by guided diffusion method. The latter is the subject of a parallel implementation on graphics card (GPU)

Depuis plus de vingt ans, les effets spéciaux cinématographiques ont été profondément transformés par le développement d’outils technologiques de pointe dédiés à l’image numérique (image de synthèse et traitement de l’image). Ces techniques permettent de simuler avec précision des matières telles que du feu, de la fumée ou encore de l'eau. Cette étude explore le potentiel créatif des techniques procédurales pour peindre avec des matières dynamiques. Autour de créations et d'expérimentations, je crée mes propres matières, je les utilise tout en les contrôlant pour proposer de nouveaux horizons graphiques et narratifs. À travers de nombreuses études de cas rencontrés en production cinématographique, j'analyse le fonctionnement de ces techniques pour proposer aux artistes des moyens pratiques de contrôler ces matières dans un but de création, en allant au-delà d'une simulation physique et réaliste. Je développe alors des créations et des expérimentations autour de quatre axes de recherche. Sur le thème du portrait, je cherche à peindre avec des matières dynamiques et à représenter le visage en mouvement. Il s'agit d'interpréter une scène 3D et de contrôler ces matières en interagissant avec elles par la mise en place de workflow spécifiques. Je m’intéresse ensuite au dialogue possible entre ces systèmes dynamiques et la musique pour proposer de véritables chorégraphies abstraites. De la même manière, je cherche à peindre le mouvement, à représenter l'invisible, en le capturant et en proposant différentes interprétations de ces données. Enfin, je propose de jouer avec la matière procédurale sans contraintes en la plaçant au cœur de l’œuvre
For over twenty years, special effects in film drastically changed with the ever increasing tools dealing with digital images (image synthesis and image processing). The latter accurately simulate materials such as fire, smoke or even water. This study investigates the innovative potential of procedural techniques to paint with dynamic materials. Through creations and experiments, I created my own materials which I used and adapted to propose new graphics and narratives alternatives. Through the study of many film productions, I analyze how the state-of-the-art techniques work. Beyond physical and realistic simulations I provide the artists with adequate ways to play with these dynamic materials for any creative purpose. I propose new creations and experimentations following various research topics. Firstly, I investigate the portraits using dynamic materials to picture the face in motion. The point is to analyze the 3D scene and then to control the materials through interactions that follow dedicated workflows. Secondly, I study how these dynamics systems could be linked to music in order to produce novel creative choreographies. Following these studies, I attempt to paint the motion recorded from data acquisition using new analysis processes I proposed. Finally, I play freely with this procedural material setting it at the very heart of the process

Malgré la constante amélioration de la technique et du matériel informatique, permettant de manipuler du contenu numérique de plus en plus volumineux, la création de scènes virtuelles 3D reste une tâche complexe; du fait notamment de la charge cognitive qu'elle impose aux artistes. Afin de fluidifier la création, des représentations d'ordre supérieur des formes 3D ont vu le jour~: une forme est encodée en tant qu'elle est un programme qui génère sa géométrie. Cela rend possible une meilleure organisation de la charge cognitive lors de la création, mais possède néanmoins ses propres sources de friction. Nous étudions au cours de cette thèse les défis et opportunités induits par la représentation par programme des formes 3D, dans le contexte de la création de contenu numérique. Nous cherchons à ce que l'interaction avec les formes reste autant que possible dans l'espace 3D, au lieu d'être une manipulation de symboles abstraits dans un espace de programmation. Il est question d'une part d'assister la création des programmes décrivant les formes, de permettre à l'artiste d'opérer dans l'espace 3D tout en assurant une bonne généralisation de ses actions lorsque les variables libres du programme sont modifiées, et d'autre part d'aider au contrôle de ces variables en permettant la manipulation directe de la géométrie générée par le programme. Nous explorons la diversité de possibilités de représentation des formes par un programme, en nous focalisant sur différents paradigmes de programmation visuelle, allant des graphes orientés acycliques (DAG), impératifs, aux tuiles de Wang, déclaratives, en passant par des approches plus hybrides. Dans tous les cas, nous étudions des programmes de forme capables d'être évalués en temps interactif, de sorte qu'ils aient leur place dans un processus de création; aussi étendons-nous notre étude aux synergies que ces représentations par programme peuvent établir avec les systèmes de rendu en temps réel. Nous rendons possible l'utilisation de méthodes de manipulation directe sur la géométrie générée par DAG grâce à un jeu de règles de réécriture automatique et un filtre non linéaire de donnée différentielle. Nous aidons la création de programmes de forme impératifs en transformant des sélections d'éléments géométriques en des requêtes sémantiques, et la création de programmes déclaratifs en proposant un mode d'édition du contenu géométrique de tuiles de Wang centré sur les sections aux interfaces entre tuiles. Nous étendons les moteurs de pavage par tuiles pour prendre en compte des paramètres continus et suggérer automatiquement de nouvelles tuiles à ajouter. Nous intégrons les programmes de forme à la boucle de retour visuel en délégant l'évaluation du contenu des tuiles au système de rendu en temps-réel, et exploitons la sémantique du programme pour dériver un système de niveau de détails par imposteurs visuels.En résumé, notre série de contributions vise à tirer parti des représentations par programme des formes pour faire du processus de création de scènes numérique 3D une tâche plus artistique et moins technique qu'elle ne l'est
Although hardware and techniques have considerably improved over the years at handling heavy content, digital 3D creation remains fairly complex, partly because the bottleneck also lies in the cognitive load imposed over the designers. A recent shift to higher-order representation of shapes, encoding them as computer programs that generate their geometry, enables creation pipelines that better manage the cognitive load, but this also comes with its own sources of friction. We study in this thesis new challenges and opportunities introduced by program-based representations of 3D shapes in the context of digital content authoring. We investigate ways for the interaction with the shapes to remain as much as possible in 3D space, rather than operating on abstract symbols in program space. This includes both assisting the creation of the program, by allowing manipulation in 3D space while still ensuring a good generalization upon changes of the free variables of the program, and helping one to tune these variables by enabling direct manipulation of the output of the program. We explore diversity of program-based representations, focusing various paradigms of visual programming interfaces, from the imperative directed acyclic graphs (DAG) to the declarative Wang tiles, through more hybrid approaches. In all cases we study shape programs that evaluate at interactive rate, so that they fit in a creation process, and we push this by studying synergies of program-based representations with real time rendering pipelines.We enable the use of direct manipulation methods on DAG output thanks to automated rewriting rules and a non-linear filtering of differential data. We help the creation of imperative shape programs by turning geometric selection into semantic queries and of declarative programs by proposing an interface-first editing scheme for authoring 3D content in Wang tiles. We extend tiling engines to handle continuous tile parameters and arbitrary slot graphs, and to suggest new tiles to add to the set. We blend shape programs into the visual feedback loop by delegating tile content evaluation to the real-time rendering pipeline or exploiting the program's semantics to drive an impostor-based level-of-details system. Overall, our series of contributions aims at leveraging program-based representations of shapes to make the process of authoring 3D digital scenes more of an artistic act and less of a technical task