Dissertations / Theses on the topic 'Objet déformable'

Le contexte de ce travail est la reconstruction 3D d'images binaires en tomographie X à partir d'un faible nombre de vues. En contrôle non destructif, une première expertise peut révéler la présence d'une seule zone défectueuse, ou occlusion dans un milieu homogène. Le défaut est alors considéré comme un objet compact et homogène. Sa reconstruction est sous-déterminée car les projections sont limitées en nombre et en angles. Il est alors indispensable d'apporter de l'information a priori sur l'objet et/ou le milieu pour obtenir une solution acceptable. Une approche possible est la modélisation probabiliste de cette information et la méthodologie bayésienne. Nous distinguons deux classes de méthodes. Les premières, plus classiques, modélisent l'image par un champ binaire et estiment les valeurs de ses voxels à partir des données. Les secondes modélisent directement le contour de l'objet, et réalisent son estimation à partir des données. Compte tenu du contexte, nous optons pour ces dernières car elles permettent de limiter le nombre de paramètres et d'exploiter explicitement la compacité de l'objet. La régularisation porte alors sur la douceur locale du contour. Après une présentation des deux approches, de leurs avantages et limitations, nous étudions les approches par contour en sélectionnant des paramétrisations adaptées. Nous optons pour des modélisations locales, dont chaque paramètre ne contrôle qu'une portion du contour, afin de reconstruire des surfaces complexes. En particulier, nous utilisons la représentation polyédrique. Ce choix est conforté par des aspects algorithmiques, et notamment l'étude des projections du polyèdre. Nous concevons une méthode originale de reconstruction qui s'appuie sur l'estimation directe de la position des sommets du polyèdre à partir des données, sans recourir à une représentation par voxel de la scène examinée. Nous discutons son efficacité et sa capacité à reconstruire des objets de forme complexe de façon rapide.

Les objets déformables sont omniprésents. Sous forme de câbles, vêtements, plastiques, ilsfont parti du quotidien. Ces objets doivent être manipulés, fabriqués, transportés. Leur déforma-bilité rend ces tâches plus ardues que pour leurs homologues rigides. Les travaux de cette thèsese focalisent sur la résolution d'un cas concret industriel, non résolu et applicativement intéres-sant : l'assemblage de bande de roulement de poids lourd, partie au contact de la route, procédéencore manuel actuellement. Ce procédé industriel est proposé par le partenaire industriel Miche-lin au sein du consortium SoftManBot, programme Horizon20 de l'Union Européenne ayant pourambition d'automatiser la production industrielle d'objets déformables. La manipulation d'objetsdéformables soulève plusieurs problèmes que ne présentent pas les objets rigides : un problème demodélisation, un problème de perception, un problème d'asservissement de forme, et un problèmed'ingénierie système pour faire fonctionner tous les composants précédent de concert.Dans cette thèse, nous proposons deux contributions majeures. La première, Optimal ShapeServoing, est une commande par retour d'état basé sur la commande optimale améliorant l'étatde l'art de l'asservissement de forme en ajoutant une gestion implicite de la trajectoire de défor-mation - la manière dont l'objet atteint la déformation finale. De plus, la stratégie de commandepermet de découpler et pondérer les erreurs de forme et de position. Enfin, cette thèse expose unapprentissage par démonstration des paramètres du contrôleur grâce à un algorithme génétiquepour suivre le comportement de l'objet manipulé par un humain, afin de reproduire cette défor-mation lors de tâches de manipulation. L'identification de ces paramètres grâce aux stratégies deMachine Learning permet le meilleur des deux mondes - à la fois un fonctionnement explicable etun comportement proche de l'opération effectuée par un humain.Notre seconde contribution, Holistic Architecture for Deformable Object Software, répond auproblème d'ingénierie système en proposant une architecture logicielle modulaire formalisant be-soins et interfaces nécessaire pour les problèmes de manipulation d'objets déformables, en labora-toire et en contexte industriel, de l'interface utilisateur au driver des préhenseurs. Cette architecturea été validée et testé par l'intégration de nombreuses briques logicielles - modèles, commandes,perception, interface utilisateur, contrôleurs de robots, drivers de caméra, drivers de préhenseurs.Ces briques sont comparées objectivement grâce aux métriques industrielles gouvernant la qualitéd'un produit final, permettant non seulement d'automatiser la tâche proposée mais aussi de choisirla combinaison de modules la plus adaptée à cette même tâche
Deformable objects are ubiquitous. In the form of cables, clothing, plastics, they are part ofeveryday life. These objects need to be manipulated, manufactured, and transported. Their defor-mability makes these tasks more challenging than for their rigid counterparts. The work of thisthesis focuses on solving a specific industrial case, which is unresolved and of practical interest :the assembly of heavy-duty tire treads, the part that comes into contact with the road, which isstill a manual process. This industrial process is proposed by the industrial partner Michelin wi-thin the SoftManBot consortium, a Horizon20 program of the European Union with the ambitionto automate the industrial production of deformable objects. The manipulation of deformable ob-jects raises several problems that rigid objects do not present : a modeling problem, a perceptionproblem, a shape servoing problem, and a system engineering problem to make all the precedingcomponents work together.In this thesis, we propose two major contributions. The first one, Optimal Shape Servoing, is astate feedback control based on optimal control that improves the state of the art in shape controlby adding an implicit management of the deformation trajectory - how the object reaches its finaldeformation. Furthermore, the control strategy allows for decoupling and weighting shape andposition errors. Finally, this thesis presents a demonstration-based learning of controller parametersusing a genetic algorithm to mimic the behavior of an object manipulated by a human, in orderto reproduce this deformation during manipulation tasks. Identifying these parameters throughmachine learning strategies combines the best of both worlds - both explainable operation andbehavior close to that performed by a human.Our second contribution, Holistic Architecture for Deformable Object Software, addresses thesystem engineering problem by proposing a modular software architecture that formalizes theneeds and interfaces required for deformable object manipulation problems, both in the labora-tory and in an industrial context, from user interface to gripper drivers. This architecture has beenvalidated and tested through the integration of numerous software components - models, controls,perception, user interfaces, robot controllers, camera drivers, gripper drivers. These componentsare objectively compared using industrial metrics governing the quality of a final product, allowingnot only the automation of the proposed task but also the selection of the most suitable combinationof modules for the same task

Dans les mondes virtuels, l'apparence des objets mis en scène est un point crucial pour l'immersion de l'utilisateur. Afin d'approximer les relations lumière-matière, une manière communément mise en place est d’habiller les objets de la scène avec des textures. Afin d’aider les artistes dans le processus de création, des méthodes de synthèse et d'édition de texture ont vu le jour. Ces méthodes se différencient par les gammes de textures synthétisables, et notamment par la prise en compte des textures hétérogènes qui sont un réel défi. Ces textures sont composées de plusieurs régions aux contenus différents, dont la répartition est régie par une structure globale. Chacune des zones correspond à un matériau différent ayant une apparence et un comportement dynamique propre.Premièrement, nous proposons un modèle additif de textures statiques, permettant la synthèse à la volée de textures hétérogènes de tailles arbitraires à partir d'un exemple. Cette méthode comprend un modèle de bruit gaussien variant spatialement, ainsi qu'un mécanisme permettant la synchronisation avec une couche de structure. L’objectif est d’améliorer la variété de la synthèse tout en préservant des détails plausibles à petite échelle. Notre méthode se compose d'une phase d'analyse, composée d'un ensemble d'algorithmes permettant d'instancier les différentes couches à partir d'une image d'exemple, puis d'une étape de synthèse temps réel. Au moment de la synthèse, les deux couches sont générées indépendamment, synchronisées et ajoutées, en préservant la cohérence des détails même lorsque la couche de structure est déformée afin d'augmenter la variété.Dans un second temps, nous proposons une nouvelle approche pour modéliser et contrôler la déformation dynamique des textures, dont l'implantation dans le pipeline graphique standard reste simple. La déformation est modélisée à la résolution des pixels sous forme d'un warping dans le domaine paramétrique. Cela permet ainsi d'avoir un comportement différent pour chaque pixel, et donc dépendant du contenu de la texture. Le warping est défini localement et dynamiquement par une intégration en temps réel le long des lignes de flux d’un champ de vitesse pré-calculé, et peut être contrôlé par la déformation de la géométrie de la surface sous-jacente, par des paramètres d’environnement ou par édition interactive. Nous proposons de plus une méthode pour pré-calculer le champ de vitesse à partir d’une simple carte scalaire représentant des comportements dynamiques hétérogènes, ainsi qu’une solution pour gérer les problèmes d’échantillonnage survenant dans les zones sur-étirées lors de la déformation
In virtual worlds, the objects appearance is a crucial point for users immersion. In order to approximate light-matter relationships, a common way is to use textures. To help artists during the creative process, texture synthesis and texture editing methods have emerged. These methods are differentiated by the ranges of synthesizable textures, and especially by taking into account the heterogeneous textures. These textures are composed of several regions with different contents, whose distribution is lead by a global structure. Each of the zones corresponds to a different material having a specific appearance and dynamic behavior.First, we propose an additive model of static textures, allowing on-the-fly synthesis of heterogeneous textures of arbitrary sizes from an example. This method includes a spatially varying Gaussian noise pattern, as well as a mechanism for synchronization with a structure layer. The aim is to improve the variety of synthesis while preserving plausible small details. Our method consists of an analysis phase, composed of a set of algorithms for instantiating the different layers from an example image, then a real-time synthesis step. During synthesis, the two layers are independently generated, synchronized, and added, preserving details consistency even when the structure layer is deformed to increase variety.In a second step, we propose a new approach to model and control the dynamic deformation of textures, whose implementation in the standard graphical pipeline remains simple. The deformation is modeled at pixels resolution in the form of a warping in the parametric domain. Making possible to have a different behavior for each pixel, and thus depending of texture content. The warping is locally and dynamically defined by real-time integration along the flow lines of a pre-calculated velocity field, and can be controlled by the deformation of the underlying surface geometry, by parameters of environment or through interactive editing. In addition, we propose a method to pre-compute the velocity field from a simple scalar map representing heterogeneous dynamic behaviors, as well as a solution to handle sampling problems occurring in overstretched areas at the time. deformation

Interactions gestuelles multi-point et géométrie déformable pour l'édition 3D sur écran tactile: Malgré les progrès en capture d'objets réels et en génération procédurale, la création de contenus pour les mondes virtuels ne peut se faire sans interaction humaine. Cette thèse propose d'exploiter les nouvelles technologies tactiles (écrans "multi-touch") pour offrir une interaction 2D simple et intuitive afin de naviguer dans un environnement virtuel, et d'y manipuler, positionner et déformer des objets 3D. En premier lieu, nous étudions les possibilité et les limitations gestuelles de la main et des doigts lors d'une interaction sur écran tactile afin de découvrir quels gestes semblent les plus adaptés à l'édition des environnements et des objets 3D. En particulier, nous évaluons le nombre de degré de liberté efficaces d'une main humaine lorsque son geste est contraint à une surface plane. Nous proposons également une nouvelle méthode d'analyse gestuelle par phases permettant d'identifier en temps réel les mouvements clés de la main et des doigts. Ces résultats, combinés à plusieurs études utilisateur spécifiques, débouchent sur l'identification d'un patron pour les interactions gestuelles de base incluant non seulement navigation (placement de caméra), mais aussi placement, rotation et mise à l'échelle des objets. Ce patron est étendu dans un second temps aux déformations complexes (ajout et suppression de matière ainsi que courbure ou torsion des objets, avec contrôle de la localité). Tout ceci nous permet de proposer et d'évaluer une interface d'édition des mondes 3D permettant une interaction tactile naturelle, pour laquelle le choix du mode (navigation, positionnement ou déformation) et des tâches correspondantes est automatiquement géré par le système en fonction du geste et de son contexte (sans menu ni boutons). Enfin, nous étendons cette interface pour y intégrer des déformations plus complexe à travers le transfert de vêtements d'un personnage à un autre, qui est étendu pour permettre la déformation interactive du vêtement lorsque le personnage qui le porte est déformé par interaction tactile
Multi-touch gesture interactions and deformable geometry for 3D edition on touch screen: Despite the advances made in the fields of existing objects capture and of procedural generation, creation of content for virtual worlds can not be perform without human interaction. This thesis suggests to exploit new touch devices ("multi-touch" screens) to obtain an easy, intuitive 2D interaction in order to navigate inside a virtual environment, to manipulate, position and deform 3D objects. First, we study the possibilities and limitations of the hand and finger gestures while interacting on a touch screen in order to discover which gestures are the most adapted to edit 3D scene and environment. In particular, we evaluate the effective number of degrees of freedom of the human hand when constrained on a planar surface. Meanwhile, we develop a new gesture analysis method using phases to identify key motion of the hand and fingers in real time. These results, combined to several specific user-studies, lead to a gestural design pattern which handle not only navigation (camera positioning), but also object positioning, rotation and global scaling. Then, this pattern is extended to complex deformation (such as adding and deleting material, bending or twisting part of objects, using local control). Using these results, we are able to propose and evaluate a 3D world editing interface that handle a natural touch interaction, in which mode selection (i.e. navigation, object positioning or object deformation) and task selections is automatically processed by the system, relying on the gesture and the interaction context (without any menu or button). Finally, we extend this interface to integrate more complex deformations, adapting the garment transfer from a character to any other in order to process interactive deformation of the garment while the wearing character is deformed

Ce travail a pour objectif la manipulation interactive d'objets virtuels déformables. Dans les simulations avec retour haptique, les forces viennent souvent de situations de contact. Ainsi la fidélité du rendu haptique dépend beaucoup de la modélisation des contacts. Dans les travaux précédents, les lois de contact frottant entre objets déformables étaient simplifiées et ne permettaient pas un rendu réaliste des phénomènes physiques ayant lieu au contact. Dans ce travail, nous employons la loi de signorini et le frottement de Coulomb comme base. La résolution temps-réel est faite grâce à la formulation de l'opérateur Delassus et à l'utilisation d'un algorithme itératif de type Gauss-Seidel. Pour les modèles dynamiques, nous proposons une formulation corotationnelle globale, permettant de dissocier le pas de temps de la situation de la simulation du rapport masse-raideur des objets. Cette approche est illustrée par un exemple d'enclipsage virtuel avec retour haptique 6 D
This work aims the interactive manipulationsof virtuals objets. In interactive simulations, haptic feedback computation often comes from contact forces. Subsequentently, the fidelity of haptic feedback depends significantly on contact modeling. Contact and friction laws between deformable models are simplified. They do not allow a realistic rending of contact space physical phenomena. In this work, we use Signorini's contact law and Coulomb'sfriction law as a basis. Real-time performance is made possible thanks to the formulation of Delassus operator, and interatively solved by Gauss-Seidel type algorithm dynamica models use corotational formulation to obtain the Delassus operator in which the mass and the stiffness ratio are dissociated from the simulation time step. This global approach has been pachkaged, implemented and tested. A virtual snapin task with 6D haptic feedback illustrates the approach

La qualité du traitement médicale des patients s'améliore de jour en jour. Cette amélioration est souvent accompagnée d'une augmentation de la complexité des interventions et les procédures médicales. Cependant, la formation des patriciens est principalement assurée par l'expérience sur un patien réel, avec des dangers évidents pour des procédures mal maîtrisées. D'où l'objectif de notre travail : explorer les possibilités de fournir une formation virtuelle par la simulation sur ordinateur. Souvent, ces procédures médicales impliquent les tissus mous du corps. C'est pourquoi, nous étudions différents modèles d'objets déformables, tels que des masses-ressorts et des éléments finis, et examinons leur adéquation avec les applications médicales en termes d'exactitude et de complexité de calcul. Puisque ces modéles font partie d'un simulateur pédagogique, il est essentiel qu'ils fournissent des solutions en temps réel. Par conséquent, nous examinons la résolution des systèmes résultants de modèles déformables, et discutons les non-linéarités liées à la géométrie et au matériau. De plus, pour pouvoir apprendre, le stagiaire doit pouvoir interagir avec la simulation. Par conséquent, des collisions doivent être détectées et une réponse adéquate calculée. Particulièrement pour des dispositifs de retour d'efforts, la cadence de cette réponse est de grande importance pour une inter-action haptique réaliste. Nous appliquons ces méthodes dans le cadre d'un simulateur échographique de la cuisse humaine et d'une simulation laparoscopique du foie humain. Dans ce contexte, nous abordons les questions importantes telles que l'identification et l'évaluation des paramètres du modèle correspondant à des propriétés physiques du tissu.

Cette thèse traite de la résolution de contacts multiples frottants entre objets déformables dans le cadre de la simulation interactive avec retour d'effort. Le contexte de ces travaux est l'apprentissage des gestes médicaux-chirurgicaux par l'intermédiaire d'une interface haptique. Dans ce type de contexte, il est nécessaire de prendre en compte la déformation des organes, les interactions organes/organes et les interactions outils/organes. Ces interactions sont du type contact avec frottements (secs ou visqueux). On utilise la Méthode des Eléments Finis appliquée aux équations de la Mécanique des Milieux Continus qui est certainement la méthode la plus rigoureuse pour modéliser le comportement linéaire ou non linéaire des tissus mous. On considère que les objets se déforment dans un état d'équilibre quasi-statique car les gestes opératoires sont lents et les objets manipulés sont de faible masse. Afin de résoudre ces équations d'équilibre quasi-statique dont les inconnues sont les forces de contact et les déplacements élastiques, on utilise la méthode incrémentale de Newton-Raphson. Plusieurs formulations, basées principalement sur le lagrangien augmentée (pseudo-potentiels, bi-potentiel), sont présentées pour modéliser les lois de contact frottant (Signorini et frottement de Coulomb) entre objets déformables dans un cadre très général (statique/dynamique, grandes déformations, schémas numériques : explicite, implicite). Afin de séparer le calcul des forces de contact du calcul des déplacements élastiques, on utilise la méthode de flexibilité laquelle permet de considérer un solveur de force de contact indépendamment du solveur des déplacements. Le solveur de forces de contact utilise des techniques de résolution numérique type " Gauss-Seidel " et " Uzawa " et permet un contrôle robuste de la solution en fonction de la précision demandée. Une version de ce solveur a été développée dans laquelle, il n'est pas nécessaire de connaître les modèles utilisés au niveau des déformations. Un simulateur temps réel avec interface haptique appelé " HapCo " a été mis au point et a permis de valider les concepts introduits dans cette thèse.

L'étude présentée se situe dans un contexte de création d'animations par ordinateur à l'aide de modèles dits "générateurs". Nous présentons un nouveau modèle d'objet déformables basé sur l'utilisation d'un système de particules orientées. Nous présentons également une méthode permettant de créer semi-automatiquement ces objets déformable à partir d'une définition volumique de la géometrie des objets. Les systèmes de particules, crées pour pallier les lacunes de la modélisation géométrique classique, ont aujourd'hui un vaste domaine d'application. Le concept de particule orientée a été développé en tant qu'outil pour la modélisation de surfaces tridimensionnelles quelconques. Après avoir proposé une solution originale au problème des oscillations inhérent à la modélisation par système de particules (orientées ou non), nous présentons des nouvelles lois d'interaction anisotrope qui nous permettent de spécifier les propriétés des surfaces modélisées (telles que les courbures) et par la même d'obtenir un modèle d'objet déformable. Une extension de cette technique utilisant une enveloppe définie par des surfaces implicites est aussi présentée. Nous proposons ensuite un algorithme de reconstruction d'objets avec des particules orientées a partir de données tridimensionnelles. L'espace est le lieu d'un champ scalaire, et la surface de l'objet est définie par une valeur remarquable de ce champ. A partir de quelques paramètres-utilisateur spécifiant la densité d'échantillonnage voulue, nous construisons automatiquement un modèle déformable de la surface de l'objet. L'utilisation de particules orientées nous permet aussi de définir un échantillonnage adapté en fonction de la courbure locale directionnelle de l'objet. Les interactions entre les particules sont automatiquement définies, ne laissant à l'utilisateur que quelques paramètres simples à régler pour spécifier le comportement dynamique de l'objet. Finalement, nous présentons les bases d'une approche innovante de modélisation de muscle. Les lois d'interaction entre les particules orientées sont définies et devront être modifiées de façon à copier le comportement du muscle, aussi bien dans ses variations de forme que dans les forces exercées.

La manipulation d'objets déformables fait partie des tâches évidentes pour un être humain. Nous en manipulons tous les jours, que ce soient des habits, de la nourriture ou des accessoires. Même pour des objets que nous n'avons jamais vu auparavant, il est intuitif de savoir à l'avance comment l'objet va réagir et se déformer lorsqu'on le manipule. En voyant uniquement la géométrie, l'aspect et la texture d'un objet, et en se référant à nos expériences passées avec d'autres objets similaires, on peut très souvent prédire à l'avance la manière dont l'objet va se déformer sans même le toucher. De plus, il nous est très facile, avec un nombre réduit d'interactions avec un nouveau matériau, d'extrapoler et de déduire rapidement l'ensemble des actions à effectuer pour déformer l'objet spécifiquement. Les robots ne possèdent toutefois pas cette mémoire pour les aider à appréhender de nouvelles situations. Pour eux, il n'existe aucun lien évident entre les actions qu'ils effectuent sur un objet et la forme que prend celui-ci. Permettre aux robots de manipuler des objets déformables est donc un défi en robotique. Derrière l'apparente simplicité de la tâche, retranscrire ce lien que nous possédons intuitivement entre les actions effectuées et la forme d'un objet dans un langage compréhensible pour un robot est un problème complexe. Cependant, de nombreuses tâches impliquant de manipuler et de traiter des objets déformables bénéficieraient grandement de l'aide de robots, que ce soit dans les secteurs industriels, publics ou même dans la vie de tous les jours. Dans cette thèse, nous cherchons à faire avancer la recherche dans ce secteur en proposant une approche permettant à un robot de manipuler des objets déformables. En se basant sur un modèle mécanique de l'objet, nous proposons dans un premier temps une méthode hors-ligne pour planifier les actions du robot de sorte à réaliser une tâche de manipulation d'objet déformable en prenant en compte les contraintes appliquées sur l'objet. Dans un second temps, nous étendons l'approche précédente à une tâche de détachement d'un objet déformable fixé sur une surface plane. Enfin, nous proposons une méthode de contrôle de forme en ligne, qui peut être utilisée conjointement avec la méthode de planification ou indépendamment
Handling deformable objects is an obvious task for human beings. We manipulate them every day, whether it's clothes, food or accessories.Even for objects we've never seen before, it's intuitive to know in advance how the object will react and deform when handled. By seeing only the geometry, appearance and texture of an object, and referring to our past experiences with other similar objects, we can very often predict in advance how the object will deform without even touching it. Furthermore, with a reduced number of interactions with a new material, it's very easy for us to extrapolate and quickly deduce the set of actions required to deform the object specifically. Robots, however, do not have this memory to help them apprehend new situations. For them, there is no obvious link between the actions they perform on an object and the shape it takes. Enabling robots to manipulate deformable objects is therefore a challenge for robotics. Behind the apparent simplicity of the task, transcribing the link we intuitively possess between the actions we perform and the shape of an object into a language that a robot can understand is a complex problem. However, many tasks involving the handling and processing of deformable objects would benefit greatly from the help of robots, whether in the industrial, public or even everyday sectors. In this thesis, we aim to advance research in this field by proposing an approach enabling a robot to manipulate deformable objects. Based on a mechanical model of the object, we first propose an off-line method for planning the robot's actions in order to perform a deformable object manipulation task, taking into account the constraints applied to the object. Secondly, we extend the previous approach to the task of detaching a deformable object attached to a flat surface. Finally, we propose an on-line shape control method, which can be used in conjunction with the planning method or independently of it

L'animation de scènes virtuelles en synthèse d'images est une technique maîtrisée, largement utilisée pour les effets spéciaux cinématographiques et les jeux vidéos. Elle se limite toutefois la plupart du temps à l'animation manuelle d'objets rigides. Cette thèse se propose de chercher à générer automatiquement les déformations d'un objet mou, qui plus est en temps-réel. L'application visée est la création d'un simulateur chirurgical d'opérations minimalement invasives destiné à terme à la formation des chirurgiens. Les méthodes actuelles ne permettent pas d'obtenir à la fois un réalisme visuel satisfaisant et une animation en temps-réel. Pour y parvenir nous avons utilisé les lois de l'élasticité linéaire qui garantissent le réalisme de l'animation et assurent qu'un même comportement de l'objet sera approché, quelle que soit la finesse de la discrétisation. Nous proposons alors une méthode de simulation multirésolution, qui adapte automatiquement en fonction de la simulation, pour chaque zone de l'objet, la précision des calculs pour obtenir un compromis entre une simulation grossière et très rapide ou au contraire une animation plus précise utilisant davantage de points. La partie de l'organe proche de l'outil manipulé par l'utilisateur sera ainsi animée avec une grande précision, qui diminuera dans les régions lointaines, moins importantes visuellement. Ces travaux ont abouti à la réalisation d'un prototype de simulateur chirurgical offrant une animation en temps-réel grâce à l'utilisation de la multirésolution. Le réalisme est accru par l'utilisation d'un dispositif à retour d'effort simulant la résistance de l'organe à la déformation, calculée grâce au modèle physique interne.

Le présent travail aborde le sujet de suivi multi-objets. L'objectif principal est d'associer les données fournies aux objets présents dans un vidéo afin de pouvoir suivre leur évolution temporel par un algorithme de filtrage. L'étude décrite est soumise aux contraintes de modèles dynamiques non linéaires et complexes, avec données manquantes et présence de fausses alarmes. La principale contribution apportée est le développement d'un nouveau filtre d'association de données permettant de déterminer la probabilité d'association mesure-objet, sans connaissance a priori du vrai modèle dynamique des objets. Notre filtre d'association EAF permet de gérer de manière robuste les problèmes de données manquantes et fausses alarmes, et d'intervalle de temps significatif entre deux observations successives. Ses principaux avantages sont qu'il n'a besoin d'aucun paramètre et qu'il est peu consommateur en temps de calcul. Nous avons construit le nouveau filtre EPF dans le cadre de filtrage non-linéaire multi-objets qui ne nécessite que de peu d'informations a priori. Il peut estimer en ligne les paramètres du modèle dynamique à partir de l'association mesure-objet donnée par EAF, ceci pour modéliser de manière plus adéquate les mouvements complexes difficiles à apprendre a priori. Nous avons proposé le filtre PF-DO permettant d'estimer la déformation locale d'un objet ainsi que son mouvement à partir du EPF et des coefficients de Fourier. Nous avons ajouté au EPF un algorithme de détection de zones de mouvement QNMI, qui utilise l'information mutuelle normalisée pour pouvoir prendre en compte différentes modalités. Le modèle obtenu est dénommé ENMIM

L'animation de scènes virtuelles en synthèse d'images est une technique maîtrisée, largement utilisée pour les effets spéciaux cinématographiques et les jeux vidéos. Elle se limite toutefois la plupart du temps à l'animation manuelle d'objets rigides. Cette thèse se propose de chercher à générer automatiquement les déformations d'un objet mou, qui plus est en temps-réel. L'application visée est la création d'un simulateur chirurgical d'opérations minimalement invasives destiné à terme à la formation des chirurgiens. Les méthodes actuelles ne permettent pas d'obtenir à la fois un réalisme visuel satisfaisant et une animation en temps-réel. Pour y parvenir nous avons utilisé les lois de l'élasticité linéaire qui garantissent le réalisme de l'animation et assurent qu'un même comportement de l'objet sera approché, quelle que soit la finesse de la discrétisation. Nous proposons alors une méthode de simulation multirésolution, qui adapte automatiquement en fonction de la simulation, pour chaque zone de l'objet, la précision des calculs pour obtenir un compromis entre une simulation grossière et très rapide ou au contraire une animation plus précise utilisant davantage de points. La partie de l'organe proche de l'outil manipulé par l'utilisateur sera ainsi animée avec une grande précision, qui diminuera dans les régions lointaines, moins importantes visuellement. Ces travaux ont abouti à la réalisation d'un prototype de simulateur chirurgical offrant une animation en temps-réel grâce à l'utilisation de la multirésolution. Le réalisme est accru par l'utilisation d'un dispositif à retour d'effort simulant la résistance de l'organe à la déformation, calculée grâce au modèle physique interne
Animating virtual scenes in Computer Graphics is a mastered technique, widely used for special effects and video games. It is although usually restricted to the manual animation of a rigid object. This thesis will try to automatically generate the deformations of a soft object, furthermore in real-time. The goal application is the creation of a surgical simulator for minimally invasive operations aimed at surgeons training. Current methods do not allow at the same time a satisfactory visual realism and a real-time animation. In order to achieve this goal, we have used the linear elasticity laws which guarantee the realism of the simulation and ensure that the behavior of the object will be the same, whatever the discretization that we use. We propose a multiresolution simulation method which automatically adapts according to the simulation and in each region of the object the precision of the computations to obtain a trade-off between a coarse and fast simulation and on the contrary a more precise animation using more sample points. The part of the organ which is close to the tool manipulated by the user will hence be animated with a good precision, whereas distant regions, visually less important will use a coarser simulation. This research resulted in the creation of a surgical simulator prototype with a real-time animation thanks to the use of multiresolution. The realism is improved by the use of a force feedback device which simulates the organ's resistance to deformation, computed from the internal physical model

Cette thèse traite la problématique liée à la modélisation du visage dans le but de l'analyse faciale. Dans la première partie de cette thèse, nous avons proposé le Modèle Actif d'Apparence Multi-Objet. La spécificité du modèle proposé est que les différentes parties du visage sont traités comme des objets distincts et les mouvements oculaires (du regard et clignotement) sont extrinsèquement paramétrées. La deuxième partie de la thèse porte sur l'utilisation de la modélisation de visage dans le contexte de la reconnaissance des émotions. Premièrement, nous avons proposé un système de reconnaissance des expressions faciales sous la forme d'Action Units. Notre contribution porte principalement sur l'extraction des descripteurs de visage. Pour cela nous avons utilisé les modèles AAM locaux. Le second système concerne la reconnaissance multimodale des quatre dimensions affectives :. Nous avons proposé un système qui fusionne des caractéristiques audio, contextuelles et visuelles pour donner en sortie les quatre dimensions émotionnelles. Nous contribuons à ce système en trouvant une localisation précise des traits du visage. En conséquence, nous proposons l'AAM Multi-Modèle. Ce modèle combine un modèle global extrinsèque du visage et un modèle local de la bouche.

Cette thèse traite la problématique liée à la modélisation du visage dans le but de l’analyse faciale.Dans la première partie de cette thèse, nous avons proposé le Modèle Actif d’Apparence Multi-Objet. La spécificité du modèle proposé est que les différentes parties du visage sont traités comme des objets distincts et les mouvements oculaires (du regard et clignotement) sont extrinsèquement paramétrées.La deuxième partie de la thèse porte sur l'utilisation de la modélisation de visage dans le contexte de la reconnaissance des émotions.Premièrement, nous avons proposé un système de reconnaissance des expressions faciales sous la forme d’Action Units. Notre contribution porte principalement sur l'extraction des descripteurs de visage. Pour cela nous avons utilisé les modèles AAM locaux.Le second système concerne la reconnaissance multimodale des quatre dimensions affectives :. Nous avons proposé un système qui fusionne des caractéristiques audio, contextuelles et visuelles pour donner en sortie les quatre dimensions émotionnelles. Nous contribuons à ce système en trouvant une localisation précise des traits du visage. En conséquence, nous proposons l’AAM Multi-Modèle. Ce modèle combine un modèle global extrinsèque du visage et un modèle local de la bouche
The work in this thesis deals with the problematic of face modeling for the purpose of facial analysis.In the first part of this thesis, we proposed the Multi-Object Facial Actions Active Appearance Model (AAM). The specificity of the proposed model is that different parts of the face are treated as separate objects and eye movements (gaze and blink) are extrinsically parameterized. This increases the generalization capabilities of classical AAM.The second part of the thesis concerns the use of face modeling in the context of expression and emotion recognition. First we have proposed a system for the recognition of facial expressions in the form of Action Units (AU). Our contribution concerned mainly the extraction of AAM features of which we have opted for the use of local models.The second system concerns multi-modal recognition of four continuously valued affective dimensions. We have proposed a system that fuses audio, context and visual features and gives as output the four emotional dimensions. We contribute to the system by finding the precise localization of the facial features. Accordingly, we propose the Multi-Local AAM. This model combines extrinsically a global model of the face and a local one of the mouth through the computation of projection errors on the same global AAM

Nous abordons le suivi d’objets dans des séquences d’images de scènes déformables selon deux axes de recherche. Il s’agit de déterminer les transformations d’un objet, d’une image à l’autre, lorsque celui-ci s’est éventuellement déformé ou déplacé et lorsque le point de vue de la caméra a éventuellement été modifié (déplacement, zoom...). Pour cela, nous nous sommes inspirés de l’algorithme de Jurie et Dhome qui permet de suivre un objet plan indéformable. D’une part, nous en améliorons les performances. D’autre part, nous le généralisons au cas d’objets déformables. Le premier axe de recherche consiste à améliorer les performances de l’algorithme de Jurie et Dhome en termes de précision et robustesse. Le suivi s’appuie sur un ensemble de points d’intérêt, dont dépendent fortement les performances. Ces points d’intérêt sont issus d’une sélection des points obtenus par des détecteurs reconnus, à savoir SIFT, KLT, SUSAN, HARRIS et MORAVEC. Nous avons étudié et mis en oeuvre, sur différentes classes d’images, des heuristiques de sélection fondées sur des approches statistique et algébrique. Nous montrons : – qu’il n’existe pas de détecteur universel, – que l’approche statistique est à privilégier dans tous les cas. Le second axe de recherche est une proposition d’un nouvel algorithme de suivi s’appuyant sur le maillage 2D des images de la séquence. Cet algorithme généralise celui de Jurie et Dhome aux scènes déformables. Il repose sur : – des transformations élémentaires (nodales) du maillage, directes et inverses, que nous avons caractérisées tant d’un point de vue géométrique qu’analytique, – l’utilisation des coordonnées barycentriques généralisées pour approcher la composition de deux transformations d’un maillage. Cet algorithme donne des résultats similaires à celui d’appariement hexagonal de Nakaya et Harashima tout en étant plus rapide
We deal with object tracking in videos of non-rigid scenes with two main purposes. We aim at determining the transformations of an object, from one frame to the next, when it may be distorted or moved and when the camera focus may change (movement, zoom...). To do this, we were inspired by the Jurie and Dhome algorithm, which enables the tracking of plane rigid objects. On the one hand, we improve its performance. On the other hand, we generalize it to non-rigid objects. The first goal consists in improving the performance of the Jurie and Dhome algorithm, in terms of accuracy and robustness. The tracking is based on a set of interest points, which has a great effect on the algorithm’s performance. These interest points come from a selection among the points extracted with some common detectors: SIFT, KLT, SUSAN, HARRIS, and MORAVEC.With various pictures classes, we have studied and implemented some selection heuristics based on statistical or algebraic approaches. We show that : • there is no universal detector, • the statistical approach is the best in all cases. The second goal is a proposal of a new tracking algorithm based on a 2D mesh of the video frames. This algorithm generalizes the Jurie and Dhome one for non-rigid scenes. It is based on : • elementary (nodal), direct or inverse, mesh transformations that we geometrically and analytically characterize, • generalized barycentric coordinates to approximate the composition of two mesh transformations. This algorithm gives similar results to the hexagonal matching algorithm of Nakaya and Harashima while being faster

En robotique, la manipulation d'objets déformables reçoit moins d'attention que celle d'objets rigides. Pourtant, de nombreux objets dans la vie réelle sont déformables. La recherche sur la manipulation d'objets déformables est indispensable pour doter les robots d'une dextérité de manipulation totale. La difficulté majeure de ce problème est que déformation de l'objet a un espace de configurations de dimensions infinie, tandis que les entrées du robots sont limitées. Dans le cadre de VERSATILE, un projet H2020 axé sur l'automatisation industrielle à l'aide de robots, nous avons axé nos recherches sur la manipulation d'objets déformables linéaires (câbles) par retour visuel.Une caractéristique de la manipulation des objets déformables est que la forme de l'objet change pendant la manipulation. Par conséquent, un problème important consiste à contrôler la forme de l'objet pendant la manipulation. Nous avons abordé le problème du contrôle de forme en exploitant le retour visuel.Dans un premier temps, nous avons représenté la forme de l'objet avec une série de Fourier. Nous estimons et mettons à jour la matrice d'interaction en ligne, puis nous concevons le contrôleur pour contrôler la forme.Ensuite, au lieu d'utiliser une caractéristique définie par l'humain pour le paramétrage, nous avons laissé le robot apprendre automatiquement les vecteurs de caractéristiques à partir des données visuelles. Nous proposons une méthode qui permet au robot de générer simultanément - et à partir des mêmes données - un vecteur de caractéristiques ainsi que la matrice d'interaction. Cette méthode nécessite un minimum de données pour l'initialisation. L'apprentissage et le contrôle peuvent être effectués en ligne de manière adaptative. Nous pouvons appliquer la même méthode à la manipulation d'objets rigides, directement et sans modification.Ces deux travaux ne requièrent aucune calibration de la caméra et ont été validés avec des expérimentations de robotique réelle.Un autre domaine d'importance dans la manipulation d'objets déformables est l'utilisation de contacts externes pour contrôler la forme de l'objet. Les contacts externes peuvent et doivent être utilisés pour la manipulation d'objets déformables. Nous considérons un scénario fréquent dans l'industrie - l'acheminement de câbles avec des contacts externes comme processus à automatiser avec notre robot. Nous proposons un algorithme de planification qui permet au robot d'utiliser des contacts pour déformer le câble et pour obtenir la configuration souhaitée. Des expériences robotiques réelles avec différents scénarios de placement de contacts permettent de valider nos algorithmes
In robotics, the area of deformable object manipulation receives far less attention than that of rigid object manipulation. However, many objects in real life are deformable. Research on deformable object manipulation is indispensable to equip robots with full manipulation dexterity. Deformable linear object (DLO) is one type of deformable objects that commonly presents in the industry and households, for instance, electrical cables for power transfer, USB cables for data transfer, or ropes for dragging and lifting equipment. In the context of H2020 VERSATILE, a project focusing on industrial automation using robots, we focus our research on DLO manipulation via visual feedback.One characteristic of deformable object manipulation is that the object shape changes while being manipulated. Consequently, a research direction is to control the shape of the object during manipulation. We tackle the shape control problem by using vision. Initially, we parameterize the shape with Fourier series, estimate and update the interaction matrix online, and finally control the DLO shape.In the subsequent research, instead of using human-defined features for parameterization, we let the robot automatically learn feature vectors from visual data. We propose a method that allows the robot to simultaneously generate a feature vector and the interaction matrix from the same data. Our approach requires minimum data for initialization. Learning and control can be done online in an adaptive manner. We can also apply the method to rigid object manipulation directly without modification.Neither of the two frameworks requires camera calibration, and both are verified with simulation and real robotic experiments.Another area of importance in deformable object manipulation is the utilization of external contacts. The object deformation is defined in a configuration space of infinite dimension. Nonetheless, the inputs from robots are limited. External contacts can and should be used for manipulating deformable objects. We take a practical scenario in the industry -- cable routing with external contacts as the process to automate with our robot. We propose a planning algorithm that allows the robot to use contacts for shaping the cable and achieving the desired cable configuration. Real robotic experiments with different contact placement scenarios further validate the algorithms

Dans cette thèse, nous proposons l'utilisation de représentations de niveau intermédiaire, et en particulier i) d'axes médians, ii) de parties d'objets, et iii) des caractéristiques convolutionnels, pour modéliser des objets.La première partie de la thèse traite de détecter les axes médians dans des images naturelles en couleur. Nous adoptons une approche d'apprentissage, en utilisant la couleur, la texture et les caractéristiques de regroupement spectral pour construire un classificateur qui produit une carte de probabilité dense pour la symétrie. Le Multiple Instance Learning (MIL) nous permet de traiter l'échelle et l'orientation comme des variables latentes pendant l'entraînement, tandis qu'une variante fondée sur les forêts aléatoires offre des gains significatifs en termes de temps de calcul.Dans la deuxième partie de la thèse, nous traitons de la modélisation des objets, utilisant des modèles de parties déformables (DPM). Nous développons une approche « coarse-to-fine » hiérarchique, qui utilise des bornes probabilistes pour diminuer le coût de calcul dans les modèles à grand nombre de composants basés sur HOGs. Ces bornes probabilistes, calculés de manière efficace, nous permettent d'écarter rapidement de grandes parties de l'image, et d'évaluer précisément les filtres convolutionnels seulement à des endroits prometteurs. Notre approche permet d'obtenir une accélération de 4-5 fois sur l'approche naïve, avec une perte minimale en performance.Nous employons aussi des réseaux de neurones convolutionnels (CNN) pour améliorer la détection d'objets. Nous utilisons une architecture CNN communément utilisée pour extraire les réponses de la dernière couche de convolution. Nous intégrons ces réponses dans l'architecture DPM classique, remplaçant les descripteurs HOG fabriqués à la main, et nous observons une augmentation significative de la performance de détection (~14.5% de mAP).Dans la dernière partie de la thèse nous expérimentons avec des réseaux de neurones entièrement convolutionnels pous la segmentation de parties d'objets.Nous réadaptons un CNN utilisé à l'état de l'art pour effectuer une segmentation sémantique fine de parties d'objets et nous utilisons un CRF entièrement connecté comme étape de post-traitement pour obtenir des bords fins.Nous introduirons aussi un à priori sur les formes à l'aide d'une Restricted Boltzmann Machine (RBM), à partir des segmentations de vérité terrain.Enfin, nous concevons une nouvelle architecture entièrement convolutionnel, et l'entraînons sur des données d'image à résonance magnétique du cerveau, afin de segmenter les différentes parties du cerveau humain.Notre approche permet d'atteindre des résultats à l'état de l'art sur les deux types de données
In this thesis we propose the use of mid-level representations, and in particular i) medial axes, ii) object parts, and iii)convolutional features, for modelling objects.The first part of the thesis deals with detecting medial axes in natural RGB images. We adopt a learning approach, utilizing colour, texture and spectral clustering features, to build a classifier that produces a dense probability map for symmetry. Multiple Instance Learning (MIL) allows us to treat scale and orientation as latent variables during training, while a variation based on random forests offers significant gains in terms of running time.In the second part of the thesis we focus on object part modeling using both hand-crafted and learned feature representations. We develop a coarse-to-fine, hierarchical approach that uses probabilistic bounds for part scores to decrease the computational cost of mixture models with a large number of HOG-based templates. These efficiently computed probabilistic bounds allow us to quickly discard large parts of the image, and evaluate the exact convolution scores only at promising locations. Our approach achieves a $4times-5times$ speedup over the naive approach with minimal loss in performance.We also employ convolutional features to improve object detection. We use a popular CNN architecture to extract responses from an intermediate convolutional layer. We integrate these responses in the classic DPM pipeline, replacing hand-crafted HOG features, and observe a significant boost in detection performance (~14.5% increase in mAP).In the last part of the thesis we experiment with fully convolutional neural networks for the segmentation of object parts.We re-purpose a state-of-the-art CNN to perform fine-grained semantic segmentation of object parts and use a fully-connected CRF as a post-processing step to obtain sharp boundaries.We also inject prior shape information in our model through a Restricted Boltzmann Machine, trained on ground-truth segmentations.Finally, we train a new fully-convolutional architecture from a random initialization, to segment different parts of the human brain in magnetic resonance image data.Our methods achieve state-of-the-art results on both types of data

Les traitements curatifs des cancers par irradiation avec des rayons ionisants tels que la radiothérapie conformationnelle et l'hadronthérapie sont plannifiés avec des marges d'erreur qui prennent en compte, entre autres, les statistiques de mouvements des tumeurs.

En partenariat avec le Centre anticancéreux Léon Bérard de Lyon et dans le projet ETOILE, nous proposons de rechercher des modèles de simulations des objets déformables qui prendraient en considération, en plus de la géométrie issue directement de l'imagerie médicale, les paramètres physiologiques mesurés sur les patients afin de pouvoir garantir de meilleures marges d'erreur, dans le cas des tumeurs pulmonaires.

Dans cette thèse, nous avons choisi de modéliser les poumons avec des systèmes masses-ressorts qui sont généralement utilisés dans le monde de l'animation pour le réalisme et la rapidité.
Pour rendre le système précis et directement paramétré par les données mécaniques du patient, nous nous sommes inspirés des travaux de Van Gelder qui introduit un contrôle par les caractéristiques rhéologiques d'un matériaux "2D" linéaire élastique homogène isotrope.
Cependant, après vérification et étude théorique de ce modèle, il est apparut que celui-ci bien que donnant des animations réalistes était erroné.
Nous avons donc entrepris une étude lagrangienne qui nous a permis de rendre ce modèle 2D rectangulaire, puis 3D à base de brique élémentaire cubique, paramétrable.
Nous avons d'autre part déterminer la robustesse de notre système à l'aide de tests d'étirement, gonflement, fléchissement et cisaillement et par comparaison à des tests effectués sur des modèles éléments finis.

Cette thèse explique ainsi comment ce modèle paramétrable a été obtenu, et comment il pourra être relié avec les données physiologiques et dans quelle précision.

L'objectif fondamental de cette thèse est de développer et de mettre en oeuvre un outil interactif desimulation des techniques de micromanipulation biologiques de cellules. Au moyen de cet outil, l'opérateurpourra se former, s'entraîner et améliorer sa maîtrise en développant une gestuelle proche de celle exécutéeen réalité. La conception d'un tel environnement de simulation en temps-réel nécessite de trouver uncompromis entre le réalisme des modèles de comportement biomécanique utilisés, la précision et la stabilitédes algorithmes des méthodes de résolution et de rendu haptique utilisées ainsi que la vitesse de calcul. Lamodélisation mécanique retenue repose sur l'utilisation du modèle hyperélastique de St Venant-Kirchhoff etune formulation dynamique explicite éléments-finis du type masses-tenseurs. Le bien-fondé de cettemodélisation est vérifié sur des essais de microindentation par Microscopie à Force Atomique (AFM) decellules souches embryonnaires de souris et de microinjection d'ovocytes. Nous avons développé etimplémenté des modèles d'interaction en temps-réel qui s'articulent autour de la détection et la gestionrapide des collisions entre outil/cellule.La synthèse du rendu haptique fourni à l'opérateur est également proposée par l'intermédiaire d'un couplagevirtuel. Pour chaque application, nous avons justifié nos choix méthodologiques et Algorithmiques qui sontguidés par les contraintes de "réalisme+précision" "temps-réel". Les différents modèles proposés ont étéintégrés dans le simulateur SIMIC que nous avons développé pendant cette thèse. Ce dernier est dédié à lasimulation interactive pour l'aide à l'apprentissage du geste de microinjection et de nanoindentationcellulaire
The fundamental objective of this thesis is to develop and implementing an interactive simulation techniquesfor micromanipulation biological cells. Using this tool, the operator can form, train and improve its control bydeveloping a gesture similar to that performed in reality. The design of such a simulation environment in realtime requires a compromise between the realism of biomechanical models used the accuracy and stability ofalgorithms and solution methods used haptic rendering and computational speed. Modeling Mechanicalrestraint involves the use of hyperelastic model of St Venant-Kirchhoff formulation and explicit dynamic finiteelement-type mass tensors. The validity of this model is tested on microindentation tests by Atomic ForceMicroscopy (AFM) of mouse embryonic stem cells and microinjection of oocytes. We have developed andimplemented models of real-time interaction that revolve around the detection and management of rapidcollisions between tool / cell.The synthesis of the haptic feedback provided to the operator is also available through a virtual coupling. Foreach application, we have justified our methodological choices and Algorithms that are guided by theconstraints of realism + precision "" real time ". The various proposed models have been integrated into thesimulator SIMIC that we developed during this thesis. This is dedicated to interactive simulation to supportlearning of gesture microinjection and cell nanoindentation

Les objets déformables sont omniprésents dans notre vie quotidienne. Chaque jour, nous manipulons des vêtements dans des configurations innombrables pour nous habiller, nouons les lacets de nos chaussures, cueillons des fruits et des légumes sans les endommager pour notre consommation et plions les reçus dans nos portefeuilles. Toutes ces tâches impliquent de manipuler des objets déformables et peuvent être exécutées sans problème par une personne. Toutefois, les robots n'ont pas encore atteint le même niveau de dextérité. Contrairement aux objets rigides, que les robots sont maintenant capables de manipuler avec des performances proches de celles des humains; les objets déformables doivent être contrôlés non seulement pour les positionner, mais aussi pour définir leur forme. Cette contrainte supplémentaire, relative au contrôle de la forme d’un objet, rend les techniques utilisées pour les objets rigides inapplicables aux objets déformables. En outre, le comportement des objets déformables diffère largement entre eux, par exemple: la forme d’un câble et des vêtements est considérablement affectée par la gravité, alors que celle-ci n’affecte pas la configuration d’autres objets déformables tels que des produits alimentaires. Ainsi, différentes approches ont été proposées pour des classes spécifiques d’objets déformables.Dans cette thèse, nous cherchons à remédier à ces lacunes en proposant une approche modulaire pour détecter la forme d'un objet pendant qu'il est manipulé par un robot. La modularité de cette approche s’inspire d’un paradigme de programmation qui s’applique de plus en plus au développement de logiciels en robotique et vise à apporter des solutions plus générales en séparant les fonctionnalités en composants. Ces composants peuvent ensuite être interchangés en fonction de la tâche ou de l'objet concerné. Cette stratégie est un moyen modulaire de suivre la forme d'objets déformables.Pour valider la stratégie proposée, nous avons implémenté trois applications différentes. Deux applications portaient exclusivement sur l'estimation de la déformation de l'objet à l'aide de données tactiles ou de données issues d’un capteur d’effort. La troisième application consistait à contrôler la déformation d'un objet. Une évaluation de la stratégie proposée, réalisée sur un ensemble d'objets élastiques pour les trois applications, montre des résultats prometteurs pour une approche qui n'utilise pas d'informations visuelles et qui pourrait donc être améliorée de manière significative par l'ajout de cette modalité
Deformable objects are ubiquitous in our daily lives. On a given day, we manipulate clothes into uncountable configurations to dress ourselves, tie the shoelaces on our shoes, pick up fruits and vegetables without damaging them for our consumption and fold receipts into our wallets. All these tasks involve manipulating deformable objects and can be performed by an able person without any trouble, however robots have yet to reach the same level of dexterity. Unlike rigid objects, where robots are now capable of handling objects with close to human performance in some tasks; deformable objects must be controlled not only to account for their pose but also their shape. This extra constraint, to control an object's shape, renders techniques used for rigid objects mainly inapplicable to deformable objects. Furthermore, the behavior of deformable objects widely differs among them, e.g. the shape of a cable and clothes are significantly affected by gravity while it might not affect the configuration of other deformable objects such as food products. Thus, different approaches have been designed for specific classes of deformable objects.In this thesis we seek to address these shortcomings by proposing a modular approach to sense the shape of an object while it is manipulated by a robot. The modularity of the approach is inspired by a programming paradigm that has been increasingly been applied to software development in robotics and aims to achieve more general solutions by separating functionalities into components. These components can then be interchanged based on the specific task or object at hand. This provides a modular way to sense the shape of deformable objects.To validate the proposed pipeline, we implemented three different applications. Two applications focused exclusively on estimating the object's deformation using either tactile or force data, and the third application consisted in controlling the deformation of an object. An evaluation of the pipeline, performed on a set of elastic objects for all three applications, shows promising results for an approach that makes no use of visual information and hence, it could greatly be improved by the addition of this modality

Le suivi d'objets déformable à partir d’informations visuelles à de nombreuses applications dans le domaine de la robotique, de l'animation ou de la simulation. Dans cette thèse, nous proposons de nouvelles approches pour le suivi d'objets rigides et non rigides à l'aide d'une caméra RGB-D. Cette thèse comporte quatre contributions principales. La première contribution est une nouvelle approche de suivi d'objets dans des images RGB-D qui utilise des erreurs basées sur la profondeur et la photométrie pour suivre et localiser des formes complexes en utilisant leur modèle 3D grossier. La seconde contribution porte sur une méthode de suivi d'objets non rigides reposant sur une approche par éléments finis (FEM) pour suivre et caractériser les déformations. La troisième contribution est une approche de suivi de la déformation qui minimise une combinaison d'erreurs géométriques et photométriques tout en utilisant la FEM comme modèle de déformation. Finalement, la quatrième contribution consiste à estimer les propriétés d'élasticité d'un objet analysant ses déformations toujours à l'aide d'une caméra RGB-D. Une fois les paramètres d'élasticité estimés, la même méthodologie peut être réutilisée pour caractériser les forces de contact
Tracking soft objects using visual information has immense applications in the field of robotics, computer graphics and automation. In this thesis, we propose multiple new approaches for tracking both rigid and non-rigid objects using a RGB-D camera. There are four main contributions of this thesis. The first contribution is a rigid object tracking method which utilizes depth and photometry based errors for tracking complex shapes using their coarse, 3D template. The second contribution is a non-rigid object tracking method which uses co-rotational FEM to track deforming objects by regulating the virtual forces acting on the surface of a physics based model of the object. The third contribution is a deformation tracking approach which minimizes a combination of geometric and photometric error while utilizing co-rotation FEM as the deformation model. The fourth contribution involves estimating the elasticity properties of a deforming object while tracking their deformation using RGB-D camera. Once the elasticity parameters have been estimated, the same methodology can be re-utilized for tracking contact forces on the surface of deforming objects

Les Graphes sont des structures mathématiques puissantes constituant un outil de modélisation universel utilisé dans différents domaines de l'informatique, notamment dans le domaine de la reconnaissance de formes. L'appariement de graphes est l'opération principale dans le processus de la reconnaissance de formes à base de graphes. Dans ce contexte, trouver des solutions d'appariement de graphes, garantissant l'optimalité en termes de précision et de temps de calcul est un problème de recherche difficile et d'actualité. Dans cette thèse, nous nous intéressons à la résolution de ce problème dans deux domaines : la reconnaissance de formes 2D et 3D. Premièrement, nous considérons le problème d'appariement de graphes géométriques et ses applications sur la reconnaissance de formes 2D. Dance cette première partie, la reconnaissance des Kites (structures archéologiques) est l'application principale considérée. Nous proposons un "framework" complet basé sur les graphes pour la reconnaissance des Kites dans des images satellites. Dans ce contexte, nous proposons deux contributions. La première est la proposition d'un processus automatique d'extraction et de transformation de Kites a partir d'images réelles en graphes et un processus de génération aléatoire de graphes de Kites synthétiques. En utilisant ces deux processus, nous avons généré un benchmark de graphes de Kites (réels et synthétiques) structuré en 3 niveaux de bruit. La deuxième contribution de cette première partie, est la proposition d'un nouvel algorithme d'appariement pour les graphes géométriques et par conséquent pour les Kites. L'approche proposée combine les invariants de graphes au calcul de l'édition de distance géométrique. Deuxièmement, nous considérons le problème de reconnaissance des formes 3D ou nous nous intéressons à la reconnaissance d'objets déformables représentés par des graphes c.à.d. des tessellations de triangles. Nous proposons une décomposition des tessellations de triangles en un ensemble de sous structures que nous appelons triangle-étoiles. En se basant sur cette décomposition, nous proposons un nouvel algorithme d'appariement de graphes pour mesurer la distance entre les tessellations de triangles. L'algorithme proposé assure un nombre minimum de structures disjointes, offre une meilleure mesure de similarité en couvrant un voisinage plus large et utilise un ensemble de descripteurs qui sont invariants ou au moins tolérants aux déformations les plus courantes. Finalement, nous proposons une approche plus générale de l'appariement de graphes. Cette approche est fondée sur une nouvelle formalisation basée sur le problème de mariage stable. L'approche proposée est optimale en terme de temps d'exécution, c.à.d. la complexité est quadratique O(n2), et flexible en terme d'applicabilité (2D et 3D). Cette approche se base sur une décomposition en sous structures suivie par un appariement de ces structures en utilisant l'algorithme de mariage stable. L'analyse de la complexité des algorithmes proposés et l'ensemble des expérimentations menées sur les bases de graphes des Kites (réelle et synthétique) et d'autres bases de données standards (2D et 3D) attestent l'efficacité, la haute performance et la précision des approches proposées et montrent qu'elles sont extensibles et générales
Graphs are powerful mathematical modeling tools used in various fields of computer science, in particular, in Pattern Recognition. Graph matching is the main operation in Pattern Recognition using graph-based approach. Finding solutions to the problem of graph matching that ensure optimality in terms of accuracy and time complexity is a difficult research challenge and a topical issue. In this thesis, we investigate the resolution of this problem in two fields: 2D and 3D Pattern Recognition. Firstly, we address the problem of geometric graphs matching and its applications on 2D Pattern Recognition. Kite (archaeological structures) recognition in satellite images is the main application considered in this first part. We present a complete graph based framework for Kite recognition on satellite images. We propose mainly two contributions. The first one is an automatic process transforming Kites from real images into graphs and a process of generating randomly synthetic Kite graphs. This allowing to construct a benchmark of Kite graphs (real and synthetic) structured in different level of deformations. The second contribution in this part, is the proposition of a new graph similarity measure adapted to geometric graphs and consequently for Kite graphs. The proposed approach combines graph invariants with a geometric graph edit distance computation. Secondly, we address the problem of deformable 3D objects recognition, represented by graphs, i.e., triangular tessellations. We propose a new decomposition of triangular tessellations into a set of substructures that we call triangle-stars. Based on this new decomposition, we propose a new algorithm of graph matching to measure the distance between triangular tessellations. The proposed algorithm offers a better measure by assuring a minimum number of triangle-stars covering a larger neighbourhood, and uses a set of descriptors which are invariant or at least oblivious under most common deformations. Finally, we propose a more general graph matching approach founded on a new formalization based on the stable marriage problem. The proposed approach is optimal in term of execution time, i.e. the time complexity is quadratic O(n2) and flexible in term of applicability (2D and 3D). The analyze of the time complexity of the proposed algorithms and the extensive experiments conducted on Kite graph data sets (real and synthetic) and standard data sets (2D and 3D) attest the effectiveness, the high performance and accuracy of the proposed approaches and show that the proposed approaches are extensible and quite general

Cette thèse porte sur le problème du contrôle de la forme d'ombilicaux pour des robots sous-marins légers téléopérés (mini-ROVs), qui conviennent, grâce à leur petite taille et grande manoeuvrabilité, à l'exploration des eaux peu profondes et des espaces encombrés. La régulation de la forme de l'ombilical est cependant un tâche difficile, car ces robots n'ont pas une puissance de propulsion suffisante pour contrebalancer les forces de traînée du câble. Pour faire face à ce problème, nous avons introduit le concept de Cordée de mini-ROVs, dans lequel plusieurs robots sont reliés à l'ombilical et peuvent, ensemble, contrebalancer les perturbations extérieures et contrôler la forme du câble. Nous avons étudié l'utilisation des caméras embarquées pour réguler la forme d'une portion de l'ombilical reliant deux robots successifs, un leader et un suiveur. Seul le robot suiveur se chargera de la tâche de régulation de la forme du câble. Le leader est libéré pour explorer ses alentours. L'ombilical est supposé être légèrement pesant et donc modélisé par une chaînette. Les paramètres de forme du câble sont estimés en temps réel par une procédure d'optimisation non-linéaire qui adapte le modèle de chaînette aux points détectés dans les images des caméras. La régulation des paramètres de forme est obtenue grâce à une commande reliant le mouvement du robot à la variation de la forme de l'ombilical. L'asservissement visuel proposé s'est avéré capable de contrôler correctement la forme du câble en simulations et expériences réalisées en basin
This thesis addresses the problem of tether shape contrai for small remotely operated underwater vehicles (mini-ROVs), which are suitable, thanks to their small size and high maneuverability, for the exploration of shallow waters and cluttered spaces. The management of the tether is, however, a hard task, since these robots do not have enough propulsion power to counterbalance the drag forces acting on the tether cable. ln order to cape with this problem, we introduced the concept of a Chain of miniROVs, where several robots are linked to the tether cable and can, together, manage the external perturbations and contrai the shape of the cable. We investigated the use of the embedded cameras to regulate the shape of a portion of tether linking two successive robots, a leader and a follower. Only the follower robot deals with the tether shape regulation task. The leader is released to explore its surroundings. The tether linking bath robots is assumed to be negatively buoyant and is modeled by a catenary. The tether shape parameters are estimated in real-time by a nonlinear optimization procedure that fits the catenary model to the tether detected points in the image. The shape parameter regulation is thus achieved through a catenary-based contrai scheme relating the robot motion with the tether shape variation. The proposed visual servoing contrai scheme has proved to properly manage the tether shape in simulations and real experiments in pool

La recherche en robotique connait un intérêt croissant pour la manipulation des objets mous : des tissus, des mousses ou tout autre objet déformable comme le caoutchouc. La déformation d’un tel objet est généralement modélisée par l’introduction de nouveaux degrés de liberté, ce qui rend plus complexe son contrôle. Dans le contexte de l’industrie du futur, la Manufacture Française des Pneumatiques Michelin souhaite moderniser son procédé de fabrication de pneumatiques qui consiste à assembler, couche par couche, des bandes et des nappes de gomme. Ces tâches, qui n’ont jamais été robotisées avant cette thèse, entrent dans le domaine de la manipulation robotique d’objets déformables (MROD).Issue d’une convention CIFRE (Convention Industrielle de Formation par la Recherche) de l’ANRT (Association Nationale de la Recherche et de la Technologie), cette thèse s’intéresse à cette problématique dans un contexte applicatif industriel à travers la conception d’une cellule robotique en apportant des solutions technologiques innovantes, notamment en termes d’actionnement, de perception et d’architecture de commande. Cependant, nous montrons que l’intégration de ces solutions est limitée par des problématiques classiques de la MROD, telles que la modélisation des déformations de l’objet, la perception multimodale ou encore la commande et la génération dynamique de tâches.Une première contribution apportée est l’adaptation d’algorithmes de traitement d’image issus de bibliothèques libres dans un contexte industrielle. Ces algorithmes remplacent des solutions industrielles du commerce et permettent une plus grande liberté de paramétrage pour chaque fonction. Le résultat est donc un assemblage de briques algorithmiques flexibles et adaptées aux spécificités du procédé de fabrication de pneumatiques.Cette thèse explore également l’utilisation d’un modèle physique réduit pour contrôler la tension dans une bande de gomme en suspension dont une extrémité est enroulée autour d’une bobine et l’autre extrémité est manipulée par un robot. Nous distinguons alors trois contributions : l’estimation par vision de la tension, une loi de commande en boucle fermée pour réguler la vitesse de rotation de la bobine et ainsi varier la longueur de la partie suspendue de la bande, et un algorithme de planification de la tension désirée.Une dernière contribution concerne une commande par retour visuelle permettant de joindre bout à bout les deux extrémités d’une nappe enroulée autour d’une surface cylindrique. Cette opération complexe se base sur la perception par vision et la reconstruction en 3D du bord de nappe ainsi qu’une loi de commande prenant en compte une mesure pondérée de l’erreur.Nos développements ont permis la conception et la réalisation d’un démonstrateur industriel qui se veut prêt à un déploiement en usine. Cela impose donc de prendre en compte dès le début de la réflexion scientifique les contraintes industrielles telles que l’encombrement, le temps de cycle, la matériel et l’architecture logicielle à disposition, ou encore les tolérances de qualité. Des validations expérimentales ont été réalisées sur ce banc d’essai
Robotics research is increasingly interested in the manipulation of soft objects: fabrics, foams or any other deformable object like rubber. The deformation of such an object is usually modeled by introducing new degrees of freedom, which makes its control more complex. In the context of the industry of the future, the Manufacture Française des Pneumatiques Michelin wishes to modernize its tire manufacturing process which consists of assembling, layer by layer, strips and plies of rubber. These tasks, which have never been robotized before this thesis, fall within the domain of robotic manipulation of deformable objects (RMDO).Through the CIFRE plan (French Industrial Research Training Convention) of the ANRT (French National Association for Technological Research), this thesis addresses this issue in an industrial application context through the design of a robotic cell by providing innovative technological solutions, especially in terms of actuation, perception, and control. However, we show that the integration of these solutions is limited by classical problems of RMDO, such as the modeling of object deformations, multimodal perception or dynamic control and generation of tasks.A first contribution is the adaptation of image processing algorithms from open-source libraries to an industrial context. These algorithms replace commercial industrial solutions and allow a greater freedom of parameterization for each function. The result is an assembly of flexible algorithmic bricks adapted to the specificities of the tire manufacturing process.This thesis also explores the use of a reduced physical model to control the tension in a suspended gum strip, one end of which is wrapped around a spool while the other is manipulated by a robot. We distinguish three contributions: vision-based estimation of the tension, a closed-loop control law to regulate the rotation speed of the reel and thus vary the length of the suspended part of the strip, and a planning algorithm to achieve the desired tension.A last contribution concerns a visual feedback control allowing to join end to end the two ends of a web wrapped around a cylindrical surface. This complex operation is based on visual perception and 3D reconstruction of the edge of the ply as well as a control law considering a weighted measure of the error.Our developments have enabled the design and production of an industrial demonstrator that is ready for deployment in a factory. This means that industrial constraints such as sizing, cycle time, available hardware and software architecture, and quality tolerances have been considered from the beginning of the scientific reflection. Experimental validations were carried out on this test bench

Nous abordons d’abord le problème de la représentation sous forme d’un graphe de l’image et de ses applications en reconnaissance des formes, en mettant l’accent sur les applications de recherche d’images basées sur le contenu (CBIR). Les images utilisées dans cette thèse sont des images de bandes dessinées, qui possèdent des spécificités qui sont des freins pour les méthodes de recherche d’information par le contenu utilisées dans la littérature. Le contenu des bandes dessinées, tel que les objets et les personnages, est complexe. La représentation des personnages, par exemple, peut, d’une case à l’autre, varier énormément en taille et avec différents effets de perspective, selon la situation que l’auteur souhaite retranscrire. Nous proposons ainsi une représentation qui permet d’obtenir des graphes stables et qui conserve des informations structurelles de haut niveau pour les objets d’intérêt dans les images de bandes dessinées. Ensuite, nous étendons le problème d’indexation et d’appariement aux structures de graphes représentant les images d’une bande dessinée et nous l’appliquons au problème de la recherche d’information. Un album de bandes dessinées est ainsi transformé en une base de graphes, chaque graphe correspondant à la description d’une seule case. La stratégie utilisée pour retrouver un objet ou un personnage donné, consiste donc à rechercher des motifs fréquents (ou des sous-structures fréquentes) dans cette base de graphes. Cette étape nécessite de surmonter le problème de non-répétabilité provoqué par les erreurs introduites dans la structure du graphe pendant la phase de construction dues notamment à la variabilité des dessins. Il apparait donc un écart sémantique entre le graphe et le contenu de l’image de bande dessinée
In information retrieval tasks from image databases where content representation is based on graphs, the evaluation of similarity is based both on the appearance of spatial entities and on their mutual relationships. In this thesis we present a novel scheme of Attributed Relational Adjacency Graphs representation and mining, which has been applied in content-based retrieval of comic images. The images used in this thesis are comics images, which have their inherent difficulties in applying content-based retrieval, such as their abstractness, partial occlusion, scale change and shape deformation due to viewpoint changes. We propose a graph representation that yields stable graphs and allow to retain high-level and structural information of objects of interest in comic images. Next, we extend the indexing and matching problem to graph structures representing the comic image, and apply it to the problem of retrieval. The graphs in the graph database representing the whole comic volume are then mined for frequent patterns (or frequent substructures). This step is to overcome the non-repeatability problem caused by the unavoidable errors introduced into the graph structure during the graph construction stage, which ultimately create a semantic gap between the graph and the content of the comic image. Finally, we demonstrate the effectiveness of the system with a database of annotated comic images. Experiments of performance measures is addressed to evaluate the performance of this CBIR system