Rozprawy doktorskie na temat „Suivi par piège‐caméra”

Le vanneau huppé (Vanellus vanellus), limicole nichant dans des habitats ouverts en Eurasie tempérée - y compris la France métropolitaine – est une espèce dont les populations déclinent depuis plusieurs décennies. Dans cette thèse, l’objectif principal était de quantifier les taux d’éclosion dans deux régions de France, où nous avons observé des taux plus élevés en Hauts‐de‐France par rapport à ceux en Alsace. Dans un contexte de conservation de l’espèce, nous nous sommes ainsi intéressés à l’impact du dérangement lors de nos visites sur les comportements des vanneaux. Nous avons observé un retour au nid plus rapide des vanneaux quand la couvée était plus proche de l’éclosion, et lorsque que les températures étaient plus élevées. Enfin, dans un contexte de changement climatique produisant des événements météorologiques extrêmes plus fréquents, nous avons cherché à déterminer quels sont les comportements compensatoires développés par les vanneaux lors de ce type d’événements
The Northern Lapwing (Vanellus vanellus), a wader breeding in open habitat across temperate Eurasia – including mainland France – is a species undergoing a decades‐long population decline. In this thesis, the primary objective was to quantify the rates of hatching success in two regions of France, where we found higher success rates in the region of Hauts‐de‐France as compared to Alsace.In a species conservation context, we were interested in the impact of disturbances during our nest visits might have on lapwings’ behaviour. We observed lapwings return to their nests more quickly when the clutch was closer to hatching, and when temperatures were higher. Finally, in the context of climatic change, which will lead to more frequent extreme climate events, we investigated which compensatory behaviours would be shown by lapwings in warm weather

Cette thèse traite de la reconstruction tridimensionnelle d'une scène rigide à partir d'une collection de photographies numériques, dites vues. Le problème traité est connu sous le nom du "calcul de la structure et du mouvement" (structure-and/from-motion) qui consiste à "expliquer" des trajectoires de points dits d'intérêt au sein de la collection de vues par un certain mouvement de l'appareil (dont sa trajectoire) et des caractéristiques géométriques tridimensionnelles de la scène. Dans ce travail, nous proposons les fondements théoriques pour étendre certaines méthodes de calcul de la structure et du mouvement afin d'intégrer comme données d'entrée, des points d'intérêt réels et des points d'intérêt complexes, et plus précisément des images de points cycliques. Pour tout plan projectif, les points cycliques forment une paire de points complexes conjugués qui, par leur invariance par les similitudes planes, munissent le plan projectif d'une structure euclidienne. Nous introduisons la notion de marqueurs cycliques qui sont des marqueurs plans permettant de calculer sans ambiguïté les images des points cycliques de leur plan de support dans toute vue. Une propriété de ces marqueurs, en plus d'être très "riches" en information euclidienne, est que leurs images peuvent être appariées même si les marqueurs sont disposés arbitrairement sur des plans parallèles, grâce à l'invariance des points cycliques. Nous montrons comment utiliser cette propriété dans le calcul projectif de la structure et du mouvement via une technique matricielle de réduction de rang, dite de factorisation, de la matrice des données correspondant aux images de points réels, complexes et/ou cycliques. Un sous-problème critique abordé dans le calcul de la structure et du mouvement est celui de l'auto-calibrage de l'appareil, problème consistant à transformer un calcul projectif en un calcul euclidien. Nous expliquons comment utiliser l'information euclidienne fournie par les images des points cycliques dans l'algorithme d'auto-calibrage opérant dans l'espace projectif dual et fondé sur des équations linéaires. L'ensemble de ces contributions est finalement utilisé pour une application de suivi automatique de caméra utilisant des marqueurs formés par des couronnes concentriques (appelés CCTags), où il s'agit de calculer le mouvement tridimensionnel de la caméra dans la scène à partir d'une séquence vidéo. Ce type d'application est généralement utilisé dans l'industrie du cinéma ou de la télévision afin de produire des effets spéciaux. Le suivi de caméra proposé dans ce travail a été conçu pour proposer le meilleur compromis possible entre flexibilité d'utilisation et précision des résultats obtenus.

Dans cette thèse, nous traiterons du problème de la détection et du suivi 3D de personnes dans des séquences d'images omnidirectionnelles, dans le but de réaliser des applications permettant l'estimation de pose 3D. Ceci nécessite, la mise en place d'un suivi stable et précis de la personne dans un environnement réel. Dans le cadre de cette étude, on utilisera une caméra catadioptrique composée d'un miroir sphérique et d'une caméra perspective. Ce type de capteur est couramment utilisé dans la vision par ordinateur et la robotique. Son principal avantage est son large champ de vision qui lui permet d'acquérir une vue à 360 degrés de la scène avec un seul capteur et en une seule image. Cependant, ce capteur va engendrer des distorsions importantes dans les images, ne permettant pas une application directe des méthodes classiquement utilisées en vision perspective. Cette thèse traite de deux approches de suivi développées durant cette thèse, qui permettent de tenir compte de ces distorsions. Elles illustrent le cheminement suivi par nos travaux, nous permettant de passer de la détection de personne à l'estimation 3D de sa pose. La première étape de nos travaux a consisté à mettre en place un algorithme de détection de personnes dans les images omnidirectionnelles. Nous avons proposé d'étendre l'approche conventionnelle pour la détection humaine en image perspective, basée sur l'Histogramme Orientés du Gradient (HOG), pour l'adapter à des images sphériques. Notre approche utilise les variétés riemanniennes afin d'adapter le calcul du gradient dans le cas des images omnidirectionnelles. Elle utilise aussi le gradient sphérique pour le cas les images sphériques afin de générer notre descripteur d'image omnidirectionnelle. Par la suite, nous nous sommes concentrés sur la mise en place d'un système de suivi 3D de personnes avec des caméras omnidirectionnelles. Nous avons fait le choix de faire du suivi 3D basé sur un modèle de la personne avec 30 degrés de liberté car nous nous sommes imposés comme contrainte l'utilisation d'une seule caméra catadioptrique
In this thesis we will handle the problem of 3D people detection and tracking in omnidirectional images sequences, in order to realize applications allowing3D pose estimation, we investigate the problem of 3D people detection and tracking in omnidirectional images sequences. This requires a stable and accurate monitoring of the person in a real environment. In order to achieve this, we will use a catadioptric camera composed of a spherical mirror and a perspective camera. This type of sensor is commonly used in computer vision and robotics. Its main advantage is its wide field of vision, which allows it to acquire a 360-degree view of the scene with a single sensor and in a single image. However, this kind of sensor generally generates significant distortions in the images, not allowing a direct application of the methods conventionally used in perspective vision. Our thesis contains a description of two monitoring approaches that take into account these distortions. These methods show the progress of our work during these three years, allowing us to move from person detection to the 3Destimation of its pose. The first step of this work consisted in setting up a person detection algorithm in the omnidirectional images. We proposed to extend the conventional approach for human detection in perspective image, based on the Gradient-Oriented Histogram (HOG), in order to adjust it to spherical images. Our approach uses the Riemannian varieties to adapt the gradient calculation for omnidirectional images as well as the spherical gradient for spherical images to generate our omnidirectional image descriptor

En France, la vidéo surveillance est actuellement présenté comme un élément clef de la prévention des crimes, et le nombre de caméras installées dans les lieux publiques a triplé en 2009, passant de 20 000 à 60 000. Malgré le débat généré dans l’opinion publique, il semblerait qu’aucun gouvernement ne souhaite freiner l’utilisation de ces mesures de surveillance. Si l’on met de côté le débat social, d’un point de vue strictement scientifique, ces systèmes de surveillance offrent des bases de données riches et de vrai perspective de recherche en multimédia. Dans ce manuscrit, nous nous sommes concentré sur le développement de méthodes de suivi d’objets multiples non-rigides dans un environnement multi-caméra à l’aide de filtrage à particules. Nous d´ecrirons, dans un premier temps, une méthode de suivi multi-résolution par filtrage à particules avec contrôle de consistance. Cette méthode fut appliquée au suivi d’un seul objet non rigide dans des vidéos dont le nombre d’images pas seconde étaient faible et variable. Elle est etendue pour suivre des objets multiples par filtrage à particules avec double contrôles de consistance. Elle est notamment appliquée pour le défi de TRECVID 2009. An analyse d’événements est finalement ajoutée. Notre méthode de suivi est ensuite étendue d’une seule caméra vers de multiples caméras. Elle fut utilisée pour le suivi d’un objet non-rigide par interaction de caméras. Enfin, une méthode de suivi par filtrage à particules d’objets multiples avec analyse d’événement a été définie pour le suivi de deux objets non-rigides dans un environnement à deux caméras. Notre système peut êre facilement adaptées à de nombreux types de vidéo surveillance car aucune information sur les scènes n’est pré-requise
The video surveillance is believed to play a so important role in the crime prevention that only in France, the number of cameras installed at public thoroughfare was tripled in the year 2009, from 20 000 to 60 000. Even though its increasing use has triggered a large debate about security versus privacy, it seems that no government has a willingness to stop the surveillance popularity. However, if we just put aside this social anxiety, from the scientific point of view, millions of surveillance systems do offer us a rich database and an exciting motivation for the multimedia research. We focus on the multiple non-rigid object tracking based on the Particle Filter method in multiple camera environments in this dissertation. The method of Multi-resolution Particle Filter Tracking with Consistency Check is firstly introduced as the basis of our tracking system. It is especially used for single non-rigid object tracking in videos of low and variable frame rate. It is then extended to track multiple non-rigid objects, denoted as Multi-object Particle Filter Tracking with Dual Consistency Check. It is in particularly applied to the challenge TRECVID 2009. An automatic semantic event detection and identification is integrated at last. Our tracking method is later extended from mono-camera to multi-camera environments. It is used for the single non-rigid object tracking with the interaction of cameras. Finally, a system named Multi-object Particle Filter Tracking with Event analysis is designed for tracking two non-rigid objects in two-camera environments. Our tracking system can be easily applied to various video surveillance systems since no prior knowledge of the scene is required

Le suivi d’objets est de plus en plus utilisé dans les applications de vision par ordinateur. Compte tenu des exigences des applications en termes de performance, du temps de traitement, de la consommation d’énergie et de la facilité du déploiement des systèmes de suivi, l’utilisation des architectures embarquées de calcul devient primordiale. Dans cette thèse, nous avons conçu un système de suivi d’objets pouvant fonctionner en temps réel sur une caméra intelligente de faible coût et de faible consommation équipée d’un processeur embarqué ayant une architecture légère en ressources de calcul. Le système a été étendu pour le suivi d’objets dans un réseau de caméras avec des champs de vision non-recouvrant. La chaîne algorithmique est composée d’un étage de détection basé sur la soustraction de fond et d’un étage de suivi utilisant un algorithme probabiliste Gaussian Mixture Probability Hypothesis Density (GMPHD). La méthode de soustraction de fond que nous avons proposée combine le résultat fournie par la méthode Zipfian Sigma-Delta avec l’information du gradient de l’image d’entrée dans le but d’assurer une bonne détection avec une faible complexité. Le résultat de soustraction est traité par un algorithme d’analyse des composantes connectées afin d’extraire les caractéristiques des objets en mouvement. Les caractéristiques constituent les observations d’une version améliorée du filtre GMPHD. En effet, le filtre GMPHD original ne traite pas les occultations se produisant entre les objets. Nous avons donc intégré deux modules dans le filtre GMPHD pour la gestion des occultations. Quand aucune occultation n’est détectée, les caractéristiques de mouvement des objets sont utilisées pour le suivi. Dans le cas d’une occultation, les caractéristiques d’apparence des objets, représentées par des histogrammes en niveau de gris sont sauvegardées et utilisées pour la ré-identification à la fin de l’occultation. Par la suite, la chaîne de suivi développée a été optimisée et implémentée sur une caméra intelligente embarquée composée de la carte Raspberry Pi version 1 et du module caméra RaspiCam. Les résultats obtenus montrent une qualité de suivi proche des méthodes de l’état de l’art et une cadence d’images de 15 − 30 fps sur la caméra intelligente selon la résolution des images. Dans la deuxième partie de la thèse, nous avons conçu un système distribué de suivi multi-objet pour un réseau de caméras avec des champs non recouvrants. Le système prend en considération que chaque caméra exécute un filtre GMPHD. Le système est basé sur une approche probabiliste qui modélise la correspondance entre les objets par une probabilité d’apparence et une probabilité spatio-temporelle. L’apparence d’un objet est représentée par un vecteur de m éléments qui peut être considéré comme un histogramme. La caractéristique spatio-temporelle est représentée par le temps de transition des objets et la probabilité de transition d’un objet d’une région d’entrée-sortie à une autre. Le temps de transition est modélisé par une loi normale dont la moyenne et la variance sont supposées être connues. L’aspect distribué de l’approche proposée assure un suivi avec peu de communication entre les noeuds du réseau. L’approche a été testée en simulation et sa complexité a été analysée. Les résultats obtenus sont prometteurs pour le fonctionnement de l’approche dans un réseau de caméras intelligentes réel
Multi-object tracking constitutes a major step in several computer vision applications. The requirements of these applications in terms of performance, processing time, energy consumption and the ease of deployment of a visual tracking system, make the use of low power embedded platforms essential. In this thesis, we designed a multi-object tracking system that achieves real time processing on a low cost and a low power embedded smart camera. The tracking pipeline was extended to work in a network of cameras with nonoverlapping field of views. The tracking pipeline is composed of a detection module based on a background subtraction method and on a tracker using the probabilistic Gaussian Mixture Probability Hypothesis Density (GMPHD) filter. The background subtraction, we developed, is a combination of the segmentation resulted from the Zipfian Sigma-Delta method with the gradient of the input image. This combination allows reliable detection with low computing complexity. The output of the background subtraction is processed using a connected components analysis algorithm to extract the features of moving objects. The features are used as input to an improved version of GMPHD filter. Indeed, the original GMPHD do not manage occlusion problems. We integrated two new modules in GMPHD filter to handle occlusions between objects. If there are no occlusions, the motion feature of objects is used for tracking. When an occlusion is detected, the appearance features of the objects are saved to be used for re-identification at the end of the occlusion. The proposed tracking pipeline was optimized and implemented on an embedded smart camera composed of the Raspberry Pi version 1 board and the camera module RaspiCam. The results show that besides the low complexity of the pipeline, the tracking quality of our method is close to the stat of the art methods. A frame rate of 15 − 30 was achieved on the smart camera depending on the image resolution. In the second part of the thesis, we designed a distributed approach for multi-object tracking in a network of non-overlapping cameras. The approach was developed based on the fact that each camera in the network runs a GMPHD filter as a tracker. Our approach is based on a probabilistic formulation that models the correspondences between objects as an appearance probability and space-time probability. The appearance of an object is represented by a vector of m dimension, which can be considered as a histogram. The space-time features are represented by the transition time between two input-output regions in the network and the transition probability from a region to another. Transition time is modeled as a Gaussian distribution with known mean and covariance. The distributed aspect of the proposed approach allows a tracking over the network with few communications between the cameras. Several simulations were performed to validate the approach. The obtained results are promising for the use of this approach in a real network of smart cameras

Cette thèse s'intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d'intérêt identifié par l'usager. Nous reprenons une des méthodes les plus robustes à cet effet et l'améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu'effectue l'objet d'intérêt. Par la suite nous nous attelons au calibrage de caméras ; un autre problème fondamental en vision. Il s'agit là, d'estimer des paramètres intrinsèques qui décrivent la projection d'entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les caméras linéaires (pushbroom) et les vidéo projecteurs lesquels étaient, jusque-là, calibrés de façon laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra
The topic of this thesis revolves around three fundamental problems in computer vision; namely, video tracking, camera calibration and shape recovery. The proposed methods are solely based on photometric and geometric constraints found in the images. Video tracking, usually performed on a video sequence, consists in tracking a region of interest, selected manually by an operator. We extend a successful tracking method by adding the ability to estimate the orientation of the tracked object. Furthermore, we consider another fundamental problem in computer vision: calibration. Here we tackle the problem of calibrating linear cameras (a. K. A: pushbroom)and video projectors. For the former one we propose a convenient plane-based calibration algorithm and for the latter, a calibration algorithm that does not require aphysical grid and a planar auto-calibration algorithm. Finally, we pointed our third research direction toward shape reconstruction using coplanar shadows. This technique is known to suffer from a bas-relief ambiguity if no extra information on the scene or light source is provided. We propose a simple method to reduce this ambiguity from four to a single parameter. We achieve this by taking into account the visibility of the light spots in the camera

La protonthérapie est une technique innovante de traitement des cancers dans les zones critiques, telles que les yeux ou la base du crâne. Même si le phénomène physique d'interactions des protons dans les tissus est bien connu et présente des avantages pour la protonthérapie, il existe des incertitudes sur le parcours des protons liées aux hétérogénéités des tissus traversés en situation clinique et liées au calcul des paramètres du faisceau dans le planning de traitement qui contrebalancent les avantages théoriques des protons pour la délivrance de la dose. Des méthodes de contrôle de qualité de l'irradiation ont donc été proposées. La plupart reposent sur l'exploitation de la cartographie des émetteurs de positons générés lors de l'irradiation. Ceux-ci peuvent être détectés et quantifiés à l'aide de la tomographie par émission de positons (TEP), une technique d'imagerie médicale utilisée principalement pour établir le bilan d'extension des cancers par imagerie. Des acquisitions TEP ont donc été proposées et validées sur des fantômes et chez des patients après protonthérapie pour le contrôle du parcours des protons. Le contrôle s'effectue en comparant la distribution radioactive mesurée en TEP et la distribution β+ simulée. La simulation de l'activité positronique générée par les protons dans le milieu traversé peut être décomposée en plusieurs étapes : une étape de simulation du faisceau de protons, une étape de modélisation des interactions des protons dans l'objet irradié et une étape d'acquisition TEP. Différentes modélisations de ces étapes sont possibles. Au cours de cette thèse, nous avons proposé plusieurs modélisations pour les 3 étapes et nous avons évalué l'apport pour la qualité du contrôle de l'irradiation. Nous avons restreint notre évaluation à la vérification du parcours des protons. Ce travail de thèse s'appuie sur des irradiations en milieu homogène et inhomogène (dans un modèle de tête) réalisé au centre de protonthérapie d'Orsay. Les objets irradiés ont été transportés dans le Service Hospitalier Frédéric Joliot pour l'acquisition TEP. Nous avons comparé l'incertitude sur le parcours des protons à partir des modélisations de la distribution β+ obtenues : 1) En modélisant l'irradiation par un faisceau de protons sous une forme simplifiée et par simulation Monte Carlo. En modélisant la production des émetteurs β+ dans les tissus par simulation Monte Carlo avec le logiciel GEANT4 en incluant les modèles de physiques des versions 9.2 et 9.4 et en utilisant des sections efficaces ; 2) En modélisant l'acquisition TEP avec une modélisation simplifiée et une modélisation Monte Carlo de l'acquisition par la caméra TEP ; 3) Les résultats montrent qu'une modélisation simplifiée du faisceau n'affecte pas l'estimation du parcours des protons. La modélisation Monte-Carlo de la caméra permet de mieux modéliser le bruit présent dans le signal TEP mesuré en milieu homogène. Des résultats préliminaires de la modélisation de la caméra TEP sont présentés dans un modèle de tête (inhomogène). En conclusion, une modélisation simplifiée de la caméra TEP permet d'évaluer le parcours des protons en milieu homogène à 1 mm près, qui est équivalent à la reproductibilité de la mesure TEP post-irradiation telle qu'elle est mesurée par Knopf et al. (2008).

Les systèmes de navigation visuelle-inertielle (VINS) est une thématique d'actualité, difficile à traiter, notamment lorsqu’il s’agit de respecter les contraintes des systèmes embarqués. Les questions relatives à la miniaturisation, la portabilité et la communication (en ce qui concerne, par exemple, l’IoT) des systèmes électroniques s’inscrivent dans des problématiques actuelles en matière d'avancée technologique. Pour répondre de manière efficace à ces problématiques, il est nécessaire d’envisager des traitements complexes et des implémentations sur des supports contraignants en termes d’intégration et de consommation d’énergie, tels que les micro véhicules aériens (MAV), les drones (UAV), les lunettes intelligentes et les caméras intelligentes.Au cours de cette dernière décennie, différents algorithmes de suivi et de VINS ont été développés. Ils sont suffisamment précis mais ils nécessitent des ressources calculatoires conséquentes, dans l'objectif de pouvoir réaliser un suivi performant, compte tenu des différentes formes d'utilisation possibles. Or, les systèmes embarqués imposent de fortes contraintes d'intégration, ce qui réduit leurs ressources, particulièrement en termes de capacité calculatoire. Par conséquent, ce type de système nécessite de recourir à des algorithmes efficaces avec moins de charge et de complexité calculatoire. En effet, tout l’enjeu de cette thèse réside dans cette problématique. L'objectif de ce travail est d’apporter une solution de suivi qui permettrait d'assurer un fonctionnement robuste dans différents environnements de navigation, adaptée à l'implémentation sur une architecture embarquée. Le système proposé dans cette thèse est nommé « système de suivi inertiel-visuel adaptatif à l'environnement de navigation »
Initially, the aim of this study is to analyze, compare and retain the most relevant tracking methods likely to respect the constraints of embedded systems, such as Micro Aerial Vehicles (MAVs), Unmanned Aerial Vehicles (UAVs), intelligent glasses, textit{etc.} in order to find a new robust embedded tracking system. A typical VINS consists of a monocular camera that provides visual data (frames), and a low-cost Inertial Measurement Unit (IMU), a Micro-Electro-Mechanical System (MEMS) that measures inertial data. This combination is very successful in the application field of system navigation thanks to the advantages that these sensors provide, mainly in terms of accuracy, cost and rapid reactivity. Over the last decade, various sufficiently accurate tracking algorithms and VINS have been developed, however, they require greater computational resources. In contrast, embedded systems are characterized by their high integration constraints and limited resources. Thus, a solution to embedded architecture must be based on efficient algorithms that provide less computational load.As part of this work, various tracking algorithms identified in the literature are discussed, focusing on their accuracy, robustness, and computational complexity. In parallel to this algorithmic survey, numerous recent embedded computation architectures, especially those dedicated to visual and/or visual-inertial tracking, are also presented. In this work, we propose a robust visual-inertial tracking method, called: "Context Adaptive Visual Inertial SLAM". This approach is adaptive to different system navigation context and well fitted for embedded systems such as MAVs. It focuses on the analysis of the impact of navigation condition on the tracking process in an embedded system. It also provides an execution control module able to switch between the most relevant tracking approaches by monitoring its internal state and external inputs variables. The main objective is to ensure tracking continuity and robustness despite difficult conditions

L’optimisation des apports azotés représente un enjeu majeur pour réduire les pollutions tout en maintenant un rendement élevé et une qualité satisfaisante de la récolte. Les apports d’azote (N) sont aujourd’hui mal valorisés par les cultures et une meilleure prise en compte de la variabilité spatiale et temporelle des besoins des plantes permettrait d’ajuster ces apports et améliorer leur valorisation. Pour cela, la connaissance du statut azoté du couvert végétal en cours de croissance est primordiale. La présente thèse porte sur le suivi non-destructif de l’indice de nutrition azoté (INN) du blé tendre d’hiver (Triticum aestivum L.). Afin de mettre en place la méthode de suivi de l’INN, des essais présentant un gradient de fertilisation ont été étudiés durant trois années. Durant cette période, le statut azoté a été évalué au moyen de mesures destructives, par l’utilisation d’un capteur optique foliaire (Dualex, Force A, Orsay), mais aussi au moyen de caméras multispectrales montées sur drone. Les mesures obtenues avec le Dualex ont présenté une corrélation élevée et stable avec l’INN, particulièrement au stade deux nœuds (r² = 0.78). La première année, des indices de végétation (IV) communément utilisés, calculés à partir de mesures de réflectance dans quatre longueurs d’ondes obtenues à l’aide d’une caméra Sequoia (Parrot, Paris, France), ont été évalués. Les corrélations obtenues entre les IV et l’INN étant moyennes et les IV étant peu discriminés entre eux, cela a conduit à l’étude d’une gamme plus large de longueurs d’ondes via l’utilisation d’une caméra multispectrale modulable Kernel (Mapir, San Diego, USA) mesurant la réflectance dans 15 longueurs d’ondes, de 405 à 940 nm. De nouvelles combinaisons ont ainsi été testées sur base des formulations de 8 IV. Au total 248 combinaisons ont été évaluées, mettant en évidence l’intérêt des combinaisons associant le vert et le proche infrarouge (PIR) en début d’élongation et les associations du PIR avec la portion orange-début du rouge du spectre en fin d’élongation et au stade gonflement. Quatre modèles de prédiction non paramétriques ont été construits et évalués sur base des informations collectées. Malgré l’absence d’améliorations des performances par rapport à de combinaisons simples d’IV, ces modèles devraient permettre d’être plus stables grâce à la prise compte d’un nombre plus important de longueurs d’ondes que les IV seuls. Le modèle de régression par les moindres carrés partiels (PLS), qui a présenté le plus d’intérêt, a été ensuite combiné avec des mesures prises par proxidétection afin d’améliorer la capacité de prédiction du statut azoté de façon notable. Un modèle combinant mesures prises par proxi- et télédétection a donc été construit et mériterait d’être testé en parcelle agriculteur. Cette étude a été complétée par un suivi des composantes de rendement, mettant en évidence le nombre d’épis par m² comme la composante de rendement la plus influencée par la fertilisation, mais aussi la plus déterminante pour le rendement. Enfin, la dernière partie du travail a porté sur le suivi des performances agronomiques et environnementales de quatre outils d’aide à la décision (OAD) proposés actuellement aux agriculteurs pour piloter la fertilisation. Les OAD ont majoritairement conseillé un dépassement de la dose bilan calculée en début de saison. En pratique, cela ne s’est pas traduit par une amélioration significative des performances à la récolte. Toutefois, la mauvaise valorisation des apports a conduit à augmenter la teneur en N minéral du sol à la récolte, particulièrement en année sèche, présentant un risque potentiel de lessivage. En perspective à ce travail, une méthode de fertilisation dynamique, basée sur un diagnostic précoce du statut azoté ou de la disponibilité en N minéral, serait pertinente et pourrait être proposée sous forme d’un modèle de suivi de l’INN combinant des mesures prises par proxi- et télédétection
Increase the Nitrogen (N) use efficiency (NUE) to minimize the N pollution while maintaining high crop yield and satisfactory quality at harvest is essential for the development of sustainable agriculture. A better consideration of the spatial and temporal variability of N requirements would allow to adapt N fertilizer rate in space and time to match crops’ demand to increase N recovery. Knowledge of the crop's N status during growth should therefore make it possible to improve fertilisation practices. In this context, the main purpose of this thesis project was to make non-destructive monitoring of the winter wheat (Triticum aestivum L.) N nutrition index (NNI) during crops’ growth with the aim of subsequently integrating this knowledge into a dynamic management approach to N fertilisation. For this purpose, three experimental fields showing various patterns of NNI dynamics were monitored in the North of France, both on field with destructive measurements and with a leaf-clip sensor (Dualex, Force A, Orsay, France), but also with multispectral cameras embedded on unmanned aerial vehicles (UAV). During the three growing seasons (2019-2021), Dualex leaf-clip presents a stable and relevant application to predict NNI at stage two nodes (R²=0.78). For the first year, commonly used vegetation indices (VI) were calculated from pictures taken by Sequoia camera (Parrot, Paris, France) and evaluated to monitor NNI. The correlation between these VI remains average. According to these results, it was difficult to select a discriminant VI among commonly used VI which confirms the interest in studying new wavelengths to increase VI sensitivity to change in N status. Since 2020, to enhance the investigation of the relationship between VI and NNI, a six-lens multispectral modular camera (Kernel camera, Mapir, San Diego, CA, USA) was used and allow to take picture in 15 wavelengths, from 405nm to 940nm. Measurements taken at 15 wavelengths made it possible to calculate eight VI, with a total of 248 different wavelength combinations. Among these combinations, the combination of green and near-infrared measurements at the beginning of elongation and the associations of the near-infrared with the orange-early red portion of the spectrum at the end of elongation were of interest. Four non-parametric prediction models were then construct and evaluated to consider more explanatory variables than simple VI which combine only few wavelengths’ measurements. The partial least squares (PLS) regression model, which was of most interest in this study, was then combined with proximal sensing measurements to significantly improve the ability to predict N status. A prediction model of NNI combining remote and proximal sensing measurements was therefore built and should be tested in a farmer's plot. This study was completed by monitoring yield components, highlighting the number of spikes.m-² as the yield component most influenced by fertilisation but also the most determinant for yield. Finally, a second part of this work aims to compare the agronomic and environmental performances of 4 decision support tools (DSTs) used by farmers, with the classical balance sheet method (BSM), at the crop succession scale. The fertilizer N dose advised by DSTs was mostly higher than those calculated with the BSM without any significant increases neither in crop yield nor in grain quality. The excess of fertilizer N was weakly recovered by crop and led to over-fertilization, more pronounced in dry condition. In this context, a dynamic fertilisation method based on a diagnosis of nitrogen status or mineral N availability earlier in the season is relevant and could be based on a NNI monitoring model combining proximal and remote sensing measurements

La previz on-set est une étape de prévisualisation qui a lieu directement pendant la phase de tournage d’un film à effets spéciaux. Cette proposition de prévisualisation consiste à montrer au réalisateur une vue assemblée du plan final en temps réel. Le travail présenté dans cette thèse s’intéresse à une étape spécifique de la prévisualisation : le compositing. Cette étape consiste à mélanger plusieurs sources d’images pour composer un plan unique et cohérent. Dans notre cas, il s’agit de mélanger une image de synthèse avec une image issue de la caméra présente sur le plateau de tournage. Les effets spéciaux numériques sont ainsi ajoutés à la prise de vue réelle. L’objectif de cette thèse consiste donc à proposer un système permettant l’ajustement automatique du mélange entre les deux images. La méthode proposée nécessite la mesure de la géométrie de la scène filmée. Pour cette raison, un capteur de profondeur est ajouté à la caméra de tournage. Les données sont relayées à l’ordinateur qui exécute un algorithme permettant de fusionner les données du capteur de profondeur et de la caméra de tournage. Par le biais d’un démonstrateur matériel, nous avons formalisé une solution intégrée dans un moteur de jeux vidéo. Les expérimentations menées montrent dans un premier temps des résultats encourageants pour le compositing en temps réel. Nous avons observé une amélioration des résultats suite à l’introduction de la méthode de segmentation conjointe. La principale force de ce travail réside dans la mise en place du démonstrateur qui nous a permis d’obtenir des algorithmes efficaces dans le domaine de la previz on-set
Previz on-set is a preview step that takes place directly during the shootingphase of a film with special effects. The aim of previz on-set is to show to the film director anassembled view of the final plan in realtime. The work presented in this thesis focuses on aspecific step of the previz : the compositing. This step consists in mixing multiple images tocompose a single and coherent one. In our case, it is to mix computer graphics with an imagefrom the main camera. The objective of this thesis is to propose a system for automaticadjustment of the compositing. The method requires the measurement of the geometry ofthe scene filmed. For this reason, a depth sensor is added to the main camera. The data issent to the computer that executes an algorithm to merge data from depth sensor and themain camera. Through a hardware demonstrator, we formalized an integrated solution in avideo game engine. The experiments gives encouraging results for compositing in real time.Improved results were observed with the introduction of a joint segmentation method usingdepth and color information. The main strength of this work lies in the development of ademonstrator that allowed us to obtain effective algorithms in the field of previz on-set

La caméra basée sur lesévénements est un capteur bioinspiré qui diffèredes caméras à images conventionnelles : Aulieu de saisir des images à une fréquence fixe,elles surveillent de manière asynchrone leschangements de luminosité par pixel etproduisent un flux de données d'événementscontenant l'heure, le lieu et le signe deschangements de luminosité. Les camérasévénementielles offrent des propriétésintéressantes par rapport aux camérastraditionnelles : haute résolution temporelle,gamme dynamique élevée et faibleconsommation d'énergie. Par conséquent, lescaméras événementielles ont un énormepotentiel pour la vision par ordinateur dans desscénarios difficiles pour les camérastraditionnelles, tels que le mouvement rapide etla gamme dynamique élevée. Cette thèse aétudié la détection et le suivi d'objets avec lacaméra événementielle en se basant sur unmodèle et sur l'apprentissage profond. Lastratégie de fuison avec la caméra d'image estproposée puisque la caméra d'image estégalement nécessaire pour fournir desinformations sur l'apparence. Les algorithmesde perception proposés comprennent le fluxoptique, la détection d'objets et la segmentationdu mouvement. Des tests et des analyses ontété effectués pour prouver la faisabilité et lafiabilité des algorithmes de perceptionproposés
The event-based camera is a bioinspiredsensor that differs from conventionalframe cameras: Instead of grabbing frameimages at a fixed rate, they asynchronouslymonitor per-pixel brightness change and outputa stream of events data that contains the time,location and sign of the brightness changes.Event cameras offer attractive propertiescompared to traditional cameras: high temporalresolution, high dynamic range, and low powerconsumption. Therefore, event cameras have anenormous potential for computer vision inchallenging scenarios for traditional framecameras, such as fast motion, and high dynamicrange.This thesis investigated the model-based anddeep-learning-based for object detection andtracking with the event camera. The fusionstrategy with the frame camera is proposedsince the frame camera is also needed toprovides appearance infomation. The proposedperception algorithms include optical flow,object detection and motion segmentation.Tests and analyses have been conducted toprove the feasibility and reliability of theproposed perception algorithms

Nous présentons dans cette thèse de doctorat le résultat de cinq années de travaux de recherche, de conception et de réalisation d'un capteur actif d'identification optique composé d'un émetteur proche infrarouge et d'une caméra réceptrice à haute fréquence. Ce capteur permet de localiser et d'identifier un objet en mouvement dans la scène visuelle par transmission de données optiques. Il est ainsi possible, soit de transmettre des données de façon purement optique entre objets mobiles dans leurs champs de vision respectifs, soit d'associer l'identification optique à des moyens conventionnels de télécommunication, dans le but de localiser précisément les émetteurs de données, sans recours ou en l'absence de GPS ou d'autres techniques de localisation. Cette technique, que nous avons explorée à ses débuts, en 2005, est connue sous le terme de communication optique par caméra (Optical Camera Communication, ou OCC). Nous avons dans un premier temps, entre 2005 et 2008, mis en œuvre le récepteur avec une caméra CCD cadencée à 595Hz, atteignant un débit de communication de 250 bits par seconde et un temps d'identification moyen de 76ms (pour un identifiant de 16 bits) sur une portée maximale de 378m. Dans une deuxième phase d'étude en 2022-2023, nous avons utilisé une caméra événementielle, atteignant un débit de communication de 2500 bits par seconde avec un taux de décodage de 94%, donc un temps de décodage moyen égale au temps théorique de 6,4ms pour 16 bits. Nous avons donc gagné un ordre de grandeur. Notre capteur se différencie de l'état de l'art a deux titres. Sa première version est arrivée très tôt et a contribué à l'émergence du concept de communication optique par caméra. Un brevet français a d'ailleurs protégé l'invention pendant dix ans. Sa seconde version atteint des performances de débit surpassant l'état de l'art et y ajoutant la robustesse dans le suivi d'objets mobiles. Le cas d'utilisation que nous avions choisi était d'abord la localisation d'objets routiers pour la communication inter-véhiculaire et véhicule-infrastructure. Dans nos travaux récents, nous avons choisi la surveillance et le suivi d'objets par drone. Les applications de notre capteur sont nombreuses, notamment là où d'autres moyens de communication ou d'identification sont soit indisponibles, soit non souhaités. Ainsi en va-t-il des sites industriels, militaires, des communications à vue confidentielles, du suivi précis de véhicules d'urgence par drone, etc. Des applications de technologies similaires dans le domaine du sport prouvent l'utilité et la viabilité économique du capteur. Cette thèse présente aussi l'ensemble d'une carrière de recherche, du rôle d'ingénieur de recherche, à celui de chercheur, puis chef de projet de recherche, enfin directeur de recherche en EPIC. Les domaines d'application de la recherche ont beaucoup varié, des assistances à la conduite à l'IA neuromorphique, mais ont toujours suivi le fil rouge de la robotique, sous ses diverses mises en œuvre. Nous espérons convaincre le lecteur de l'innovation scientifique apportée par nos travaux et plus généralement de notre contribution à la recherche, à son management et à sa direction
In this doctoral thesis, we present the results of five years of research, design and production work on an active optical identification sensor comprising a near-infrared transmitter and a high-frequency receiver camera. This sensor locates and identifies a moving object in the visual scene by transmitting optical data. It is thus possible either to transmit data purely optically between moving objects in their respective fields of view, or to combine optical identification with conventional telecommunication means, with the aim of precisely locating the data transmitters, without recourse to or in the absence of GPS or other localization techniques. This technique, which we first explored in 2005, is known as Optical Camera Communication (OCC). Initially, between 2005 and 2008, we implemented the receiver with a CCD camera clocked at 595Hz, achieving a communication rate of 250 bits per second and an average identification time of 76ms (for a 16-bit identifier) over a maximum range of 378m. In a second study phase in 2022-2023, we used an event-driven camera, achieving a communication rate of 2,500 bits per second with a decoding rate of 94%, i.e. an average decoding time equal to the theoretical time of 6.4ms for 16 bits. So we've gained an order of magnitude. Our sensor differs from the state of the art in two ways. Its first version arrived very early, and contributed to the emergence of the concept of optical camera communication. A French patent protected the invention for ten years. Its second version outperforms the state of the art in terms of throughput, while adding robustness for tracking moving objects.Our initial use case was the localization of road objects for inter-vehicular and vehicle-to-infrastructure communication. In our more recent work, we have chosen drone surveillance and object tracking. Our sensor has many applications, particularly where other means of communication or identification are either unavailable or undesirable. These include industrial and military sites, confidential visual communications, the precise tracking of emergency vehicles by drone, and so on. Applications of similar technologies in the field of sports prove the usefulness and economic viability of the sensor.This thesis also presents my entire research career, from research engineer to researcher, then research project manager, and finally research director in a research institute. The areas of research application have varied widely, from driver assistance to neuromorphic AI, but have always followed the common thread of robotics, in its various implementations. We hope to convince the reader of the scientific innovation brought about by our work, and more generally of our contribution to research, its management and its direction

La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent l'intérêt que porte les constructeurs automobiles aux travaux sur l'aide à la conduite. De nombreux systèmes équipent déjà les véhicules de la rue. Alors que la perception de l'état du véhicule (vitesse, position, etc.) est maîtrisée, celle de l'environnement reste une tache difficile.
Parmi tous les capteurs susceptibles de percevoir la complexité d'un environnement urbain, la stéréo-vision offre à la fois des performances intéressantes, une spectre d'applications très larges (détection de piéton, suivi de véhicules, détection de ligne blanches, etc.) et un prix compétitif. Pour ces raisons, Renault s'attache à identifier et résoudre les problèmes liés à l'implantation d'un tel système dans un véhicule de série, notamment pour une application de suivi de véhicules.
La première problématique à maîtriser concerne le calibrage du système
stéréoscopique. En effet, pour que le système puisse fournir une mesure, ses paramètres doivent être correctement estimés, y compris sous des conditions extrêmes (forte températures, chocs, vibrations, ...). Nous présentons donc une méthodologie d'évaluation permettant de répondre aux interrogations sur les dégradations de performances du système en fonction du calibrage.
Le deuxième problème concerne la détection des obstacles. La méthode mis au point utilise d'une originale les propriétés des rectifications. Le résultat est une segmentation de la route et des obstacles.
La dernière problématique concerne la calcul de vitesse des obstacles. Une grande majorité des approches de la littérature approxime la vitesse d'un obstacle à partir de ses positions successives. Lors de ce calcul, l'accumulation des incertitudes rendent cette estimation extrêmement bruitée. Notre approche combine efficacement les atouts de la stéréo-vision et du flux optique afin d'obtenir directement une mesure de vitesse 3-D robuste et précise.

Les chutes chez les personnes âgées représentent un problème important de santé publique. Des études montrent qu’environ 30 % des personnes âgées de 65 ans et plus chutent chaque année au Canada, entraînant des conséquences néfastes sur les plans individuel, familiale et sociale. Face à une telle situation la vidéosurveillance est une solution efficace assurant la sécurité de ces personnes. À ce jour de nombreux systèmes d’assistance de services à la personne existent. Ces dispositifs permettent à la personne âgée de vivre chez elle tout en assurant sa sécurité par le port d'un capteur. Cependant le port du capteur en permanence par le sujet est peu confortable et contraignant. C'est pourquoi la recherche s’est récemment intéressée à l’utilisation de caméras au lieu de capteurs portables. Le but de ce projet est de démontrer que l'utilisation d'un dispositif de vidéosurveillance peut contribuer à la réduction de ce fléau. Dans ce document nous présentons une approche de détection automatique de chute, basée sur une méthode de suivi 3D du sujet en utilisant une caméra de profondeur (Kinect de Microsoft) positionnée à la verticale du sol. Ce suivi est réalisé en utilisant la silhouette extraite en temps réel avec une approche robuste d’extraction de fond 3D basée sur la variation de profondeur des pixels dans la scène. Cette méthode se fondera sur une initialisation par une capture de la scène sans aucun sujet. Une fois la silhouette extraite, les 10% de la silhouette correspondant à la zone la plus haute de la silhouette (la plus proche de l'objectif de la Kinect) sera analysée en temps réel selon la vitesse et la position de son centre de gravité. Ces critères permettront donc après analyse de détecter la chute, puis d'émettre un signal (courrier ou texto) vers l'individu ou à l’autorité en charge de la personne âgée. Cette méthode a été validée à l’aide de plusieurs vidéos de chutes simulées par un cascadeur. La position de la caméra et son information de profondeur réduisent de façon considérable les risques de fausses alarmes de chute. Positionnée verticalement au sol, la caméra permet donc d'analyser la scène et surtout de procéder au suivi de la silhouette sans occultation majeure, qui conduisent dans certains cas à des fausses alertes. En outre les différents critères de détection de chute, sont des caractéristiques fiables pour différencier la chute d'une personne, d'un accroupissement ou d'une position assise. Néanmoins l'angle de vue de la caméra demeure un problème car il n'est pas assez grand pour couvrir une surface conséquente. Une solution à ce dilemme serait de fixer une lentille sur l'objectif de la Kinect permettant l’élargissement de la zone surveillée.
Elderly falls are a major public health problem. Studies show that about 30% of people aged 65 and older fall each year in Canada, with negative consequences on individuals, their families and our society. Faced with such a situation a video surveillance system is an effective solution to ensure the safety of these people. To this day many systems support services to the elderly. These devices allow the elderly to live at home while ensuring their safety by wearing a sensor. However the sensor must be worn at all times by the subject which is uncomfortable and restrictive. This is why research has recently been interested in the use of cameras instead of wearable sensors. The goal of this project is to demonstrate that the use of a video surveillance system can help to reduce this problem. In this thesis we present an approach for automatic detection of falls based on a method for tracking 3D subject using a depth camera (Kinect from Microsoft) positioned vertically to the ground. This monitoring is done using the silhouette extracted in real time with a robust approach for extracting 3D depth based on the depth variation of the pixels in the scene. This method is based on an initial capture the scene without any body. Once extracted, 10% of the silhouette corresponding to the uppermost region (nearest to the Kinect) will be analyzed in real time depending on the speed and the position of its center of gravity . These criteria will be analysed to detect the fall, then a signal (email or SMS) will be transmitted to an individual or to the authority in charge of the elderly. This method was validated using several videos of a stunt simulating falls. The camera position and depth information reduce so considerably the risk of false alarms. Positioned vertically above the ground, the camera makes it possible to analyze the scene especially for tracking the silhouette without major occlusion, which in some cases lead to false alarms. In addition, the various criteria for fall detection, are reliable characteristics for distinguishing the fall of a person, from squatting or sitting. Nevertheless, the angle of the camera remains a problem because it is not large enough to cover a large surface. A solution to this dilemma would be to fix a lens on the objective of the Kinect for the enlargement of the field of view and monitored area.

Cette thèse s'intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d'intérêt identifié par l'usager. Nous reprenons une des méthodes les plus robustes à cet effet et l'améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu'effectue l'objet d'intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s'agit là, d'estimer des paramètres intrinsèques qui décrivent la projection d'entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les caméras linéaires (pushbroom) et les vidéo projecteurs lesquels étaient, jusque là, calibrés de fa¸con laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra.