Auswahl der wissenschaftlichen Literatur zum Thema „Robotique et neurosciences“

les progrès des connaissances en particulier dans les domaines des neurosciences affectives et sociales apportent une nouvelle lisibilité aux mécanismes d’action des différentes psychothérapies. Qu’il s’agisse de psychanalyse, de thérapies cognitives, de l’hypnose, de l’EMDR… Nous développerons la présentation selon trois axes : (1) la nécessité de découpler les théories de la pratique et les théories de la connaissance, en vue de clarifier les débats, en particulier entre la démarche étio-pathogénique et la perspective thérapeutique. (2) L’élaboration des bases d’une physiopathologie de l’esprit, au plus près des mécanismes de régulation des émotions, des croyances, et des processus de maintien du self. Dans la ligne de ces propositions, nous discuterons l’opportunité d’une distinction entre les thérapies utilisant les processus de généralisation et celles utilisant la mémoire auto-biographique comme cible et aussi comme outil des psychothérapies (la psychanalyse s’inscrivant dans ce dernier champ). (3) Enfin l’apport des Nouvelles Technologies de l’Information et de la Communication (NTIC) (remédiation cognitive, réalité virtuelle, robotique…) comme outils permettant de réparer ou modifier à la fois la flexibilité mentale et aussi les mécanismes d’agentivité, d’embodiement, et l’ensemble des composants de la théorie de l’esprit. Enfin comme conclusion nous proposerons l’idée de psychothérapies intégratives réunissant des pratiques thérapeutiques jusqu’ici séparées voire incompatibles.

<p>Cet article s’intéresse sur la possible création d’une “biodiversité” au sein de l’espèce humaine. Certains scientifiques et philosophes transhumanistes défendent aujourd’hui un progressisme prométhéen de transformation de la nature humaine par la technologie. Cette utopie technoscientifique ayant pour objectif l’amélioration de l’être humain s’appuie sur les pouvoirs nouveaux de la biomédecine. Du point de vue des technologies convoquées autant que de la relation à l’être humain, les spéculations posthumanistes oscillent entre deux orientations. La première se situe davantage dans le prolongement du transhumanisme, c’est-à-dire de la transformation biophysique de l’être humain; cette voie accentue soit les technosciences du vivant (biotechnologie, génétique, neuroscience) soit les technologies prothétiques et cybernétiques. La seconde orientation est “externe” car elle ne passe pas par une telle transformation. Elle extrapole à partir des recherches et inventions dans les domaines de la robotique et de l’intelligence artificielle (IA).</p>

La prise de décision est un domaine très étudié en sciences, que ce soit en neurosciences pour comprendre les processus sous tendant la prise de décision chez les animaux, qu’en robotique pour modéliser des processus de prise de décision efficaces et rapides dans des tâches en environnement réel. En neurosciences, ce problème est résolu online avec des modèles de prises de décision séquentiels basés sur l’apprentissage par renforcement. En robotique, l’objectif premier est l’efficacité, dans le but d’être déployés en environnement réel. Cependant en robotique ce que l’on peut appeler le budget et qui concerne les limitations inhérentes au matériel, comme les temps de calculs, les actions limitées disponibles au robot ou la durée de vie de la batterie du robot, ne sont souvent pas prises en compte à l’heure actuelle. Nous nous proposons dans ce travail de thèse d’introduire la notion de budget comme contrainte explicite dans les processus d’apprentissage robotique appliqués à une tâche de localisation en mettant en place un modèle basé sur des travaux développés en apprentissage statistique qui traitent les données sous contrainte de budget, en limitant l’apport en données ou en posant une contrainte de temps plus explicite. Dans le but d’envisager un fonctionnement online de ce type d’algorithmes d’apprentissage budgétisé, nous discutons aussi certaines inspirations possibles qui pourraient être prises du côté des neurosciences computationnelles. Dans ce cadre, l’alternance entre recherche d’information pour la localisation et la décision de se déplacer pour un robot peuvent être indirectement liés à la notion de compromis exploration-exploitation. Nous présentons notre contribution à la modélisation de ce compromis chez l’animal dans une tâche non stationnaire impliquant différents niveaux d’incertitude, et faisons le lien avec les méthodes de bandits manchot
Decision-making is a highly researched field in science, be it in neuroscience to understand the processes underlying animal decision-making, or in robotics to model efficient and rapid decision-making processes in real environments. In neuroscience, this problem is resolved online with sequential decision-making models based on reinforcement learning. In robotics, the primary objective is efficiency, in order to be deployed in real environments. However, in robotics what can be called the budget and which concerns the limitations inherent to the hardware, such as computation times, limited actions available to the robot or the lifetime of the robot battery, are often not taken into account at the present time. We propose in this thesis to introduce the notion of budget as an explicit constraint in the robotic learning processes applied to a localization task by implementing a model based on work developed in statistical learning that processes data under explicit constraints, limiting the input of data or imposing a more explicit time constraint. In order to discuss an online functioning of this type of budgeted learning algorithms, we also discuss some possible inspirations that could be taken on the side of computational neuroscience. In this context, the alternation between information retrieval for location and the decision to move for a robot may be indirectly linked to the notion of exploration-exploitation compromise. We present our contribution to the modeling of this compromise in animals in a non-stationary task involving different levels of uncertainty, and we make the link with the methods of multi-armed bandits

Dans cette thèse, j'explore l'intégration de la douleur, sa perception, ses caractéristiques et son processus sensoriel dans des modèles robotiques, particulièrement dans des architectures motivationelles de sélection de l'action. En m'inspirant de la psychologie clinique, de la neurobiologie et des neurosciences computationelles, je souhaite fournir un cadre avec différentes perspectives pour étudier comment des mécanismes bio-inspirés de douleur peuvent affecter la sélection de l'action.La douleur joue un rôle crucial dans les systèmes biologiques, influençant les comportements essentiels à la survie et au maintien de l'homéostasie, mais elle est souvent négligée dans les modèles émotionnels. Chez l'Homme et les autres animaux, la douleur sert de réponse adaptative aux stimuli nocifs, déclenchant des actions qui protègent contre les dommages et favorisent la guérison. L'objectif de cette thèse est d'améliorer la sélection de l'action en incorporant la douleur et ses caractéristiques associées dans des robots, en élargissant la compréhension actuelle des agents artificiels et en explorant comment les robots peuvent utiliser la douleur pour moduler le comportement, s'adapter aux menaces et optimiser la survie.En adoptant le paradigme de l'intelligence artificielle incarnée et en s'appuyant sur des travaux antérieurs sur des modèles de sélection de l'action basés sur la motivation, cette thèse propose d'étudier différentes perspectives autour de la douleur et de son impact sur la sélection de l'action.Dans la première partie de ce travail, je propose une architecture améliorée de sélection de l'action basée sur la motivation en introduisant un modèle incarné qui permet aux robots de percevoir et de répondre à des stimuli nocifs. En utilisant des nocicepteurs artificiels, je simule la sensation de dommage chez les agents robotiques et calcule leur état émotionnel de douleur en tant qu'hormone artificielle. Ce modèle étudie comment différents niveaux de perception de la douleur influencent les réponses comportementales, avec des résultats soulignant la valeur adaptative de la douleur dans la modulation de la sélection de l'action, en particulier dans des environnements extrêmes ou dangereux.Ensuite, je présente un mécanisme de neuromodulation hormonale artificielle, mettant en œuvre une hormone cortisol simulée qui module le processus de sélection d'action. Ce mécanisme de cortisol simulée intègre une dynamique temporelle, ce qui entraîne des processus d'accoutumance et de sensibilisation. Je démontre comment la neuromodulation hormonale peut conduire à des comportements émergents qui améliorent la réponse globale des agents robotiques à la variabilité environnementale dans des scénarios extrêmes.De plus, je propose un nouveau cadre pour la détection tactile dans les plateformes robotiques mobiles. Ce modèle calcule un processus nociceptif et méchanoceptif capable de localiser et de classer les stimuli tactiles et nocifs. En collaboration avec Raphaël Bergoin, nous envoyons ce signal sensoriel à un réseau neuronal à spikes, démontrant la ségrégation des zones corticales pour les signaux nociceptifs et méchanoceptifs et l'apprentissage de représentations sensorielles incarnées.Enfin, je présente une architecture intégrée de sélection de l'action qui combine ces nouveaux processus sensoriels mécanoceptifs et nociceptifs, les réponses comportementales, la neuromodulation hormonale et l'apprentissage de représentations incarnées. Cette architecture est examinée dans un contexte social avec différents niveaux d'interaction avec des prédateurs. Je souligne l'importance de l'interaction sociale et des expériences au début de la vie dans l'apprentissage des représentations sensorielles incarnées et je démontre comment ce modèle basé sur le cortex améliore la gestion hormonale et la sélection de l'action dans des environnements dynamiques
In this thesis, I explore the integration of pain, its perception, its features, and its sensory process into robotic models, focusing on its influence on motivation-based action selection architecture. Drawing inspiration from clinician psychology, neurobiology, and computation neuroscience, I aim to provide a framework with different perspectives to study how bio-inspired pain mechanisms can affect decision-making systems.Pain plays a crucial role in biological systems, influencing behaviors essential to survival and maintaining homeostasis, yet it is often neglected in emotional models. In humans and other animals, pain serves as an adaptive response to noxious stimuli, triggering protective actions that prevent harm and promote recovery. This thesis seeks to improve action selection by incorporating pain and its related features into robots, extending the current understanding of artificial agents and exploring how robots can use pain to modulate behavior, adapt to threats, and optimize survival.Embracing the embodied Artificial Intelligence paradigm and building upon prior work on motivation-based action selection models, this thesis proposes to study different perspectives on pain and its impact on action selection.First, I provide an overview of related work and the state of the art in relevant disciplines.In the initial part of this work, I propose an enhanced motivation-based action selection architecture by introducing an embodied model that enables robots to perceive and respond to noxious stimuli. Using artificial nociceptors, I simulate the sensation of damage in robotic agents and compute the emotional state of pain as an artificial hormone. This model investigates how varying levels of pain perception influence behavioral responses, with results emphasizing the adaptive value of pain modulation in action selection, particularly in extreme or hazardous environments.Next, I introduce an artificial hormonal neuromodulation mechanism featuring a simulated cortisol hormone that modulates the action selection process. This cortisol mechanism incorporates temporal dynamics, resulting in habituation and sensitization processes. I demonstrate how hormonal neuromodulation can lead to emergent behaviors that improve the overall response of robotic agents to environmental variability in extreme scenarios.Additionally, I propose a novel framework for tactile sensing in mobile robotic platforms. This framework computes a nociceptive and mechanoceptive process capable of localizing and classifying noxious and tactile stimuli. In collaboration with Raphaël Bergoin, we send this sensory signal to a spiking neural network, demonstrating the segregation of cortical areas for nociceptive and mechanoceptive signals and learning embodied sensory representations.Finally, I present an integrated action selection architecture that combines these new mechanoceptive and nociceptive sensory processes, behavioral responses, hormonal neuromodulation, and the learning of embodied representations. This architecture is examined in a social context with varying levels of interaction with predators. I highlight the importance of social interaction in learning embodied sensory representations and demonstrate how this cortex-based model improves hormonal management and action selection in dynamic environments.In conclusion, I discuss the results of this research and offer perspectives for future work

Cette thèse porte sur la modélisation de la commande motrice chez le Primate suivant deux approches : - Tout d'abord, en suivant une formalisation mathématique de la préparation par le Cerveau des signaux de commande d'un mouvement volontaire dirigé vers une cible. La méthode utilisée dans cette étude a été de recenser les contraintes fonctionnelles et d'en déduire un circuit de traitement des signaux moteurs, compatible avec l'organisation anatomique des voies cérébelleuses. Ce circuit a permis une optimisation hiérarchisée, sous les contraintes de rapidité d'exécution et d'économie de la dépense énergétique. Cette approche a été appliquée à la commande d'un bras robotique à 2 d.d.l mû par des muscles de McKibben, et à la modélisation du système oculomoteur du Primate. - Ensuite, en suivant une approche par codage. Nous présentons ici la conception et la mise au point d'une Interface Cerveau-Machine asynchrone qui décode les données cérébrales enregistrées chez le Macaque afin de contrôler un doigt robotique.

Ce mémoire d'Habilitation à Diriger des Recherches synthétise les travaux que j'ai menés dans le domaine des neurosciences computationnelles. Ils traitent de trois thématiques principales en interaction: la sélection de l'action, la navigation et l'exécution motrice. Le substrat neural de ces fonctions, et principalement les ganglions de la base et le colliculus supérieur, ont été modélisés sous forme de réseaux de neurones contraints par les données issues de la neuro-anatomie et de l'électrophysiologie. Les résultats présentés résument mes contributions portant sur : les processus de sélection, d'apprentissage par renforcement et de modulation motivationnelle dans les ganglions de la base, le rôle de l'incertitude dans la sélection de l'action, la sélection de stratégies de navigation, l'intégration de chemin pour la stratégie de retour au point de départ, et la transformation spatio-temporelle pour la génération de saccades oculaires. Enfin, les liens reliant l'ensemble de ces études sont mis en exergue afin de délimiter le programme de recherche qui en découle.

Cette HDR présente des résultats récents liés à l'analyse de la stabilité et de la robustesse des systèmes non-linéaires interconnectés. Elle est constituée de trois parties. La première traite des outils théoriques développés autour du concept d'ISS. La deuxième aborde des problématiques de synchronisation pour des applications aux neurosciences. La troisième présente des contributions pour la commande de systèmes par réseaux.

Les mammifères ont la capacité de suivre différents comportements de navigation, définis comme des " stratégies " ne faisant pas forcément appel à des processus conscients, suivant la tâche spécifique qu'ils ont à résoudre. Dans certains cas où un indice visuel indique le but, ils peuvent suivre une simple stratégie stimulus-réponse (S-R). À l'opposé, d'autres tâches nécessitent que l'animal mette en oeuvre une stratégie plus complexe basée sur l'élaboration d'une certaine représentation de l'espace lui permettant de se localiser et de localiser le but dans l'environnement. De manière à se comporter de façon efficace, les animaux doivent non seulement être capables d'apprendre chacune de ces stratégies, mais ils doivent aussi pouvoir passer d'une stratégie à l'autre lorsque les exigences de l'environnement changent. La thèse présentée ici adopte une approche pluridisciplinaire - comportement, neurophysiologie, neurosciences computationnelles et robotique autonome - de l'étude du rôle du striatum et du cortex préfrontal dans l'apprentissage et l'alternance de ces stratégies de navigation chez le rat, et leur application possible à la robotique. Elle vise notamment à préciser les rôles respectifs du cortex préfrontal médian (mPFC) et de différentes parties du striatum (DLS :dorsolateral ; VS : ventral) dans l'ensemble de ces processus, ainsi que la nature de leurs interactions. Le travail expérimental effectué a consisté à : (1) étudier le rôle du striatum dans l'apprentissage S-R en : (a) analysant des données électrophysiologiques enregistrées dans le VS chez le rat pendant une tâche de recherche de récompense dans un labyrinthe en croix ; (b) élaborant un modèle Actor-Critic de l'apprentissage S-R où le VS est le Critic qui guide l'apprentissage, tandis que le DLS est l'Actor qui mémorise les associations S-R. Ce modèle est étendu à la simulation robotique et ses performances sont comparées avec des modèles Actor-Critic existants dans un labyrinthe en croix virtuel ; (2) Dans un deuxième temps, le rôle du striatum dans l'apprentissage de stratégies de type localisation étant supposé connu, nous nous sommes focalisés sur l'étude du rôle du mPFC dans l'alternance entre stratégies de navigation, en effectuant des enregistrements électrophysiologiques dans le mPFC du rat lors d'une tâche requiérant ce type d'alternance. Les principaux résultats de ce travail suggèrent que : (1) dans le cadre S-R : (a) comme chez le singe, le VS du rat élabore des anticipations de récompense cohérentes avec la théorie Actor-Critic ; (b) ces anticipations de récompense peuvent être combinées avec des cartes auto-organisatrices dans un modèle Actor-Critic obtenant de meilleures performances que des modèles existants dans un labyrinthe en croix virtuel, et disposant de capacités de généralisation intéressantes pour la robotique autonome ; (2) le mPFC semble avoir un rôle important lorsque la performance de l'animal est basse et qu'il faut apprendre une nouvelle stratégie. D'autre part, l'activité de population dans le mPFC change rapidement, en correspondance avec les transitions de stratégies dans le comportement du rat, suggérant une contribution de cette partie du cerveau dans la sélection flexible des stratégies comportementales. Nous concluons ce manuscrit par une discussion de nos résultats dans le cadre de travaux précédents en comportement, électrophysiologie et modélisation. Nous proposons une nouvelle architecture du système préfronto-striatal chez le rat dans laquelle des sous-parties du striatum apprennent différentes stratégies de navigation, et où le cortex préfrontal médian décide à chaque instant quelle stratégie devra régir le comportement du rat.

Un robot au Musée: Apprentissage cognitif et conduite esthétique.Dans ma thèse je traite le sujet d'un apprentissage autonome basé sur la référenciation sociale dans un environnement réel, "le musée". Je m'intéresse à l’ajout et l'analyse de mécanismes nécessaires pour qu'un robot puisse poursuivre un tel type d'apprentissage. Je m'intéresse également à l'impact d'un apprentissage spécifique et individuel à chaque robot sur l'ensemble d'un groupe de robots confronté à une situation connue ou au contraire nouvelle, plus précisément :Dans le premier chapitre, nous aborderons de manière didactique les outils nécessaires à la compréhension des modèles et des méthodes que nous utiliserons tout au long de nos travaux. Nous aborderons les bases du formalisme neuronal, de l’apprentissage par conditionnement, de la catégorisation, et des champs de neurones dynamiques.Dans le deuxième chapitre, nous présenterons brièvement le système visuel biologique puis nous passerons en revue un état de l’art des différents modèles traitant la perception visuelle et la reconnaissance d'objet. Dans le cadre d’une approche bio-inspirée, nous présenterons ensuite le modèle du système visuel du robot "Berenson", l’architecture sensori-motrice permettant d’associer une valeur émotionnelle à un objet observé. Puis nous étudions les performances du système visuel avec et sans mécanisme de compétition spatiale.Dans le troisième chapitre nous passerons au niveau des interactions Homme-Machine, nous montrerons que l’intérêt des visiteurs porté au robot ne dépend pas que de sa forme, mais de son comportement et plus précisément de sa capacité à interagir aussi sur un registre émotionnel (ici des expressions faciales). Nous analysons tout d'abord l'impact du système visuel sur le contrôle bas niveau des actions du robot. Nous montrons que le bas niveau de la compétition spatiale entre les valeurs associées aux zones d’intérêt de l’image est important pour la reconnaissance d'objets et affecte donc la cohérence du comportement du robot et donc par la suite la lisibilité de ce comportement. Nous introduisons ensuite des modifications sur le contrôle des mouvements des yeux, de la tête et du corps en s'inspirant de processus biologiques (changement du cadre de référence). À la fin, nous analysons les tests effectués dans le musée afin d’évaluer la lisibilité du comportement du robot (ses mouvements et ses expressions faciales).Dans le quatrième chapitre nos travaux se poursuivent par l’ajout de mécanismes neuronaux élémentaires bio inspirés permettant l’émergence de capacité d’attention conjointe importante pour obtenir des interactions plus " naturelles " avec les visiteurs du musée mais aussi pour discuter d’un point de vue théorique l’émergence de la notion d’agentivité. Berenson représente donc aujourd’hui une forme d’expérimentation unique dans les sciences sociales comme en robotique du développement.Dans le cinquième chapitre, nous intéresserons à l’évaluation de l’effet de l’émergence de préférences esthétiques sur toute une population de robots (en simulation). Nous soutenons que la variabilité de l'apprentissage offerte par des environnements spéciaux tels qu'un musée conduit à l'individuation des robots. Nous nous interrogeons également sur l’intérêt d’enseigner des systèmes artificiels utilisant une seule grande base de données dans le but d’améliorer leurs performances. Éviter une réponse uniforme à une situation inconnue dans une population d'individus augmente ses chances de réussite
In my thesis I treat the subject of autonomous learning based on social referencing in a real environment, "the museum". I am interested in adding and analyzing the mechanisms necessary for a robot to pursue such a type of learning. I am also interested in the impact of a specific and individual learning to each robot on the whole of a group of robots confronted with a known situation or on the contrary new, more precisely:In the first chapter, we will discuss in a didactic way the tools needed to understand the models and methods that we will use throughout our work. We will discuss the basics of neural formalism, conditioning learning, categorization, and dynamic neural fields.In the second chapter, we will briefly present the biological visual system then we will review a state of the art of different models dealing with visual perception and object recognition. As part of a bio-inspired approach, we will then present the model of the visual system of the "Berenson" robot, the sensorimotor architecture allowing to associate an emotional value with an observed object. Then we study the performances of the visual system with and without space competition mechanism.In the third chapter we will move to the level of human-machine interactions, we will show that the interest of visitors to the robot does not only depend on its shape, but on its behavior and more specifically its ability to interact on an emotional level. (here facial expressions). We first analyze the impact of the visual system on the low level control of robot actions. We show that the low level of the spatial competition between the values ​​associated with the zones of interest of the image is important for the recognition of objects and thus affects the coherence of the behavior of the robot and therefore the legibility of this behavior. . We then introduce modifications on the control of eye, head and body movements inspired by biological processes (change of the frame of reference). In the end, we analyze the tests performed in the museum to assess the readability of the behavior of the robot (its movements and facial expressions).In the fourth chapter, our work continues with the addition of inspired bio-based neural mechanisms that allow the emergence of important joint attention capacity to achieve more "natural" interactions with visitors to the museum but also to discuss a point from a theoretical point of view the emergence of the notion of agency. Berenson represents today a form of experimentation unique in the social sciences as in development robotics.In the fifth chapter, we will focus on evaluating the effect of the emergence of aesthetic preferences on a whole population of robots (in simulation). We argue that the variability of learning offered by special environments such as a museum leads to the individuation of robots. We also question the interest of teaching artificial systems using a single large database in order to improve their performance. Avoiding a uniform response to an unknown situation in a population of individuals increases its chances of success

La recherche portant sur l'identification des principes neurobiologiques qui sous-tendent le contrôle moteur humain est actuellement très active. Les mouvements humains ont en effet un niveau de robustesse et de dextérité encore inégalé dans la réalisation robotique de tâches complexes. L'objectif est donc de mieux comprendre l'origine de cette performance et de la reproduire en robotique bio-inspirée. Il a déjà été démontré que des réseaux spinaux rythmiques sont présents dans la moelle épinière des vertébrés. Ils constituent des systèmes dynamiques non-linéaires composés de neurones en inhibition réciproque et seraient à l’origine de la génération des mouvements rythmiques comme la locomotion et la respiration. Les attracteurs de ces systèmes dynamiques seraient modulés de manière continue ou intermittente par des signaux sensoriels et des signaux descendant du cortex moteur, de manière à adapter le comportement de l’agent à la dynamique de l’environnement.La présente étude émet l'hypothèse que des informations visuelles sont également couplées aux réseaux spinaux rythmiques et que ces couplages sont responsables des synchronisations temporelles et spatiales observées lors de la réalisation de tâches visuomotrices rythmiques. Cette proposition est confrontée à des résultats expérimentaux de frappe cyclique de balle, un benchmark bien connu des neuroscientifiques et des dynamiciens en raison de ses propriétés dynamiques intrinsèques. Il rend possible à la fois l’étude de la génération de mouvements rythmiques par des réseaux spinaux, la synchronisation temporelle avec l’environnement, la correction en-ligne des erreurs spatiales et l’interception de projectiles balistiques.Cette thèse propose ainsi un modèle comportemental mathématique innovant reposant sur un modèle d’oscillateur neuronal dont l’attracteur, qui définit les trajectoires de la raquette, est modulé en ligne par les perceptions visuelles de la trajectoire de la balle. La pertinence du modèle est validée par comparaison aux données expérimentales et aux modèles précédemment proposés dans la littérature. La robustesse de cette stratégie de contrôle est également quantifiée par une analyse de stabilité asymptotique du système hybride défini par le couplage entre le système neuro-musculo-squelettique et la balle. Le correcteur bio-inspiré proposé dans cette thèse réunit de manière harmonieuse un contrôle prospectif de la synchronisation balle-raquette, un contrôle paramétrique intermittent dimensionnant le mouvement et un contrôle émergeant du cycle-limite du système couplé. Il reproduit efficacement les modulations des actions motrices et les performances des humains durant la tâche de frappe cyclique de balle, y compris en présence de perturbations, et ce sans avoir recours à une planification du mouvement ou à des représentations internes explicites de l’environnement. Les résultats de cette étude conduisent à l’affirmation réaliste que les mouvements humains sont directement structurés par l’information sensorielle disponible et par des stratégies correctives en-ligne, en accord avec la théorie des dynamiques comportementales. Cette architecture de contrôle pourrait offrir de nombreux avantages aux robots humanoïdes qui en seraient munis, en assurant stabilité et économie d’énergie, par l’intermédiaire de lois de commande de faible complexité et peu gourmandes en ressources computationnelles
The identification of the neurbiological principles underlying human motor control is a very active reseach topic. Indeed, human movement has a level of robustness and dexterity still unmatched by robots. The objective is therefore to better understand the origin of this efficiency to replicate these performances in robotics. It has been shown that spinal rhythm generators, known as Central Pattern Generators (CPG), are responsible for the generation of rhythmic movements such as locomotion and respiration in vertebrates. These CPG constitute dynamic nonlinear systems modulated by sensory signals and descending signals from the cortex to adapt the behavior to the changing environment.The present study hypothesizes that visual information is also coupled to the CPG and that these couplings are responsible for the temporal and spatial synchronization observed during rhythmic visuomotor tasks. This assumption is confronted with experimental results from human participants performing ball bouncing, a well-known benchmark in neuroscience and robotics for its intrinsic dynamic properties. This task allows for the investigation of rhythmic movement generation by spinal networks, the temporal synchronization with the environment, the on-line correction of spatial errors and the interception of ballistic projectiles.This thesis proposes an innovative mathematical behavioral model based on a neuronal oscillator whose attractor, which defines the paddle trajectories, is modulated on-line by the visual perception of the ball trajectory. The relevance of the model is validated by comparison with experimental data and models previously proposed in the literature. The robustness of this control strategy is quantified by an asymptotic stability analysis. The bio-inspired controller presented in this thesis harmoniously combines a prospective control of the ball-paddle synchronization, an intermittent parametric control that scales the movement and a control emerging from the coupled system limit cycle. It efficiently reproduces the human modulation in motor action and performance during ball bouncing, without relying on movement planning or explicit internal representation of the environment. The results of this study lead to the realistic assumption that much part of the human behavior during ball bouncing is directly structured by sensory information and on-line error correction processes, in agreement with the behavioral dynamics theory. This control architecture holds promise for the control of humanoid robots as it is able to ensure stability and energy saving through control laws of reduced complexity and computational cost

Cette thèse s'intéresse aux mécanismes permettant de faciliter l'acquisition autonome de comportements chez les êtres vivants et propose d'utiliser ces mécanismes dans le cadre de tâches robotiques. Des réseaux de neurones artificiels sont utilisés pour modéliser certaines structures cérébrales, à la fois afin de mieux comprendre le fonctionnement de ces structures dans le cerveau des mammifères et pour obtenir des algorithmes robustes et adaptatifs de contrôle en robotique. Les travaux présentés se basent sur un modèle de l'hippocampe permettant d'apprendre des relations temporelles entre des événements perceptifs. Les neurones qui forment le substrat de cet apprentissage, appelés cellules de transition, permettent de faire des prédictions sur les événements futurs que le robot pourrait rencontrer. Ces transitions servent de support à la con- struction d'une carte cognitive, située dans le cortex préfrontal et/ou pariétal. Cette carte peut être apprise lors de l'exploration d'un environnement inconnu par un robot mobile et ensuite utilisée pour planifier des chemins lui permettant de rejoindre un ou plusieurs buts. Outre leur utilisation pour la construction d'une carte cognitive, les cellules de transition servent de base à la conception d'un modèle d'apprentissage par renforcement. Une implémen- tation neuronale de l'algorithme de Q-learning, utilisant les transitions, est réalisée de manière biologiquement plausible en s'inspirant des ganglions de la base. Cette architecture fournit une stratégie de navigation alternative à la planification par carte cognitive, avec un apprentissage plus lent, et correspondant à une stratégie automatique de bas-niveau. Des expériences où les deux stratégies sont utilisées en coopération sont réalisées et des lésions du cortex préfrontal et des ganglions de la base permettent de reproduire des résultats expérimentaux obtenus chez les rats. Les cellules de transition peuvent apprendre des relations temporelles précises permettant de prédire l'instant où devrait survenir un événement. Dans un modèle des interactions entre l'hippocampe et le cortex préfrontal, nous montrons comment ces prédictions peuvent expliquer certains enregistrements in-vivo dans ces structures cérébrales, notamment lorsqu'un rat réalise une tâche durant laquelle il doit rester immobile pendant 2 secondes sur un lieu but pour obtenir une récompense. L'apprentissage des informations temporelles provenant de l'environnement et du comportement permet de détecter des régularités. A l'opposé, l'absence d'un événe- ment prédit peut signifier un échec du comportement du robot, qui peut être détecté et utilisé pour adapter son comportement en conséquence. Un système de détection de l'échec est alors développé, tirant parti des prédictions temporelles fournies par l'hippocampe et des interactions entre les aspects de modulation comportementale du cortex préfrontal et d'apprentissage par renforcement dans les ganglions de la base. Plusieurs expériences robotiques sont conduites dans lesquelles ce signal est utilisé pour moduler le comportement d'un robot, dans un premier temps de manière immédiate, afin de mettre fin aux actions du robot qui le mènent à un échec et envisager d'autres stratégies. Ce signal est ensuite utilisé de manière plus permanente pour moduler l'apprentissage des associations menant à la sélection d'une action, afin que les échecs répétés d'une action dans un contexte particulier fassent oublier cette association. Finalement, après avoir utilisé le modèle dans le cadre de la navigation, nous montrons ses capacités de généralisation en l'utilisant pour le contrôle d'un bras robotique. Ces travaux constituent une étape importante pour l'obtention d'un modèle unifié et générique permettant le contrôle de plates-formes robotiques variés et pouvant apprendre à résoudre des tâches de natures différentes.