Дисертації з теми "Robotics and neuroscience"

Whole-cell patch clamp electrophysiology of neurons in vivo enables the recording of electrical events in cells with great precision, and supports a wide diversity of morphological and molecular analysis experiments important for the understanding of single-cell and network functions in the intact brain. However, high levels of skill are required in order to perform in vivo patching, and the process is time-consuming and painstaking. Robotic systems for in vivo patching would not only empower a great number of neuroscientists to perform such experiments, but would also open up fundamentally new kinds of experiment enabled by the resultant high throughput and scalability. We discovered that in vivo blind whole cell patch clamp electrophysiology could be implemented as a straightforward algorithm and developed an automated robotic system that was capable of performing this algorithm. We validated the performance of the robot in both the cortex and hippocampus of anesthetized mice. The robot achieves yields, cell recording qualities, and operational speeds that are comparable to, or exceed, those of experienced human investigators. Building upon this framework, we developed a multichannel version of “autopatcher” robot capable establishing whole cell patch clamp recordings from pairs and triplets of neurons in the cortex simultaneously. These algorithms can be generalized to control arbitrarily large number of electrodes and the high yield, throughput and automation of complex set of tasks results in a practical solution for conducting patch clamp recordings in potentially dozens of interconnected neurons in vivo.

Automation has been known to provide both costs and benefits to experienced humans engaged in a wide variety of operational endeavors. Its influence on skill acquisition for novice trainees, however, is poorly understood. Some previous research has identified impoverished learning as a potential cost of employing automation in training. One prospective mechanism for any such deficits can be identified from related literature that highlights automation's role in reducing cognitive workload in the form of perceived task difficulty and mental effort. However three experiments using a combination of subjective self-report and EEG based neurophysiological instruments to measure mental workload failed to find any evidence that link the presence of automation to workload or to performance deficits resulting from its previous use. Rather the results in this study implicate engagement as an underlying basis for the inadequate mental models associated with automation-induced training deficits. The conclusion from examining these various states of cognition is that automation-induced training deficits observed in novice unmanned systems operators are primarily associated with distraction and disengagement effects, not an undesirable reduction in difficulty as previous research might suggest. These findings are consistent with automation's potential to push humans too far "out of the loop" in training. The implications of these findings are discussed.

Electroencephalography (EEG) was formerly confined to clinical and research settings with the necessary hardware costing thousands of dollars. In the last five years a number of companies have produced simple electroencephalograms, priced below $300 and available direct to consumers. These have stirred the imaginations of enthusiasts and brought the prospects of "thought-controlled" devices ever closer to reality. While these new devices were largely targeted at video games and toys, active research on enabling people suffering from debilitating diseases to control wheelchairs was being pursued. A number of neurochairs have come to fruition offering a truly hands-free mobility solution, but whether these results could be replicated with emerging low cost products, and thus become a viable option for more people is an open question. This thesis examines existing research in the field of EEG-based assistive technologies, puts current consumer-grade hardware to the test, and explores the possibility of a system designed from the ground up to be only a fraction of the cost of currently completed research prototypes.

Un robot au Musée: Apprentissage cognitif et conduite esthétique.Dans ma thèse je traite le sujet d'un apprentissage autonome basé sur la référenciation sociale dans un environnement réel, "le musée". Je m'intéresse à l’ajout et l'analyse de mécanismes nécessaires pour qu'un robot puisse poursuivre un tel type d'apprentissage. Je m'intéresse également à l'impact d'un apprentissage spécifique et individuel à chaque robot sur l'ensemble d'un groupe de robots confronté à une situation connue ou au contraire nouvelle, plus précisément :Dans le premier chapitre, nous aborderons de manière didactique les outils nécessaires à la compréhension des modèles et des méthodes que nous utiliserons tout au long de nos travaux. Nous aborderons les bases du formalisme neuronal, de l’apprentissage par conditionnement, de la catégorisation, et des champs de neurones dynamiques.Dans le deuxième chapitre, nous présenterons brièvement le système visuel biologique puis nous passerons en revue un état de l’art des différents modèles traitant la perception visuelle et la reconnaissance d'objet. Dans le cadre d’une approche bio-inspirée, nous présenterons ensuite le modèle du système visuel du robot "Berenson", l’architecture sensori-motrice permettant d’associer une valeur émotionnelle à un objet observé. Puis nous étudions les performances du système visuel avec et sans mécanisme de compétition spatiale.Dans le troisième chapitre nous passerons au niveau des interactions Homme-Machine, nous montrerons que l’intérêt des visiteurs porté au robot ne dépend pas que de sa forme, mais de son comportement et plus précisément de sa capacité à interagir aussi sur un registre émotionnel (ici des expressions faciales). Nous analysons tout d'abord l'impact du système visuel sur le contrôle bas niveau des actions du robot. Nous montrons que le bas niveau de la compétition spatiale entre les valeurs associées aux zones d’intérêt de l’image est important pour la reconnaissance d'objets et affecte donc la cohérence du comportement du robot et donc par la suite la lisibilité de ce comportement. Nous introduisons ensuite des modifications sur le contrôle des mouvements des yeux, de la tête et du corps en s'inspirant de processus biologiques (changement du cadre de référence). À la fin, nous analysons les tests effectués dans le musée afin d’évaluer la lisibilité du comportement du robot (ses mouvements et ses expressions faciales).Dans le quatrième chapitre nos travaux se poursuivent par l’ajout de mécanismes neuronaux élémentaires bio inspirés permettant l’émergence de capacité d’attention conjointe importante pour obtenir des interactions plus " naturelles " avec les visiteurs du musée mais aussi pour discuter d’un point de vue théorique l’émergence de la notion d’agentivité. Berenson représente donc aujourd’hui une forme d’expérimentation unique dans les sciences sociales comme en robotique du développement.Dans le cinquième chapitre, nous intéresserons à l’évaluation de l’effet de l’émergence de préférences esthétiques sur toute une population de robots (en simulation). Nous soutenons que la variabilité de l'apprentissage offerte par des environnements spéciaux tels qu'un musée conduit à l'individuation des robots. Nous nous interrogeons également sur l’intérêt d’enseigner des systèmes artificiels utilisant une seule grande base de données dans le but d’améliorer leurs performances. Éviter une réponse uniforme à une situation inconnue dans une population d'individus augmente ses chances de réussite
In my thesis I treat the subject of autonomous learning based on social referencing in a real environment, "the museum". I am interested in adding and analyzing the mechanisms necessary for a robot to pursue such a type of learning. I am also interested in the impact of a specific and individual learning to each robot on the whole of a group of robots confronted with a known situation or on the contrary new, more precisely:In the first chapter, we will discuss in a didactic way the tools needed to understand the models and methods that we will use throughout our work. We will discuss the basics of neural formalism, conditioning learning, categorization, and dynamic neural fields.In the second chapter, we will briefly present the biological visual system then we will review a state of the art of different models dealing with visual perception and object recognition. As part of a bio-inspired approach, we will then present the model of the visual system of the "Berenson" robot, the sensorimotor architecture allowing to associate an emotional value with an observed object. Then we study the performances of the visual system with and without space competition mechanism.In the third chapter we will move to the level of human-machine interactions, we will show that the interest of visitors to the robot does not only depend on its shape, but on its behavior and more specifically its ability to interact on an emotional level. (here facial expressions). We first analyze the impact of the visual system on the low level control of robot actions. We show that the low level of the spatial competition between the values ​​associated with the zones of interest of the image is important for the recognition of objects and thus affects the coherence of the behavior of the robot and therefore the legibility of this behavior. . We then introduce modifications on the control of eye, head and body movements inspired by biological processes (change of the frame of reference). In the end, we analyze the tests performed in the museum to assess the readability of the behavior of the robot (its movements and facial expressions).In the fourth chapter, our work continues with the addition of inspired bio-based neural mechanisms that allow the emergence of important joint attention capacity to achieve more "natural" interactions with visitors to the museum but also to discuss a point from a theoretical point of view the emergence of the notion of agency. Berenson represents today a form of experimentation unique in the social sciences as in development robotics.In the fifth chapter, we will focus on evaluating the effect of the emergence of aesthetic preferences on a whole population of robots (in simulation). We argue that the variability of learning offered by special environments such as a museum leads to the individuation of robots. We also question the interest of teaching artificial systems using a single large database in order to improve their performance. Avoiding a uniform response to an unknown situation in a population of individuals increases its chances of success

En esta tesis se define e implementa un modelo funcional de las áreas del cerebro involucradas en las acciones de agarre basadas en visión que incluye todos los pasos requeridos para la ejecución de un agarre satisfactorio. El modelo es fiel a la realidad biológica, pero también apropiado para su implementación en un entorno robótico real. Por tanto, siguiendo este modelo, se ha desarrollado un sistema completo de agarre robótico capaz de estimar la forma, tamaño y posición de un objeto desconocido usando datos visuales, planificar y ejecutar una acción de agarre integrando tales datos con la información proprioceptiva del estado del brazo y de la mano. Los resultados experimentales confirman que la nueva línea de investigación propuesta por esta tesis es significativa y prometedora para el agarre robótico. Además, tanto el modelado computacional como los experimentos robóticos ayudan a validar teorías sobre los mecanismos empleados por las áreas del cerebro involucradas en las acciones de agarre. Esta tesis ofrece nuevas ideas e hipótesis de investigación relacionadas con dichos mecanismos, y ayuda a establecer un marco de trabajo común para neurocientíficos y robóticos en el estudio de los mecanismos cerebrales.

Dans cette thèse, j'explore l'intégration de la douleur, sa perception, ses caractéristiques et son processus sensoriel dans des modèles robotiques, particulièrement dans des architectures motivationelles de sélection de l'action. En m'inspirant de la psychologie clinique, de la neurobiologie et des neurosciences computationelles, je souhaite fournir un cadre avec différentes perspectives pour étudier comment des mécanismes bio-inspirés de douleur peuvent affecter la sélection de l'action.La douleur joue un rôle crucial dans les systèmes biologiques, influençant les comportements essentiels à la survie et au maintien de l'homéostasie, mais elle est souvent négligée dans les modèles émotionnels. Chez l'Homme et les autres animaux, la douleur sert de réponse adaptative aux stimuli nocifs, déclenchant des actions qui protègent contre les dommages et favorisent la guérison. L'objectif de cette thèse est d'améliorer la sélection de l'action en incorporant la douleur et ses caractéristiques associées dans des robots, en élargissant la compréhension actuelle des agents artificiels et en explorant comment les robots peuvent utiliser la douleur pour moduler le comportement, s'adapter aux menaces et optimiser la survie.En adoptant le paradigme de l'intelligence artificielle incarnée et en s'appuyant sur des travaux antérieurs sur des modèles de sélection de l'action basés sur la motivation, cette thèse propose d'étudier différentes perspectives autour de la douleur et de son impact sur la sélection de l'action.Dans la première partie de ce travail, je propose une architecture améliorée de sélection de l'action basée sur la motivation en introduisant un modèle incarné qui permet aux robots de percevoir et de répondre à des stimuli nocifs. En utilisant des nocicepteurs artificiels, je simule la sensation de dommage chez les agents robotiques et calcule leur état émotionnel de douleur en tant qu'hormone artificielle. Ce modèle étudie comment différents niveaux de perception de la douleur influencent les réponses comportementales, avec des résultats soulignant la valeur adaptative de la douleur dans la modulation de la sélection de l'action, en particulier dans des environnements extrêmes ou dangereux.Ensuite, je présente un mécanisme de neuromodulation hormonale artificielle, mettant en œuvre une hormone cortisol simulée qui module le processus de sélection d'action. Ce mécanisme de cortisol simulée intègre une dynamique temporelle, ce qui entraîne des processus d'accoutumance et de sensibilisation. Je démontre comment la neuromodulation hormonale peut conduire à des comportements émergents qui améliorent la réponse globale des agents robotiques à la variabilité environnementale dans des scénarios extrêmes.De plus, je propose un nouveau cadre pour la détection tactile dans les plateformes robotiques mobiles. Ce modèle calcule un processus nociceptif et méchanoceptif capable de localiser et de classer les stimuli tactiles et nocifs. En collaboration avec Raphaël Bergoin, nous envoyons ce signal sensoriel à un réseau neuronal à spikes, démontrant la ségrégation des zones corticales pour les signaux nociceptifs et méchanoceptifs et l'apprentissage de représentations sensorielles incarnées.Enfin, je présente une architecture intégrée de sélection de l'action qui combine ces nouveaux processus sensoriels mécanoceptifs et nociceptifs, les réponses comportementales, la neuromodulation hormonale et l'apprentissage de représentations incarnées. Cette architecture est examinée dans un contexte social avec différents niveaux d'interaction avec des prédateurs. Je souligne l'importance de l'interaction sociale et des expériences au début de la vie dans l'apprentissage des représentations sensorielles incarnées et je démontre comment ce modèle basé sur le cortex améliore la gestion hormonale et la sélection de l'action dans des environnements dynamiques
In this thesis, I explore the integration of pain, its perception, its features, and its sensory process into robotic models, focusing on its influence on motivation-based action selection architecture. Drawing inspiration from clinician psychology, neurobiology, and computation neuroscience, I aim to provide a framework with different perspectives to study how bio-inspired pain mechanisms can affect decision-making systems.Pain plays a crucial role in biological systems, influencing behaviors essential to survival and maintaining homeostasis, yet it is often neglected in emotional models. In humans and other animals, pain serves as an adaptive response to noxious stimuli, triggering protective actions that prevent harm and promote recovery. This thesis seeks to improve action selection by incorporating pain and its related features into robots, extending the current understanding of artificial agents and exploring how robots can use pain to modulate behavior, adapt to threats, and optimize survival.Embracing the embodied Artificial Intelligence paradigm and building upon prior work on motivation-based action selection models, this thesis proposes to study different perspectives on pain and its impact on action selection.First, I provide an overview of related work and the state of the art in relevant disciplines.In the initial part of this work, I propose an enhanced motivation-based action selection architecture by introducing an embodied model that enables robots to perceive and respond to noxious stimuli. Using artificial nociceptors, I simulate the sensation of damage in robotic agents and compute the emotional state of pain as an artificial hormone. This model investigates how varying levels of pain perception influence behavioral responses, with results emphasizing the adaptive value of pain modulation in action selection, particularly in extreme or hazardous environments.Next, I introduce an artificial hormonal neuromodulation mechanism featuring a simulated cortisol hormone that modulates the action selection process. This cortisol mechanism incorporates temporal dynamics, resulting in habituation and sensitization processes. I demonstrate how hormonal neuromodulation can lead to emergent behaviors that improve the overall response of robotic agents to environmental variability in extreme scenarios.Additionally, I propose a novel framework for tactile sensing in mobile robotic platforms. This framework computes a nociceptive and mechanoceptive process capable of localizing and classifying noxious and tactile stimuli. In collaboration with Raphaël Bergoin, we send this sensory signal to a spiking neural network, demonstrating the segregation of cortical areas for nociceptive and mechanoceptive signals and learning embodied sensory representations.Finally, I present an integrated action selection architecture that combines these new mechanoceptive and nociceptive sensory processes, behavioral responses, hormonal neuromodulation, and the learning of embodied representations. This architecture is examined in a social context with varying levels of interaction with predators. I highlight the importance of social interaction in learning embodied sensory representations and demonstrate how this cortex-based model improves hormonal management and action selection in dynamic environments.In conclusion, I discuss the results of this research and offer perspectives for future work

Thesis (Ph. D.)--Mechanical Engineering, Georgia Institute of Technology, 2008.
Committee Chair: Steve M. Potter; Committee Member: Eric Schumacher; Committee Member: Robert J. Butera; Committee Member: Stephan P. DeWeerth; Committee Member: Thomas D. DeMarse.

In everyday life, we are frequently exposed to different smart technologies. From our smartphones to avatars in computer games, and soon perhaps humanoid robots, we are surrounded by artificial agents created to interact with us. Already during the design phase of an artificial agent, engineers often endow it with functions aimed to promote the interaction and engagement with it, ranging from its “communicative” abilities to the movements it produces. Still, whether an artificial agent that can behave like a human could boost the spontaneity and naturalness of interaction is still an open question. Even during the interaction with conspecifics, humans rely partially on motion cues when they need to infer the mental states underpinning behavior. Similar processes may be activated during the interaction with embodied artificial agents, such as humanoid robots. At the same time, a humanoid robot that can faithfully reproduce human-like behavior may undermine the interaction, causing a shift in attribution: from being endearing to being uncanny. Furthermore, it is still not clear whether individual biases and prior knowledge related to artificial agents can override perceptual evidence of human-like traits. A relatively new area of research emerged in the context of investigating individuals’ reactions towards robots, widely referred to as Human-Robot Interaction (HRI). HRI is a multidisciplinary community that comprises psychologists, neuroscientists, philosophers as well as roboticists, and engineers. However, HRI research has been often based on explicit measures (i.e. self-report questionnaires, a-posteriori interviews), while more implicit social cognitive processes that are elicited during the interaction with artificial agents took second place behind more qualitative and anecdotal results. The present work aims to demonstrate the usefulness of combining the systematic approach of cognitive neuroscience with HRI paradigms to further investigate social cognition processes evoked by artificial agents. Thus, this thesis aimed at exploring human sensitivity to anthropomorphic characteristics of a humanoid robot's (i.e. iCub robot) behavior, based on motion cues, under different conditions of prior knowledge. To meet this aim, we manipulated the human-likeness of the behaviors displayed by the robot and the explicitness of instructions provided to the participants, in both screen-based and real-time interaction scenarios. Furthermore, we explored some of the individual differences that affect general attitudes towards robots, and the attribution of human-likeness consequently.

This paper proposes an end-to-end, scale invariant, visual object recognition system, composed of computational components that mimic the cortex in the brain. The system uses a two stage process. The first stage is a filter that extracts scale invariant features from the visual field. The second stage uses inference based spacio-temporal analysis of these features to identify objects in the visual field. The proposed model combines Numenta's Hierarchical Temporal Memory (HTM), with HMAX developed by MIT's Brain and Cognitive Science Department. While these two biologically inspired paradigms are based on what is known about the visual cortex, HTM and HMAX tackle the overall object recognition problem from different directions. Image pyramid based methods like HMAX make explicit use of scale, but have no sense of time. HTM, on the other hand, only indirectly tackles scale, but makes explicit use of time. By combining HTM and HMAX, both scale and time are addressed. In this paper, I show that HTM and HMAX can be combined to make a com- plete cortex inspired object recognition model that explicitly uses both scale and time to recognize objects in temporal sequences of images. Additionally, through experimentation, I examine several variations of HMAX and its

Cette thèse vise à devenir un outil important dans la relation symbiotique entre les neurosciences et la robotique humanoïde, non seulement dans le cadre de cette relation, mais aussi dans les domaines individuels. L'étude, la modélisation et l'implémentation robotique des mécanismes qui règlent les mouvements des yeux et de la tête représentent une étape importante dans le domaine des neurosciences et de la robotique bio-inspirée. La compréhension de la physiologie et de la neurophysiologie sous-jacentes aux processus fondamentaux de l'extraordinaire machine humaine, comme les mouvements des yeux et de la tête et les mécanismes vestibulaires, ajoute une pièce essentielle du puzzle de connaissances en neuroscientifiques. Du point de vue robotique, l'implémentation d'un modèle neuroscientifique conduit à une nouvelle étape vers l'amélioration de la performance des plateformes robotiques. De plus, la reproduction des mécanismes hunains sur une plate-forme robotique permet de valider le modèle neuroscientifique lui-même
This thesis aims to become a valuable tool in the symbiotic relationship between neuroscience and humanoid robotics, not only within this relationship, but also within the individual areas. The study, modeling and robotic implementation of mechanisms which regulate eye and head movements represent a milestone in the field of neuroscience and bio-inspired robotics. Understanding of physiology and neurophysiology underlying fundamental processes of the extraordinary human machine, such as eye-head movements and vestibular mechanisms, adds an essential piece to the puzzle of neuroscientific knowledge. From the robotic point of view, the implementation of a neuroscientific model leads to a further step toward the performance improving of existing robotic platforms. Furthermore, reproducing human mechanisms on a robotic platform allows the validation of the neuroscientific model itself

As a result, in this thesis we provide a complete implementation of a manipulation system that can operate in unstructured environments. However, there is room for improvement in all the components presented and many unsolved questions that should be addressed in the future remain
Como resultado del trabajo presentado en esta tesis, se proporciona una implementación completa de un sistema de manipulación que puede funcionar en entornos no estructurados. Sin embargo, hay margen de mejora en todos los componentes y quedan muchas preguntas sin resolver que deberían ser abordadas en el futuro.

Emergent coordination or movement synchronization is an often observed phenomenon in human behavior. Humans synchronize their gait when walking next to each other, they synchronize their postural sway when standing closely, and they also synchronize their movement behavior in many other situations of daily life. Why humans are doing this is an important question of ongoing research in many disciplines: apparently movement synchronization plays a role in children’s development and learning; it is related to our social and emotional behavior in interaction with others; it is an underlying principle in the organization of communication by means of language and gesture; and finally, models explaining movement synchronization between two individuals can also be extended to group behavior. Overall, one can say that movement synchronization is an important principle of human interaction behavior. Besides interacting with other humans, in recent years humans do more and more interact with technology. This was first expressed in the interaction with machines in industrial settings, was taken further to human-computer interaction and is now facing a new challenge: the interaction with active and autonomous machines, the interaction with robots. If the vision of today’s robot developers comes true, in the near future robots will be fully integrated not only in our workplace, but also in our private lives. They are supposed to support humans in activities of daily living and even care for them. These circumstances however require the development of interactional principles which the robot can apply to the direct interaction with humans. In this dissertation the problem of robots entering the human society will be outlined and the need for the exploration of human interaction principles that are transferable to human-robot interaction will be emphasized. Furthermore, an overview on human movement synchronization as a very important phenomenon in human interaction will be given, ranging from neural correlates to social behavior. The argument of this dissertation is that human movement synchronization is a simple but striking human interaction principle that can be applied in human-robot interaction to support human activity of daily living, demonstrated on the example of pick-and-place tasks. This argument is based on five publications. In the first publication, human movement synchronization is explored in goal-directed tasks which bare similar requirements as pick-and-place tasks in activities of daily living. In order to explore if a merely repetitive action of the robot is sufficient to encourage human movement synchronization, the second publication reports a human-robot interaction study in which a human interacts with a non-adaptive robot. Here however, movement synchronization between human and robot does not emerge, which underlines the need for adaptive mechanisms. Therefore, in the third publication, human adaptive behavior in goal-directed movement synchronization is explored. In order to make the findings from the previous studies applicable to human-robot interaction, in the fourth publication the development of an interaction model based on dynamical systems theory is outlined which is ready for implementation on a robotic platform. Following this, a brief overview on a first human-robot interaction study based on the developed interaction model is provided. The last publication describes an extension of the previous approach which also includes the human tendency to make use of events to adapt their movements to. Here, also a first human-robot interaction study is reported which confirms the applicability of the model. The dissertation concludes with a discussion on the presented findings in the light of human-robot interaction and psychological aspects of joint action research as well as the problem of mutual adaptation.
Spontan auftretende Koordination oder Bewegungssynchronisierung ist ein häufig zu beobachtendes Phänomen im Verhalten von Menschen. Menschen synchronisieren ihre Schritte beim nebeneinander hergehen, sie synchronisieren die Schwingbewegung zum Ausgleich der Körperbalance wenn sie nahe beieinander stehen und sie synchronisieren ihr Bewegungsverhalten generell in vielen weiteren Handlungen des täglichen Lebens. Die Frage nach dem warum ist eine Frage mit der sich die Forschung in der Psychologie, Neuro- und Bewegungswissenschaft aber auch in der Sozialwissenschaft nach wie vor beschäftigt: offenbar spielt die Bewegungssynchronisierung eine Rolle in der kindlichen Entwicklung und beim Erlernen von Fähigkeiten und Verhaltensmustern; sie steht in direktem Bezug zu unserem sozialen Verhalten und unserer emotionalen Wahrnehmung in der Interaktion mit Anderen; sie ist ein grundlegendes Prinzip in der Organisation von Kommunikation durch Sprache oder Gesten; außerdem können Modelle, die Bewegungssynchronisierung zwischen zwei Individuen erklären, auch auf das Verhalten innerhalb von Gruppen ausgedehnt werden. Insgesamt kann man also sagen, dass Bewegungssynchronisierung ein wichtiges Prinzip im menschlichen Interaktionsverhalten darstellt. Neben der Interaktion mit anderen Menschen interagieren wir in den letzten Jahren auch zunehmend mit der uns umgebenden Technik. Hier fand zunächst die Interaktion mit Maschinen im industriellen Umfeld Beachtung, später die Mensch-Computer-Interaktion. Seit kurzem sind wir jedoch mit einer neuen Herausforderung konfrontiert: der Interaktion mit aktiven und autonomen Maschinen, Maschinen die sich bewegen und aktiv mit Menschen interagieren, mit Robotern. Sollte die Vision der heutigen Roboterentwickler Wirklichkeit werde, so werden Roboter in der nahen Zukunft nicht nur voll in unser Arbeitsumfeld integriert sein, sondern auch in unser privates Leben. Roboter sollen den Menschen in ihren täglichen Aktivitäten unterstützen und sich sogar um sie kümmern. Diese Umstände erfordern die Entwicklung von neuen Interaktionsprinzipien, welche Roboter in der direkten Koordination mit dem Menschen anwenden können. In dieser Dissertation wird zunächst das Problem umrissen, welches sich daraus ergibt, dass Roboter zunehmend Einzug in die menschliche Gesellschaft finden. Außerdem wird die Notwendigkeit der Untersuchung menschlicher Interaktionsprinzipien, die auf die Mensch-Roboter-Interaktion transferierbar sind, hervorgehoben. Die Argumentation der Dissertation ist, dass die menschliche Bewegungssynchronisierung ein einfaches aber bemerkenswertes menschliches Interaktionsprinzip ist, welches in der Mensch-Roboter-Interaktion angewendet werden kann um menschliche Aktivitäten des täglichen Lebens, z.B. Aufnahme-und-Ablege-Aufgaben (pick-and-place tasks), zu unterstützen. Diese Argumentation wird auf fünf Publikationen gestützt. In der ersten Publikation wird die menschliche Bewegungssynchronisierung in einer zielgerichteten Aufgabe untersucht, welche die gleichen Anforderungen erfüllt wie die Aufnahme- und Ablageaufgaben des täglichen Lebens. Um zu untersuchen ob eine rein repetitive Bewegung des Roboters ausreichend ist um den Menschen zur Etablierung von Bewegungssynchronisierung zu ermutigen, wird in der zweiten Publikation eine Mensch-Roboter-Interaktionsstudie vorgestellt in welcher ein Mensch mit einem nicht-adaptiven Roboter interagiert. In dieser Studie wird jedoch keine Bewegungssynchronisierung zwischen Mensch und Roboter etabliert, was die Notwendigkeit von adaptiven Mechanismen unterstreicht. Daher wird in der dritten Publikation menschliches Adaptationsverhalten in der Bewegungssynchronisierung in zielgerichteten Aufgaben untersucht. Um die so gefundenen Mechanismen für die Mensch-Roboter Interaktion nutzbar zu machen, wird in der vierten Publikation die Entwicklung eines Interaktionsmodells basierend auf Dynamischer Systemtheorie behandelt. Dieses Modell kann direkt in eine Roboterplattform implementiert werden. Anschließend wird kurz auf eine erste Studie zur Mensch- Roboter Interaktion basierend auf dem entwickelten Modell eingegangen. Die letzte Publikation beschreibt eine Weiterentwicklung des bisherigen Vorgehens welche der Tendenz im menschlichen Verhalten Rechnung trägt, die Bewegungen an Ereignissen auszurichten. Hier wird außerdem eine erste Mensch-Roboter- Interaktionsstudie vorgestellt, die die Anwendbarkeit des Modells bestätigt. Die Dissertation wird mit einer Diskussion der präsentierten Ergebnisse im Kontext der Mensch-Roboter-Interaktion und psychologischer Aspekte der Interaktionsforschung sowie der Problematik von beiderseitiger Adaptivität abgeschlossen.

Les interfaces cerveau machines ont quitté le domaine de la science-fiction dans les années 70 avec la réflexion portée par Jacques Vidal sur la faisabilité d’utiliser des signaux électro-encéphalogrammes comme moyen de communication entre le cerveau et des dispositifs extérieurs. Pendant le développement de ce domaine de recherche, différentes pistes ont été explorées afin de créer une véritable interface entre le cerveau et une machine. Les méthodes d’acquisition ont pris différentes formes et avec l'amélioration des capacités informatiques et l'avènement de l'apprentissage automatique, les méthodes de classification des données cérébrales sont devenues plus fines, capables de capturer des informations complexes sur la donnée cérébrale. Une piste prometteuse pour aider les patients concerne le processus de rééducation suivant un accident vasculaire cérébrale (AVC). En effet, en effectuant des mouvements ou en informant les patients de leur activité cérébrale, il est possible d’aider leur cerveau à s’adapter au déficit neuronal et ainsi de les aider à surmonter leur lésion. Dans ce contexte, les ICO jouent le rôle d'une béquille sur lequel s’appuyer le temps de la rééducation. Dans tout cela, comment devrions-nous contribuer aux systèmes BCI ? Un défi particulier pour les sujets est de créer des patterns cérébraux différenciables au niveau de l'EEG. Pour créer ces patterns, nous nous appuyons sur des tâches cognitives qui modifient le profil d'activité cérébrale. Nous pouvons évoquer l'imagerie motrice des mouvements des membres, une tâche qui consiste à imaginer des mouvements sans les exécuter. Cette tâche particulière est peu familière pour beaucoup et donc en devient complexe à exécuter. Une manière d'aider les sujets à l'effectuer est d'utiliser des retours évocateurs dans le contexte d’une ICO, tels qu’un bras robotique. Le fait de nourrir le sentiment de contrôle sur le bras ainsi que sur les mouvements produits par celui-ci contribue à obtenir des patterns cérébraux plus différenciables. Cependant, en raison des limitations actuelles en ce qui concerne le degré de contrôle permis par les systèmes d’ICO, un contrôle complet d'un bras robotique n'est pas possible. Une solution est de coupler l’ICO avec une autre technologie pour augmenter le degré de contrôle et renforcer le sentiment d’agentivité des sujets sur le bras. Parmi les technologies qui offrent un aperçu de l'intention des sujets, l’oculomètre semble être une solution élégante. L'intégration des deux composants crée un système BCI hybride capable de contrôler le bras de manière intuitive. Cette hybridation a été développée précédemment en tant que preuve de concept, mais l'impact de l'intégration de ces modalités sur le cerveau reste à étudier. En effet, une meilleure compréhension de la manière dont nous devrions façonner l'interaction entre les éléments permettrait de savoir pourquoi nous obtenons de bonnes performances et comment susciter ces patterns discriminants. Le travail de cette thèse consistait en la création d'une plateforme expérimentale entrelaçant les différentes modalités pour établir un contrôle robuste sur le bras. En réalisant un protocole expérimental, nous avons évalué comment définir l'interaction par une analyse approfondie couvrant la performance pure du système, les réponses physiologiques et neurophysiologiques des sujets. Nous avons constaté que la constance était essentielle dans l'interaction et nous avons démontré l'importance du mouvement pour susciter des réponses cérébrales dans ce contexte particulier. Notre travail ouvre la voie à une meilleure compréhension de la dynamique du cerveau dans son contrôle sur les dispositifs externes dans une configuration multimodale. Cette thèse est structurée en cinq chapitres différents couvrant le contexte des ICOs, le développement de la plateforme expérimentale, les résultats du protocole expérimental associés à leur discussion, et enfin une conclusion générale
Brain-machine interfaces (BMIs) left the realm of science fiction in the 1970s with Jacques Vidal's reflection on the feasibility of using electroencephalogram signals as a means of communication between the brain and external devices. During the development of this research field, various approaches have been explored to create a true interface between the brain and a machine. The methods of data acquisition have taken different forms, and with the improvement of computer capabilities and the advent of machine learning, methods to classify brain data have become more refined, capable of capturing complex information from brain data. A promising avenue to assist patients lies in the rehabilitation process following a stroke. By performing movements or providing feedback to patients about their brain activity, it is possible to help their brains adapt to neuronal deficits and aid them in overcoming their impairments. In this context, BMIs act as a support, like crutches, during the rehabilitation period. However, in this context, one challenge is to create differentiable brain patterns at the EEG level. To create these patterns, cognitive tasks that modify brain activity profiles are relied upon. One such task is motor imagery of limb movements, where subjects imagine movements without executing them. This particular task is unfamiliar to many and thus becomes complex to execute. One way to assist subjects in performing it is to provide evocative feedback in the BMI context, such as a robotic arm. Nurturing a sense of control over the arm and its movements helps elicit more differentiable brain patterns. Nevertheless, due to current limitations in the degree of control permitted by BMI systems, full control of a robotic arm is not yet possible. A solution is to couple the BMI with another technology to increase the degree of control and reinforce subjects' sense of agency over the arm. Among the technologies offering insights into subjects' intentions without requiring movement, the eye tracker appears to be an elegant solution. The integration of these two components creates a hybrid BCI system capable of intuitively controlling the arm. This hybridization has been demonstrated as a proof of concept in the BMI field, but the impact of integrating these modalities on the brain remains to be studied. A better understanding of how to shape the interaction between the eye tracker, BMI, and robotic arm would shed light on why good performances are obtained and how to elicit these discriminant brain patterns. The work in this thesis focused on creating an experimental platform that intertwines these different modalities to establish robust control over the arm. Through an experimental protocol, we assessed how to define the interaction through in-depth analysis, covering the system's pure performance and the physiological and neurophysiological responses of subjects. We found that consistency is crucial in the interaction, and we demonstrated the importance of movement in eliciting brain responses in this particular context. Our work paves the way for a better understanding of the brain's dynamics in controlling external devices in a multimodal setup. Additionally, we propose a new framework for controlling a robotic arm using a hybrid BCI. The thesis is structured into five chapters, covering the overall context of BMIs, the development of the experimental platform, the results from the experimental protocol and their discussion, and finally, a general conclusion

Cette thèse s'intéresse aux mécanismes permettant de faciliter l'acquisition autonome de comportements chez les êtres vivants et propose d'utiliser ces mécanismes dans le cadre de tâches robotiques. Des réseaux de neurones artificiels sont utilisés pour modéliser certaines structures cérébrales, à la fois afin de mieux comprendre le fonctionnement de ces structures dans le cerveau des mammifères et pour obtenir des algorithmes robustes et adaptatifs de contrôle en robotique. Les travaux présentés se basent sur un modèle de l'hippocampe permettant d'apprendre des relations temporelles entre des événements perceptifs. Les neurones qui forment le substrat de cet apprentissage, appelés cellules de transition, permettent de faire des prédictions sur les événements futurs que le robot pourrait rencontrer. Ces transitions servent de support à la con- struction d'une carte cognitive, située dans le cortex préfrontal et/ou pariétal. Cette carte peut être apprise lors de l'exploration d'un environnement inconnu par un robot mobile et ensuite utilisée pour planifier des chemins lui permettant de rejoindre un ou plusieurs buts. Outre leur utilisation pour la construction d'une carte cognitive, les cellules de transition servent de base à la conception d'un modèle d'apprentissage par renforcement. Une implémen- tation neuronale de l'algorithme de Q-learning, utilisant les transitions, est réalisée de manière biologiquement plausible en s'inspirant des ganglions de la base. Cette architecture fournit une stratégie de navigation alternative à la planification par carte cognitive, avec un apprentissage plus lent, et correspondant à une stratégie automatique de bas-niveau. Des expériences où les deux stratégies sont utilisées en coopération sont réalisées et des lésions du cortex préfrontal et des ganglions de la base permettent de reproduire des résultats expérimentaux obtenus chez les rats. Les cellules de transition peuvent apprendre des relations temporelles précises permettant de prédire l'instant où devrait survenir un événement. Dans un modèle des interactions entre l'hippocampe et le cortex préfrontal, nous montrons comment ces prédictions peuvent expliquer certains enregistrements in-vivo dans ces structures cérébrales, notamment lorsqu'un rat réalise une tâche durant laquelle il doit rester immobile pendant 2 secondes sur un lieu but pour obtenir une récompense. L'apprentissage des informations temporelles provenant de l'environnement et du comportement permet de détecter des régularités. A l'opposé, l'absence d'un événe- ment prédit peut signifier un échec du comportement du robot, qui peut être détecté et utilisé pour adapter son comportement en conséquence. Un système de détection de l'échec est alors développé, tirant parti des prédictions temporelles fournies par l'hippocampe et des interactions entre les aspects de modulation comportementale du cortex préfrontal et d'apprentissage par renforcement dans les ganglions de la base. Plusieurs expériences robotiques sont conduites dans lesquelles ce signal est utilisé pour moduler le comportement d'un robot, dans un premier temps de manière immédiate, afin de mettre fin aux actions du robot qui le mènent à un échec et envisager d'autres stratégies. Ce signal est ensuite utilisé de manière plus permanente pour moduler l'apprentissage des associations menant à la sélection d'une action, afin que les échecs répétés d'une action dans un contexte particulier fassent oublier cette association. Finalement, après avoir utilisé le modèle dans le cadre de la navigation, nous montrons ses capacités de généralisation en l'utilisant pour le contrôle d'un bras robotique. Ces travaux constituent une étape importante pour l'obtention d'un modèle unifié et générique permettant le contrôle de plates-formes robotiques variés et pouvant apprendre à résoudre des tâches de natures différentes.

Dans cette thèse nous proposons une modèl nonlinéaire du système vestibulaire. Le système vestibulaire est essentiel pour locomotion stable à fin qu'il fournit les mesures idiothétiques d'orientation spatial necessaire pour contrôle de la posture. Development du model est baseé sur les principes generals de dynamique Newton-Euler. Les otolithes du système vestibulaire sont modelisé comme pendule sphérique amortie, qui oscille en référentiel non galiléen. Deux types du modèl ont été proposées. Le modèl medial consideers une oreille interne qui se trouve dans le centre de la tête. Le modèl lateral deux oreille interne qui sont situés des deux côté lateral du centre de la tête. Les differences entre les modèls ont été analysé et l'importance d'avoir deux ensembles d'organes vestibulaires ont été discuté. Test algebraic d'observabilité nonlinéaire des models a demonstré que pour avoir l'orientation spatial de la tête observable la tête doit être stabilisée pendant locomotion. Nous avons montré que le problèm d'ambiguïté gravito-inertiel peut être résolu si la tête est stabilisé horizontalement. Ces résultats ont été appliqués pour estimer la verticalité gravitationnelle lors de la locomotion dans les cas linéarisées et non linéaire. Ces résultats ont été appliqués pour estimer la verticalité gravitationnelle pendant locomotion dans les cas linéarisées et non linéaire. Les resultats des simulations ont montré que les erreurs d'estimation ont été significativement plus faible dans le cas de la tête stabilisée. Les estimateurs étaient plus rapides et plus robustes lorsque la tête a été stabilisée. Ensuite, les résultats ont été testés avec le système expérimental, qui a été spécialement conçu pour représenter le système tête-cou et les organes vestibulaires. L'inclinomètre utilisant un liquide a été exploité pour représenter les functions d'otolithes. Les résultats présentés dans cette thèse sont utiles pour l'analyse de la perception spatiale chez les humains et les animaux, et pour améliorer les capacités sensorielles des systèmes robotiques, tels que les robots humanoïdes, véhicules tout terrain, ou des drones.

The rodent navigation system has been the focus of study for over a century. Discoveries made lately have provided insight on the inner workings of this system. Since then, computational approaches have been used to test hypothesis, as well as to improve robotics navigation and learning by taking inspiration on the rodent navigation system. This dissertation focuses on the study of the multi-scale representation of the rat’s current location found in the rat hippocampus. It first introduces a model that uses these different scales in the Morris maze task to show their advantages. The generalization power of larger scales of representation are shown to allow for the learning of more coherent and complete policies faster. Based on this model, a robotics navigation learning system is presented and compared to an existing algorithm on the taxi driver problem. The algorithm outperforms a canonical Q-Learning algorithm, learning the task faster. It is also shown to work in a continuous environment, making it suitable for a real robotics application. A novel task is also introduced and modeled, with the aim of providing further insight to an ongoing discussion over the involvement of the temporal portion of the hippocampus in navigation. The model is able to reproduce the results obtained with real rats and generates a set of empirically verifiable predictions. Finally, a novel multi-query path planning system is introduced, inspired in the way rodents represent location, their way of storing a topological model of the environment and how they use it to plan future routes. The algorithm is able to improve the routes in the second run, without disrupting the robustness of the underlying navigation system.

Dans cette thèse nous nous intéressons à la problématique de la construction de l'esthétiquechez les humains. Nous proposons d'utiliser un robot comme modèle pour étudier les briquesde bases qui participent au développement des préférences esthétiques. Nous utilisons le termed'esthétique artificielle (E.A ) pour désigner les préférences du robot.Plusieurs travaux de recherche tentent d'établir des théories de l'esthétique que nous séparons icien deux approches. D'une part, les approches empiriques qui étudientles préférences esthétiques d'un point de vue expérimental. Nous nous intéressons notamment àune branche plus radicale des approches empiriques, nommée la neuroesthétique. Celle-ci postulel'existence de structures cérébrales dédiées à l'appréciation des scènes visuelles en général et de l'art en particulier.D'autre part, les approches sociales qui avancent que les préférences esthétiques se transmettent de générationen génération et se construisent selon l'historique de l'individu et de ses interactions avec les autres.Le contextualisme historique est une branchedes approches sociales qui établit un lien entre le contexte dans lequel une œuvre est observée et son appréciation.Sans remettre en cause l'approche neuroscientifique, nous avons choisi de nous positionner dans une approche sociale et développementaleen utilisant des méthodes expérimentales telles que celles utilisées en esthétique empirique.Nous étudions l'émergence du sens esthétique dans le cadre de la référenciation sociale.On appelle référenciation sociale la capacité à attribuer des valences émotionnelles à des objets a priori neutre.Nous testons nos hypothèses sur robot mobile dans un cadre d'interaction triadique : homme-robot objet.Ceci dans un milieu naturel centré sur des humains non initiés à la robotique.Les humains jouent le rôle d'enseignants (professeur) du robot. Ils ont la tâche de suivre le robot dans son développementet de lui enseigner leurs préférences pour lui permettre de développer son propre "goût".Nous avons choisi de mener nos expériences dans des milieux dominés par l'esthétique comme les musées ou les galeries d'art.Toutefois, ces expériences peuvent être menées en tout lieu où des humains et des objets seraient disponibles.Notre robot, nommé Berenson en référence à un célèbre historien de l'art du 19ème siècle, est un outilpour comprendre d'une part comment s'installent des interactions sociales et comment les humainsprêtent des intentions aux machines, et d'autres part il permet d'étudier les briques minimalesd'intelligence artificielle à mettre en place pour construire une esthétique artificielle
In this thesis we propose a robot as tool to study minimal bricks that helps human develop their aesthetic preferences. We refer to the robot preference using the term Artificial Esthetics (A.E).Several research work tries to establish a unified theory of esthetics. We divide them into two approaches. In one side, the empirical approaches which study esthetic preferences in an experimental manner. We mainly discuss the more radical branch of those approaches named "Neuroesthetic". Neuroesthetic advocates the existence of neural structures dedicated to visual scene preference and particularly to art appreciation. In another side, the social approaches which advocate that esthetic preferences are transmitted generation after generation, and they are built according to the individual historic and his interaction with others. Historical contextualism is a branch of the social approaches of art that draws a link between the appreciation of an artwork and the context where the artwork is observed.Without rejecting the neuroscientific approach, we choose a social and developmental way to study artificial esthetic using experimental methods from the empirical esthetic. We study the esthetic preferences development in the social referencing framework. Social referencing is the ability to attribute emotional values to à priori neutral objects. We test our hypothesis on a mobile robot in a triadic interaction : human-robot-object. This in a natural human centered environment. Humans play the role of the teachers. They have to fololow the robot in his development and teach it their preferences in order to help it develop its own "taste".We chose to conduct our experiment in places dominated by art and esthetics like museums and art galleries, however, this kind of experiment can take place anyway where human and objects are present.We named our robot Berenson in reference to a famous art historian of the 19th century. Berenson is a tool to understand how human project intentions into machines in one hand, and in the other hand the robot helps scientist build and understand minimal artificial intelligence bricks to build an artificial esthetic

Cette thèse étudie les mécanismes de sélection de l'action et de choix de stratégie tels qu'ils apparaissent à travers des expériences animales et des enregistrements neurobiologiques. Nous proposons ensuite des modèles biologiquement plausibles de la sélection de l'action. L'objectif est de mieux comprendre le fonctionnement du cerveau chez les êtres vivants et de pouvoir endéduire des architectures de contrôle bio-inspirées, plus robustes et adaptées à l'environnement. Les modèles étudiés sont réalisés avec des réseaux de neurones artificiels, permettant de modéliser des régions cérébrales et ainsi pouvoir simuler le fonctionnement du cerveau, ce qui permet de tester nos hypothèses sur des robots et des agents virtuels.L'étude de la sélection de l'action pour des robots mobiles implique plusieurs approches. La sélection de l'action peut être étudiée du point de vue du choix entre plusieurs actions basiques, e.g. un choix binaire aller à gauche ou à droite. Ceci passe forcément par l'acquisition et la catégorisation d'instants et d'événements spéciaux, perçus ou effectués, qui représentent des contextes dans lesquels la perception change, le comportement est modifié ou bien la sélection est réalisée. Ainsi, la thèse traite aussi de l'acquisition, la catégorisation et l'encodage de ces événements importants dans la sélection del'action.Enfin, on s'intéressera à la sélection de l'action du point de vue de la sélection de stratégie. Les différents comportements peuvent être dirigés consciemment ou bien être des automatismes acquis avec l'habitude. Le but ici est d'explorer différentes approches pour que le robot puisse développer ces deux capacités, mais aussi d'étudier les interactions entre ces types de mécanismes dans la cadre de tâches de navigation.Les travaux de cette thèse se basent sur la modélisation du fonctionnement de différentes boucles hippocampo-cortico-basales impliquées dans des tâches de navigation, de sélection de l'action et de catégorisations multimodales. En particulier, nous avons un modèle de l'hippocampe permettant d'apprendre des associations spatio-temporelles et des conditionnements multimodaux entre des événements perceptifs. Il se base sur des associations sensorimotrices entre des cellules appelées cellules de lieu qui sont associées avec des actions pour définir des comportements cohérents. Le modèle fait aussi intervenir des cellules de transition hippocampiques, permettant de faire des prédictions temporelles sur les événements futurs. Celles-ci permettent l'apprentissagede séquences spatio-temporelles, notamment du fait qu'elles représentent le substrat neuronal à l'apprentissage d'une carte cognitive, située elle au niveau du cortex préfrontal et/ou pariétal.Ce type de carte permet de planifier des chemins à suivre en fonction des motivations du robot, ce qui permet de rejoindre différents buts précédemment découverts dans l'environnement
This thesis aims at studying the different mechanisms involved in action selection and decision making processes, according to animal experiments and neurobiological recordings. For that matter, we propose several biologically plausible models for action selection. The goal is to achieve a better understanding of the animal's brain functions. This gives us the opportunity todevelop bioinspired control architectures for robots that are more robust and adaptative to a real environement. These models are based on Artificial Neural Networks, allowing us to test our hypotheses on simulations of different brain regions and function, implemented on robots and virtual agents.Action selection for mobile robots can be approached from different angles. This process can be seen as the selection between two possibilities, e.g. go left or go right. Those mechanisms involve the ability to learn and categorize specific events, encoding contexts where a change in the perception is perceived, a change in the behavior is noticed or the decision is made. There-fore, this thesis studies those capacities of acquisition, categorisation and coding of different events that can be relevant for action selection.We also, approach the action selection as a strategy selection. The different behaviors are guided consciously or through automated behavior learned as habits. We investigate different possibilities allowing a robot to develop those capacities. Also, we aim at studying interactions that can emerge between those mechanisms during navigational behaviors.The work presented in this these is based on the modelisation of the hippocampo-cotico-basal loops involved in the navigational behaviors, the action selection and the multimodal categorisation of events. We base our models on a previous model of the hippocampus for the learning of spatio-temporal associations and for multimodal conditionning of perceptive events. It is based on sensorimotor associations between place cells and actions to achieve navigational behaviors. The model involves also a specific type of hippocampic cells, named transition cells, for temporal prediction of future events. This capacity allows the model to learn spatio-temporal sequences, and it represents the neural substrate for the learning of a cognitive map, hypothesised to be localized in prefrontal and/or parietal areas. This kind of topological map allows to plan the behavior of the robot according to its motivations, which is used in goal orientedexperiments to achieve goals and capture rewards

Stroke is the third leading cause of death after cardiovascular diseases and cancer, and represents the greatest cause of severe disability and impairment in the industrialized world [1]. Every year in the U.S. and Europe there are 200 to 300 new stroke cases per 100.000, the 30% of whom survive with severe invalidity and marked limitations in daily activities, mainly deriving from impaired motor control and loss of dexterity in the use of the arm [1, 2]. Due to population aging, this trend is going to grow further in the next decades [2]. Motor training after stroke is thus becoming a primary societal goal, based on the increasing evidence that the motor system is plastic following stroke and can be influenced by motor training [3]. Individuals typically receive intensive hands-on therapy for several months after stroke to treat hemi-paresis and improve independence. Encouragingly, an intensity-effect relationship has now been established between the amount of therapy individuals receive and the movement gains achieved [4, 5, 6, 7, 8, 9]. However, the amount of therapy a patient receives involving direct contact with rehabilitation therapists is often limited by cost considerations [10, 11, 12]. Patients may exercise apart from a therapist, however independent movement practice is particularly difficult for individuals who are unable to lift the arm against gravity or have minimal hand movement ability, which may contribute to the reported poor compliance with home exercise programs [13, 14, 15]. It is essential to develop new approaches for delivering effective forms of therapy at reduced cost, so that people can exercise for longer periods and maximize recovery. In response to this need, over the past two decades there has been a surge in the number of research groups and companies that are developing robotic devices for assisting in the movement rehabilitation of persons with disabilities (see reviews [16, 17, 18, 19, 20, 21, 22]). Most of this work has focused on rehabilitation of movement after stroke because survivors of stroke are a large target population, although there is also some work on robotic movement training after spinal cord injury, cerebral palsy, and multiple sclerosis. Developers typically state three main goals for this activity: automating the repetitive and strenuous aspects of physical therapy, delivering rehabilitation therapy in a more repeatable manner, and quantifying outcomes with greater precision. Devices have been developed for assisting in rehabilitation of the arm, hand, and legs. The most commonly explored paradigm is to use a robotic device to physically assist in completing desired motions of the arms, hands, or legs as the patient plays computer games presented on a screen. A variety of assistive control strategies have been designed (see review: [23]), ranging from robots that rigidly move limbs along fixed paths, to robots that assist only if patient performance fails to stay within some spatial or temporal bound, to soft robots that form a model of the patient’s weakness. Two recent reviews on the first Randomized Controlled Trials (RCTs) of upper-limb robot-assisted rehabilitation outlined that clinical results are still far from being fully satisfactory [21, 24]. In fact, even though motor recovery is usually greater in therapy groups than in control groups, only few studies on acute and sub-acute phase rehabilitation showed some positive results at the functional level (i.e., in the activities of daily living), the summary effect size of all the studies being very close to zero. These results suggest that the therapy devices, exercises and protocols developed so far still need to be improved and optimized. Two notable recent efforts in this direction are the “assist-as-needed control proposed by Reinkensemyer for the neu-WREX, a pneumatic exoskeleton for arm rehabilitation, and the performance-based progressive assistance proposed by Krebs for the pioneering arm-training robot MIT-MANUS [25, 26, 27], which assists in arm movement in the horizontal plane. The former is a robot control algorithm that allows the effort of the patient to be modulated while maintaining the kinematics of the patient’s arm within close bounds to a specified desired movement [28, 29]. The latter is a method to adapt robotic assistance to patient performance (H. I. Krebs, unpublished conference presentation). The goal of both algorithms is to encourage patient effort and engagement during the execution of the exercise. Perhaps the most fundamental problem that robotic movement therapy must address to continue to make progress is that there is still a lack of knowledge on how motor learning during neuro-rehabilitation works at a level of detail sufficient to dictate robotic therapy device design [30]. We know that repetition, with active engagement by the participant, promotes re-organization [31, 32]. We also know that kinematic error drives motor adaptation [33, 34, 35]. Some examples of attempts of correlating patient effort or recovery to kinematic error are [34, 36, 37, 38]. In these works, some mathematical models of healthy persons or patients behavior are proposed and compared to experimental results. There is also evidence that a proper task-related auditory feedback may help individuals in learning a motor task [39], even though auditory feedback is still under-employed in robotic rehabilitation systems. But the precise ways that mental engagement, repetition, kinematic error and sensory information in general translate into a pattern of recovery is not well defined for rehabilitation [30]. The work presented in this Dissertation is the fist part of a research whose main goal is to identify the key mechanisms that determine the engagement of the patient during robotic arm movement training after stroke, in order to optimize the design of rehabilitation robotic systems. The key hypothesis behind the research is that patient engagement and effort are related to (and can be modulated by) the sensory information delivered by the robotic system, and that more highly engaged patients will experience increased benefits from robot-assisted training. In order to achieve this primary results, a new planar cable machine for upper limb rehabilitation of chronic stroke patients, that can be enough economic for a care-home use. In this machine, the ” assistive-as-needed” control was designed and improved to obtain a compliant control for engaging the patient during the therapy. The final goal of the research will be to develop a set of mathematical equations that relate certain variables (e.g. sensory feedback measures) to other variables (engagement measures), to model the way a patient interacts with the robotic system. In this way, we aim to understand patient response at a sufficient level to dictate robotic therapy device design. One fundamental point is the definition of the variables employed to quantify patient engagement and sensory inputs in the computational model, and the way they will be measured. In order to investigate this fundamental point, a multi-feedback interface was designed using sound feedback to increase the attention of the patient during a robot-theraphy session. Clinical trials with healthy and stroke patients were performed using the new interface and the modified ”assistive-as-needed” control. The results confirmed the starting hyphotesis: a multi-feedback interface with ”assistive-as-needed” control improve the patient’s performance during a robot-assistive therapy and the sound feedback can increase the attention during the exercise. The future work will concern an improvement of multi-feedback interface and the stroke patient’s computational model of motor control. Finally, to performed a comparison between the clinical trials with Pneu-Wrex and the S.O.P.H.I.A 4 in order to understand new guideline to design a mechanical structure of rehabilitation robot.
L'ictus celebrale è la terza causa di morte dopo i decessi cardiovascolari e il cancro, e rappresenta una grave disabilà nell’epoca moderna [1]. Ogni anno in USA ed Europa ci sono tra i 200 e 300 nuovi casi ogni 100.000, in cui il 30% dei quali sopravvive con gravi invalidità e limitazioni sulle attività quotidiane, principalmente dovute ad un deterioramento del controllo motorio e alla perdita quindi, della destrezza nell’utilizzare gli arti [1, 2]. Considerando l’innalzamento dell’età media della popolazione, l’ictus rappresenta un fenomeno in via di crescita nei prossimi anni [2]. L’allenamento motorio post-ictus è diventato un bisogno primario sociale, basato sull’evidente beneficio che provoca sulla plasticità del sistema motorio a seguito di ictus [3]. Tipicamente i soggetti affetti da ictus ricevono delle cure fisioterapiche diversi mesi dopo lo stroke, per riuscire a migliorare le semi-paresi e per recuperare l’indipendenza motoria. Una relazione tra intensità ed effetto dei trattamenti si è instaurata tra la quantità di terapia individuale somministrata e il guadagno ottenuto nella mobilità motoria [4, 5, 6, 7, 8, 9]. E comunque da considerare che l’ammontare totale della terapia ricevuta, coinvolgendo direttamente il contatto diretto del fisioterapeuta, è limitato dai costi [10, 11, 12]. I pazienti tuttavia possono esercitarsi al di fuori delle sessioni fisioterapiche, ma i movimenti individuali sono particolarmente difficili per gli individui che non sono capaci di sollevare il proprio arto o con una minima mobilità alla mano, pertanto il contributo degli esercizi svolti a casa al fine del recupero motorio ha dato scarsi risultati [13, 14, 15]. E' necessario pertanto, sviluppare nuove strategie per la divulgazione delle terapie a basso costo, con l’obiettivo di permettere ai pazienti di esercitarsi per lungo tempo, massimizzando quindi il recupero motorio. Per far fronte a questo bisogno, nelle ultime due decadi si sono visti protagonisti un distinto numero di gruppi di ricerca ed industrie che hanno sviluppato dispositivi robotici per la riabilitazione di persone con disabilità (vedi revisioni [16, 17, 18, 19, 20, 21, 22]). La maggior parte di questo lavoro è incentrata nella riabilitazione dei movimenti a seguito di ictus poiché i sopravvissuti rappresentano una larga parte della popolazione presa in esame, sebbene vi siano altri lavori riguardanti il recupero motorio a seguito di paralisi celebrale infantile, sclerosi multipla e danni alla spina dorsale. Tipicamente sono tre gli obiettivi da raggiungere in questo settore: automatizzare la ripetibilità e l’arduo lavoro fisico della terapia, divulgare la terapia riabilitativa in più modi possibili, quantificare i risultati terapeutici con grande precisione. Dispositivi robotici sono stati sviluppati per assistere la riabilitazione di braccia, mani e gambe. Il paradigma più comune è utilizzare i dispositivi robotici per assistere fisicamente il completamento di movimenti desiderati di braccia, mani o gambe dei pazienti mentre svolgono dei giochi al computer. Diverse strategie di controllo sono state sviluppate (vedi revisione: [23]), e spaziano da robot che spostano rigidamente gli arti lungo un percorso predefinito, a robot che assistono il paziente solo se la performance di quest’ultimo non rientra dentro dei limiti spaziali o temporali, a robot che costruiscono un modello della disabilità del paziente. Due recenti revisioni del primo Randomized Controlled Trials (RCTs) di robot per la riabilitazione degli arti superiori hanno evidenziato che i risultati clinici sono distanti dall’essere soddisfacenti [21, 24]. Infatti, anche se il recupero motorio è maggiore nel gruppo della terapia robotica che in quello tradizionale, solo alcuni studi su pazienti in fase acuta e sub-acuta hanno dimostrato risultati positivi a livello funzionale (es. svolgimento delle attività quotidiane), complessivamente gli effetti complessivi sono tendenti a zero. Ciò suggerisce che le terapie, gli esercizi e i protocolli riabilitativi fin qui sviluppati devono essere ulteriormente perfezionati e ottimizzati. Due recenti sforzi in questa direzioni sono stati fatti: il controllo “assist-asneeded” proposto da Reinkensmayer per il Pneu-wrex, un esoscheletro ad attuazione pneumatica per la riabilitazione degli arti, e il controllo con assistenza progressiva in base alla performance del più famoso dispositivo riabilitativo per gli arti superiori il MIT-MANUS[25, 26, 27], il quale assiste il braccio del paziente nei movimenti svolti in un piano orizzontale. Il primo tipo di controllo permette di modulare lo sforzo del paziente mantenendolo vicino ad un percorso predefinito[28, 29]. Il secondo, è un metodo che adatta l’assistenza del robot alla performance del paziente (H.I. Krebs, unpublished conference presentation). Lo scopo di entrambi gli algoritmi è di incrementare lo sforzo e la partecipazione del paziente durante l’esecuzione degli esercizi. Forse, il problema fondamentale è che la terapia robotica non svolge un efficace progresso in questo senso è dovuto alla mancata conoscenza di come il motor learning funziona durante il lavoro di neuro-riabilitazione ad un livello tale da poter stabilire delle specifiche per la progettazione dei dispositivi robotici per la terapia [30]. Sappiamo che la ripetizione, con la partecipazione attiva del paziente, favorisce la riorganizzazione [31, 32]. Sappiamo che gli errori cinematici stimolano l’adattabilità motoria [33, 34, 35]. Alcuni esempi di correlazione tra sforzo del paziente o recupero dell’errore cinematico sono [34, 36, 37, 38]. In questi lavori, alcuni modelli matematici del comportamento di Soggetti sani o di Pazienti sono stati proposti e/o comparati con risultati sperimentali. Inoltre, ci sono anche dei test relativi all’utilizzo di feeback acustico per imparare ad eseguire dei task motori [39], anche se il sistema acustico è ancora largamente sottoutilizzato nei sistemi di riabilitazione robotica. I precisi processi di coinvolgimento mentale, le ripetizioni, gli errori cinematici e le informazioni sensoriali tradotte generalmente in un metodo di recupero non sono ancora state ben definite nella riabilitazione [30]. Il lavoro presentato in questa Tesi è la prima parte di una ricerca che ha come scopo principale di identificare i meccanismi chiave per determinare un coinvolgimento del paziente durante la terapia robotica assistita post-ictus, al fine di ottimizzare la progettazione dei dispositivi robotici. L’ipotesi chiave che sta dietro la ricerca è che il coinvolgimento del paziente e lo sforzo sono relazionati con le informazioni sensoriali fornite dal sistema robotico, e più il paziente sarà coinvolto più ci saranno degli incrementi nei benefici della terapia robotica assistita. Al fine di raggiungere questi risultati primari, è stata progettata una macchina planare a cavi per la riabilitazione degli arti superiori per pazienti post-ictus, abbastanza economica per l’utilizzo in ambulatorio. In questo dispositivo è stato progettato e perfezionato il controllo di tipo “assist-as-needed” per ottenere un controllore che coinvolga attivamente il paziente durante la terapia. Lo scopo finale di questo progetto sarà sviluppare una serie di equazioni matematiche che relazionino alcune variabili (es.: misurazioni del feedback) ad altre variabili (misura del coinvolgimento del paziente), per modellizzare il metodo comportamentale con cui il paziente interagisce con il robot. In questo modo si riuscirà a capire la risposta del paziente ad un livello sufficiente per dettare delle linee guida nella progettazione dei dispositivi robotici. Un punto fondamentale sarà definire le variabili impiegate per quantificare la partecipazione del paziente e gli ingressi sensoriali nel modello computazionale, e il loro metodo di misurazione. Per investigare su questo punto fondamentale è stata progettata un’interfaccia multi-feedback utilizzando un feedback sonoro per incrementare l’attenzione del paziente durante la terapia robotica assistita. Sono stati svolti dei test clinici con soggetti sani e pazienti post-stroke utilizzando la nuova interfaccia e il controllo “assist-as-needed” modificato. I risultati dei test hanno confermato le ipotesi iniziali: un’interfaccia multifeedback con il controllo “assist-as-needed” migliora le erformance dei pazienti durante la terapia robotica e il feedback sonoro incrementa l’attenzione durante gli esercizi. Uno step successivo del lavoro di Tesi, riguarderà il perfezionamento dell’interfaccia multi-feedback e del modello computazionale di controllo motorio per pazienti post-ictus.

This work seeks to analyze human walking at the trajectory planning level from an optimal control perspective. Our approach emphasizes the close relationship between the geometric shape of human locomotion in goal-directed movements and the simplified kinematic model of a wheeled mobile robot. This kind of system has been extensively studied in robotics community. From a kinematic perspective, the characteristic of this wheeled robot is the nonholonomic constraint of the wheels on the floor, which forces the vehicle to move tangentially to its main axis. In the case of human walking, the observation indicates that the direction of the motion is given by the direction of the body (due to some anatomical, mechanical body constraints. . . ). This coupling between the direction q and the position (x,y) of the body can be summarized by tanq = ˙ y ˙ x. It is known that this differential equation defines a non integrable 2- dimensional distribution in the 3-dimensional manifold R2×S1 gathering all the configurations (x,y,q). The controls of a vehicle are usually the linear velocity (via the accelerator and the brake) and the angular velocity (via the steering wheel). The first question addressed in this study can be roughly formulated as : where is the “steering wheel” of the human body located ? It appears that the torso can be considered as a kind of a steering wheel that steers the human body. This model has been validated on a database of 1,560 trajectories recorded from seven subjects. In the second part we address the following question : among all possible trajectories reaching a given position and direction, the subject has chosen one. Why ? The central idea to understand the shape of trajectories has been to relate this problem to an optimal control scheme : the trajectory is chosen according to some optimization principle. The subjects being viewed as a controlled system, we tried to identify several criteria that could be optimized. Is it the time to perform the trajectory ? the length of the path ? the minimum jerk along the path ?. . . We argue that the time derivative of the curvature of the locomotor trajectories is minimized. We show that the human locomotor trajectories are well approximated by the geodesics of a differential system minimizing the L2 norm of the control. Such geodesics are made of arcs of clothoids. The clothoid is a curve whose curvature grows with the distance from the origin. The accuracy of the model is supported by the fact that 90 percent of trajectories are approximated with an average error < 10cm. In the last part of this work we provide the partition of the 3-dimensional configuration space in cells : 2 points belong to a same cell if and only if they are reachable from the origin by a path of the same type. Such a decomposition is known as the synthesis of the optimal control problem. Most of the time when the target changes slightly the optimal trajectories change slightly. However, some singularities appear at some critical frontiers between cells. It is noticeable that they correspond to the strategy change for the walking subjects. This fundamental result is another poof of the locomotion model we have proposed

La robotique humanoïde arrive a maturité avec des robots plus rapides et plus précis. Pour faire face à la complexité mécanique, la recherche a commencé à regarder au-delà du cadre habituel de la robotique, vers les sciences de la vie, afin de mieux organiser le contrôle du mouvement. Cette thèse explore le lien entre mouvement humain et le contrôle des systèmes anthropomorphes tels que les robots humanoïdes. Tout d’abord, en utilisant des méthodes classiques de la robotique, telles que l’optimisation, nous étudions les principes qui sont à la base de mouvements répétitifs humains, tels que ceux effectués lorsqu’on joue au yoyo. Nous nous concentrons ensuite sur la locomotion en nous inspirant de résultats en neurosciences qui mettent en évidence le rôle de la tête dans la marche humaine. En développant une interface permettant à un utilisateur de commander la tête du robot, nous proposons une méthode de contrôle du mouvement corps-complet d’un robot humanoïde, incluant la production de pas et permettant au corps de suivre le mouvement de la tête. Cette idée est poursuivie dans l’étude finale dans laquelle nous analysons la locomotion de sujets humains, dirigée vers une cible, afin d’extraire des caractéristiques du mouvement sous forme invariants. En faisant le lien entre la notion “d’invariant” en neurosciences et celle de “tâche cinématique” en robotique humanoïde, nous développons une méthode pour produire une locomotion réaliste pour d’autres systèmes anthropomorphes. Dans ce cas, les résultats sont illustrés sur le robot humanoïde HRP2 du LAAS-CNRS. La contribution générale de cette thèse est de montrer que, bien que la planification de mouvement pour les robots humanoïdes peut être traitée par des méthodes classiques de robotique, la production de mouvements réalistes nécessite de combiner ces méthodes à l’observation systématique et formelle du comportement humain
Humanoid robotics is coming of age with faster and more agile robots. To compliment the physical complexity of humanoid robots, the robotics algorithms being developed to derive their motion have also become progressively complex. The work in this thesis spans across two research fields, human neuroscience and humanoid robotics, and brings some ideas from the former to aid the latter. By exploring the anthropological link between the structure of a human and that of a humanoid robot we aim to guide conventional robotics methods like local optimization and task-based inverse kinematics towards more realistic human-like solutions. First, we look at dynamic manipulation of human hand trajectories while playing with a yoyo. By recording human yoyo playing, we identify the control scheme used as well as a detailed dynamic model of the hand-yoyo system. Using optimization this model is then used to implement stable yoyo-playing within the kinematic and dynamic limits of the humanoid HRP-2. The thesis then extends its focus to human and humanoid locomotion. We take inspiration from human neuroscience research on the role of the head in human walking and implement a humanoid robotics analogy to this. By allowing a user to steer the head of a humanoid, we develop a control method to generate deliberative whole-body humanoid motion including stepping, purely as a consequence of the head movement. This idea of understanding locomotion as a consequence of reaching a goal is extended in the final study where we look at human motion in more detail. Here, we aim to draw to a link between “invariants” in neuroscience and “kinematic tasks” in humanoid robotics. We record and extract stereotypical characteristics of human movements during a walking and grasping task. These results are then normalized and generalized such that they can be regenerated for other anthropomorphic figures with different kinematic limits than that of humans. The final experiments show a generalized stack of tasks that can generate realistic walking and grasping motion for the humanoid HRP-2. The general contribution of this thesis is in showing that while motion planning for humanoid robots can be tackled by classical methods of robotics, the production of realistic movements necessitate the combination of these methods with the systematic and formal observation of human behavior

La recherche portant sur l'identification des principes neurobiologiques qui sous-tendent le contrôle moteur humain est actuellement très active. Les mouvements humains ont en effet un niveau de robustesse et de dextérité encore inégalé dans la réalisation robotique de tâches complexes. L'objectif est donc de mieux comprendre l'origine de cette performance et de la reproduire en robotique bio-inspirée. Il a déjà été démontré que des réseaux spinaux rythmiques sont présents dans la moelle épinière des vertébrés. Ils constituent des systèmes dynamiques non-linéaires composés de neurones en inhibition réciproque et seraient à l’origine de la génération des mouvements rythmiques comme la locomotion et la respiration. Les attracteurs de ces systèmes dynamiques seraient modulés de manière continue ou intermittente par des signaux sensoriels et des signaux descendant du cortex moteur, de manière à adapter le comportement de l’agent à la dynamique de l’environnement.La présente étude émet l'hypothèse que des informations visuelles sont également couplées aux réseaux spinaux rythmiques et que ces couplages sont responsables des synchronisations temporelles et spatiales observées lors de la réalisation de tâches visuomotrices rythmiques. Cette proposition est confrontée à des résultats expérimentaux de frappe cyclique de balle, un benchmark bien connu des neuroscientifiques et des dynamiciens en raison de ses propriétés dynamiques intrinsèques. Il rend possible à la fois l’étude de la génération de mouvements rythmiques par des réseaux spinaux, la synchronisation temporelle avec l’environnement, la correction en-ligne des erreurs spatiales et l’interception de projectiles balistiques.Cette thèse propose ainsi un modèle comportemental mathématique innovant reposant sur un modèle d’oscillateur neuronal dont l’attracteur, qui définit les trajectoires de la raquette, est modulé en ligne par les perceptions visuelles de la trajectoire de la balle. La pertinence du modèle est validée par comparaison aux données expérimentales et aux modèles précédemment proposés dans la littérature. La robustesse de cette stratégie de contrôle est également quantifiée par une analyse de stabilité asymptotique du système hybride défini par le couplage entre le système neuro-musculo-squelettique et la balle. Le correcteur bio-inspiré proposé dans cette thèse réunit de manière harmonieuse un contrôle prospectif de la synchronisation balle-raquette, un contrôle paramétrique intermittent dimensionnant le mouvement et un contrôle émergeant du cycle-limite du système couplé. Il reproduit efficacement les modulations des actions motrices et les performances des humains durant la tâche de frappe cyclique de balle, y compris en présence de perturbations, et ce sans avoir recours à une planification du mouvement ou à des représentations internes explicites de l’environnement. Les résultats de cette étude conduisent à l’affirmation réaliste que les mouvements humains sont directement structurés par l’information sensorielle disponible et par des stratégies correctives en-ligne, en accord avec la théorie des dynamiques comportementales. Cette architecture de contrôle pourrait offrir de nombreux avantages aux robots humanoïdes qui en seraient munis, en assurant stabilité et économie d’énergie, par l’intermédiaire de lois de commande de faible complexité et peu gourmandes en ressources computationnelles
The identification of the neurbiological principles underlying human motor control is a very active reseach topic. Indeed, human movement has a level of robustness and dexterity still unmatched by robots. The objective is therefore to better understand the origin of this efficiency to replicate these performances in robotics. It has been shown that spinal rhythm generators, known as Central Pattern Generators (CPG), are responsible for the generation of rhythmic movements such as locomotion and respiration in vertebrates. These CPG constitute dynamic nonlinear systems modulated by sensory signals and descending signals from the cortex to adapt the behavior to the changing environment.The present study hypothesizes that visual information is also coupled to the CPG and that these couplings are responsible for the temporal and spatial synchronization observed during rhythmic visuomotor tasks. This assumption is confronted with experimental results from human participants performing ball bouncing, a well-known benchmark in neuroscience and robotics for its intrinsic dynamic properties. This task allows for the investigation of rhythmic movement generation by spinal networks, the temporal synchronization with the environment, the on-line correction of spatial errors and the interception of ballistic projectiles.This thesis proposes an innovative mathematical behavioral model based on a neuronal oscillator whose attractor, which defines the paddle trajectories, is modulated on-line by the visual perception of the ball trajectory. The relevance of the model is validated by comparison with experimental data and models previously proposed in the literature. The robustness of this control strategy is quantified by an asymptotic stability analysis. The bio-inspired controller presented in this thesis harmoniously combines a prospective control of the ball-paddle synchronization, an intermittent parametric control that scales the movement and a control emerging from the coupled system limit cycle. It efficiently reproduces the human modulation in motor action and performance during ball bouncing, without relying on movement planning or explicit internal representation of the environment. The results of this study lead to the realistic assumption that much part of the human behavior during ball bouncing is directly structured by sensory information and on-line error correction processes, in agreement with the behavioral dynamics theory. This control architecture holds promise for the control of humanoid robots as it is able to ensure stability and energy saving through control laws of reduced complexity and computational cost

La problématique de l'apprentissage de comportements sur un robot autonome soulève de nombreuses questions liées au contrôle moteur, à l'encodage du comportement, aux stratégies comportementales et à la sélection de l'action. Utiliser une approche développementale présente un intérêt tout particulier dans le cadre de la robotique autonome. Le comportement du robot repose sur des mécanismes de bas niveau dont les interactions permettent de faire émerger des comportements plus complexes. Le robot ne possède pas d'informations a priori sur ses caractéristiques physiques ou sur l'environnement, il doit apprendre sa propre dynamique sensori-motrice. J'ai débuté ma thèse par l'étude d'un modèle d'imitation bas niveau. Du point de vue du développement, l'imitation est présente dès la naissance et accompagne, sous de multiples formes, le développement du jeune enfant. Elle présente une fonction d'apprentissage et se révèle alors être un atout en terme de temps d'acquisition de comportements, ainsi qu'une fonction de communication participant à l'amorce et au maintien d'interactions non verbales et naturelles. De plus, même s'il n'y a pas de réelle intention d'imiter, l'observation d'un autre agent permet d'extraire suffisamment d'informations pour être capable de reproduire la tâche. Mon travail a donc dans un premier temps consisté à appliquer et tester un modèle développemental qui permet l'émergence de comportements d'imitation de bas niveau sur un robot autonome. Ce modèle est construit comme un homéostat qui tend à équilibrer par l'action ses informations perceptives frustres (détection du mouvement, détection de couleur, informations sur les angles des articulations d'un bras de robot). Ainsi, lorsqu'un humain bouge sa main dans le champ visuel du robot, l'ambigüité de la perception de ce dernier lui fait confondre la main de l'humain avec l'extrémité de son bras. De l'erreur qui en résulte émerge un comportement d'imitation immédiate des gestes de l'humain par action de l'homéostat. Bien sûr, un tel modèle implique que le robot soit capable d'associer au préalable les positions visuelles de son effecteur avec les informations proprioceptives de ses moteurs. Grace au comportement d'imitation, le robot réalise des mouvements qu'il peut ensuite apprendre pour construire des comportements plus complexes. Comment alors passer d'un simple mouvement à un geste plus complexe pouvant impliquer un objet ou un lieu ? Je propose une architecture qui permet à un robot d'apprendre un comportement sous forme de séquences temporelles complexes (avec répétition d'éléments) de mouvements. Deux modèles différents permettant l'apprentissage de séquences ont été développés et testés. Le premier apprend en ligne le timing de séquences temporelles simples. Ce modèle ne permettant pas d'apprendre des séquences complexes, le second modèle testé repose sur les propriétés d'un réservoir de dynamiques, il apprend en ligne des séquences complexes. A l'issue de ces travaux, une architecture apprenant le timing d'une séquence complexe a été proposée. Les tests en simulation et sur robot ont montré la nécessité d'ajouter un mécanisme de resynchronisation permettant de retrouver les bons états cachés pour permettre d'amorcer une séquence complexe par un état intermédiaire. Dans un troisième temps, mes travaux ont consisté à étudier comment deux stratégies sensorimotrices peuvent cohabiter dans le cadre d'une tâche de navigation. La première stratégie encode le comportement à partir d'informations spatiales alors que la seconde utilise des informations temporelles. Les deux architectures ont été testées indépendamment sur une même tâche. Ces deux stratégies ont ensuite été fusionnées et exécutées en parallèle. La fusion des réponses délivrées par les deux stratégies a été réalisée avec l'utilisation de champs de neurones dynamiques. Un mécanisme de "chunking" représentant l'état instantané du robot (le lieu courant avec l'action courante) permet de resynchroniser les dynamiques des séquences temporelles. En parallèle, un certain nombre de problème de programmation et de conception des réseaux de neurones sont apparus. En effet, nos réseaux peuvent compter plusieurs centaines de milliers de neurones. Il devient alors difficile de les exécuter sur une seule unité de calcul. Comment concevoir des architectures neuronales avec des contraintes de répartition de calcul, de communications réseau et de temps réel ? Une autre partie de mon travail a consisté à apporter des outils permettant la modélisation, la communication et l'exécution en temps réel d'architecture distribuées. Pour finir, dans le cadre du projet européen Feelix Growing, j'ai également participé à l'intégration de mes travaux avec ceux du laboratoire LASA de l'EPFL pour l'apprentissage de comportements complexes mêlant la navigation, le geste et l'objet. En conclusion, cette thèse m'a permis de développer à la fois de nouveaux modèles pour l'apprentissage de comportements - dans le temps et dans l'espace, de nouveaux outils pour maîtriser des réseaux de neurones de très grande taille et de discuter à travers les limitations du système actuel, les éléments importants pour un système de sélection de l'action.

Les mammifères ont la capacité de suivre différents comportements de navigation, définis comme des " stratégies " ne faisant pas forcément appel à des processus conscients, suivant la tâche spécifique qu'ils ont à résoudre. Dans certains cas où un indice visuel indique le but, ils peuvent suivre une simple stratégie stimulus-réponse (S-R). À l'opposé, d'autres tâches nécessitent que l'animal mette en oeuvre une stratégie plus complexe basée sur l'élaboration d'une certaine représentation de l'espace lui permettant de se localiser et de localiser le but dans l'environnement. De manière à se comporter de façon efficace, les animaux doivent non seulement être capables d'apprendre chacune de ces stratégies, mais ils doivent aussi pouvoir passer d'une stratégie à l'autre lorsque les exigences de l'environnement changent. La thèse présentée ici adopte une approche pluridisciplinaire - comportement, neurophysiologie, neurosciences computationnelles et robotique autonome - de l'étude du rôle du striatum et du cortex préfrontal dans l'apprentissage et l'alternance de ces stratégies de navigation chez le rat, et leur application possible à la robotique. Elle vise notamment à préciser les rôles respectifs du cortex préfrontal médian (mPFC) et de différentes parties du striatum (DLS :dorsolateral ; VS : ventral) dans l'ensemble de ces processus, ainsi que la nature de leurs interactions. Le travail expérimental effectué a consisté à : (1) étudier le rôle du striatum dans l'apprentissage S-R en : (a) analysant des données électrophysiologiques enregistrées dans le VS chez le rat pendant une tâche de recherche de récompense dans un labyrinthe en croix ; (b) élaborant un modèle Actor-Critic de l'apprentissage S-R où le VS est le Critic qui guide l'apprentissage, tandis que le DLS est l'Actor qui mémorise les associations S-R. Ce modèle est étendu à la simulation robotique et ses performances sont comparées avec des modèles Actor-Critic existants dans un labyrinthe en croix virtuel ; (2) Dans un deuxième temps, le rôle du striatum dans l'apprentissage de stratégies de type localisation étant supposé connu, nous nous sommes focalisés sur l'étude du rôle du mPFC dans l'alternance entre stratégies de navigation, en effectuant des enregistrements électrophysiologiques dans le mPFC du rat lors d'une tâche requiérant ce type d'alternance. Les principaux résultats de ce travail suggèrent que : (1) dans le cadre S-R : (a) comme chez le singe, le VS du rat élabore des anticipations de récompense cohérentes avec la théorie Actor-Critic ; (b) ces anticipations de récompense peuvent être combinées avec des cartes auto-organisatrices dans un modèle Actor-Critic obtenant de meilleures performances que des modèles existants dans un labyrinthe en croix virtuel, et disposant de capacités de généralisation intéressantes pour la robotique autonome ; (2) le mPFC semble avoir un rôle important lorsque la performance de l'animal est basse et qu'il faut apprendre une nouvelle stratégie. D'autre part, l'activité de population dans le mPFC change rapidement, en correspondance avec les transitions de stratégies dans le comportement du rat, suggérant une contribution de cette partie du cerveau dans la sélection flexible des stratégies comportementales. Nous concluons ce manuscrit par une discussion de nos résultats dans le cadre de travaux précédents en comportement, électrophysiologie et modélisation. Nous proposons une nouvelle architecture du système préfronto-striatal chez le rat dans laquelle des sous-parties du striatum apprennent différentes stratégies de navigation, et où le cortex préfrontal médian décide à chaque instant quelle stratégie devra régir le comportement du rat.

Cette thèse porte sur la modélisation de la commande motrice chez le Primate suivant deux approches : - Tout d'abord, en suivant une formalisation mathématique de la préparation par le Cerveau des signaux de commande d'un mouvement volontaire dirigé vers une cible. La méthode utilisée dans cette étude a été de recenser les contraintes fonctionnelles et d'en déduire un circuit de traitement des signaux moteurs, compatible avec l'organisation anatomique des voies cérébelleuses. Ce circuit a permis une optimisation hiérarchisée, sous les contraintes de rapidité d'exécution et d'économie de la dépense énergétique. Cette approche a été appliquée à la commande d'un bras robotique à 2 d.d.l mû par des muscles de McKibben, et à la modélisation du système oculomoteur du Primate. - Ensuite, en suivant une approche par codage. Nous présentons ici la conception et la mise au point d'une Interface Cerveau-Machine asynchrone qui décode les données cérébrales enregistrées chez le Macaque afin de contrôler un doigt robotique.

Whether we want to drive a car, play a ball game, or even enjoy watching a flying bird, we need to track moving objects. This is possible via smooth pursuit eye movements (SPEMs), which maintain the image of the moving object on the fovea (i.e., a very small portion of the retina with high visual resolution). At first glance, performing an accurate SPEM by the brain may seem trivial. However, imperfect visual coding, processing and transmission delays, wide variety of object sizes, and background textures make the task challenging. Furthermore, the existence of distractors in the environment makes it even more complicated and it is no wonder why understanding SPEM has been a classic question of human motor control. To understand physiological systems of which SPEM is an example, creation of models has played an influential role. Models make quantitative predictions that can be tested in experiments. Therefore, modelling SPEM is not only valuable to learn neurobiological mechanisms of smooth pursuit or more generally gaze control but also beneficial to give insight into other sensory-motor functions. In this thesis, I present a neurocomputational SPEM model based on Neural Engineering Framework (NEF) to drive an eye-like robot. The model interacts with the real world in real time. It uses naturalistic images as input and by the use of spiking model neurons controls the robot. This work can be the first step towards more thorough validation of abstract SPEM control models. Besides, it is a small step toward neural models that drive robots to accomplish more intricate sensory-motor tasks such as reaching and grasping.

abstract: Long-term monitoring of deep brain structures using microelectrode implants is critical for the success of emerging clinical applications including cortical neural prostheses, deep brain stimulation and other neurobiology studies such as progression of disease states, learning and memory, brain mapping etc. However, current microelectrode technologies are not capable enough of reaching those clinical milestones given their inconsistency in performance and reliability in long-term studies. In all the aforementioned applications, it is important to understand the limitations & demands posed by technology as well as biological processes. Recent advances in implantable Micro Electro Mechanical Systems (MEMS) technology have tremendous potential and opens a plethora of opportunities for long term studies which were not possible before. The overall goal of the project is to develop large scale autonomous, movable, micro-scale interfaces which can seek and monitor/stimulate large ensembles of precisely targeted neurons and neuronal networks that can be applied for brain mapping in behaving animals. However, there are serious technical (fabrication) challenges related to packaging and interconnects, examples of which include: lack of current industry standards in chip-scale packaging techniques for silicon chips with movable microstructures, incompatible micro-bonding techniques to elongate current micro-electrode length to reach deep brain structures, inability to achieve hermetic isolation of implantable devices from biological tissue and fluids (i.e. cerebrospinal fluid (CSF), blood, etc.). The specific aims are to: 1) optimize & automate chip scale packaging of MEMS devices with unique requirements not amenable to conventional industry standards with respect to bonding, process temperature and pressure in order to achieve scalability 2) develop a novel micro-bonding technique to extend the length of current polysilicon micro-electrodes to reach and monitor deep brain structures 3) design & develop high throughput packaging mechanism for constructing a dense array of movable microelectrodes. Using a combination of unique micro-bonding technique which involves conductive thermosetting epoxy’s with hermetically sealed support structures and a highly optimized, semi-automated, 90-minute flip-chip packaging process, I have now extended the repertoire of previously reported movable microelectrode arrays to bond conventional stainless steel and Pt/Ir microelectrode arrays of desired lengths to steerable polysilicon shafts. I tested scalable prototypes in rigorous bench top tests including Impedance measurements, accelerated aging and non-destructive testing to assess electrical and mechanical stability of micro-bonds under long-term implantation. I propose a 3D printed packaging method allows a wide variety of electrode configurations to be realized such as a rectangular or circular array configuration or other arbitrary geometries optimal for specific regions of the brain with inter-electrode distance as low as 25 um with an unprecedented capability of seeking and recording/stimulating targeted single neurons in deep brain structures up to 10 mm deep (with 6 μm displacement resolution). The advantage of this computer controlled moveable deep brain electrodes facilitates potential capabilities of moving past glial sheath surrounding microelectrodes to restore neural connection, counter the variabilities in signal amplitudes, and enable simultaneous recording/stimulation at precisely targeted layers of brain.
Dissertation/Thesis
Masters Thesis Bioengineering 2016

abstract: A robotic swarm can be defined as a large group of inexpensive, interchangeable robots with limited sensing and/or actuating capabilities that cooperate (explicitly or implicitly) based on local communications and sensing in order to complete a mission. Its inherent redundancy provides flexibility and robustness to failures and environmental disturbances which guarantee the proper completion of the required task. At the same time, human intuition and cognition can prove very useful in extreme situations where a fast and reliable solution is needed. This idea led to the creation of the field of Human-Swarm Interfaces (HSI) which attempts to incorporate the human element into the control of robotic swarms for increased robustness and reliability. The aim of the present work is to extend the current state-of-the-art in HSI by applying ideas and principles from the field of Brain-Computer Interfaces (BCI), which has proven to be very useful for people with motor disabilities. At first, a preliminary investigation about the connection of brain activity and the observation of swarm collective behaviors is conducted. After showing that such a connection may exist, a hybrid BCI system is presented for the control of a swarm of quadrotors. The system is based on the combination of motor imagery and the input from a game controller, while its feasibility is proven through an extensive experimental process. Finally, speech imagery is proposed as an alternative mental task for BCI applications. This is done through a series of rigorous experiments and appropriate data analysis. This work suggests that the integration of BCI principles in HSI applications can be successful and it can potentially lead to systems that are more intuitive for the users than the current state-of-the-art. At the same time, it motivates further research in the area and sets the stepping stones for the potential development of the field of Brain-Swarm Interfaces (BSI).
Dissertation/Thesis
Masters Thesis Mechanical Engineering 2017

Robotic-assisted surgery (RAS) is one of the most significant advancements in surgical techniques in the past three decades. It provides benefits of reduced infection risks and shortened recovery time over open surgery as well as improved dexterity, stereoscopic vision, and ergonomic console over laparoscopic surgery. The prevalence of RAS systems has increased over years and is expected to grow even larger. However, the major concerns of RAS are the technical difficulty and the system complexity, which can result in long learning time and impose extra cognitive workload and stress on the operating room. Human Factor and Ergonomics (HFE) perspective is critical to patient safety and relevant researches have long provided methods to improve surgical outcomes. Yet, limited studies especially using objective measurements, have been done in the RAS environment.

With advances in wearable sensing technology and data analytics, the applications of physiological measures in HFE have been ever increasing. Physiological measures are objective and real-time, free of some main limitations in subjective measures. Eye tracker as a minimally-intrusive and continuous measuring device can provide both physiological and behavioral metrics. These metrics have been found sensitive to changes in workload in various domains. Meanwhile, electroencephalography (EEG) signals capture electrical activity in the cerebral cortex and can reflect cognitive processes that are difficult to assess with other objective measures. Both techniques have the potential to help address some of the challenges in RAS.

In this study, eight RAS trainees participated in a 3-month long experiment. In total, they completed 26 robotic skills simulation sessions. In each session, participants performed up to 12 simulated RAS exercises with varying levels of difficulty. For Research Question I, correlation and mixed effect analyses were conducted to explore the relationships between eye tracking metrics and workload. Machine learning classifiers were used to determine the sensitivity of differentiating low and high workload with eye tracking metrics. For Research Question II, two eye tracking metrics and one EEG metric were used to explain participants’ performance changes between consecutive sessions. Correlation and ANOVA analyses were conducted to examine whether variations in performance had significant relationships with variations in objective metrics. Classification models were built to examine the capability of objective metrics in predicting improvement during RAS training.

In Research Question I, pupil diameter and gaze entropy distinguished between different task difficulty levels, and both metrics increased as the level of difficulty increased. Yet only gaze entropy was correlated with subjective workload measurement. The classification model achieved an average accuracy of 89.3% in predicting workload levels. In Research Question II, variations in gaze entropy and engagement index were negatively correlated with variations in task performance. Both metrics tended to decrease when performance increased. The classification model achieved an average accuracy of 68.5% in predicting improvements.

Eye tracking metrics can measure both task workload and perceived workload during simulated RAS training. It can potentially be used for real-time monitoring of workload in RAS procedure to identify task contributors to high workload and provide insights for training. When combined with EEG, the objective metrics can explain the performance changes during RAS training, and help estimate room for improvements.

abstract: Proprioception is the sense of body position, movement, force, and effort. Loss of proprioception can affect planning and control of limb and body movements, negatively impacting activities of daily living and quality of life. Assessments employing planar robots have shown that proprioceptive sensitivity is directionally dependent within the horizontal plane however, few studies have looked at proprioceptive sensitivity in 3d space. In addition, the extent to which proprioceptive sensitivity is modifiable by factors such as exogenous neuromodulation is unclear. To investigate proprioceptive sensitivity in 3d we developed a novel experimental paradigm employing a 7-DoF robot arm, which enables reliable testing of arm proprioception along arbitrary paths in 3d space, including vertical motion which has previously been neglected. A participant’s right arm was coupled to a trough held by the robot that stabilized the wrist and forearm, allowing for changes in configuration only at the elbow and shoulder. Sensitivity to imposed displacements of the endpoint of the arm were evaluated using a “same/different” task, where participant’s hands were moved 1-4 cm from a previously visited reference position. A measure of sensitivity (d’) was compared across 6 movement directions and between 2 postures. For all directions, sensitivity increased monotonically as the distance from the reference location increased. Sensitivity was also shown to be anisotropic (directionally dependent) which has implications for our understanding of the planning and control of reaching movements in 3d space. The effect of neuromodulation on proprioceptive sensitivity was assessed using transcutaneous electrical nerve stimulation (TENS), which has been shown to have beneficial effects on human cognitive and sensorimotor performance in other contexts. In this pilot study the effects of two frequencies (30hz and 300hz) and three electrode configurations were examined. No effect of electrode configuration was found, however sensitivity with 30hz stimulation was significantly lower than with 300hz stimulation (which was similar to sensitivity without stimulation). Although TENS was shown to modulate proprioceptive sensitivity, additional experiments are required to determine if TENS can produce enhancement rather than depression of sensitivity which would have positive implications for rehabilitation of proprioceptive deficits arising from stroke and other disorders.
Dissertation/Thesis
Doctoral Dissertation Neuroscience 2018

abstract: Advances in implantable MEMS technology has made possible adaptive micro-robotic implants that can track and record from single neurons in the brain. Development of autonomous neural interfaces opens up exciting possibilities of micro-robots performing standard electrophysiological techniques that would previously take researchers several hundred hours to train and achieve the desired skill level. It would result in more reliable and adaptive neural interfaces that could record optimal neural activity 24/7 with high fidelity signals, high yield and increased throughput. The main contribution here is validating adaptive strategies to overcome challenges in autonomous navigation of microelectrodes inside the brain. The following issues pose significant challenges as brain tissue is both functionally and structurally dynamic: a) time varying mechanical properties of the brain tissue-microelectrode interface due to the hyperelastic, viscoelastic nature of brain tissue b) non-stationarities in the neural signal caused by mechanical and physiological events in the interface and c) the lack of visual feedback of microelectrode position in brain tissue. A closed loop control algorithm is proposed here for autonomous navigation of microelectrodes in brain tissue while optimizing the signal-to-noise ratio of multi-unit neural recordings. The algorithm incorporates a quantitative understanding of constitutive mechanical properties of soft viscoelastic tissue like the brain and is guided by models that predict stresses developed in brain tissue during movement of the microelectrode. An optimal movement strategy is developed that achieves precise positioning of microelectrodes in the brain by minimizing the stresses developed in the surrounding tissue during navigation and maximizing the speed of movement. Results of testing the closed-loop control paradigm in short-term rodent experiments validated that it was possible to achieve a consistently high quality SNR throughout the duration of the experiment. At the systems level, new generation of MEMS actuators for movable microelectrode array are characterized and the MEMS device operation parameters are optimized for improved performance and reliability. Further, recommendations for packaging to minimize the form factor of the implant; design of device mounting and implantation techniques of MEMS microelectrode array to enhance the longevity of the implant are also included in a top-down approach to achieve a reliable brain interface.
Dissertation/Thesis
Ph.D. Bioengineering 2013